AIGC 加速企业创新,权威指南免费下载,开启你的学习探索之旅吧! 了解详情
写点什么

大数据框架

收录了 大数据框架 频道下的 50 篇内容

大数据框架对比:Hadoop、Storm、Samza、Spark 和 Flink

本文将介绍大数据系统一个最基本组件:处理框架。处理框架负责对系统中的数据进行计算,例如处理从非易失存储中读取的数据,或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。本文对Hadoop、Storm、Samza、Spark、Flink五种大数据框架进行了介绍和对比。

OpenSOC: 安全大数据分析框架

思科在BroCON大会上亮相了其安全大数据分析架构OpenSOC,引起了大家的广泛关注。OpenSOC是一个针对网络包和流的大数据分析框架,它是大数据分析与安全分析技术的结合,能够实时的检测网络异常情况并且可以扩展很多节点。

大数据基础框架设计——实时分析技术平台洞察与实践

今年是IoT物联网的元年,也是人工智能的元年。之所以人工智能这么热,与大数据有密不可分的关系,大数据就是现在网络时代的石油。2016 年 10 月 28 日上午 7 位大数据相关专家齐聚“2016 易观 A10 大数据应用峰会”对实时分析技术的看法和实践经验进行了分享和讨论,从技术角度解析了企业如何做到实时分析。

一篇文章全面解析大数据批处理框架 Spring Batch

如今微服务架构讨论的如火如荼。但在企业架构里除了大量的OLTP交易外,还存在海量的批处理交易。在诸如银行的金融机构中,每天有3-4万笔的批处理作业需要处理。针对OLTP,业界有大量的开源框架、优秀的架构设计给予支撑;但批处理领域的框架确凤毛麟角。是时候和我们一起来了解下批处理的世界哪些优秀的框架和设计了,今天我将以Spring Batch为例,和大家一起探秘批处理的世界。

【ELT.ZIP】OpenHarmony啃论文俱乐部——大数据框架性能优化系统
【ELT.ZIP】OpenHarmony 啃论文俱乐部——大数据框架性能优化系统

Apache Hadoop 提供分布式数据存储功能HDFS,还提供了用于数据处理的 MapReduce。虽然 MapReduce 是可以不依靠 Apache Spark 进行数据的处理,Apache Spark 也可以不依靠 HDFS 来完成数据存储功能,但如果两者结合在一起

大数据
OpenHarmony
压缩算法
ELT.ZIP
大数据与机器学习周报 第 13 期:Facebook 开源深度学习框架 Torchnet

Facebook 开源深度学习框架 Torchnet

云计算大数据时代创业模式新型框架——集中精力做算法及模型

在2014年10月16日阿里云开发者大会上,InfoQ中文站采访了健康宝首席执行官兼框架师沈英桓及首席市场官、互联网医院事业部总经理叶德佑,双方探讨了在云计算大数据时代做创业的一些思路,其中最重点的一条就是:要充分利用现有的技术,比如说云计算存储平台,自己没有必要再造个同样的轮子,而要有的放矢,其中精力做算法或者业务。

大数据基础处理框架

Apache Hadoop

Java
面试
后端开发
Netflix 开源新作:大数据发现服务框架 Metacat

Netflix开源新作:大数据发现服务框架Metacat

关于大数据计算框架 Flink 内存管理的原理与实现总结 | 社区征文

最近几年国内大数据apache开源社区计算框架最火的莫过于Flink,得益于阿里在后面的推动以及各大互联网大厂的参与,flink业已成为流式计算事实上的标准。一句话来介绍 Flink 就是 “Stateful Computations Over Streams”,基于数据流的有状态计算。flink的四

大数据
flink
新春征文
企业级大数据技术框架
企业级大数据技术框架

大数据尝试从海量数据中,通过一定的分布式技术手段,挖掘出有价值的信息,最终提供给用户,进而产生实用价值和商业价值。

大数据技术
10月月更
大数据入门学习框架
大数据入门学习框架

​这个栏目为初学者全面整理入门的大数据必学知识,内容是按照体系划分的,集合190多篇高质量文章带你认识大数据,掌握入门的规则。 只要跟着顺序去学,把里面的体系知识掌握了,你才能真正的入门大数据,前提得自律加坚持,赶快行动吧。

大数据
大数据学习框架
学习大数据
开源大数据集成框架 ChunJun 在数据还原上的探索和实践

Hadoop是Apache基金会旗下最知名的基础架构开源项目之一。自2006年诞生以来,逐步发展成为海量数据存储、处理最为重要的基础组件,形成了非常丰富的技术生态。

12.3 大数据计算框架 MapReduce- 编程框架

12.3大数据计算框架MapReduce-编程框架

从 Hadoop 框架讨论大数据生态

1) Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

大数据
hadoop
坐实大数据资源调度框架之王,Yarn 为何这么牛

Yarn的出现伴随着Hadoop的发展,使Hadoop从一个单一的大数据计算引擎,成为大数据的代名词。

大数据
hadoop
mapreduce
YARN
资源调度框架
12.4 大数据计算框架 MapReduce- 架构

12.4大数据计算框架MapReduce-架构

大数据处理领域的经典框架:MapReduce 详解与应用【上进小菜猪大数据】

上进小菜猪,沈工大软件工程专业,爱好敲代码,持续输出干货。

大数据
上进小菜猪
6 月 优质更文活动
架构师训练营 第 12 周总结

本周学习要点

极客大学架构师训练营
Week12

本周学习要点

大数据框架专题_资料-InfoQ中文网