AIGC 加速企业创新，权威指南免费下载，开启你的学习探索之旅吧！了解详情 



 写点什么

大数据框架

收录了大数据框架频道下的 50 篇内容

大数据框架对比：Hadoop、Storm、Samza、Spark 和 Flink

本文将介绍大数据系统一个最基本组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。本文对Hadoop、Storm、Samza、Spark、Flink五种大数据框架进行了介绍和对比。

作者 : Justin Ellingwood 译者: 大愚若智

2016-11-19

39850

OpenSOC: 安全大数据分析框架

思科在BroCON大会上亮相了其安全大数据分析架构OpenSOC，引起了大家的广泛关注。OpenSOC是一个针对网络包和流的大数据分析框架，它是大数据分析与安全分析技术的结合,能够实时的检测网络异常情况并且可以扩展很多节点。

作者 : 李士窑

2014-09-25

5955

大数据基础框架设计——实时分析技术平台洞察与实践

今年是IoT物联网的元年，也是人工智能的元年。之所以人工智能这么热，与大数据有密不可分的关系，大数据就是现在网络时代的石油。2016 年 10 月 28 日上午 7 位大数据相关专家齐聚“2016 易观 A10 大数据应用峰会”对实时分析技术的看法和实践经验进行了分享和讨论，从技术角度解析了企业如何做到实时分析。

作者 : 刘芸

2016-11-04

1630

一篇文章全面解析大数据批处理框架 Spring Batch

如今微服务架构讨论的如火如荼。但在企业架构里除了大量的OLTP交易外，还存在海量的批处理交易。在诸如银行的金融机构中，每天有3-4万笔的批处理作业需要处理。针对OLTP，业界有大量的开源框架、优秀的架构设计给予支撑；但批处理领域的框架确凤毛麟角。是时候和我们一起来了解下批处理的世界哪些优秀的框架和设计了，今天我将以Spring Batch为例，和大家一起探秘批处理的世界。

作者 : 刘相

2017-01-09

16131

【ELT.ZIP】OpenHarmony 啃论文俱乐部——大数据框架性能优化系统

Apache Hadoop 提供分布式数据存储功能HDFS，还提供了用于数据处理的 MapReduce。虽然 MapReduce 是可以不依靠 Apache Spark 进行数据的处理，Apache Spark 也可以不依靠 HDFS 来完成数据存储功能，但如果两者结合在一起

大数据

OpenHarmony

压缩算法

ELT.ZIP

2022-05-11

大数据与机器学习周报第 13 期：Facebook 开源深度学习框架 Torchnet

Facebook 开源深度学习框架 Torchnet

作者 : 丁涛

2016-06-27

1790

云计算大数据时代创业模式新型框架——集中精力做算法及模型

在2014年10月16日阿里云开发者大会上，InfoQ中文站采访了健康宝首席执行官兼框架师沈英桓及首席市场官、互联网医院事业部总经理叶德佑，双方探讨了在云计算大数据时代做创业的一些思路，其中最重点的一条就是：要充分利用现有的技术，比如说云计算存储平台，自己没有必要再造个同样的轮子，而要有的放矢，其中精力做算法或者业务。

作者 : 管祥青

2014-10-20

1261

大数据基础处理框架

Apache Hadoop

Java

面试

后端开发

爱好编程进阶

2022-04-21

Netflix 开源新作：大数据发现服务框架 Metacat

Netflix开源新作：大数据发现服务框架Metacat

作者 : 蔡芳芳

2018-06-15

3182

关于大数据计算框架 Flink 内存管理的原理与实现总结 | 社区征文

最近几年国内大数据apache开源社区计算框架最火的莫过于Flink，得益于阿里在后面的推动以及各大互联网大厂的参与，flink业已成为流式计算事实上的标准。一句话来介绍 Flink 就是 “Stateful Computations Over Streams”，基于数据流的有状态计算。flink的四

大数据

flink

新春征文