写点什么

应对 PB 级数据分析的挑战,领英使用了 Apache Pinot 加 Kafka 的数据架构

  • 2020-07-13
  • 本文字数:1085 字

    阅读完需:约 4 分钟

应对PB级数据分析的挑战,领英使用了Apache Pinot加Kafka的数据架构

本文最初发布于 Apache Pinot 开发博客,由 InfoQ 中文站翻译并分享。


曾几何时,一家名为领英的互联网公司面临着无法实时分析 PB 级联网数据的挑战。由于是第一次出现这样的问题,所以只有一个解决办法。该公司组建了一支有才华的工程师团队,并指派他们为这项工作开发合适的工具。如今,这个工具被称为 Apache Pinot。


曾几何时,一家名为领英的互联网公司面临着无法实时分析 PB 级联网数据的挑战。由于是第一次出现这样的问题,所以只有一个解决办法。该公司组建了一支有才华的工程师团队,并指派他们为这项工作开发合适的工具。如今,这个工具被称为Apache Pinot


Pinot 开始处理这个世界上最大的在线社交网络之一的传奇创新的遗留问题。在过去的几十年里,这家硅谷的科技巨头帮助了世界各地数以亿计的人找到了正确的职业生涯发展之路。如今,作为一家微软公司,领英一直在保证同事们之间的联系,伴随他们经历成功与失败,以及开启更好的职业生涯。



乍听起来可能有点奇怪,一个名为“谁看过我的资料”的功能会催生出一些最流行的开源工具,而这些工具正在改变公司构建和操作软件的方式。



Pinot 是 Apache 最新孵化的项目,它追随了KafkaHelixSamza等巨头的脚步,其中,Kafka正迅速成为云原生应用的支柱。如果软件确实正在吞噬世界,那么 Apache Kafka 可能要负责吞噬私有数据中心。


在 Kafka 登上行业标准消息代理的舞台之前,有硬软件问题的大公司除了运行自己的硬件之外几乎别无选择。但现如今,在 Kafka 这样的开源工具的帮助下,开发者可以在数据中心的虚拟机和云原生应用之间架起一座桥梁


Kafka 的秘诀是什么?它将从许多不同的相互分离的系统收集的事件流转换成可以像数据库一样查询的主题,而不必真得转换成数据库。


尽管作为一种“可移植数据仓库”,Kafka 代表了一项重大的进步,但大多数应用程序开发人员仍在努力将事件流转换为复杂的查询模型,而不用去了解 Kafka 流的流入流出。


现在,Pinot的目标更进一步,它在 Kafka 之上为开发者提供了一个他们熟悉的数据库,将事件流转换为可查询的数据模型。最终的结果是,在构建和操作他们的应用程序时,开发人员就不必再考虑如何获得 Kafka 的所有好处,而只需要关注如何编写对用户最有价值的代码。


由于 Kafka 既是消息代理又是事务日志,所以它也经常被用作数据库,这就给开发人员增加了负担,他们需要维护主题中事件流的数据投影。


Pinot 提供的是一种工具,使开发者无需考虑如何使用 Kafka 主题来构建和维护来自事件流的可查询投影。事实证明,考虑事件流只会降低开发过程的速度,而且代价是数据可移植性。


查看英文原文:Moving developers up the stack with Apache Pinot


2020-07-13 17:012593

评论

发布
暂无评论
发现更多内容

区块链专利正从量向质转变 智慧金融、医疗健康和能源三领域质量最高

CECBC

RubyInstaller 在 Windows 环境下的安装

HoneyMoose

“他”靠这份GitHub star过万的1121页图解算法成功杀进字节跳动

收到请回复

Java 数据结构 面试 算法 后端

架构实战训练营第一周作业

fox

网络安全之渗透实战学习

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 安全漏洞

学生管理系统架构和微信业务架构

Geek_nlp小咖

微信 架构 微信业务架构 学生管理系统架构

借助人工智能、区块链 传统农业告别“靠天吃饭”

CECBC

BASE 柔性事务学习笔记

风翱

Base 10月月更

Jekyll 运行的时候提示错误 cannot load such file -- webrick (LoadError)

HoneyMoose

架构训练营-第一周作业

焦龙

架构实战营

模块一作业

panxiaochun

架构实战营

第一周学习

乐知

「架构实战营」

架构师第一步

Yalye

「架构实战营」

你正在选择实时互动云服务?以下是关于安全合规的七个建议

声网

人工智能 数据安全

linux之yum下载rpm包离线安装

入门小站

Linux

无人驾驶与环卫革命

脑极体

微信朋友圈高性能复杂度分析

deng

架构实战营

字符串转HTML段落

入门小站

工具

架构训练实战营第一周作业

赵岩

B格被拉满了....

Jackpop

产学互为表里,携手方见大道:华为云AI院长峰会的价值思考

脑极体

微信业务+学生毕设架构设计

慧慧Alina酱

工信部等三部委:推进区块链等新一代信息技术在养老场景集成应用

CECBC

029云原生之开发工具介绍

穿过生命散发芬芳

云原生 10月月更

架构实战营-作业一

River Tree

架构实战营

040022-week1-design

InfoQ_70156470130f

Prometheus HTTP API 查询(一) 接口格式

耳东@Erdong

Prometheus PromQL HTTP API 10月月更

微信业务架构图

罗赟

「架构实战营」

第 1 周作业

莫离

架构实战营 - 第三期 - 模块一作业

白小黑

架构实战营

微信业务架构图

豪毅

架构实战营

应对PB级数据分析的挑战,领英使用了Apache Pinot加Kafka的数据架构_架构_Kenny Bastani_InfoQ精选文章