《HarmonyOS:领航者说》技术公开课来啦,大咖分享、实战解码,不容错过 了解详情
写点什么

应对 PB 级数据分析的挑战,领英使用了 Apache Pinot 加 Kafka 的数据架构

  • 2020-07-13
  • 本文字数:1085 字

    阅读完需:约 4 分钟

应对PB级数据分析的挑战,领英使用了Apache Pinot加Kafka的数据架构

本文最初发布于 Apache Pinot 开发博客,由 InfoQ 中文站翻译并分享。


曾几何时,一家名为领英的互联网公司面临着无法实时分析 PB 级联网数据的挑战。由于是第一次出现这样的问题,所以只有一个解决办法。该公司组建了一支有才华的工程师团队,并指派他们为这项工作开发合适的工具。如今,这个工具被称为 Apache Pinot。


曾几何时,一家名为领英的互联网公司面临着无法实时分析 PB 级联网数据的挑战。由于是第一次出现这样的问题,所以只有一个解决办法。该公司组建了一支有才华的工程师团队,并指派他们为这项工作开发合适的工具。如今,这个工具被称为Apache Pinot


Pinot 开始处理这个世界上最大的在线社交网络之一的传奇创新的遗留问题。在过去的几十年里,这家硅谷的科技巨头帮助了世界各地数以亿计的人找到了正确的职业生涯发展之路。如今,作为一家微软公司,领英一直在保证同事们之间的联系,伴随他们经历成功与失败,以及开启更好的职业生涯。



乍听起来可能有点奇怪,一个名为“谁看过我的资料”的功能会催生出一些最流行的开源工具,而这些工具正在改变公司构建和操作软件的方式。



Pinot 是 Apache 最新孵化的项目,它追随了KafkaHelixSamza等巨头的脚步,其中,Kafka正迅速成为云原生应用的支柱。如果软件确实正在吞噬世界,那么 Apache Kafka 可能要负责吞噬私有数据中心。


在 Kafka 登上行业标准消息代理的舞台之前,有硬软件问题的大公司除了运行自己的硬件之外几乎别无选择。但现如今,在 Kafka 这样的开源工具的帮助下,开发者可以在数据中心的虚拟机和云原生应用之间架起一座桥梁


Kafka 的秘诀是什么?它将从许多不同的相互分离的系统收集的事件流转换成可以像数据库一样查询的主题,而不必真得转换成数据库。


尽管作为一种“可移植数据仓库”,Kafka 代表了一项重大的进步,但大多数应用程序开发人员仍在努力将事件流转换为复杂的查询模型,而不用去了解 Kafka 流的流入流出。


现在,Pinot的目标更进一步,它在 Kafka 之上为开发者提供了一个他们熟悉的数据库,将事件流转换为可查询的数据模型。最终的结果是,在构建和操作他们的应用程序时,开发人员就不必再考虑如何获得 Kafka 的所有好处,而只需要关注如何编写对用户最有价值的代码。


由于 Kafka 既是消息代理又是事务日志,所以它也经常被用作数据库,这就给开发人员增加了负担,他们需要维护主题中事件流的数据投影。


Pinot 提供的是一种工具,使开发者无需考虑如何使用 Kafka 主题来构建和维护来自事件流的可查询投影。事实证明,考虑事件流只会降低开发过程的速度,而且代价是数据可移植性。


查看英文原文:Moving developers up the stack with Apache Pinot


2020-07-13 17:012598

评论

发布
暂无评论
发现更多内容

MindIE BenchMark

zjun

人工智能

18款电子协议签署系统盘点(含免费)

易成研发中心

电子合同 电子合同软件 电子合同系统

比较 18 款企业常用客户信息管理系统

易成研发中心

客户管理 客户管理系统 客户登记管理工具

Steinberg VST Live Pro for mac (终极现场演出系统) v2.2.0激活版

小玖_苹果Mac软件

BOE(京东方)重磅发布ADS Pro新品 携手创维打造比OLED更好的Mini LED电视新品A5F Pro

爱极客侠

『Python底层原理』--Python属性的工作原理

不在线第一只蜗牛

Python

YashanDB身份认证

YashanDB

数据库 yashandb

开课倒计时 | 3月1-2日,DeepSeek时代下的可观测性(Observability)认证培训

雅菲奥朗

可观测性 Observability 可观测性认证 DeepSeek

YashanDB自动选主

YashanDB

数据库 yashandb

YashanDB访问控制

YashanDB

数据库 yashandb

ISIVISI SLURP for Mac(数字合成器) v1.1.4激活版

小玖_苹果Mac软件

深思考发布鸿蒙系统TinyDongni&deepseek超小端侧多模态大模型

科技热闻

YashanDB加密方法

YashanDB

数据库 yashandb

Arturia Analog Lab V Pro for Mac(模拟实验室) v5.11.0直装激活版

小玖_苹果Mac软件

掌握这个API,让你的网页展示效果提升10倍

Immerse

新机8999元起售,OPPO“叫板”华为三星?

趣解商业

apple OPPO 数码

大型复杂项目管理怎么结合传统与敏捷

易成研发中心

Native Instruments Massive X for Mac(原始声音合成器) v1.4.6激活版

小玖_苹果Mac软件

星环科技推出DeepSeek全场景解决方案:即开即用、企业级部署、端侧智能三位一体

星环科技

YashanDB用户管理

YashanDB

数据库 yashandb

GO 进行编译时插桩,实现零码注入

观测云

Go

议题征集|“纵深防护·极智运营”第十期「度安讲」 技术沙龙议题报名!

百度安全

16款知识库管理软大对比:2025年最新整理

易成研发中心

知识库管理

小红书湖仓架构的跃迁之路

StarRocks

YOLOv5 的量化及部署 - RGB 专题

地平线开发者

自动驾驶 算法 地平线征程6

2025年,前端攻城狮要怎么整活?

伤感汤姆布利柏

Kazrog Avalon VT-747SP for Mac(模拟动态处理器) v1.0.5激活版

小玖_苹果Mac软件

应对PB级数据分析的挑战,领英使用了Apache Pinot加Kafka的数据架构_架构_Kenny Bastani_InfoQ精选文章