【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

物联网 (IOT) 时代的流处理和消息系统

  • 2016-06-26
  • 本文字数:1409 字

    阅读完需:约 5 分钟

本篇是 O’Reilly Data Show 的一个采访实录,大数据公司 MapR 联合创始人、Uber 首席架构师 M.C. Srivas 讲述 IOT 时代的流处理和消息系统 。主持人和 Srivas 讨论了他在数据管理和开发分布式系统的经验。在 Srivas 的职业生涯中,他负责的友分布式系统、数据库、查询引擎、消息系统等。

Srivas 指出,上述系统广泛的部署在企业中,这些企业要求系统具有安全、容灾和支持多数据中心的功能。主持人和 Srivas 聊了很多主题,这里重点聚焦在实时系统和应用上。下面是谈话的一些亮点:

运行在多数据中心的应用和系统

广告服务需要在 70 到 80 毫秒限制内返回给广告商。当你点击一个页面,广告栏、侧边栏和底部的广告不得不在 80 毫秒返回结果。客户的数据中心遍布世界各地,日本、中国、新加坡、香港、印度、俄国、德国等。他们把各数据中心的数据发送到主数据中心来进行整个点击数据的处理,然后返回给用户。

他们需要一种清晰的方法让这些点击数据返回主数据中心,主数据中心可能运行在美国、日本或者德国,或者其他地方。一般情况下会在每个地方通过完全独立的 Kafka 集群实现,但有时会出现跨集群生产者和消费者不协调。比如,在日本数据中心有一个 Kafka 集群在运行,但在香港的 Kafka 集群不能进行故障切换。因为香港的 Kafka 集群是完全独立的,它并不能监测到日本数据中心的什么数据被消费了和什么数据产生了。如果消费者在日本的 Kafka 集群消费数据并迁移到香港的 Kafka 集群,他们会变成脏数据。许多客户在咨询这方面问题的解决方法。

数据源现在不是发送到几个数据中心,而是百万个数据中心。想象一下自动驾驶汽车,每个自动驾驶汽车好比一个数据中心,它生成很多数据。再看一下飞机,它也是一个大的数据中心,这些都是我们需要为规模化 IOT 所需要做的。

物联网时代的流处理和消息系统

一个文件系统是庞大的,你写入文件,读取文件,文件系统是怎样获取到你感兴趣的文件?如果我查看一个流处理系统,我正在查询的是一个完全实时的。如果一个发布者发布了一些数据,所有在相同数据中心的相关监听者需要在五毫秒钟获取通知。如果我们的数据中心跨越半个地球,你在日本数据中心发布数据,那南非或者其他地方的数据中心要在一秒之后才能获取到信息。

我们学习 Kafka、Tibco、RabbitMQ 等技术,也学习了很多监听数据的知识,来解决流处理和消息系统的问题。这是物联网 IOT 时代所需要的。

世界范围内最大的生物识别系统

我们完成生物识别系统 Aadhaar ,它能关联你的银行账户、医院就诊以及其他所有的数据记录——比如,学校入学、航空安检、护照等。现在大约有十亿人已具有这种生物识别,还有 300 万即将完成。如果你想从 ATM 机中取钱,你只要刷指纹即可取钱,而不需要一张银行卡。

Strata San Jose 2016 session: “ Real-time Hadoop: What an ideal messaging system should bring to Hadoop ” (featuring Ted Dunning of MapR)
Strata San Jose 2016 session: “ When one data center is not enough: Building large-scale stream infrastructure across multiple data centers with Apache Kafka
Architecting the World’s Largest Biometric Identity System
Srivas was on a panel on Stream Processing Systems that I moderated in early January .

译者介绍

侠天,专注于大数据、机器学习和数学相关的内容,并有个人公众号:bigdata_ny 分享相关技术文章。

查看英文原文: Stream processing and messaging systems for the IoT age

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2016-06-26 17:004653
用户头像

发布了 43 篇内容, 共 27.6 次阅读, 收获喜欢 7 次。

关注

评论

发布
暂无评论
发现更多内容

今年我读了四个开源项目的源码,来分享下心得

yes

源码

全网最强的权限系统设计攻略:京东北极星商业系统权限管控实践

学Java关注我

Java 编程 程序员 架构 技术宅

《专访彩食鲜CTO乔新亮:体系的重要性》(采访提纲)

花花

调查采访能力考核

Ansible 配置

耳东@Erdong

4月日更

架构实战营 模块2作业

CR

区块链电子证据的司法应用现状与展望

CECBC

python内置数据结构list、set、dict、tuple(一)

若尘

List 数据结构 set 字典 Python编程

浅谈Javascript中的forEach和map之间的区别

devpoint

遍历 foreach map reduce

Spring Boot 2.0 实现优雅停机

U2647

Spring Boot 4月日更

HBase HA 分布式部署

Fong

大数据 运维 HBase hadoop3

如何做好前馈管理?

石云升

28天写作 职场经验 管理经验 4月日更

不忘初心,砥砺前行|暨InfoQ写作平台一周年

程序员架构进阶

28天写作 4月日更 1 周年盛典 我和写作平台的故事 InfoQ 写作平台 1 周年

为什么 Serverless 将推动边缘计算的革命

公众号:云原生Serverless

Serverless 边缘计算

专访声网首席资深iOS研发工程师龚宇华:从自学计算机到高级架构师

黑马腾云

专访

重读《重构2》- 以对象取代基本类型

顿晓

重构 4月日更

Properties类使用需要注意的坑

风翱

properties 4月日更

没有自信的人,才会在意别人的评价

小天同学

心理 日常思考 个人感悟 4月日更 自信

【采访融云CTO杨攀:2021如何让融云迈向更高舞台】(采访)

洛神灬殇

融云 杨攀

分库分表笔记

luojiahu

分库分表

专访吴翰清 || 如何用网络安全保障个人隐私

Bob

网络安全 个人隐私 调查采访能力考核

用户故事是垂直的切片(译)

Bruce Talk

敏捷 译文 Agile User Story

翻译:《实用的Python编程》TheEnd

codists

Python

禁止算法识别性别,能消解歧视吗?

脑极体

Golang 并发

escray

学习 极客时间 Go 语言 4月日更

用户故事拆分招数全景图(译)

Bruce Talk

敏捷 译文 Agile User Story

白皮书:区块链将成隐私计算产品必选项,提供三方面助力

CECBC

区块链

联盟链技术

360技术

《采访阿里“守护神”吴翰清:安全攻防-采访提纲》

Geek_6370d5

如何从零开始学Python:(4)如何处理列表数据?

广之巅

Python 4月日更

炫彩无界,性能怪兽,M1 扛鼎未来 —— 2021 年 Apple 春季新品发布会全记录

清秋

产品 苹果 硬件 新闻

实体经济与数字经济加速融合 中国经济新动能快速成长

CECBC

数字经济

物联网(IOT)时代的流处理和消息系统_语言 & 开发_Ben Lorica_InfoQ精选文章