写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:442496

评论

发布
暂无评论
发现更多内容

阿里云在应用扩缩容下遇到的挑战与选型思考

阿里巴巴云原生

阿里云 Kubernetes 容器 云原生

anyRTC 11月SDK更新

anyRTC开发者

flutter uni-app WebRTC RTC sdk

消防物联网,为逆行英雄守住第一道生命线

华为云开发者联盟

物联网 控制 消防

一个神奇的bug:OOM?优雅终止线程?系统内存占用较高?

华为云开发者联盟

sql jdk OOM

Jenkins使用ansible时出现!unreachable错误

Griffenliu

1. 揭秘Spring类型转换 - 框架设计的基石

YourBatman

Spring Framework 类型转换 Converter

【经验分享】打破CMDB认知误区,掌握建设关键!

嘉为蓝鲸

运维 运维自动化 数据可视化 CMDB 配置信息

面试官问我:Object o = new Object() 占用了多少个字节?

moon聊技术

JVM Java虚拟机 JVM虚拟机原理

架构师训练营第一期-第十周学习总结

卖猪肉的大叔

极客大学架构师训练营

京东11.11大促背后,那些系统架构经历了些什么?

京东科技开发者

数据库 云计算 云服务

区块链系统面临哪些风险以及有哪些防范措施

CECBC

区块链

金融科技带来套利?专家认为监管应关注平台垄断、权力滥用等问题

CECBC

金融科技

架构师训练营第一期-第十周课后作业

卖猪肉的大叔

极客大学架构师训练营

阿里技术专家熬夜一个月肛出内部“微服务学习笔记”,太完美了

小Q

Java 学习 编程 面试 微服务

盘点c++几种常见的设计模式及具体实现

linux大本营

c++ Linux 后台开发

架构师训练营 - 第 10 周课后作业(1 期)

Pudding

架构师训练营 - 第 11 周课后作业(1 期)

Pudding

划重点!DWS开发的五大要点

华为云开发者联盟

数据库 sql DWS

shell脚本的使用该熟练起来了,你说呢?(篇二)

良知犹存

Shell

完了!这57道面试题(美团、BAT、携程),我咋一个都不会?

比伯

Java 程序员 架构 面试 计算机

软件架构指南

码语者

软件架构

优秀商业可视化大屏(BI)设计演示

Marilyn

UI 商业智能

LeetCode题解:455. 分发饼干,贪心for循环,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

【Linux开发】编写属于你的第一个Linux内核模块

程序员小灰

c++ Linux 后台开发 架构师 服务器开发

架构训练营 - 第10周课后作业 - 学习总结

Pudding

40 张图带你搞懂 TCP 和 UDP

编程 程序员 大前端 后端 网络

小白也能看懂!教你如何快速搭建实用的爬虫管理平台

华为云开发者联盟

Python Docker jenkins

京东成立探索研究院,打造产业数智化首个源头性科技高地; AI 论文:让机器像人类一样感知三维真实世界

京东科技开发者

人工智能 云计算

基于区块链的区域股权市场创新试点

CECBC

区块链

写在日更之前,持续书写,见证文字的力量

boshi

随笔 随笔杂谈

云上看警博会黑科技,得益于华为云打造的“云之盾”

脑极体

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章