写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:442519

评论

发布
暂无评论
发现更多内容

3年Java开发经验从阿里、美团、滴滴面试回来,想和Java程序员谈一谈感悟及面经

Java架构之路

Java 程序员 架构 面试 编程语言

数字人民币究竟是什么

CECBC

数字货币

Appium常用操作之「Toast提示信息获取」

清菡软件测试

阿里大牛八年打造,编程宝典,从初学到编程进阶—深入学习—实战

Java~~~

Java 阿里巴巴 程序员 架构 编程语言

互联网券商系统搭建建议书

软件开发大鱼V15988750073

国际配售 港股交易系统开发 证券交易系统 IPO系统开发 金融平台搭建

一周信创舆情观察(11.9~11.15)

统小信uos

入坑 docsify,一款神奇的文档生成利器!

沉默王二

docsify

大专学历Java开发7年,从年初被裁到四面美团点评成功上岸,闭关七个月,入职那一天我哭了!

Java架构追梦

Java 阿里巴巴 面试 美团 java架构

DataOps系列丨DataOps的组织架构与挑战

DataPipeline数见科技

大数据

实现2nm工艺突破,台积电为何能给“摩尔定律”续命?

脑极体

第九周学习性能优化 3 总结

三板斧

极客大学架构师训练营

32核打赢AMD64核 英特尔Ice Lake为HPC提供强劲性能

E科讯

区块链+供应链,双链融合开启新时代

CECBC

区块链 供应链物流

git使用与原理剖析及其私服搭建

Fox爱分享

git

Maven-技术专题-Setting文件结构解析

码界西柚

消灭微服务的坏味道 之 循环依赖

码猿外

微服务 循环依赖 坏味道

五、一致性哈希算法

Geek_28b526

MySQL 连接为什么挂死了?

华为云开发者联盟

微服务 数据 存储

阿里P8架构师吐血整理的《SpringBoot+Vue全栈开发实战》文档资料

Java架构之路

Java 程序员 架构 面试 编程语言

架构师训练营 1 期 -- 第九周作业

曾彪彪

极客大学架构师训练营

《迅雷链精品课》第六课:主流区块链数据存储分析(一)

迅雷链

区块链

释放数字化活力 高质量建设数字中国

CECBC

数字经济

石、火、水:从OriginOS透视移动系统进化论

脑极体

JVM运行时数据区,你真得好好学一学

Simon郎

JVM Java 分布式

微服务手册:高速查询?除了Redis我们还有另外的选择

互联网应用架构

redis 微服务 springboot Caffeine 高速缓存

【得物技术】浅谈分布式事务中间件Seata

得物技术

开源 分布式事务 中间件 解决方案 seata

架构师训练营 W05 作业

Geek_f06ede

输入法B端市场转化:百度推动产业智能化的新路径

脑极体

DataOps系列丨数据的「资产负债表」与「现状」

DataPipeline数见科技

大数据

DataOps系列丨DataOps理念与设计原则

DataPipeline数见科技

大数据

结合实战和源码来聊聊Java中的SPI机制?

冰河

Java spi 服务发现

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章