写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:441935

评论

发布
暂无评论
发现更多内容

CSA GCR大会正式发布全球首个云渗透测试认证专家课程,腾讯安全获评“特别贡献单位”

腾讯安全云鼎实验室

云安全

TikTok视频怎么无水印保存到相册?这有啥难的,跟我学轻松变大神~

frank

TikTok

图数据库 NebulaGraph 的 Java 数据解析实践与指导

NebulaGraph

Java 数据库

免费,无需魔法,媲美ChatGPT4

石云升

AI AIGC ChatGPT 三周年连更

数据生产压力突增23倍,平台“可观测性”如何帮这家制造集团排忧解难? | 奇点云技术分享

奇点云

数据中台 可观测性 制造业 奇点云

【Python 实战】Python 采集二手车数据——超详细讲解

BROKEN

三周年连更

Groovy as关键字性能测试

FunTester

测试用例该如何编写?

测吧(北京)科技有限公司

测试

CloudQuery 社区版回归直播即将开启

BinTools图尔兹

直播 社区版

【JVM故障问题排查心得】「GC内存诊断」一文教你如何打印及分析JVM的GC日志(实战分析上篇)

码界西柚

JVM GC 4月日更 GC日志

Linux内核中的C语言宏:常见用法和最佳实践

Linux内核拾遗

Linux C语言

selenium源码通读·8 |webdriver/common/keys.py-Keys类分析

Python 自动化测试 测试框架 源码剖析 selenium

ChatGPT:改变未来沟通方式的人工智能语言模型

wisonzhu

ShareSDK Android SDK API

MobTech袤博科技

《嗨,城市猎人》首播,揭秘猎头行业职场真实状态

极客天地

OMG!这个Ins快拍保存到相册的办法绝了!还在犹豫什么,都给我冲!

frank

Instagram

如何使用 Linux find 命令查找文件?

wljslmz

三周年连更

一文初探 Go reflect 反射包

陈明勇

Go golang 反射 三周年连更

3DCAT实时云渲染助力广府庙会元宇宙焕新亮相,开启线上奇趣之旅!

3DCAT实时渲染

元宇宙 实时渲染云 3D实时云渲染

浪潮海岳低代码平台inBuilder开源社区版正式发布

inBuilder低代码平台

开源 低代码平台

国家工信安全中心权威认证!

百度开发者中心

工业互联网 百度飞桨 文心一言

devops如何使用chatgpt提高工作效率

wisonzhu

DevOps

易观千帆 | 2023年3月银行APP月活跃用户规模盘点

易观分析

金融 经济 手机银行

华为,找寻科技秋天里的春光

脑极体

通信 算力

软件测试/测试开发丨接口测试配置的数据驱动

测试人

软件测试 自动化测试 测试开发

玩转AIGC,5分钟 Serverless 部署 Stable Diffustion 服务

Serverless Devs

Serverless AIGC Stable Diffustion

算法题每日一练---组合总和

知心宝贝

数据结构 算法 前端 后端 三周年连更

火爆的低代码开发具有哪些技术特点?

力软低代码开发平台

Vue3 内置组件

程序员海军

Vue 3 三周年连更

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章