【QCon】精华内容上线92%,全面覆盖“人工智能+”的典型案例!>>> 了解详情
写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:441655

评论

发布
暂无评论
发现更多内容

说说规则引擎

张老蔫

28天写作

IO 模型知多少 | 理论篇

圣杰

io

Go1.16 发布

Rayjun

Go 语言

Nginx零成本、易操作实现网站视频加速

运维研习社

nginx 流媒体 网站优化

Dart 后台开发 Aqueduct 插入数据 获取数据API

人生如梦

flutter dart

【STM32】CubeMX+HAL 输出PWM

AXYZdong

硬件 stm32 2月春节不断更

MySQL 批量修改所有表字段字符集及排序规则

运维研习社

MySQ

管理笔记 [9]:组织与督导,管理者的两个宝

L3C老司机

28天写作

抓包带你详解TCP的11种状态

运维研习社

三次握手 四次挥手 TCP/IP 抓包

Flutter安卓项目第一次启动失败解决方案

人生如梦

flutter

面试官一上来就问我Chrome底层原理和HTTP协议(万字长文)

我是哪吒

大前端 后端 chorme 28天写作 2月春节不断更

做出赋能其他人的产品是技术牛人最好的证明

刘华Kenneth

敏捷 平台

关于Linux系统中Message中的Session日志详解

运维研习社

Centos 7

2021年目标,我打算这样去实现

谙忆

关于智商测试的一点闲话 Day1

道伟

科普 28天写作

Dart 后台开发 Aqueduct集成Swagger客户端

人生如梦

flutter dart

Nginx如何监控各server的流量

运维研习社

nginx Prometheus zabbix upstream

如何解决Nginx实现动静分离或反向代理时资源路径不匹配

运维研习社

nginx 反向代理 动静分离

实例详解Linux下ulimit每个参数

运维研习社

Linux ulimit linux系统资源管理 open file

创业公司人力资源体系建设的几点思考

一笑

人力资源 28天写作

你好,2021~

数据社

程序员 2021年展望

心理学与游戏之现学现卖系列

Justin

心理学 28天写作 游戏设计

2021 Flutter从零开始之全栈开发,后台到在线教育APP上线。

人生如梦

flutter dart

Dart 后台开发 Aqueduct @Column标记

人生如梦

Let's Encrypt签发工具CertBot-auto不再维护

运维研习社

Nginx加密套件配置不当,造成SSL无法建立连接

运维研习社

nginx zabbix SSL证书 证书监控

Jenkins通过OpenSSH实现Windows下的CI/CD

运维研习社

jenkins CI/CD Windows Server 2012 R2

一文搞懂Linux下Ulimit资源限制

运维研习社

Linux linux命令 ulimit

牛启新春|优质文章人气大挑战

InfoQ写作社区官方

热门活动

Dart 后台开发 Aqueduct ORM初始化数据库

人生如梦

为什么做这样一个产品之容量评估篇

数列科技杨德华

28天写作

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章