写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:442095

评论

发布
暂无评论
发现更多内容

产品经理第三周作业

朱琴

第三周作业-相关方分析

Au revoir

作业 - 第二章 产品思维和产品意识 (二)

hao hao

产品经理训练营第三周作业 - 利益相关方(二)

Denny-xi

产品经理 产品经理训练营

🍉 别再恐惧 IP 协议(万字长文 | 多图预警)

飞天小牛肉

面试 计算机网络 IP TCP/IP 2月春节不断更

今日姑苏佳景,俨然数字园林

脑极体

驱动力读书笔记之二

张老蔫

28天写作

一带一路上的中国品牌!AWS 助力中国新能源车企走向世界!

亚马逊云科技 (Amazon Web Services)

站出来打造真正开源的 Elasticsearch

亚马逊云科技 (Amazon Web Services)

速成算法笔记,Github上已收获近60K+star!力压LeetCode只为面试

程序员 面试 算法

集群迁移自由来啦!4步将Rancher迁移至任意K8S发行版

Rancher

学计算机的都是傻子?《打工人的点点思考》

谙忆

作业:游戏的利益相关者

嫉妒的耗子

《期权合同》常见的一个大坑,99%中招 | 视频号28天(26)

赵新龙

28天写作

产品训练营第三周作业-利益相关者关注的问题

jpcr987i

话题讨论 | 工作之外的时间怎样分配

程序员架构进阶

时间分配 自我提升 话题讨论 2月春节不断更

极客时间产品经理训练营第 3 次作业

待注册

极客大学产品经理训练营

第三周作业

Geek_72d5ab

产品经理训练营 - 第三次作业

Jophie

产品经理训练营

给予你关注产品的利益相关者,想想他们的问题,自己设定一些前提,做个简单的排序。

戎帅

K8S原生存储持续进化,Longhorn 1.1迎来ARM支持

Rancher

架构师训练营第五周作业 - 学习总结

阿德儿

利益相关者的问题

沈弋

产品训练营 第三周作业

万顷湖天碧

产品训练营

产品手记--2

曦语

Elastic开源协议修改限制用户,星环科技自研New Search青出于蓝

星环科技

产品训练营·第三周作业

产品经理训练营

大数据两万年

大伟

大数据 GFS

5G专网是个大西瓜(一):价值之问

脑极体

产品经理训练营 Week3 作业

Mai

入网指南:一文读懂你身边的网络

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章