AICon 上海站|日程100%上线,解锁Al未来! 了解详情
写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:441883

评论

发布
暂无评论
发现更多内容

mysql 检索分享上篇

new life

Go Modules 常见使用陷阱

Rayjun

go modules Go 语言

一篇文章让你彻彻底底理解 I/O 多路复用

Java 程序员 架构 面试 计算机

Redis - AOF

insight

redis 3月日更

LeetCode链表专题01: 反转链表

小马哥

Java 链表 LeetCode 数据结构与算法 七日更

华为 IS-IS防环、泄露

艺博东

网络

软件工程笔记:学习方法

风翱

软件工程 笔记 3月日更

那些不得不知的缓存知识

Java 缓存 程序员 面试

小白也能看懂的锁升级过程和锁状态

牧小农

乐观锁 悲观锁 锁升级

(Day31) 变革流程的流程

mtfelix

28天写作 bewriting

10年后端开发程序员精心整理「C/C++ Linux服务器」 成长路线(附思维导图)

Linux服务器开发

Linux 后端 C/C++ Linux服务器开发 Linux后台开发

Wireshark数据包分析学习笔记Day24

穿过生命散发芬芳

Wireshark 数据包分析 3月日更

极客时间·产品训练营·第八周作业

二大爷

极客大学产品经理训练营

面试三轮我倒在了一道sql题上——sql性能优化

牧小农

MySQL 数据库 面试 索引 索引优化

畅玩国服LOL?MacBook M1 Windows虚拟机体验

Zhendong

arm MacBook m1

初识Golang之条件语句

Kylin

基础语法 3月日更 Go 语言

蚂蚁开源增强版 SpringBoot,都有高级特性?

Java小咖秀

开源 springboot 蚂蚁金服 SOFA

Redis - RDB

insight

redis 3月日更

Python OpenCV 图像标记,取经之旅第 12 天

梦想橡皮擦

3月日更

Spring Boot Feign 使用与源码学习

Yangjing

Feign Spring boot Feign 源码解读

隐式等待、显示等待和强制等待?

Geek_6370d5

架构师知识笔记2

felix徐

Go语言的初体验

Phoenix

Go 语言

go-admin开源项目分析-1[安装、配置、启动]

happlyfox

学习 3月日更 Go 语言 go-admin

程序思维与架构思维

Simon

架构实战营

火爆全网!2021年最新发布Java面试清单(九大技术点)

比伯

Java 程序员 架构 程序人生 架构师

Redis 内存碎片清理

escray

redis 学习 极客时间 3月日更 Redis 核心技术与实战

设计与思考,关于资源和生命周期(三)

程序员架构进阶

设计模式 架构设计 28天写作 3月日更 池化技术

阿里二面,面试官居然把 TCP 三次握手问的这么细致

鞋子特大号

面试 TCP 三次握手 四次挥手

一线大厂软件测试流程(思维导图)详解

程序员阿沐

编程 程序员 软件测试 测试工程师 测试流程

看完这篇,再也不怕面试官问我线程池了

牧小农

多线程 高并发 线程池 阻塞队列 拒绝策略

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章