2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:442504

评论

发布
暂无评论
发现更多内容

网络安全kali渗透学习 web渗透入门 Kali系统的国内源配置

学神来啦

表单数据高级搜索功能设计

全象云低代码

搜索引擎 前端 低代码 搜索 表单

Hoo虎符研究院|区块链简报 20220117期

区块链前沿News

Hoo虎符 Hoo 虎符研究院 区块链资讯

腾讯自选股如何实现单位小时内完成千万级数据运算

ninetyhe

腾讯 海量数据 分布式,

CPython 性能将提升 5 倍?faster-python 项目 PEP 659 源码级解读

阿里巴巴终端技术

Python 源码 源码分析 CPython

如何处理消息丢失问题?

JavaEdge

1月月更

Android 64位架构适配

百瓶技术

andiod 客户端

3DCAT荣获2021金陀螺“年度XR行业技术创新奖”“年度优秀VR行业应用奖”两项大奖

3DCAT实时渲染

云计算 教育 VR/AR 渲染 渲染器

前额皮质如何影响我们的工作效率?

LigaAI

工作效率 脑科学

redis未授权访问漏洞复现

喀拉峻

redis 黑客 网络安全 安全 信息安全

使用Rainbond打包业务模块,实现业务积木式拼装

北京好雨科技有限公司

APICloud 原生模块、H5模块、多端组件使用教程

YonBuilder低代码开发平台

前端开发 APP开发 APICloud 模块 跨端开发

十大视频场景化应用工具+五大视频领域冠军/顶会算法重磅开源!

百度大脑

架构实战营第 4 期 -- 模块七作业

烈火干柴烛灭田边残月

架构实战营

Python 为什么不设计 do-while 循环结构?

Python猫

Python

Scrum Master如何参与每日Scrum(Daily Scrum)

Bruce Talk

Scrum 敏捷 Agile Coach/Facilitate

架构实战训练营-模块7-作业

温安适

「架构实战营」

深入浅出Apache Pulsar(1):Pulsar vs Kafka

云智慧AIOps社区

kafka 云原生 消息队列 kafka运维 Apache Pulsar 消息系统

使用无参数函数进行命令执行

网络安全学海

黑客 网络安全 信息安全 渗透测试 安全漏洞

低代码实现探索(二十二)如何构建一个可以看的懂的系统

零道云-混合式低代码平台

如何基于知识图谱实体解析技术进行数据优化?

索信达控股

人工智能 AI 知识图谱 数据优化 索信达控股

Go 语言快速入门指南:Go 并发初识

宇宙之一粟

golang 并发 Go 语言 1月月更

【高并发】导致并发编程频繁出问题的“幕后黑手”

冰河

并发编程 多线程 高并发 协程 异步编程

混沌工程之 Linux 网络故障模拟工具TC

zuozewei

Linux 混沌工程 1月月更

聚类算法有哪些?又是如何分类?

郑州埃文科技

数据分析 聚类算法

政法委跨单位重点人员联防联控平台建设,治安防控系统开发

a13823115807

人效将是快消品企业未来发展的最大瓶颈

百度大脑

人工智能

(1-14/14) 首位销售人员

mtfelix

300天创作 2022Y300P

ThinkPHP6和GatewayWorker简单的示例

CRMEB

Kafka 为什么这么快?多的是你不知道的事

码哥字节

kafka 消息队列 1月日更 1月月更

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章