写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:442509

评论

发布
暂无评论
发现更多内容

融云在华为开发者大会分享智能办公平台的鸿蒙化探索实践

融云 RongCloud

国泰君安国际获香港证监会虚拟资产交易牌照,成为首家中资券商

TechubNews

加密 虚拟资产

混合应用开发范式重构:跨端敏捷生态驱动企业降本增效的2025实践路径

xuyinyin

YashanDB数据库的自动化管理与监控算法介绍

数据库砖家

YashanDB数据库监控和诊断工具全解析

数据库砖家

YashanDB数据库结合大数据分析提升企业竞争力

数据库砖家

YashanDB数据库的用户体验:简化数据操作的工具

数据库砖家

YashanDB数据库索引优化策略分享

数据库砖家

YashanDB数据库索引优化技术详解

数据库砖家

AI 技术提高英语口语练习水平

北京木奇移动技术有限公司

AI技术 软件外包公司 AI英语学习

YashanDB数据库的资源分配与优化策略分析

数据库砖家

YashanDB数据库的资源管理与效率提升

数据库砖家

YashanDB数据库设计中的数据一致性保障机制

数据库砖家

NJet密码重置工具

通明湖

nginx 云原生网关 njet

Trae MCP 功能升级!新增百个优质 MCP Server 并支持快捷配置

火山引擎开发者社区

#Trae

YashanDB数据库的用户权限管理及安全配置

数据库砖家

YashanDB数据库的重要特性及其商业价值

数据库砖家

产品路线图:全面拆解产品战略落地的核心工具

敏捷开发

敏捷开发 软件研发 产品路线图

YashanDB数据库索引设计技巧与性能提升方案

数据库砖家

YashanDB数据库索引优化实战技巧

数据库砖家

YashanDB数据库的用户体验与界面设计指南

数据库砖家

YashanDB数据库的源代码分析:深入理解其架构

数据库砖家

YashanDB数据库跨数据中心同步方案研究

数据库砖家

YashanDB数据库负载均衡配置及优化方法

数据库砖家

YashanDB数据库跨数据中心容灾方案实施手册

数据库砖家

TRAE:从代码生成到软件生成的跨越

火山引擎开发者社区

字节跳动

用 Trae 捏了个「数字班主任」,这位老师让师生沟通更高效

火山引擎开发者社区

#Trae

字节跳动技术副总裁洪定坤:TRAE 想做 AI Development

火山引擎开发者社区

字节跳动

YashanDB数据库的治理与合规性分析

数据库砖家

YashanDB数据库索引优化:提升查询性能的核心技术

数据库砖家

YashanDB数据库索引优化方法,提升查询性能

数据库砖家

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章