写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:442498

评论

发布
暂无评论
发现更多内容

Vue进阶(幺幺幺):实现浏览器全屏

No Silver Bullet

Vue 9月日更

数据湖特点

奔向架构师

数据湖 9月日更

学生管理系统详细设计

缘分呐

设计 学生管理系统架构

从特岗教师的需求金字塔,重新理解乡村、教育和科技

脑极体

架构实战训练营|作业|模块3

Frode

架构实战

hutool如何实现数据导出到Excel

卢卡多多

hutool 数据导出 9月日更

使用PaddleNLP打造精准文献检索系统,看万方系统升级放大招!

百度大脑

人工智能 nlp 飞桨

低代码在这些方面充满优势

低代码小观

程序员 低代码 企业管理 开发平台 低代码开发

百分点认知智能实验室:智能校对的技术原理和实践

百分点科技技术团队

推荐一个Mac端的截图工具

IT蜗壳-Tango

9月日更

微前端拆分实践

Teobler

大前端 服务拆分

Flutter 多引擎支持 PlatformView 以及线程合并解决方案

字节跳动终端技术

字节跳动 大前端 跨平台 火山引擎

影像篡改与识别(三):人工智能时代

腾讯安全云鼎实验室

AI 影像识别

关于技术团队搭建&管理的一些思考

LigaAI

团队管理

爬虫初探: 重定向处理与新闻明细页解析

程序员架构进阶

Python 实战问题 9月日更 spider

如何利用极狐GitLab CI/CD 完成 Jenkins 的迁移

极狐GitLab

CI/CD #GitLab

区块链将帮助监管科技突破壁垒,刺激金融市场的监管活力

CECBC

链路压测中如何记录每一个耗时的请求

FunTester

性能测试 接口测试 测试框架 FunTester 链路压测

挑战进阶教程,和MindSpore更近一步!

Geek_6cdeb6

mindspore

Python——Map-Reduce

在即

9月日更

MySQL事务学习笔记

风翱

MySQL 9月日更

【直播预告】从校园学习到职场实践——淘系技术开学季特别分享系列

阿里巴巴大淘宝技术

程序员 应聘tips

算法裁员,释放出了哪些“恶之花”?

脑极体

被腾讯问蒙的各种Redis复杂问题

hanaper

☕【JVM 技术指南】「理论总结笔记」Java 虚拟机垃圾回收认知和调优的"思南(司南)"【下部】

码界西柚

ZGC JVM G1垃圾回收器 9月日更

【架构实战营作业】模块三:学生管理系统架构设计文档

聆息

跟着我乔鲁诺学面试(大误)

姬翔

9月日更

多租户的共享与隔离

金蝶天燕云

云计算 多租户

GaussDB(for MySQL)如何快速创建索引?华为云数据库资深架构师为您揭秘

华为云数据库小助手

华为云 GaussDB 华为云数据库 GaussDB(for MySQL)

【Vuex 源码学习】第二篇 - vuex 插件安装 install 逻辑

Brave

源码 vuex 9月日更

内网渗透攻击技术的利用

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 安全漏洞

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章