【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

百度新一代流式计算系统 DStream3

  • 2019-09-07
  • 本文字数:542 字

    阅读完需:约 2 分钟

百度新一代流式计算系统DStream3

QCon上海2018大会上,程怡讲师做了《百度新一代流式计算系统 DStream3》主题演讲,主要内容如下。


演讲简介


分布式流式计算在百度搜索公司有多年应用,是搜索广告和建库、信息流等上层应用的重要基础设施之一,近年更是对高吞吐场景的时效性、数据准确性和数据流的稳定性提出了更高要求。面对挑战,百度自研了新一代流式计算系统 DStream3,可满足低至 10ms 级别的系统延迟、Exactly-once/At-least-once/At-most-once 三种准确性语义,并经过了大规模工业级应用的验证。该主题以 DStream3 为例,介绍以下内容: 1. 如何设计并实现一个业界领先的流式计算系统 2. 工业级场景下的设计折衷、线上验证与实践经验 。

听众受益

  1. 如果您希望自行研发流式计算系统,该主题将弥补分布式理论与工程实践之间的巨大鸿沟;

  2. 如果您在从事数据应用层的架构或研发,了解流式计算当前的擅长与局限,可以帮助选型和设计;

  3. 如果您是技术控,请与百度流式计算团队一起,共同探讨超大吞吐、超低延迟的流式计算问题吧!


讲师介绍


程怡


百度 资深研发工程师


百度流式计算负责人,资深研发工程师。先后供职于百度商业基础平台部、基础架构部、商务搜索架构部,对大型分布式系统、大数据分析有浓厚兴趣,拥有多项相关专利。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-07 07:441675

评论

发布
暂无评论
发现更多内容

掌握Linux虚拟网络设备:从基础到应用的全面指南

GousterCloud

Linux Kenel 网络设备

Linux虚拟网络设备全景解析:定义、工作模式与实践应用

GousterCloud

Linux Kenel 设备

随易周刊第002期 - 四象

前端之虎陈随易

程序员 前端 Web 周刊 技术周刊

Ascend C 自定义算子 Kernel Launch调用入门

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 企业号2024年4月PK榜 自定义算子开发

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

阿里云大数据AI技术

人工智能 阿里云 AI视频

探索未来产业:新技术、新商业、新趋势

天津汇柏科技有限公司

未来产业

华为云GeminiDB,广告RTA的“登云梯”

华为云开发者联盟

数据库 华为云 华为云开发者联盟 华为云GeminiDB 企业号2024年4月PK榜

文心一言 VS 讯飞星火 VS chatgpt (232)-- 算法导论17.1 3题

福大大架构师每日一题

福大大架构师每日一题

Linux虚拟网络设备:底层原理与性能优化深度解析

GousterCloud

Linux Kenel 设备驱动

虚拟网络设备的网络隔离机制:原理、意义与应用场景深度分析

GousterCloud

Linux Kenel 网卡

虚拟网络设备与网络安全:深入分析与实践应用

GousterCloud

Linux Kenel 虚拟网卡

NineData创始人&CEO叶正盛受邀参加『数据技术嘉年华』的技术大会

NineData

数据库 数据复制 实践 NineData 技术原理

深入了解商品口碑:淘宝评论API助力消费者明智选择

技术冰糖葫芦

API Explorer API 文档 pinduoduo API

沙丘世界,如何抵抗勒索病毒的入侵?

白洞计划

网络安全

XML文档节点导航与选择指南

小万哥

xml 程序人生 编程语言 软件工程 前端开发

虚拟网络设备性能优化

GousterCloud

Linux Kenel 虚拟网卡

阿里云佘俊泉:边缘云场景的探索与机遇

EdgeMaster

异构计算 边缘云 云网融合

透明LED屏幕如何设计效果更好?

Dylan

技术 设计 系统 LED LED显示屏

Linux虚拟网络设备深度解析:使用场景、分类与开发者指南

GousterCloud

Linux Kenel 虚拟网卡

✅基于TTL 解决线程池中 ThreadLocal 线程无法共享的问题

派大星

ThreadLocal Java 面试题 互联网大厂面试

前端代码规范 - 日志打印规范

南城FE

JavaScript 前端开发 代码规范

LangChain Agent:赋予 LLM 行动力的神秘力量

蛋先生DX

#人工智能 LLM #LangChain AI Agent 企业号2024年4月PK榜

虚拟网络设备与Linux网络协议栈

GousterCloud

Linux Kenel

心态崩了,约了半个月,就只有3个面试!

王中阳Go

微服务 并发编程 面试题 面经 大厂面经

5.7打补丁—编译和官方一致的Linux_Generic包

GreatSQL

解密组合监控:优化系统性能的关键策略

观测云

监控

嵌入式会越来越卷吗?

智趣匠

嵌入式 嵌入式软件 嵌入式应用

虚拟网络设备的真正使命:实现有控制的通信

GousterCloud

Linux Kenel

一次对Redis内存调整的过程

麦兜

redis

微服务架构下,如何通过弱依赖原则保障系统高可用?

京东零售技术

Java 架构 后端 企业号 4 月 PK 榜

打造银行核心全栈国产化新模式,第三届数字金融技术创新与应用研讨会成功举办

先锋IT

百度新一代流式计算系统DStream3_QCon_程怡_InfoQ精选文章