写点什么

Uber 搭建基于 Kafka 的跨数据中心拷贝平台

2019 年 9 月 07 日

Uber搭建基于Kafka的跨数据中心拷贝平台

ArchSummit北京2018大会上,徐宏亮讲师做了《Uber 搭建基于 Kafka 的跨数据中心拷贝平台》主题演讲,主要内容如下。


演讲简介


Uber 拥有 20+ Kafka 集群来处理系统和 App 的数据,其中一些数据需要跨数据中心拷贝。拷贝每天需要处理 PB 级的数据量,并且要保证拷贝中不会丢失数据,这带来了性能和运维各方面的挑战。在实现跨数据中心拷贝的过程中,Uber 经历了从 MirrorMaker 到 uReplicator 再到 Federated uReplicator 的迁移。


在这个演讲中,我将分享 Uber 为什么要开发 uReplicator 和 Federated uReplicator,uReplicator/Federated uReplicator 的架构和技术细节,在开发过程中遇到的问题并且如何解决的。


演讲提纲


  1. Uber 的跨数据中心 replication 用例

  2. 为什么 Uber 要开发 uReplicator

  3. uReplicator 架构

  4. Federated uReplicator 架构


听众受益点


  1. Uber 在用 MirrorMaker 时遇到的问题,并且如何用 uReplicator 解决;

  2. 了解 uReplicator 的架构及部署;

  3. 了解在开发 uReplicator 中遇到的跨数据中心 replication 的问题及解决方案。


讲师介绍


徐宏亮


Uber Senior Software Engineer


毕业于清华大学和哥伦比亚大学。现就职于 Uber,专注于解决基于 Kafka 的基础数据平台的分布式,高并发和高可用性问题。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019 年 9 月 07 日 08:041954

评论

发布
暂无评论
发现更多内容

要求输出事故报告,线上日志文件却不见了!!

陈皮的JavaLib

Java 运维 日志框架

区块链产品宗谱链,一款记录族谱的APP

13828808769

区块链+ #区块链#

智慧公安一键扫描二维码报警定位系统

13828808769

智慧交通

MindSpore实践:对篮球运动员目标的检测

华为云开发者社区

深度学习 mindspore 图像检测 yolo 篮球运动

Python OpenCV 图像缩放 cv2.resize 方法

梦想橡皮擦

3月日更

35岁了,还不知道,TCP为什么会粘包?【硬核图解】

9號

TCP 网络 协议栈 TCP/IP 网络层

15|图形设计技巧

青城

智能化软件开发微访谈·第十六期:低代码/无代码开发

吴盛

低代码 快速开发 sql 无代码开发

基于深度学习的端到端通信系统模型

华为云开发者社区

深度学习 端到端 编码器 通信系统 信道模型

智能安防监控系统的发展与应用

anyRTC开发者

android 监控 音视频 WebRTC RTC

聊一聊 Vue 3 双向绑定是如何工作的

阿宝哥

Vue Vue 3

聊聊LiteOS中生成的Bin、HEX、ELF三种文件格式

华为云开发者社区

编译器 LiteOS Bin HEX ELF

降维打击:数据可视化降本增效,传统制造业价值即将扭转!

一只数据鲸鱼

物联网 数据可视化 工业物联网 数字化运维 3D

金三银四了!必知必会,HTTP面试题!漫画图解超硬核!

9號

面试 网络编程 网络 HTTP 网络层

为什么很多工程师不了解Serverless

云原生

Serverless 云原生 Knative

17张图带你搞懂ZooKeeper一致性原理!

Java小咖秀

程序员 TCP udp 传输协议

Python基础之:Python中的IO

程序那些事

Python 人工智能 数据分析 程序那些事

数字化进入深水区

鲸品堂

方法论 数字化 企业数字化转型

关于企业容器安全问题的思考

阿里巴巴中间件

关于热力图数据上报清洗,我们做了一个有意思的尝试

阿里巴巴中间件

设计与思考,关于资源和生命周期(二)

程序员架构进阶

设计实践 生命周期 28天写作 3月日更 池化技术

初识Golang之函数及方法的多返回值

Kylin

3月日更

云端数智新引擎,腾讯云原生数据湖计算重磅发布

小小的一朵云

大数据 数据湖

单表操作

在即

28天写作 28天挑战 3月日更

消费细分时代来临,户外广告该如何升级

󠀛Ferry

七日更 3月日更

风暴眼中的“以太坊”堪比堵车的北京东三环,NA公链(Nirvana)NAC公链对垒胜算几何?

区块链第一资讯

区块链

区块链电子合同签署平台,助力企业数字化转型

13828808769

区块链+ #区块链#

大“食”代来临,后厨重地可以更“聪明”点儿

IoT云工坊

人工智能 物联网 PaaS 智慧厨房 智慧餐饮

JSP中Vue.js的使用受限

空城机

vue.js 前端 前端开发 jsp

另类数据:投资中的怪咖

博文视点Broadview

这个 29.7 K 的剪贴板 JS 库有点东西!

阿宝哥

JavaScript 开源项目 源码解析

边缘计算隔离技术的挑战与实践

边缘计算隔离技术的挑战与实践

Uber搭建基于Kafka的跨数据中心拷贝平台-InfoQ