写点什么

Uber搭建基于Kafka的跨数据中心拷贝平台

2019 年 9 月 07 日

Uber搭建基于Kafka的跨数据中心拷贝平台

ArchSummit北京2018大会上,徐宏亮讲师做了《Uber 搭建基于 Kafka 的跨数据中心拷贝平台》主题演讲,主要内容如下。


演讲简介


Uber 拥有 20+ Kafka 集群来处理系统和 App 的数据,其中一些数据需要跨数据中心拷贝。拷贝每天需要处理 PB 级的数据量,并且要保证拷贝中不会丢失数据,这带来了性能和运维各方面的挑战。在实现跨数据中心拷贝的过程中,Uber 经历了从 MirrorMaker 到 uReplicator 再到 Federated uReplicator 的迁移。


在这个演讲中,我将分享 Uber 为什么要开发 uReplicator 和 Federated uReplicator,uReplicator/Federated uReplicator 的架构和技术细节,在开发过程中遇到的问题并且如何解决的。


演讲提纲


  1. Uber 的跨数据中心 replication 用例

  2. 为什么 Uber 要开发 uReplicator

  3. uReplicator 架构

  4. Federated uReplicator架构


听众受益点


  1. Uber 在用 MirrorMaker 时遇到的问题,并且如何用 uReplicator 解决;

  2. 了解 uReplicator 的架构及部署;

  3. 了解在开发 uReplicator 中遇到的跨数据中心 replication 的问题及解决方案。


讲师介绍


徐宏亮


Uber Senior Software Engineer


毕业于清华大学和哥伦比亚大学。现就职于 Uber,专注于解决基于 Kafka 的基础数据平台的分布式,高并发和高可用性问题。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019 年 9 月 07 日 08:041830

评论

发布
暂无评论
发现更多内容

我用 Python 找出了删除我微信的所有人并将他们自动化删除了

Python小二

Python 微信

架构师训练营第 8 周作业

netspecial

极客大学架构师训练营

第四周作业

Jack

家谱链亮相高交会,点亮“区块链+文化”融合发展之路

13530558032

Flutter 开发从 0 到 1(一)需求与准备

吴小龙同学

flutter ios android 跨平台

python+requests进行get、post方法接口测试

测试人生路

Python 接口测试

《Web应用安全权威指南》.pdf

田维常

基于f2从零实现移动端可视化编辑器

徐小夕

Java H5 数据可视化 h5编辑器 H5制作

JVM真香系列:图解垃圾回收器

田维常

JVM 垃圾回收

第八周总结

alpha

极客大学架构师训练营

你以为只是简单的排序?(一)

书旅

golang 数据结构与算法

第八章作业

alpha

极客大学架构师训练营

架构师训练营第 1 期 - 第八周总结

Todd-Lee

极客大学架构师训练营

第八周课后练习

高兵

架构师训练营 - 第四周学习总结

joshuamai

面试官最常用小心思:说说你的项目并发量多大?负载均衡怎么做?

小Q

Java Linux 学习 面试 并发

作业-第4周总结

arcyao

极客大学架构师训练营第一期第八周总结

睡不着摇一摇

架构师一期

腾讯强推Redis成长手册!原理+应用+集群+拓展+源码五飞

小Q

Java redis 学习 架构 面试

【JAVA】TreeSet, LinkedHashSet和HashSet差异对比

莫问

【可下载】2020年底收官!为大家整理了物联网行业全面研究报告、行业洞察、白皮书……

IoT云工坊

人工智能 大数据 5G 物联网 智能家居

家谱链亮相高交会,点亮“区块链+文化”融合发展之路

WX13823153201

家谱链亮相高交会

架构师训练营第 8 周学习总结

netspecial

极客大学架构师训练营

Flutter 开发从 0 到 1(二)框架与网络

吴小龙同学

flutter ios android 跨平台

极客大学 - 架构师培训 -ch3 作业

bing5tui3

极客大学架构师训练营

在线IDE开发入门之从零实现一个在线代码编辑器

徐小夕

Java ide H5 H5制作 代码编辑器

C++的智能指针你了解吗?

良知犹存

c++

架构师训练营 - 第四周课后练习

joshuamai

如何正确的关闭线程池

Rayjun

Java 线程池

目标检测-darknet 之模型初始化

Dreamer

作业-第4周

arcyao

Uber搭建基于Kafka的跨数据中心拷贝平台-InfoQ