都2023了!我不允许你还不了解AIGC!立即报名 了解详情
写点什么

Uber 搭建基于 Kafka 的跨数据中心拷贝平台

  • 2019-09-07
  • 本文字数:549 字

    阅读完需:约 2 分钟

Uber搭建基于Kafka的跨数据中心拷贝平台

ArchSummit北京2018大会上,徐宏亮讲师做了《Uber 搭建基于 Kafka 的跨数据中心拷贝平台》主题演讲,主要内容如下。


演讲简介


Uber 拥有 20+ Kafka 集群来处理系统和 App 的数据,其中一些数据需要跨数据中心拷贝。拷贝每天需要处理 PB 级的数据量,并且要保证拷贝中不会丢失数据,这带来了性能和运维各方面的挑战。在实现跨数据中心拷贝的过程中,Uber 经历了从 MirrorMaker 到 uReplicator 再到 Federated uReplicator 的迁移。


在这个演讲中,我将分享 Uber 为什么要开发 uReplicator 和 Federated uReplicator,uReplicator/Federated uReplicator 的架构和技术细节,在开发过程中遇到的问题并且如何解决的。


演讲提纲


  1. Uber 的跨数据中心 replication 用例

  2. 为什么 Uber 要开发 uReplicator

  3. uReplicator 架构

  4. Federated uReplicator 架构


听众受益点


  1. Uber 在用 MirrorMaker 时遇到的问题,并且如何用 uReplicator 解决;

  2. 了解 uReplicator 的架构及部署;

  3. 了解在开发 uReplicator 中遇到的跨数据中心 replication 的问题及解决方案。


讲师介绍


徐宏亮


Uber Senior Software Engineer


毕业于清华大学和哥伦比亚大学。现就职于 Uber,专注于解决基于 Kafka 的基础数据平台的分布式,高并发和高可用性问题。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-07 08:042366

评论

发布
暂无评论
发现更多内容

架构师训练营 - 第十一周总结

一个节点

极客大学架构师训练营

《Linux就该这么学》PDF版免费下载

计算机与AI

Linux

架构师训练营第11周课后作业

吴传禹

极客大学架构师训练营

从华为看VUCA时代如何让组织不断乘风破浪?

Alan

华为 战略思考 组织发展 组织活力

架构师训练营第 1 期第 11 周学习总结

好吃不贵

极客大学架构师训练营

架构师训练营第二周学习心得

cc

Sharding-Sphere Proxy 分库分表 简单示例

Java MySQL 分库分表 ShardingSphere-Proxy

框架设计作业

cc

极客时间架构师训练营 1 期 - 第 11 周总结

Kaven

架构师训练营第七周作业

丁乐洪

性能压测的时候,随着并发压力的增加,系统响应时间和吞吐量如何变化,为什么?

落朽

架构师训练营第二周作业

J

极客大学架构师训练营

离开

成周

ShardingSphere Proxy 主从读写 入门使用

Java 主从读写 ShardingSphere

喝完可乐桶后程序员回归本源,开源Spring基础内容

小Q

Java spring 学习 源码 面试

整天都在讨论使用SpringBoot,可你居然连缓存都不清楚

小Q

Java 缓存 学习 面试 springboot

5 千字长文+ 30 张图解 | 陪你手撕 STL 空间配置器源码

herongwei

c++ 源码 后端 内存 stl

月薪8k和月薪38K的程序员差距在哪里?学习Linux C/C++ 这些你就知道了

ShenDu_Linux

c++ Linux 程序员 Linux服务器开发 C、C++程序员

架构师训练营第 1 期第11周作业

业哥

架构师训练营第11周总结

吴传禹

极客大学架构师训练营

那些年,支撑尾款人们熬夜的AI

脑极体

LeetCode题解:874. 模拟行走机器人,模拟情境,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

ShardingSphere Raw JDBC 主从示例

Java JDBC ShardingSphere

秒懂DHCP是什么

架构师训练营 - 第十一周作业

一个节点

极客大学架构师训练营

架构师训练营 -week11-总结

大刘

极客大学架构师训练营

我膨胀了,测试必要商城小程序,用了3种方式!:)

清菡软件测试

App

阿里开源十亿级并发设计手册:数据库+缓存+消息队列+分布式+维护

Java架构追梦

Java 阿里巴巴 编程 架构 亿级流量

Mysql Docker 主从配置

MySQL Docker 主从读写

架构师养成第二课

万有引力

极客时间架构师培训 1 期 - 第 11 周作业

Kaven

  • 需要帮助,请添加网站小助手,进入 InfoQ 技术交流群
Uber搭建基于Kafka的跨数据中心拷贝平台_Kafka_徐宏亮_InfoQ精选文章