在QCon北京2019大会上，赵健博讲师做了《快手万亿级别 Kafka 集群应用实践与技术演进之路》主题演讲，主要内容如下。

演讲简介：

Kafka 系统在快手有着很广泛的应用，除作为消息队列服务于快手三大 Tab 页、上传、支付等在线核心服务之外，还作为数据交换中心支撑数据分析，模型训练等离线业务场景。随着快手业务的高速发展， Kafka 集群的规模也成指数增长，目前 Kafka 集群日消息处理总量达数万亿级别，峰值超过 1 亿/s。与此同时我们也面临了很多新问题与技术挑战。本次分享将会介绍 Kafka 系统在快手的应用实践、我们遇到的问题以及相应的技术的演进过程。例如，我们如何解决 Kafka 扩展性、性能，如何做数据 Mirror 集群管理等等。具体提纲如下：

Kafka 系统在快手的应用场景以及业务规模；
Kafka 系统在快手的技术演进过程；
Kafka 系统在快手的未来规划。

听众受益

掌握典型的 Kafka 系统应用场景；
了解快手在应用 Kafka 系统的实践过程中，面临的问题，以及我们的技术解决方案。例如，Kafka 系统如何做平滑扩容，如何进一步改进 Kafka 系统性能等。

讲师介绍：

赵健博

快手高级架构师、大数据架构团队负责人

赵健博，大数据领域专家，快手大数据架构团队的负责人，目前负责快手公司 Hadoop 生态中存储、调度、计算、AI 架构等子系统内核与周边子系统的研发，与在公司内的应用。2009 年毕业于中国科学院计算所，曾就职于百度、奇虎360、58集团。主要研究领域包括分布式计算、调度与存储系统等。

完整演讲PPT下载链接：

https://qcon.infoq.cn/2019/beijing/schedule

创作场景

快手万亿级别 Kafka 集群应用实践与技术演进之路