聚焦技术发展及开源生态 腾讯全面揭秘大数据平台演进之路

11 月 7 日，腾讯 Techo 开发者大会的“腾讯大数据”分论坛上，围绕大数据的新技术进展及开源生态，腾讯大数据团队进行了详细解读，包括由集群规模化与异构化挑战所引发的漂移计算等新技术创新，越来越普遍的实时计算需求以及新架构的实践，能够无限弹性扩展的、面向未来的数据湖体系结构，大数据技术发展的新趋势与新挑战等。

腾讯也通过开源和广大开发者共享技术成果，并希望推动业界共同加入构建开源正生态。在前一天的大会主论坛上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士宣布资源管理平台核心 TKE 和分布式数据库 TBase 正式对外开源，腾讯正在走向大数据领域全面开源之路。

十年技术演进 从引进到自研

蒋杰指出，自 2009 年起，腾讯大数据平台已完成三次迭代，从以 Hadoop 为核心的离线计算时代到以 Storm、Spark、Flink 为核心的实时计算时代，再到如今的机器学习和深度学习时代。经过 10 年的积累，腾讯大数据平台的算力资源池目前已有超过 20 万台的规模，每天实时数据计算量超过 30 万亿条，腾讯已经成为中国实时数据计算量最大的公司。

从开始的技术引进、局部优化到如今的自主创新，腾讯的大数据技术在实践中不断优化、不断完善。随着系统演进和数据增长，异构集群、异构数据源问题凸显，为了降低数据使用壁垒，漂移计算平台研发负责人张韶全博士表示：“腾讯大数据去年自研了漂移计算引擎 SuperSQL，满足跨地区、跨集群、跨数据源的联邦数据需求，通过解决数据孤岛、优化资源使用，能够极大地降低数据联合分析的使用门槛，提升数据使用效率，最大化数据使用的价值。”

（腾讯漂移计算平台研发负责人张韶全博士）

2015 年起，腾讯就开始对大数据进行实时化的改造，到现在腾讯内部所有产品都已经广泛开始使用实时计算的模式。据实时计算平台研发负责人施晓罡博士介绍，Oceanus 是腾讯基于 Flink 打造的集开发、测试、部署和运维于一体的一站式可视化实时计算平台。目前 Oceanus 在内部支持了包括微信、QQ、腾讯游戏、腾讯视频、微信支付、财付通和 CDN 在内的多个重要产品，并在腾讯云上为公有云和私有云用户提供可靠的实时计算服务。围绕着内部海量业务，oceanus 团队同时将现网面临的各类问题以及解决手段反馈给社区，目前已经贡献了超过 300 多个的 patch，为 flink 稳定性、扩展性、易用性以及高性能做出重要贡献。

（腾讯实时计算平台研发负责人施晓罡博士）

而随着数据应用越来越深入，腾讯对数据挖掘的需求也越来越多。2015年初，腾讯开始自研高性能的分布式机器学习平台Angel，采用PS架构，能支持10亿维度，目前Angel发展到3.0版本，能支持万亿维度，也可以兼容Spark、PyTorch、TensorFlow等生态。从1.0到3.0，Angel从一个单一的模型训练平台发展到涵盖机器学习各个流程的全栈机器学习平台，并且已应用于微信支付、QQ、腾讯视频、腾讯社交广告及用户画像挖掘等业务。

目前，腾讯正在探索以批流融合、ABC 融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

大数据平台全面开源 助力构建开源生态

今年，在内部开源协同的战略推动下，腾讯在大数据开源领域的开源逐步加速。此次在 Techo 大会现场，腾讯重磅宣布正式开源资源管理平台核心 TKE 和分布式数据库 TBase，至此完成了腾讯大数据核心能力全开源，并期望推动业界一起构建繁荣的开源生态。

其中，TKE 是基于 Kubernetes 的开源容器平台，在大数据，深度学习，通用服务等现网业务的实践和打磨下，可以同时服务公有云和私有云，并且在易用性，可靠性，安全性，通用性等方面领先业界。目前 TKE 已应用于腾讯内外部游戏、银行、汽车等多项业务。

TBase 则是在开源的 PostgreSQL 基础上自主研发的企业级分布式 HTAP 数据库管理系统，具备高扩展性、SQL 高兼容度、提供分布式全局事务一致性功能支持、多级容灾能力以及多维度资源隔离能力的高安全性等特征，同时支持关系模型下的在线交易+分析型业务。自 2015 年上线以来，TBase 已在腾讯内外部包括政务、银行、保险、证券、微信支付等多个行业提供底层数据库支撑。

在大数据领域，从 2014 开始，腾讯将第一代大数据平台的核心，腾讯版的 Hive 进行了开源，2017 年，更是把第三代平台的核心 Angel 开源并捐献给 Linux 基金会。2 个月前，在 ApacheCon 2019 上，腾讯面向全球开发者正式宣布开源实时数据采集平台 TubeMQ，并捐献给 Apache 社区。

在蒋杰看来，构建开源生态，一方面可以吸引更多的优秀开发者加入腾讯，一起推动技术研发更加进步；另一方面，整个开源生态的繁荣，能够让开源软件的功能更加完善，也能够更好的支撑腾讯的业务发展。如腾讯不断在云端演进和丰富大数据产品矩阵，目前已有数百万活跃开发者在云端学习、讨论、建设，其联合行业合作伙伴共同打造了覆盖 19 个行业的 100 多个行业解决方案，共同服务的客户数达到了 20 多万家，个人客户 60 多万家。

“开源是希望更好的回馈社区，希望开源生态能有更大的繁荣，腾讯的大数据将全面开源。”蒋杰表示。