11 月 7 日，腾讯 Techo 开发者大会的“腾讯大数据”分论坛上，围绕大数据的新技术进展及开源生态，腾讯大数据团队进行了详细解读，包括由集群规模化与异构化挑战所引发的漂移计算等新技术创新，越来越普遍的实时计算需求以及新架构的实践，能够无限弹性扩展的、面向未来的数据湖体系结构，大数据技术发展的新趋势与新挑战等。
腾讯也通过开源和广大开发者共享技术成果，并希望推动业界共同加入构建开源正生态。在前一天的大会主论坛上，腾讯云副总裁、腾讯数据平台部总经理蒋杰博士宣布资源管理平台核心 TKE 和分布式数据库 TBase 正式对外开源，腾讯正在走向大数据领域全面开源之路。
十年技术演进 从引进到自研
蒋杰指出，自 2009 年起，腾讯大数据平台已完成三次迭代，从以 Hadoop 为核心的离线计算时代到以 Storm、Spark、Flink 为核心的实时计算时代，再到如今的机器学习和深度学习时代。经过 10 年的积累，腾讯大数据平台的算力资源池目前已有超过 20 万台的规模，每天实时数据计算量超过 30 万亿条，腾讯已经成为中国实时数据计算量最大的公司。
从开始的技术引进、局部优化到如今的自主创新，腾讯的大数据技术在实践中不断优化、不断完善。随着系统演进和数据增长，异构集群、异构数据源问题凸显，为了降低数据使用壁垒，漂移计算平台研发负责人张韶全博士表示：“腾讯大数据去年自研了漂移计算引擎 SuperSQL，满足跨地区、跨集群、跨数据源的联邦数据需求，通过解决数据孤岛、优化资源使用，能够极大地降低数据联合分析的使用门槛，提升数据使用效率，最大化数据使用的价值。”
2015 年起，腾讯就开始对大数据进行实时化的改造，到现在腾讯内部所有产品都已经广泛开始使用实时计算的模式。据实时计算平台研发负责人施晓罡博士介绍，Oceanus 是腾讯基于 Flink 打造的集开发、测试、部署和运维于一体的一站式可视化实时计算平台。目前 Oceanus 在内部支持了包括微信、QQ、腾讯游戏、腾讯视频、微信支付、财付通和 CDN 在内的多个重要产品，并在腾讯云上为公有云和私有云用户提供可靠的实时计算服务。围绕着内部海量业务，oceanus 团队同时将现网面临的各类问题以及解决手段反馈给社区，目前已经贡献了超过 300 多个的 patch，为 flink 稳定性、扩展性、易用性以及高性能做出重要贡献。
目前，腾讯正在探索以批流融合、ABC 融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究, 该平台将具备混合部署、跨域数据共享和边缘计算等能力。
大数据平台全面开源 助力构建开源生态
今年，在内部开源协同的战略推动下，腾讯在大数据开源领域的开源逐步加速。此次在 Techo 大会现场，腾讯重磅宣布正式开源资源管理平台核心 TKE 和分布式数据库 TBase，至此完成了腾讯大数据核心能力全开源，并期望推动业界一起构建繁荣的开源生态。
其中，TKE 是基于 Kubernetes 的开源容器平台，在大数据，深度学习，通用服务等现网业务的实践和打磨下，可以同时服务公有云和私有云，并且在易用性，可靠性，安全性，通用性等方面领先业界。目前 TKE 已应用于腾讯内外部游戏、银行、汽车等多项业务。
TBase 则是在开源的 PostgreSQL 基础上自主研发的企业级分布式 HTAP 数据库管理系统，具备高扩展性、SQL 高兼容度、提供分布式全局事务一致性功能支持、多级容灾能力以及多维度资源隔离能力的高安全性等特征，同时支持关系模型下的在线交易 + 分析型业务。自 2015 年上线以来，TBase 已在腾讯内外部包括政务、银行、保险、证券、微信支付等多个行业提供底层数据库支撑。
在大数据领域，从 2014 开始，腾讯将第一代大数据平台的核心，腾讯版的 Hive 进行了开源，2017 年，更是把第三代平台的核心 Angel 开源并捐献给 Linux 基金会。2 个月前，在 ApacheCon 2019 上，腾讯面向全球开发者正式宣布开源实时数据采集平台 TubeMQ，并捐献给 Apache 社区。
在蒋杰看来，构建开源生态，一方面可以吸引更多的优秀开发者加入腾讯，一起推动技术研发更加进步；另一方面，整个开源生态的繁荣，能够让开源软件的功能更加完善，也能够更好的支撑腾讯的业务发展。如腾讯不断在云端演进和丰富大数据产品矩阵，目前已有数百万活跃开发者在云端学习、讨论、建设，其联合行业合作伙伴共同打造了覆盖 19 个行业的 100 多个行业解决方案，共同服务的客户数达到了 20 多万家，个人客户 60 多万家。
“开源是希望更好的回馈社区，希望开源生态能有更大的繁荣，腾讯的大数据将全面开源。”蒋杰表示。
评论