腾讯大手笔开源整个容器平台,20 年技术积累首公开

阅读数:9960 2019 年 11 月 6 日 12:55

腾讯大手笔开源整个容器平台,20年技术积累首公开

刚刚,在腾讯 2019Techo 开发者大会的现场,腾讯对一众开源项目进行了联合发布,并首次公开 20 年技术积累,指出未来云计算领域的三大技术趋势。

腾讯大手笔开源整个容器平台,20年技术积累首公开

大手笔开源:容器平台 TKE、数据库 TBase 等

截至目前,腾讯共开源了 86 个项目,覆盖云计算、大数据、AI、安全、小程序等领域,参与贡献的人数超过 1000 名,累计在 GitHub 获得了超过 25 万个 Star。同时,腾讯也是 Apache 基金会、Linux 基金会、CNCF 基金会和 OpenStack 基金会的顶级白金赞助商。

腾讯开源联盟主席堵俊平首先介绍了 TubeMQ 项目。TubeMQ 是腾讯大数据从 7 年前就开始研发的一款分布式消息中间件,七年内支撑了腾讯的海量数据业务,目前每天支撑的数据量超过 30 万亿条。特点是支持数据的高性能存储与传输,吞吐率非常高,延迟低至 5ms。本周,TubeMQ 正式被 Apache 基金会接受为正式 Incubator 项目,开始孵化之旅。(TubeMQ 项目的地址在这里: https://github.com/Tencent/TubeMQ

第二个项目是腾讯 Kona JDK。腾讯 Kona JDK 在主流 OpenJDK8 的基础上,进行了针对性的开发和优化, 引入了一些高版本 JDK 的特性,能够帮助用户在无感知的使用共享核心类信息来提高启动速度。在云场景下,JVM 的启动速度最高能够提升到 40% 左右。

为了增强线上诊断的能力, 腾讯 Kona JDK 引入了 JFR 以及活页图等功能,可以帮助 Java 用户获得从系统到应用的 profiling 信息,增强运行时诊断以及热点分析,指导优化。目前, 腾讯 Kona JDK 已经在腾讯上万台服务结点大规模部署,服务云上 Java 场景。目前,该项目已经正式开源, 腾讯将对 Kona 进行长期维护,包括季度性的版本更新,以保证 Kona 用户的 Java 应用的稳定与安全。(Kona JDK 的地址在这里: https://github.com/Tencent/TencentKona-8

然后是 TBase,TBase 是腾讯大数据基于 PostgreSQL 开发的分布式 HTAP 数据库。TBase 在兼容 SQL 标准,提供完整的分布式事务能力的同时,保证了金融级数据容灾。在数据安全、分布式执行器优化以及读写分离等方面做了很多工作。目前,该项目已经在腾讯内部大规模采用,同时在 HTAP、地理信息系统以及实时高并发等场景得到验证,线上运行超过 200 个集群实例,节点规模突破 1000,单日请求量超过 10 亿次,是一个生产级的企业级 HTAP 数据库。(TBase 项目的开源地址在这里: http://github.com/Tencent/TBase

最后是企业级容器平台 TKEStack。腾讯从 2009 年开始开发自己的容器编排平台,到 2013 年已经在内部维护了上万台服务器,支撑腾讯很多业务的平稳运行。当 Docker 和 Kubernetes 开源并成为事实标准,腾讯将内部平台切换到这两个项目上,并在公有云和私有云上为大量客户提供服务。这些经验和改进被整合在一起,就形成了 TKEStack 这样一个 K8s 发行版。(TKEStack 项目的开源地址在这里: https://github.com/tkestack

据介绍,面向离线业务和在线业务混部的业务场景,TKEStack 能够稳定管理万级别 Kubernetes 集群,并提供全方位资源管控,解决网络带宽控制、磁盘 IO 等难题。同时,该项目还有腾讯创新的 GPU 虚拟化技术,包括对 GPU 调度的改进,可以算是一款重磅级的开源项目。

未来云计算三大趋势

腾讯副总裁、腾讯云总裁邱跃鹏表示,开源是让所有开发者通过代码共享成果最好的方式,通过腾讯这么多年服务开发者的经验,腾讯看到的未来云计算发展的三大趋势是软硬件一体化(Cloud Native Hardware)、无服务器计算(Serverless)和智能化(Smart)。

邱跃鹏指出,随着云计算承载的业务规模越来越大,软件和硬件的结合成为刚需。软硬件一体化技术会进一步发展,为开发者提供更强壮的基础设施平台,提升云计算的性能、提高资源利用率,最终为开发者提供稳定、更具性价比的服务。软硬件一体化带来的技术红利,值得每一位开发者关注。

同时,无服务器计算,即 Serverless 正在快速演进。Serverless 把开发者从繁琐、冗杂的开发配置工作中解放出来,不需要任何的基础设施建设、管理与运维,极大降低了开发门槛,开发者只需关注自己的业务逻辑。以腾讯云和微信联合推出的“小程序·云开发”为例,上线一年已经服务超过 50 万开发者。“小程序·云开发”让更多开发者实现他们的小程序梦想。未来,Serverless 理念也会在更多开发场景中落地。

随着硬件红利不断释放、开发者越来越关注于自己的应用,数字化进程不断加快。随之而来的数据量不断增长,对算力的要求越来越高,人工智能成为开发者们必须关注和应用的技术。人工智能正在快速演进,云厂商也将会提供更多人工智能产品和能力给到开发者。

腾讯 20 年技术积累

作为全球最大的互联网公司之一,腾讯无论在基础架构还是大数据 AI 领域的实践,都极具代表性。目前,腾讯的算力资源池已经达到 20 万台,日分析任务数达到了 1500 万,日接入数据条数为 35 万亿,日实时计算次数达到 30 万亿,模型训练维度为 1 万亿。腾讯云副总裁、云架构平台部总经理谢明表示:

无论是从使用通用服务器到不久前发布的“为云而生”的服务器星星海,还是从第一代数据中心中传统的电信解决方案到如今第四代的 T-block 产品家族,腾讯云在基础设施领域已经走出了一条自主创新之路,而随着云计算基础设施的不断进化,这些经过微信、QQ 等海量业务充分验证过的基础能力,正在通过腾讯云共享给更多开发者,助力产业互联网发展。

以星星海服务器来说,在设计过程中,结合了数据中心实际部署环境要求,针对云端的计算、存储, 网络等场景做了重点优化,能够有效满足腾讯云 98% 应用场景需求。同时,深度定制的 CPU,能够实现行业最优单核性能和最优单核 TCO;根据测试,星星海可以实现云服务实例综合性能提升 35% 以上,最大负载能效对比业界可提高 50%。

在数据中心方面,第四代数据中心 T-block 让用户能够以搭积木的方式,快速实现全数据中心的模块化配置及建设,相比于传统大规模数据中心,T-block 可以显著减少建设周期和施工成本。同时,由于率先在行业内采用更高效率的制冷和供配电架构,系统能源使用效率得到有效提升。以一个拥有 30 万台服务器的园区为例,一年可节省 2.5 亿度电,真正实现绿色数据中心的理念。

除了基础设施,大数据在支撑云计算应用上也起着至关重要的作用,腾讯云副总裁蒋杰,数据平台部总经理蒋杰表示:

经过 10 年的积累,腾讯大数据平台的算力资源池目前已有超过 20 万台的规模,每天实时数据计算量超过 30 万亿条,腾讯已经成为中国实时数据计算量最大的公司。

十年,从以 Hadoop 为核心的离线计算时代到以 Spark、Storm、Flink 为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎 Angel,以及一站式 AI 开发平台智能钛 TI。目前,腾讯正在研究以批流融合、ABC 融合、以及数据湖和联邦学习为方向的下一代大数据平台, 该平台将具备混合部署、跨域数据共享和边缘计算等能力。

在过往的开源项目中,大数据领域同样占据着重要地位。从 2014 开始,腾讯将第一代大数据平台的核心,腾讯版的 Hive 进行了开源,2017 年,更是把第三代平台的核心 Angel 开源。今年,腾讯加快开源脚步, 在两个月前的 ApacheCon 2019 上,腾讯面向全球开发者正式宣布开源自研核心平台——实时数据采集平台 TubeMQ,并捐献给 Apache 社区。此次在 Techo 大会现场,再次重磅宣布正式开源资源管理平台核心 TKE 和分布式数据库 TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商之一。

如前文言,腾讯是目前中国唯一全面支持四大顶级开源基金会的白金赞助商,并通过不断赞助、捐献项目、为开源项目贡献代码、解决问题等各种形式,积极参与开源社区生态建设。未来,腾讯云将以更开放的心态拥抱和回馈社区,为更多的开发者带去便捷、高效的开发体验。

评论

发布
用户头像
别凑热闹了,跟阿里没得比
2 小时前
回复
用户头像
没有源代码地址都不叫开源,国内厂商的浮躁不应该影响infoq的文章质量水平
2019 年 11 月 07 日 22:17
回复
TubeMQ 项目的地址在这里: https://github.com/Tencent/TubeMQ
Kona JDK 的地址在这里: https://github.com/Tencent/TencentKona-8 
TKEStack项目的开源地址在这里:https://github.com/tkestack
TBase项目的开源地址在这里:http://github.com/Tencent/TBase
2019 年 11 月 08 日 10:07
回复
用户头像
我个人认为没有源代码开源的地址都不叫开源,不应该大肆宣传,国内的浮躁
2019 年 11 月 07 日 22:16
回复
用户头像
 Kona JDK的地址在这里:https://github.com/Tencent/TencentKona-8
TubeMQ 项目的地址在这里:https://github.com/Tencent/TubeMQ
2019 年 11 月 07 日 13:23
回复
用户头像
建议对开源项目有兴趣的,关注下腾讯的官方开源地址:https://opensource.tencent.com  所有腾讯的开源项目都会出现这里
2019 年 11 月 07 日 08:30
回复
开源的这几款产品什么时候能看到
2019 年 11 月 07 日 09:54
回复
已经询问腾讯方面具体的开源地址、开放源代码的时间,有消息第一时间回复各位,感谢各位关注
2019 年 11 月 07 日 11:21
回复
用户头像
麻烦贴一下开源代码地址,谢谢
2019 年 11 月 06 日 23:09
回复
用户头像
麻烦贴一下开源代码地址,谢谢
2019 年 11 月 06 日 22:05
回复
用户头像
麻烦 Github 地址贴一下,谢谢。
2019 年 11 月 06 日 21:51
回复
没有更多了