2020 Google开发者大会重磅开幕 了解详情

腾讯大手笔开源整个容器平台,20年技术积累首公开

2019 年 11 月 06 日

腾讯大手笔开源整个容器平台,20年技术积累首公开

刚刚,在腾讯2019Techo开发者大会的现场,腾讯对一众开源项目进行了联合发布,并首次公开20年技术积累,指出未来云计算领域的三大技术趋势。



大手笔开源:容器平台 TKE、数据库 TBase 等


截至目前,腾讯共开源了 86 个项目,覆盖云计算、大数据、AI、安全、小程序等领域,参与贡献的人数超过 1000 名,累计在 GitHub 获得了超过 25 万个 Star。同时,腾讯也是 Apache 基金会、Linux 基金会、CNCF 基金会和 OpenStack 基金会的顶级白金赞助商。


腾讯开源联盟主席堵俊平首先介绍了 TubeMQ 项目。TubeMQ 是腾讯大数据从 7 年前就开始研发的一款分布式消息中间件,七年内支撑了腾讯的海量数据业务,目前每天支撑的数据量超过 30 万亿条。特点是支持数据的高性能存储与传输,吞吐率非常高,延迟低至 5ms。本周,TubeMQ 正式被 Apache 基金会接受为正式 Incubator 项目,开始孵化之旅。(TubeMQ 项目的地址在这里:https://github.com/Tencent/TubeMQ


第二个项目是腾讯 Kona JDK。腾讯 Kona JDK 在主流 OpenJDK8 的基础上,进行了针对性的开发和优化, 引入了一些高版本 JDK 的特性,能够帮助用户在无感知的使用共享核心类信息来提高启动速度。在云场景下,JVM 的启动速度最高能够提升到 40%左右。


为了增强线上诊断的能力, 腾讯 Kona JDK 引入了 JFR 以及活页图等功能,可以帮助 Java 用户获得从系统到应用的 profiling 信息,增强运行时诊断以及热点分析,指导优化。目前, 腾讯 Kona JDK 已经在腾讯上万台服务结点大规模部署,服务云上 Java 场景。目前,该项目已经正式开源, 腾讯将对 Kona 进行长期维护,包括季度性的版本更新,以保证 Kona 用户的 Java 应用的稳定与安全。(Kona JDK 的地址在这里:https://github.com/Tencent/TencentKona-8


然后是 TBase,TBase 是腾讯大数据基于 PostgreSQL 开发的分布式 HTAP 数据库。TBase 在兼容 SQL 标准,提供完整的分布式事务能力的同时,保证了金融级数据容灾。在数据安全、分布式执行器优化以及读写分离等方面做了很多工作。目前,该项目已经在腾讯内部大规模采用,同时在 HTAP、地理信息系统以及实时高并发等场景得到验证,线上运行超过 200 个集群实例,节点规模突破 1000,单日请求量超过 10 亿次,是一个生产级的企业级 HTAP 数据库。(TBase 项目的开源地址在这里:http://github.com/Tencent/TBase


最后是企业级容器平台 TKEStack。腾讯从 2009 年开始开发自己的容器编排平台,到 2013 年已经在内部维护了上万台服务器,支撑腾讯很多业务的平稳运行。当 Docker 和 Kubernetes 开源并成为事实标准,腾讯将内部平台切换到这两个项目上,并在公有云和私有云上为大量客户提供服务。这些经验和改进被整合在一起,就形成了 TKEStack 这样一个 K8s 发行版。(TKEStack 项目的开源地址在这里:https://github.com/tkestack


据介绍,面向离线业务和在线业务混部的业务场景,TKEStack 能够稳定管理万级别 Kubernetes 集群,并提供全方位资源管控,解决网络带宽控制、磁盘 IO 等难题。同时,该项目还有腾讯创新的 GPU 虚拟化技术,包括对 GPU 调度的改进,可以算是一款重磅级的开源项目。


未来云计算三大趋势


腾讯副总裁、腾讯云总裁邱跃鹏表示,开源是让所有开发者通过代码共享成果最好的方式,通过腾讯这么多年服务开发者的经验,腾讯看到的未来云计算发展的三大趋势是软硬件一体化(Cloud Native Hardware)、无服务器计算(Serverless)和智能化(Smart)。


邱跃鹏指出,随着云计算承载的业务规模越来越大,软件和硬件的结合成为刚需。软硬件一体化技术会进一步发展,为开发者提供更强壮的基础设施平台,提升云计算的性能、提高资源利用率,最终为开发者提供稳定、更具性价比的服务。软硬件一体化带来的技术红利,值得每一位开发者关注。


同时,无服务器计算,即 Serverless 正在快速演进。Serverless 把开发者从繁琐、冗杂的开发配置工作中解放出来,不需要任何的基础设施建设、管理与运维,极大降低了开发门槛,开发者只需关注自己的业务逻辑。以腾讯云和微信联合推出的“小程序·云开发”为例,上线一年已经服务超过 50 万开发者。“小程序·云开发”让更多开发者实现他们的小程序梦想。未来,Serverless 理念也会在更多开发场景中落地。


随着硬件红利不断释放、开发者越来越关注于自己的应用,数字化进程不断加快。随之而来的数据量不断增长,对算力的要求越来越高,人工智能成为开发者们必须关注和应用的技术。人工智能正在快速演进,云厂商也将会提供更多人工智能产品和能力给到开发者。


腾讯 20 年技术积累


作为全球最大的互联网公司之一,腾讯无论在基础架构还是大数据 AI 领域的实践,都极具代表性。目前,腾讯的算力资源池已经达到 20 万台,日分析任务数达到了 1500 万,日接入数据条数为 35 万亿,日实时计算次数达到 30 万亿,模型训练维度为 1 万亿。腾讯云副总裁、云架构平台部总经理谢明表示:


无论是从使用通用服务器到不久前发布的“为云而生”的服务器星星海,还是从第一代数据中心中传统的电信解决方案到如今第四代的T-block产品家族,腾讯云在基础设施领域已经走出了一条自主创新之路,而随着云计算基础设施的不断进化,这些经过微信、QQ等海量业务充分验证过的基础能力,正在通过腾讯云共享给更多开发者,助力产业互联网发展。


以星星海服务器来说,在设计过程中,结合了数据中心实际部署环境要求,针对云端的计算、存储,网络等场景做了重点优化,能够有效满足腾讯云 98%应用场景需求。同时,深度定制的 CPU,能够实现行业最优单核性能和最优单核 TCO;根据测试,星星海可以实现云服务实例综合性能提升 35%以上,最大负载能效对比业界可提高 50%。


在数据中心方面,第四代数据中心 T-block 让用户能够以搭积木的方式,快速实现全数据中心的模块化配置及建设,相比于传统大规模数据中心,T-block 可以显著减少建设周期和施工成本。同时,由于率先在行业内采用更高效率的制冷和供配电架构,系统能源使用效率得到有效提升。以一个拥有 30 万台服务器的园区为例,一年可节省 2.5 亿度电,真正实现绿色数据中心的理念。


除了基础设施,大数据在支撑云计算应用上也起着至关重要的作用,腾讯云副总裁蒋杰,数据平台部总经理蒋杰表示:


经过10年的积累,腾讯大数据平台的算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条,腾讯已经成为中国实时数据计算量最大的公司。


十年,从以 Hadoop 为核心的离线计算时代到以 Spark、Storm、Flink 为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎 Angel,以及一站式 AI 开发平台智能钛 TI。目前,腾讯正在研究以批流融合、ABC 融合、以及数据湖和联邦学习为方向的下一代大数据平台,该平台将具备混合部署、跨域数据共享和边缘计算等能力。


在过往的开源项目中,大数据领域同样占据着重要地位。从 2014 开始,腾讯将第一代大数据平台的核心,腾讯版的 Hive 进行了开源,2017 年,更是把第三代平台的核心 Angel 开源。今年,腾讯加快开源脚步, 在两个月前的 ApacheCon 2019 上,腾讯面向全球开发者正式宣布开源自研核心平台——实时数据采集平台 TubeMQ,并捐献给 Apache 社区。此次在 Techo 大会现场,再次重磅宣布正式开源资源管理平台核心 TKE 和分布式数据库 TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商之一。


如前文言,腾讯是目前中国唯一全面支持四大顶级开源基金会的白金赞助商,并通过不断赞助、捐献项目、为开源项目贡献代码、解决问题等各种形式,积极参与开源社区生态建设。未来,腾讯云将以更开放的心态拥抱和回馈社区,为更多的开发者带去便捷、高效的开发体验。


2019 年 11 月 06 日 12:55 23221
用户头像
赵钰莹 InfoQ高级编辑

发布了 623 篇内容, 共 376.0 次阅读, 收获喜欢 2032 次。

关注

评论 16 条评论

发布
用户头像
厉害,国内大厂都在大力开源自己技术
2019 年 11 月 20 日 08:59
回复
用户头像
看了那个openJDK,只能说是凑凑热闹了。不应该另立门户搞,应该尽量参与到开源社区当中,同时互相接纳开源开发者贡献代码。麻烦腾讯员工把代码提交到此处: https://hg.openjdk.java.net/jdk/jdk
2019 年 11 月 13 日 01:57
回复
2019 年 11 月 25 日 13:24
回复
用户头像
别凑热闹了,跟阿里没得比
2019 年 11 月 12 日 09:21
回复
用户头像
没有源代码地址都不叫开源,国内厂商的浮躁不应该影响infoq的文章质量水平
2019 年 11 月 07 日 22:17
回复
TubeMQ 项目的地址在这里: https://github.com/Tencent/TubeMQ
Kona JDK 的地址在这里: https://github.com/Tencent/TencentKona-8 
TKEStack项目的开源地址在这里:https://github.com/tkestack
TBase项目的开源地址在这里:http://github.com/Tencent/TBase
2019 年 11 月 08 日 10:07
回复
tx开源的几个项目文档都做的很糟糕,以前用过tars,也做过微信支付的对接。只能说文档质量没有阿里高,这几个项目还没看,先不做评论
2019 年 11 月 22 日 19:15
回复
用户头像
我个人认为没有源代码开源的地址都不叫开源,不应该大肆宣传,国内的浮躁
2019 年 11 月 07 日 22:16
回复
用户头像
 Kona JDK的地址在这里:https://github.com/Tencent/TencentKona-8
TubeMQ 项目的地址在这里:https://github.com/Tencent/TubeMQ
2019 年 11 月 07 日 13:23
回复
用户头像
建议对开源项目有兴趣的,关注下腾讯的官方开源地址:https://opensource.tencent.com  所有腾讯的开源项目都会出现这里
2019 年 11 月 07 日 08:30
回复
开源的这几款产品什么时候能看到
2019 年 11 月 07 日 09:54
回复
已经询问腾讯方面具体的开源地址、开放源代码的时间,有消息第一时间回复各位,感谢各位关注
2019 年 11 月 07 日 11:21
回复
用户头像
麻烦贴一下开源代码地址,谢谢
2019 年 11 月 06 日 23:09
回复
用户头像
麻烦贴一下开源代码地址,谢谢
2019 年 11 月 06 日 22:05
回复
用户头像
麻烦 Github 地址贴一下,谢谢。
2019 年 11 月 06 日 21:51
回复
2019 年 11 月 25 日 13:26
回复
没有更多评论了
发现更多内容

架构师第四课总结

老姜

架构师训练营 Week04 学习心得

极客大学架构师训练营

架构师训练营 第4周学习总结

Glowry

极客大学架构师训练营

一份还热乎的蚂蚁金服面经(已拿Offer)!附答案!!

猿灯塔

Java

管理学概念 - 特纳论断

石云升

核心竞争力 特纳论断

企业级业务架构设计读书总结

hiqian

Elasticsearch从入门到放弃:分词器初印象

Jackey

elasticsearch

架构师训练营 第4周作业

Lingjun

极客大学架构师训练营

架构师训练营第四周作业

Linuxer

极客大学架构师训练营

架构师训练营总结-20200627

caibird1984

极客大学架构师训练营

一个典型的大型互联网应用系统使用了哪些技术方案和手段,主要解决什么问题?请列举描述。

老姜

二胖参数校验的坎坷之路

java金融

Java springboot 参数校验 级联校验 Hibernate-Validator

【架构师训练营 - 周总结 -4】互联网系统架构演进

小动物

总结 极客大学架构师训练营 第四周

Week4-Homework

架构师训练营 第4周作业

Glowry

极客大学架构师训练营

架构师训练营 -- 第四周学习总结

花花大脸猫

极客大学架构师训练营

Python多重继承问题之MRO和C3算法

王坤祥

Python MRO C3算法 多继承

架构师训练营:第四周作业

zcj

极客大学架构师训练营

消息队列(四)如何处理消息丢失的问题?

奈何花开

Java MQ 消息队列

一张PDF了解JDK9 GC调优秘籍-附PDF下载

程序那些事

性能调优 GC JDK9 cheatsheet 秘籍

【架构师训练营 - 作业 -4】互联网应用面对的问题

小动物

极客大学架构师训练营 作业 第四周

架构师训练营 第四周 学习总结

一雄

极客大学架构师训练营 学习总结 第四周

架构师训练营 第 4 周总结

Lingjun

极客大学架构师训练营

ARTS - Week Six

shepherd

JavaScript algorithm

「架构师训练营」第 4 周 学习总结

guoguo 👻

极客大学架构师训练营

架构师训练营 -- 第四周作业

花花大脸猫

极客大学架构师训练营

架构师训练营第四周总结

suke

极客大学架构师训练营

架构师训练营第四周作业

W_T

架构师训练营 第四周 作业

一雄

极客大学架构师训练营 作业 第四周

万文长字JVM总结,面试必备

java金融

Java CMS JVM 垃圾回收

系统架构的一些思考

jason

2020中国技术力量年度榜单盛典

2020中国技术力量年度榜单盛典

腾讯大手笔开源整个容器平台,20年技术积累首公开-InfoQ