写点什么

腾讯大手笔开源整个容器平台,20 年技术积累首公开

  • 2019-11-06
  • 本文字数:3115 字

    阅读完需:约 10 分钟

腾讯大手笔开源整个容器平台,20年技术积累首公开

刚刚,在腾讯2019Techo开发者大会的现场,腾讯对一众开源项目进行了联合发布,并首次公开 20 年技术积累,指出未来云计算领域的三大技术趋势。


大手笔开源:容器平台 TKE、数据库 TBase 等

截至目前,腾讯共开源了 86 个项目,覆盖云计算、大数据、AI、安全、小程序等领域,参与贡献的人数超过 1000 名,累计在 GitHub 获得了超过 25 万个 Star。同时,腾讯也是 Apache 基金会、Linux 基金会、CNCF 基金会和 OpenStack 基金会的顶级白金赞助商。


腾讯开源联盟主席堵俊平首先介绍了 TubeMQ 项目。TubeMQ 是腾讯大数据从 7 年前就开始研发的一款分布式消息中间件,七年内支撑了腾讯的海量数据业务,目前每天支撑的数据量超过 30 万亿条。特点是支持数据的高性能存储与传输,吞吐率非常高,延迟低至 5ms。本周,TubeMQ 正式被 Apache 基金会接受为正式 Incubator 项目,开始孵化之旅。(TubeMQ 项目的地址在这里:https://github.com/Tencent/TubeMQ


第二个项目是腾讯 Kona JDK。腾讯 Kona JDK 在主流 OpenJDK8 的基础上,进行了针对性的开发和优化, 引入了一些高版本 JDK 的特性,能够帮助用户在无感知的使用共享核心类信息来提高启动速度。在云场景下,JVM 的启动速度最高能够提升到 40%左右。


为了增强线上诊断的能力, 腾讯 Kona JDK 引入了 JFR 以及活页图等功能,可以帮助 Java 用户获得从系统到应用的 profiling 信息,增强运行时诊断以及热点分析,指导优化。目前, 腾讯 Kona JDK 已经在腾讯上万台服务结点大规模部署,服务云上 Java 场景。目前,该项目已经正式开源, 腾讯将对 Kona 进行长期维护,包括季度性的版本更新,以保证 Kona 用户的 Java 应用的稳定与安全。(Kona JDK 的地址在这里:https://github.com/Tencent/TencentKona-8


然后是 TBase,TBase 是腾讯大数据基于 PostgreSQL 开发的分布式 HTAP 数据库。TBase 在兼容 SQL 标准,提供完整的分布式事务能力的同时,保证了金融级数据容灾。在数据安全、分布式执行器优化以及读写分离等方面做了很多工作。目前,该项目已经在腾讯内部大规模采用,同时在 HTAP、地理信息系统以及实时高并发等场景得到验证,线上运行超过 200 个集群实例,节点规模突破 1000,单日请求量超过 10 亿次,是一个生产级的企业级 HTAP 数据库。(TBase 项目的开源地址在这里:http://github.com/Tencent/TBase


最后是企业级容器平台 TKEStack。腾讯从 2009 年开始开发自己的容器编排平台,到 2013 年已经在内部维护了上万台服务器,支撑腾讯很多业务的平稳运行。当 Docker 和 Kubernetes 开源并成为事实标准,腾讯将内部平台切换到这两个项目上,并在公有云和私有云上为大量客户提供服务。这些经验和改进被整合在一起,就形成了 TKEStack 这样一个 K8s 发行版。(TKEStack 项目的开源地址在这里:https://github.com/tkestack


据介绍,面向离线业务和在线业务混部的业务场景,TKEStack 能够稳定管理万级别 Kubernetes 集群,并提供全方位资源管控,解决网络带宽控制、磁盘 IO 等难题。同时,该项目还有腾讯创新的 GPU 虚拟化技术,包括对 GPU 调度的改进,可以算是一款重磅级的开源项目。

未来云计算三大趋势

腾讯副总裁、腾讯云总裁邱跃鹏表示,开源是让所有开发者通过代码共享成果最好的方式,通过腾讯这么多年服务开发者的经验,腾讯看到的未来云计算发展的三大趋势是软硬件一体化(Cloud Native Hardware)、无服务器计算(Serverless)和智能化(Smart)。


邱跃鹏指出,随着云计算承载的业务规模越来越大,软件和硬件的结合成为刚需。软硬件一体化技术会进一步发展,为开发者提供更强壮的基础设施平台,提升云计算的性能、提高资源利用率,最终为开发者提供稳定、更具性价比的服务。软硬件一体化带来的技术红利,值得每一位开发者关注。


同时,无服务器计算,即 Serverless 正在快速演进。Serverless 把开发者从繁琐、冗杂的开发配置工作中解放出来,不需要任何的基础设施建设、管理与运维,极大降低了开发门槛,开发者只需关注自己的业务逻辑。以腾讯云和微信联合推出的“小程序·云开发”为例,上线一年已经服务超过 50 万开发者。“小程序·云开发”让更多开发者实现他们的小程序梦想。未来,Serverless 理念也会在更多开发场景中落地。


随着硬件红利不断释放、开发者越来越关注于自己的应用,数字化进程不断加快。随之而来的数据量不断增长,对算力的要求越来越高,人工智能成为开发者们必须关注和应用的技术。人工智能正在快速演进,云厂商也将会提供更多人工智能产品和能力给到开发者。

腾讯 20 年技术积累

作为全球最大的互联网公司之一,腾讯无论在基础架构还是大数据 AI 领域的实践,都极具代表性。目前,腾讯的算力资源池已经达到 20 万台,日分析任务数达到了 1500 万,日接入数据条数为 35 万亿,日实时计算次数达到 30 万亿,模型训练维度为 1 万亿。腾讯云副总裁、云架构平台部总经理谢明表示:


无论是从使用通用服务器到不久前发布的“为云而生”的服务器星星海,还是从第一代数据中心中传统的电信解决方案到如今第四代的 T-block 产品家族,腾讯云在基础设施领域已经走出了一条自主创新之路,而随着云计算基础设施的不断进化,这些经过微信、QQ 等海量业务充分验证过的基础能力,正在通过腾讯云共享给更多开发者,助力产业互联网发展。


以星星海服务器来说,在设计过程中,结合了数据中心实际部署环境要求,针对云端的计算、存储,网络等场景做了重点优化,能够有效满足腾讯云 98%应用场景需求。同时,深度定制的 CPU,能够实现行业最优单核性能和最优单核 TCO;根据测试,星星海可以实现云服务实例综合性能提升 35%以上,最大负载能效对比业界可提高 50%。


在数据中心方面,第四代数据中心 T-block 让用户能够以搭积木的方式,快速实现全数据中心的模块化配置及建设,相比于传统大规模数据中心,T-block 可以显著减少建设周期和施工成本。同时,由于率先在行业内采用更高效率的制冷和供配电架构,系统能源使用效率得到有效提升。以一个拥有 30 万台服务器的园区为例,一年可节省 2.5 亿度电,真正实现绿色数据中心的理念。


除了基础设施,大数据在支撑云计算应用上也起着至关重要的作用,腾讯云副总裁蒋杰,数据平台部总经理蒋杰表示:


经过 10 年的积累,腾讯大数据平台的算力资源池目前已有超过 20 万台的规模,每天实时数据计算量超过 30 万亿条,腾讯已经成为中国实时数据计算量最大的公司。


十年,从以 Hadoop 为核心的离线计算时代到以 Spark、Storm、Flink 为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎 Angel,以及一站式 AI 开发平台智能钛 TI。目前,腾讯正在研究以批流融合、ABC 融合、以及数据湖和联邦学习为方向的下一代大数据平台,该平台将具备混合部署、跨域数据共享和边缘计算等能力。


在过往的开源项目中,大数据领域同样占据着重要地位。从 2014 开始,腾讯将第一代大数据平台的核心,腾讯版的 Hive 进行了开源,2017 年,更是把第三代平台的核心 Angel 开源。今年,腾讯加快开源脚步, 在两个月前的 ApacheCon 2019 上,腾讯面向全球开发者正式宣布开源自研核心平台——实时数据采集平台 TubeMQ,并捐献给 Apache 社区。此次在 Techo 大会现场,再次重磅宣布正式开源资源管理平台核心 TKE 和分布式数据库 TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商之一。


如前文言,腾讯是目前中国唯一全面支持四大顶级开源基金会的白金赞助商,并通过不断赞助、捐献项目、为开源项目贡献代码、解决问题等各种形式,积极参与开源社区生态建设。未来,腾讯云将以更开放的心态拥抱和回馈社区,为更多的开发者带去便捷、高效的开发体验。


2019-11-06 12:5524719
用户头像
赵钰莹 极客邦科技 总编辑

发布了 897 篇内容, 共 690.1 次阅读, 收获喜欢 2699 次。

关注

评论 16 条评论

发布
用户头像
厉害,国内大厂都在大力开源自己技术
2019-11-20 08:59
回复
用户头像
看了那个openJDK,只能说是凑凑热闹了。不应该另立门户搞,应该尽量参与到开源社区当中,同时互相接纳开源开发者贡献代码。麻烦腾讯员工把代码提交到此处: https://hg.openjdk.java.net/jdk/jdk
2019-11-13 01:57
回复
2019-11-25 13:24
回复
用户头像
别凑热闹了,跟阿里没得比
2019-11-12 09:21
回复
用户头像
没有源代码地址都不叫开源,国内厂商的浮躁不应该影响infoq的文章质量水平
2019-11-07 22:17
回复
TubeMQ 项目的地址在这里: https://github.com/Tencent/TubeMQ
Kona JDK 的地址在这里: https://github.com/Tencent/TencentKona-8 
TKEStack项目的开源地址在这里:https://github.com/tkestack
TBase项目的开源地址在这里:http://github.com/Tencent/TBase
2019-11-08 10:07
回复
tx开源的几个项目文档都做的很糟糕,以前用过tars,也做过微信支付的对接。只能说文档质量没有阿里高,这几个项目还没看,先不做评论
2019-11-22 19:15
回复
用户头像
我个人认为没有源代码开源的地址都不叫开源,不应该大肆宣传,国内的浮躁
2019-11-07 22:16
回复
用户头像
 Kona JDK的地址在这里:https://github.com/Tencent/TencentKona-8
TubeMQ 项目的地址在这里:https://github.com/Tencent/TubeMQ
2019-11-07 13:23
回复
用户头像
建议对开源项目有兴趣的,关注下腾讯的官方开源地址:https://opensource.tencent.com  所有腾讯的开源项目都会出现这里
2019-11-07 08:30
回复
开源的这几款产品什么时候能看到
2019-11-07 09:54
回复
已经询问腾讯方面具体的开源地址、开放源代码的时间,有消息第一时间回复各位,感谢各位关注
2019-11-07 11:21
回复
用户头像
麻烦贴一下开源代码地址,谢谢
2019-11-06 23:09
回复
用户头像
麻烦贴一下开源代码地址,谢谢
2019-11-06 22:05
回复
用户头像
麻烦 Github 地址贴一下,谢谢。
2019-11-06 21:51
回复
2019-11-25 13:26
回复
没有更多了
发现更多内容

Java8新特性-Optional

爱好编程进阶

Java 程序员 后端开发

DM 是如何处理 DML 的丨TiDB 工具分享

PingCAP

Hibernate实现CRUD(附项目源码)

爱好编程进阶

Java 程序员 后端开发

与多家机构战略合作,背后彰显PlatoFarm元宇宙龙头的实力

西柚子

云电脑的四重守护,安全有谱

天翼云开发者社区

安全 云电脑

原生JavaScript灵魂拷问(二),你能全部答对吗?

战场小包

JavaScript 前端 4月月更

简述数仓的时间域函数

华为云开发者联盟

数据库 时间 时间戳 GaussDB(DWS) 时间域函数

HDI硬件设备接口介绍

科技汇

低通信量是筛选分布式多方安全计算常用安全协议方案的先决条件

易观分析

安全多方计算 低通信量

【高并发】如何使用互斥锁解决多线程的原子性问题?这次终于明白了!

冰河

并发编程 多线程 协程 异步编程 精通高并发系列

Java培训MySQL体系构架、存储引擎和索引结构

@零度

MySQL JAVA开发

蚂蚁三面被挂,幸获内推,历经5轮终于拿到口碑offer

Java架构追梦

java面试 后端开发 程序员面试 大厂Offer

Java-进阶:集合框架1

爱好编程进阶

程序员 后端开发

秒云 (元来云志)获邀加入中国开源云联盟,共筑开源生态

MIAOYUN

开源 开源生态 开源中国

大数据培训Spark SQL知识点与实战分析

@零度

spark 大数据开发

java不使用客户端授权密码直接用账号密码发送带附件的邮件

爱好编程进阶

程序员 后端开发

OpenHarmony新增两个分布式能力!快来了解~

科技汇

助力提升研发效能的“黄金三角”

博文视点Broadview

npm install xxxx --legacy-peer-deps命令是什么?

华为云开发者联盟

前端 npm install 依赖树 对等依赖关系

使用APICloud & MobTech SDK 快速实现分享到社交平台功能

YonBuilder低代码开发平台

APP开发 APICloud MobTech袤博科技 社交分享

web前端培训React 中Router的必备知识点

@零度

前端开发 React

蒙牛乳业加入星策开源社区,携手推动企业智能化转型建设

星策开源社区

人工智能 机器学习 企业数智化 智能化转型

GitHub上超火的阿里调优专家的677页Java性能调优笔记,已让我拿下5个offer

爱好编程进阶

Java 程序员 后端开发

JAVA API调用elasticsearch实现基本增删改查

爱好编程进阶

程序员 后端开发

使用xdebug调试php详细教程

CRMEB

华为云持续快速增长,IaaS市场排名中国第二、全球第五

科技热闻

【架构视角】一篇文章带你彻底吃透Spring

潘大壮

spring 后端 springboot 后端开发

聊聊如何在华为云IoT平台进行产品开发

华为云开发者联盟

物联网平台 IoT 华为云 iotda 设备接入

Java中当对象不再使用时,不赋值为null会导致什么后果?

爱好编程进阶

Java 程序员 后端开发

我以为自己MySQL够牛逼了,直到看到了Alibaba的面试题,是我不配了。。

Java架构追梦

Java 后端开发 MySQL 运维 程序员面试

划重点,2022 常见的面试题和八股文都为大家总结出来了

Java架构追梦

程序员 java面试 后端开发 Java面试八股文

腾讯大手笔开源整个容器平台,20年技术积累首公开_云原生_赵钰莹_InfoQ精选文章