阿里云「飞天发布时刻」2024来啦!新产品、新特性、新能力、新方案,等你来探~ 了解详情
写点什么

腾讯大手笔开源整个容器平台,20 年技术积累首公开

  • 2019-11-06
  • 本文字数:3115 字

    阅读完需:约 10 分钟

腾讯大手笔开源整个容器平台,20年技术积累首公开

刚刚,在腾讯2019Techo开发者大会的现场,腾讯对一众开源项目进行了联合发布,并首次公开 20 年技术积累,指出未来云计算领域的三大技术趋势。


大手笔开源:容器平台 TKE、数据库 TBase 等

截至目前,腾讯共开源了 86 个项目,覆盖云计算、大数据、AI、安全、小程序等领域,参与贡献的人数超过 1000 名,累计在 GitHub 获得了超过 25 万个 Star。同时,腾讯也是 Apache 基金会、Linux 基金会、CNCF 基金会和 OpenStack 基金会的顶级白金赞助商。


腾讯开源联盟主席堵俊平首先介绍了 TubeMQ 项目。TubeMQ 是腾讯大数据从 7 年前就开始研发的一款分布式消息中间件,七年内支撑了腾讯的海量数据业务,目前每天支撑的数据量超过 30 万亿条。特点是支持数据的高性能存储与传输,吞吐率非常高,延迟低至 5ms。本周,TubeMQ 正式被 Apache 基金会接受为正式 Incubator 项目,开始孵化之旅。(TubeMQ 项目的地址在这里:https://github.com/Tencent/TubeMQ


第二个项目是腾讯 Kona JDK。腾讯 Kona JDK 在主流 OpenJDK8 的基础上,进行了针对性的开发和优化, 引入了一些高版本 JDK 的特性,能够帮助用户在无感知的使用共享核心类信息来提高启动速度。在云场景下,JVM 的启动速度最高能够提升到 40%左右。


为了增强线上诊断的能力, 腾讯 Kona JDK 引入了 JFR 以及活页图等功能,可以帮助 Java 用户获得从系统到应用的 profiling 信息,增强运行时诊断以及热点分析,指导优化。目前, 腾讯 Kona JDK 已经在腾讯上万台服务结点大规模部署,服务云上 Java 场景。目前,该项目已经正式开源, 腾讯将对 Kona 进行长期维护,包括季度性的版本更新,以保证 Kona 用户的 Java 应用的稳定与安全。(Kona JDK 的地址在这里:https://github.com/Tencent/TencentKona-8


然后是 TBase,TBase 是腾讯大数据基于 PostgreSQL 开发的分布式 HTAP 数据库。TBase 在兼容 SQL 标准,提供完整的分布式事务能力的同时,保证了金融级数据容灾。在数据安全、分布式执行器优化以及读写分离等方面做了很多工作。目前,该项目已经在腾讯内部大规模采用,同时在 HTAP、地理信息系统以及实时高并发等场景得到验证,线上运行超过 200 个集群实例,节点规模突破 1000,单日请求量超过 10 亿次,是一个生产级的企业级 HTAP 数据库。(TBase 项目的开源地址在这里:http://github.com/Tencent/TBase


最后是企业级容器平台 TKEStack。腾讯从 2009 年开始开发自己的容器编排平台,到 2013 年已经在内部维护了上万台服务器,支撑腾讯很多业务的平稳运行。当 Docker 和 Kubernetes 开源并成为事实标准,腾讯将内部平台切换到这两个项目上,并在公有云和私有云上为大量客户提供服务。这些经验和改进被整合在一起,就形成了 TKEStack 这样一个 K8s 发行版。(TKEStack 项目的开源地址在这里:https://github.com/tkestack


据介绍,面向离线业务和在线业务混部的业务场景,TKEStack 能够稳定管理万级别 Kubernetes 集群,并提供全方位资源管控,解决网络带宽控制、磁盘 IO 等难题。同时,该项目还有腾讯创新的 GPU 虚拟化技术,包括对 GPU 调度的改进,可以算是一款重磅级的开源项目。

未来云计算三大趋势

腾讯副总裁、腾讯云总裁邱跃鹏表示,开源是让所有开发者通过代码共享成果最好的方式,通过腾讯这么多年服务开发者的经验,腾讯看到的未来云计算发展的三大趋势是软硬件一体化(Cloud Native Hardware)、无服务器计算(Serverless)和智能化(Smart)。


邱跃鹏指出,随着云计算承载的业务规模越来越大,软件和硬件的结合成为刚需。软硬件一体化技术会进一步发展,为开发者提供更强壮的基础设施平台,提升云计算的性能、提高资源利用率,最终为开发者提供稳定、更具性价比的服务。软硬件一体化带来的技术红利,值得每一位开发者关注。


同时,无服务器计算,即 Serverless 正在快速演进。Serverless 把开发者从繁琐、冗杂的开发配置工作中解放出来,不需要任何的基础设施建设、管理与运维,极大降低了开发门槛,开发者只需关注自己的业务逻辑。以腾讯云和微信联合推出的“小程序·云开发”为例,上线一年已经服务超过 50 万开发者。“小程序·云开发”让更多开发者实现他们的小程序梦想。未来,Serverless 理念也会在更多开发场景中落地。


随着硬件红利不断释放、开发者越来越关注于自己的应用,数字化进程不断加快。随之而来的数据量不断增长,对算力的要求越来越高,人工智能成为开发者们必须关注和应用的技术。人工智能正在快速演进,云厂商也将会提供更多人工智能产品和能力给到开发者。

腾讯 20 年技术积累

作为全球最大的互联网公司之一,腾讯无论在基础架构还是大数据 AI 领域的实践,都极具代表性。目前,腾讯的算力资源池已经达到 20 万台,日分析任务数达到了 1500 万,日接入数据条数为 35 万亿,日实时计算次数达到 30 万亿,模型训练维度为 1 万亿。腾讯云副总裁、云架构平台部总经理谢明表示:


无论是从使用通用服务器到不久前发布的“为云而生”的服务器星星海,还是从第一代数据中心中传统的电信解决方案到如今第四代的 T-block 产品家族,腾讯云在基础设施领域已经走出了一条自主创新之路,而随着云计算基础设施的不断进化,这些经过微信、QQ 等海量业务充分验证过的基础能力,正在通过腾讯云共享给更多开发者,助力产业互联网发展。


以星星海服务器来说,在设计过程中,结合了数据中心实际部署环境要求,针对云端的计算、存储,网络等场景做了重点优化,能够有效满足腾讯云 98%应用场景需求。同时,深度定制的 CPU,能够实现行业最优单核性能和最优单核 TCO;根据测试,星星海可以实现云服务实例综合性能提升 35%以上,最大负载能效对比业界可提高 50%。


在数据中心方面,第四代数据中心 T-block 让用户能够以搭积木的方式,快速实现全数据中心的模块化配置及建设,相比于传统大规模数据中心,T-block 可以显著减少建设周期和施工成本。同时,由于率先在行业内采用更高效率的制冷和供配电架构,系统能源使用效率得到有效提升。以一个拥有 30 万台服务器的园区为例,一年可节省 2.5 亿度电,真正实现绿色数据中心的理念。


除了基础设施,大数据在支撑云计算应用上也起着至关重要的作用,腾讯云副总裁蒋杰,数据平台部总经理蒋杰表示:


经过 10 年的积累,腾讯大数据平台的算力资源池目前已有超过 20 万台的规模,每天实时数据计算量超过 30 万亿条,腾讯已经成为中国实时数据计算量最大的公司。


十年,从以 Hadoop 为核心的离线计算时代到以 Spark、Storm、Flink 为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎 Angel,以及一站式 AI 开发平台智能钛 TI。目前,腾讯正在研究以批流融合、ABC 融合、以及数据湖和联邦学习为方向的下一代大数据平台,该平台将具备混合部署、跨域数据共享和边缘计算等能力。


在过往的开源项目中,大数据领域同样占据着重要地位。从 2014 开始,腾讯将第一代大数据平台的核心,腾讯版的 Hive 进行了开源,2017 年,更是把第三代平台的核心 Angel 开源。今年,腾讯加快开源脚步, 在两个月前的 ApacheCon 2019 上,腾讯面向全球开发者正式宣布开源自研核心平台——实时数据采集平台 TubeMQ,并捐献给 Apache 社区。此次在 Techo 大会现场,再次重磅宣布正式开源资源管理平台核心 TKE 和分布式数据库 TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商之一。


如前文言,腾讯是目前中国唯一全面支持四大顶级开源基金会的白金赞助商,并通过不断赞助、捐献项目、为开源项目贡献代码、解决问题等各种形式,积极参与开源社区生态建设。未来,腾讯云将以更开放的心态拥抱和回馈社区,为更多的开发者带去便捷、高效的开发体验。


2019-11-06 12:5524441
用户头像
赵钰莹 InfoQ 主编

发布了 874 篇内容, 共 605.0 次阅读, 收获喜欢 2671 次。

关注

评论 16 条评论

发布
用户头像
厉害,国内大厂都在大力开源自己技术
2019-11-20 08:59
回复
用户头像
看了那个openJDK,只能说是凑凑热闹了。不应该另立门户搞,应该尽量参与到开源社区当中,同时互相接纳开源开发者贡献代码。麻烦腾讯员工把代码提交到此处: https://hg.openjdk.java.net/jdk/jdk
2019-11-13 01:57
回复
2019-11-25 13:24
回复
用户头像
别凑热闹了,跟阿里没得比
2019-11-12 09:21
回复
用户头像
没有源代码地址都不叫开源,国内厂商的浮躁不应该影响infoq的文章质量水平
2019-11-07 22:17
回复
TubeMQ 项目的地址在这里: https://github.com/Tencent/TubeMQ
Kona JDK 的地址在这里: https://github.com/Tencent/TencentKona-8 
TKEStack项目的开源地址在这里:https://github.com/tkestack
TBase项目的开源地址在这里:http://github.com/Tencent/TBase
2019-11-08 10:07
回复
tx开源的几个项目文档都做的很糟糕,以前用过tars,也做过微信支付的对接。只能说文档质量没有阿里高,这几个项目还没看,先不做评论
2019-11-22 19:15
回复
用户头像
我个人认为没有源代码开源的地址都不叫开源,不应该大肆宣传,国内的浮躁
2019-11-07 22:16
回复
用户头像
 Kona JDK的地址在这里:https://github.com/Tencent/TencentKona-8
TubeMQ 项目的地址在这里:https://github.com/Tencent/TubeMQ
2019-11-07 13:23
回复
用户头像
建议对开源项目有兴趣的,关注下腾讯的官方开源地址:https://opensource.tencent.com  所有腾讯的开源项目都会出现这里
2019-11-07 08:30
回复
开源的这几款产品什么时候能看到
2019-11-07 09:54
回复
已经询问腾讯方面具体的开源地址、开放源代码的时间,有消息第一时间回复各位,感谢各位关注
2019-11-07 11:21
回复
用户头像
麻烦贴一下开源代码地址,谢谢
2019-11-06 23:09
回复
用户头像
麻烦贴一下开源代码地址,谢谢
2019-11-06 22:05
回复
用户头像
麻烦 Github 地址贴一下,谢谢。
2019-11-06 21:51
回复
2019-11-25 13:26
回复
没有更多了
发现更多内容

RocketMQ高可用设计之故障规避机制

急需上岸的小谢

8月月更

【精通内核】深入理解汇编语言

小明Java问道之路

指令集 寄存器 汇编语言 8月月更 机器语言

Kubernetes Kruise Rollout

CTO技术共享

开源 签约计划第三季 8月月更

我眼中的无影云桌面‖云桌面使用者角度

乌龟哥哥

8月月更

阿里云鲍文乐:基于事件的自动化运维最佳实践

阿里云弹性计算

事件 自动化运维 CloudOps

Kubernetes 重大更改和删除

CTO技术共享

开源 签约计划第三季 8月月更

【React源码系列】React Context原理,为什么我建议尽可能少的使用React Redux管理状态 审核中

爱切图的木子老师

react源码 react context react redux

Kubernetes 云原生日志构建

CTO技术共享

开源 签约计划第三季 8月月更

直播商城系统——直播和电商的合理有效结合

开源直播系统源码

软件开发 直播系统源码 直播带货系统 直播商城系统 直播app系统

基于CC2530(ZigBee)设计的景观照明控制系统+配套手机APP

DS小龙哥

8月月更

圣庭医疗联合创始人谷红仓:高通量基因测序在药物研发和靶向治疗中的应用

阿里云弹性计算

HPC 高性能计算 生命科学 基因测序

腾讯发布第二季度财报,腾讯云数据库收入同比增长超过30%

科技热闻

C++继承中的多继承语法与菱形继承

CtrlX

c c++ 面向对象 继承 8月月更

文件管理-Linux系统压缩打包

Albert Edison

Linux centos 文件管理 tar命令 8月月更

【LeetCode】课程表Java题解

Albert

LeetCode 8月月更

Web登录很简单?开玩笑!

TimeFriends

8月月更

3 分钟温故知新 RxJS 【创建实例操作符】

掘金安东尼

前端 函数式编程 8月月更

低代码实现探索(四十八)后端服务

零道云-混合式低代码平台

Go-Excelize API源码阅读(十三)—— GetSheetVisible、SetSheetFormatPr

Regan Yue

Go 开源 源码解析 8月日更 8月月更

寻找海量数据集用于大数据开发实战(维基百科网站统计数据)

程序员欣宸

大数据 数据集 8月月更

计算机网络(二、物理层)

计算机网络 8月月更

【精通内核】汇编下的C语言

小明Java问道之路

指针 C语言 结构体 汇编语言 8月月更

自媒体代运营为何被诟病,代运营的水有多深

石头IT视角

付费会员之我见(43/100)

hackstoic

商业模式

我做了个《联机桌游合集: UNO+斗地主+五子棋》无需下载,点开即玩!叫上朋友,即刻开局!不看广告,不做任务,享受「纯粹」的游戏!

HullQin

CSS JavaScript html 前端 8月月更

预约直播 | 基于预训练模型的自然语言处理及EasyNLP算法框架

阿里云大数据AI技术

深度学习 阿里云 算法框架

云原生(二十) | 深入了解Kubernetes(k8s)Service

Lansonli

云原生 k8s 8月月更

悟了,应该都了解分布式架构下负载均衡器吧

知识浅谈

负载均衡 8月月更

应用缺少POI数据,如何开发地点深度信息?

HMS Core

五分钟给你的 gRPC 服务加上 HTTP 接口

万俊峰Kevin

Go 微服务 gRPC web开发 go-zero

迄今为止最完整的DDD实践

阿里技术

DDD 经验分享

腾讯大手笔开源整个容器平台,20年技术积累首公开_云原生_赵钰莹_InfoQ精选文章