写点什么

聚焦技术发展及开源生态 腾讯全面揭秘大数据平台演进之路

  • 2019 年 11 月 12 日
  • 本文字数:0 字

    阅读完需:约 1 分钟

聚焦技术发展及开源生态 腾讯全面揭秘大数据平台演进之路

11 月 7 日,腾讯 Techo 开发者大会的“腾讯大数据”分论坛上,围绕大数据的新技术进展及开源生态,腾讯大数据团队进行了详细解读,包括由集群规模化与异构化挑战所引发的漂移计算等新技术创新,越来越普遍的实时计算需求以及新架构的实践,能够无限弹性扩展的、面向未来的数据湖体系结构,大数据技术发展的新趋势与新挑战等。


腾讯也通过开源和广大开发者共享技术成果,并希望推动业界共同加入构建开源正生态。在前一天的大会主论坛上,腾讯云副总裁、腾讯数据平台部总经理蒋杰博士宣布资源管理平台核心 TKE 和分布式数据库 TBase 正式对外开源,腾讯正在走向大数据领域全面开源之路。



十年技术演进 从引进到自研

蒋杰指出,自 2009 年起,腾讯大数据平台已完成三次迭代,从以 Hadoop 为核心的离线计算时代到以 Storm、Spark、Flink 为核心的实时计算时代,再到如今的机器学习和深度学习时代。经过 10 年的积累,腾讯大数据平台的算力资源池目前已有超过 20 万台的规模,每天实时数据计算量超过 30 万亿条,腾讯已经成为中国实时数据计算量最大的公司。


从开始的技术引进、局部优化到如今的自主创新,腾讯的大数据技术在实践中不断优化、不断完善。随着系统演进和数据增长,异构集群、异构数据源问题凸显,为了降低数据使用壁垒,漂移计算平台研发负责人张韶全博士表示:“腾讯大数据去年自研了漂移计算引擎 SuperSQL,满足跨地区、跨集群、跨数据源的联邦数据需求,通过解决数据孤岛、优化资源使用,能够极大地降低数据联合分析的使用门槛,提升数据使用效率,最大化数据使用的价值。”



(腾讯漂移计算平台研发负责人张韶全博士)


2015 年起,腾讯就开始对大数据进行实时化的改造,到现在腾讯内部所有产品都已经广泛开始使用实时计算的模式。据实时计算平台研发负责人施晓罡博士介绍,Oceanus 是腾讯基于 Flink 打造的集开发、测试、部署和运维于一体的一站式可视化实时计算平台。目前 Oceanus 在内部支持了包括微信、QQ、腾讯游戏、腾讯视频、微信支付、财付通和 CDN 在内的多个重要产品,并在腾讯云上为公有云和私有云用户提供可靠的实时计算服务。围绕着内部海量业务,oceanus 团队同时将现网面临的各类问题以及解决手段反馈给社区,目前已经贡献了超过 300 多个的 patch,为 flink 稳定性、扩展性、易用性以及高性能做出重要贡献。



(腾讯实时计算平台研发负责人施晓罡博士)


而随着数据应用越来越深入,腾讯对数据挖掘的需求也越来越多。2015年初,腾讯开始自研高性能的分布式机器学习平台Angel,采用PS架构,能支持10亿维度,目前Angel发展到3.0版本,能支持万亿维度,也可以兼容Spark、PyTorch、TensorFlow等生态。从1.0到3.0,Angel从一个单一的模型训练平台发展到涵盖机器学习各个流程的全栈机器学习平台,并且已应用于微信支付、QQ、腾讯视频、腾讯社交广告及用户画像挖掘等业务。


目前,腾讯正在探索以批流融合、ABC 融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。


大数据平台全面开源 助力构建开源生态

今年,在内部开源协同的战略推动下,腾讯在大数据开源领域的开源逐步加速。此次在 Techo 大会现场,腾讯重磅宣布正式开源资源管理平台核心 TKE 和分布式数据库 TBase,至此完成了腾讯大数据核心能力全开源,并期望推动业界一起构建繁荣的开源生态。


其中,TKE 是基于 Kubernetes 的开源容器平台,在大数据,深度学习,通用服务等现网业务的实践和打磨下,可以同时服务公有云和私有云,并且在易用性,可靠性,安全性,通用性等方面领先业界。目前 TKE 已应用于腾讯内外部游戏、银行、汽车等多项业务。


TBase 则是在开源的 PostgreSQL 基础上自主研发的企业级分布式 HTAP 数据库管理系统,具备高扩展性、SQL 高兼容度、提供分布式全局事务一致性功能支持、多级容灾能力以及多维度资源隔离能力的高安全性等特征,同时支持关系模型下的在线交易+分析型业务。自 2015 年上线以来,TBase 已在腾讯内外部包括政务、银行、保险、证券、微信支付等多个行业提供底层数据库支撑。


在大数据领域,从 2014 开始,腾讯将第一代大数据平台的核心,腾讯版的 Hive 进行了开源,2017 年,更是把第三代平台的核心 Angel 开源并捐献给 Linux 基金会。2 个月前,在 ApacheCon 2019 上,腾讯面向全球开发者正式宣布开源实时数据采集平台 TubeMQ,并捐献给 Apache 社区。


在蒋杰看来,构建开源生态,一方面可以吸引更多的优秀开发者加入腾讯,一起推动技术研发更加进步;另一方面,整个开源生态的繁荣,能够让开源软件的功能更加完善,也能够更好的支撑腾讯的业务发展。如腾讯不断在云端演进和丰富大数据产品矩阵,目前已有数百万活跃开发者在云端学习、讨论、建设,其联合行业合作伙伴共同打造了覆盖 19 个行业的 100 多个行业解决方案,共同服务的客户数达到了 20 多万家,个人客户 60 多万家。


“开源是希望更好的回馈社区,希望开源生态能有更大的繁荣,腾讯的大数据将全面开源。”蒋杰表示。


2019 年 11 月 12 日 17:57651

评论

发布
暂无评论
发现更多内容

This post is all you need(①多头注意力机制原理)

月来客栈

深度学习 Transformer

那些年Android面试官常问的知识点,真香!

欢喜学安卓

android 程序员 面试 移动开发

数仓开发人员经常说的 ETL、ELT,又有什么区别

奔向架构师

大数据 数据架构 话题讨论 7月日更

JVM--垃圾回收算法

是老郭啊

JVM 垃圾回收机制 JVM垃圾回收原理

蜕变中的B站:给各大自媒体平台带来那些启发

石头IT视角

模块一:

kk

#架构实战营

架构训练营模块一作业

高铎

架构实战营

程序员考证有什么现实意义? | 话题讨论

happlyfox

话题讨论

5G云计算齐发力,云电脑的春天到了吗?

脑极体

微信业务架构图 & 学生管理系统

gawaine

架构实战营

深入理解搜索引擎——开篇

药老算法

数据挖掘 机器学习 搜索引擎 全文检索 向量检索

Cobar源码分析之AST

捉虫大师

sql AST cobar

被面试官问的Android问题难倒了,3面直接拿到offer

欢喜学安卓

android 程序员 面试 移动开发

靠着这份Java面试题跟答案,我从 14K 变成了 28K!

Java 程序员 架构 面试

如何轻松启动Docker服务

DisonTangor

Docker

智能运维(AIOps)系列之二:什么是人工智能

micklongen

人工智能 AIOPS 智能运维

草稿20210707

cc=o

架构实战营 草稿

架构实战营--模块一作业

小牧ah

架构实战营

注册中心篇,欣赏阿里开源Nacos

下雨喽

Java 设计 nacos

《持之以恒的从事运动》四

Changing Lin

🏆(不要错过!)【CI/CD技术专题】「Jenkins实战系列」(2)Jenkins实现自动化部署+自动化合并其他分支

浩宇天尚

jenkins CI/CD 7月日更

模块一作业

MX

非对称风险:你需要为行为结果负责吗?

石云升

读书笔记 风险 7月日更

分析一下微信朋友圈的高性能复杂度

NewBranSTONE

架构实战营

GitHub标星90K+ 的算法小抄,全球排名 36,到底有多牛逼?

Java 程序员 架构 面试

微进程:微服务中后台作业的一种新架构设计模式

白亦杨

微服务

【又是干货】史诗级漏洞挖掘的过程快get一下

网络安全学海

运维 网络安全 信息安全 渗透测试 漏洞修复

膜拜!京东亿级高并发秒杀架构设计(2021最新版)限时开源!

程序员小毕

Java 程序员 架构 面试 系统设计

5分钟速读之Rust权威指南(三十七)模式性质

码生笔谈

rust

架构实战营第一期--模块一作业

clay

架构实战营

yidong

方白

数据cool谈(第2期)寻找下一代企业级数据库

数据cool谈(第2期)寻找下一代企业级数据库

聚焦技术发展及开源生态 腾讯全面揭秘大数据平台演进之路-InfoQ