AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

聚焦技术发展及开源生态 腾讯全面揭秘大数据平台演进之路

  • 2019-11-12
  • 本文字数:2143 字

    阅读完需:约 7 分钟

聚焦技术发展及开源生态 腾讯全面揭秘大数据平台演进之路

11 月 7 日,腾讯 Techo 开发者大会的“腾讯大数据”分论坛上,围绕大数据的新技术进展及开源生态,腾讯大数据团队进行了详细解读,包括由集群规模化与异构化挑战所引发的漂移计算等新技术创新,越来越普遍的实时计算需求以及新架构的实践,能够无限弹性扩展的、面向未来的数据湖体系结构,大数据技术发展的新趋势与新挑战等。


腾讯也通过开源和广大开发者共享技术成果,并希望推动业界共同加入构建开源正生态。在前一天的大会主论坛上,腾讯云副总裁、腾讯数据平台部总经理蒋杰博士宣布资源管理平台核心 TKE 和分布式数据库 TBase 正式对外开源,腾讯正在走向大数据领域全面开源之路。


十年技术演进 从引进到自研

蒋杰指出,自 2009 年起,腾讯大数据平台已完成三次迭代,从以 Hadoop 为核心的离线计算时代到以 Storm、Spark、Flink 为核心的实时计算时代,再到如今的机器学习和深度学习时代。经过 10 年的积累,腾讯大数据平台的算力资源池目前已有超过 20 万台的规模,每天实时数据计算量超过 30 万亿条,腾讯已经成为中国实时数据计算量最大的公司。


从开始的技术引进、局部优化到如今的自主创新,腾讯的大数据技术在实践中不断优化、不断完善。随着系统演进和数据增长,异构集群、异构数据源问题凸显,为了降低数据使用壁垒,漂移计算平台研发负责人张韶全博士表示:“腾讯大数据去年自研了漂移计算引擎 SuperSQL,满足跨地区、跨集群、跨数据源的联邦数据需求,通过解决数据孤岛、优化资源使用,能够极大地降低数据联合分析的使用门槛,提升数据使用效率,最大化数据使用的价值。”



(腾讯漂移计算平台研发负责人张韶全博士)


2015 年起,腾讯就开始对大数据进行实时化的改造,到现在腾讯内部所有产品都已经广泛开始使用实时计算的模式。据实时计算平台研发负责人施晓罡博士介绍,Oceanus 是腾讯基于 Flink 打造的集开发、测试、部署和运维于一体的一站式可视化实时计算平台。目前 Oceanus 在内部支持了包括微信、QQ、腾讯游戏、腾讯视频、微信支付、财付通和 CDN 在内的多个重要产品,并在腾讯云上为公有云和私有云用户提供可靠的实时计算服务。围绕着内部海量业务,oceanus 团队同时将现网面临的各类问题以及解决手段反馈给社区,目前已经贡献了超过 300 多个的 patch,为 flink 稳定性、扩展性、易用性以及高性能做出重要贡献。



(腾讯实时计算平台研发负责人施晓罡博士)


而随着数据应用越来越深入,腾讯对数据挖掘的需求也越来越多。2015年初,腾讯开始自研高性能的分布式机器学习平台Angel,采用PS架构,能支持10亿维度,目前Angel发展到3.0版本,能支持万亿维度,也可以兼容Spark、PyTorch、TensorFlow等生态。从1.0到3.0,Angel从一个单一的模型训练平台发展到涵盖机器学习各个流程的全栈机器学习平台,并且已应用于微信支付、QQ、腾讯视频、腾讯社交广告及用户画像挖掘等业务。


目前,腾讯正在探索以批流融合、ABC 融合、以及数据湖和联邦学习为方向的下一代大数据平台的研究,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

大数据平台全面开源 助力构建开源生态

今年,在内部开源协同的战略推动下,腾讯在大数据开源领域的开源逐步加速。此次在 Techo 大会现场,腾讯重磅宣布正式开源资源管理平台核心 TKE 和分布式数据库 TBase,至此完成了腾讯大数据核心能力全开源,并期望推动业界一起构建繁荣的开源生态。


其中,TKE 是基于 Kubernetes 的开源容器平台,在大数据,深度学习,通用服务等现网业务的实践和打磨下,可以同时服务公有云和私有云,并且在易用性,可靠性,安全性,通用性等方面领先业界。目前 TKE 已应用于腾讯内外部游戏、银行、汽车等多项业务。


TBase 则是在开源的 PostgreSQL 基础上自主研发的企业级分布式 HTAP 数据库管理系统,具备高扩展性、SQL 高兼容度、提供分布式全局事务一致性功能支持、多级容灾能力以及多维度资源隔离能力的高安全性等特征,同时支持关系模型下的在线交易+分析型业务。自 2015 年上线以来,TBase 已在腾讯内外部包括政务、银行、保险、证券、微信支付等多个行业提供底层数据库支撑。


在大数据领域,从 2014 开始,腾讯将第一代大数据平台的核心,腾讯版的 Hive 进行了开源,2017 年,更是把第三代平台的核心 Angel 开源并捐献给 Linux 基金会。2 个月前,在 ApacheCon 2019 上,腾讯面向全球开发者正式宣布开源实时数据采集平台 TubeMQ,并捐献给 Apache 社区。


在蒋杰看来,构建开源生态,一方面可以吸引更多的优秀开发者加入腾讯,一起推动技术研发更加进步;另一方面,整个开源生态的繁荣,能够让开源软件的功能更加完善,也能够更好的支撑腾讯的业务发展。如腾讯不断在云端演进和丰富大数据产品矩阵,目前已有数百万活跃开发者在云端学习、讨论、建设,其联合行业合作伙伴共同打造了覆盖 19 个行业的 100 多个行业解决方案,共同服务的客户数达到了 20 多万家,个人客户 60 多万家。


“开源是希望更好的回馈社区,希望开源生态能有更大的繁荣,腾讯的大数据将全面开源。”蒋杰表示。


2019-11-12 17:571411

评论

发布
暂无评论
发现更多内容

使用 Vue 自定义拖放文件上传

互联网工科生

GitHub Vue 代码

夹具、治具、模具零件加工|云MES系统解决方案

万界星空科技

开源 解决方案 MES系统

10分钟了解Flink Watermark水印

程序员半支烟

Java 大数据 flink 程序员

MySQL 体系结构

红袖添香

MySQL 存储引擎 InnoDB存储引擎

LMOps 工具链与千帆大模型平台

Baidu AICLOUD

LLMOps 大模型微调 千帆大模型平台 LMops

在langchain中使用自定义example selector

程序那些事

程序那些事 大语言模型 langchain

堡垒机-企业最好的家人,信息安全的守门人

行云管家

互联网 网络安全 信息安全 堡垒机

redis 的哨兵模式详解和实战

java易二三

Java redis 编程 程序员 计算机

线程池-从零到一了解并掌握线程池

派大星

线程池 Java 面试题

什么是数字化管理,对企业价值几何?

优秀

数字化转型 数字经济 数字化管理

redis 和 memcached 有什么区别?redis 的线程模型是什么?为什么 redis 单线程却能支撑高并发?

java易二三

redis 编程 程序员 面试 计算机

HDC 2023丨以HarmonyOS技术赋能艺术,引领鸿蒙生态媒体体验升级

最新动态

MySQL事务ACID原理

红袖添香

MySQL 数据库 事务 ACID MySQL InnoDB

《这就是ChatGPT》读后感

叶轩子

人工智能 深度学习 ChatGPT

融云荣登36氪WISE2023「全球化最佳基础设施」榜单

融云 RongCloud

全球化 通信 运营 融云 wise

从源码层面深度剖析Spring循环依赖 | 京东云技术团队

京东科技开发者

spring 源码剖析 循环依赖 @Bean 企业号 8 月 PK 榜

一文详解TextBrewer

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 企业号 8 月 PK 榜

DFS算法解析

数新网络官方账号

算法 DFS 深度优先搜索

关于ANCE OS兼容性评估 & Linux智能全栈调优KeenTune介绍 | 第 93-94 期

OpenAnolis小助手

QA sig 龙蜥大讲堂 KeenTune ANCE

面向万物智联的应用框架的思考与探索

OpenHarmony开发者

OpenHarmony

桌面应用打包:pyinstaller | 京东物流技术团队

京东科技开发者

Python pyinstaller 桌面应用 企业号 8 月 PK 榜

InnoDB 单表数据量超过 2000W 出现性能问题

红袖添香

MySQL innodb 索引 B+树 缓冲池

深入理解 HDFS(四):Socket

冰心的小屋

hdfs NameNode IPC Server HDFS client 通信渠道

直播源码硬核技术分析:主播PK功能

山东布谷网络科技

直播源码

火山引擎DataLeap数据质量动态探查及相关前端实现

字节跳动数据平台

大数据 数据中台 数据治理 数据安全 企业号 8 月 PK 榜

R2在全渠道业务线的落地 | 京东云技术团队

京东科技开发者

测试 质量 企业号 8 月 PK 榜 R2

5 小时玩转阿里云 Flink 实时湖仓,速速报名!

Apache Flink

大数据 flink 实时计算

科兴未来|2023“数智未来,聚放神采”医疗科技创新挑战赛

科兴未来News

服装行业多模态算法个性化产品定制方案 | 京东云技术团队

京东科技开发者

数据化 AIGC GPT 企业号 8 月 PK 榜

聚焦技术发展及开源生态 腾讯全面揭秘大数据平台演进之路_服务革新_云加社区_InfoQ精选文章