腾讯开放 TDinsight 机器学习平台等政企大数据平台

  • 陈利鑫

2017 年 12 月 17 日

话题:大数据腾讯语言 & 开发架构机器学习

2017 年 6 月 16 日,腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。时隔半年,12 月 13 日,腾讯在“2017 互联网 + 大数据高峰论坛”发布“腾讯慧聚”品牌,其中就包括机器学习基础平台 TDinsight。与 Angel 和其他机器学习平台相比,TDinsight 有何优势?

TDinsight 机器学习平台

“腾讯慧聚”包括五大数据平台,分别是大数据一站式平台 Dmaster、大规模事务处理平台 Tbase、大数据实时接入平台 TDbank、大数据实时多维分析平台 Hermes,以及机器学习基础平台 TDinsight。

据腾讯互联网 + 大数据产品中心总经理刘煜宏介绍,TDinsight 机器学习平台提供一站式的机器学习平台,通过可视化的拖曳布局,组合各种数据源、组件、算法、模型和评估模块,支持各种主流的开源机器学习框架,包括 Spark、Python、R、XGBoost。覆盖特征工程、分类、聚类、回归、关联规则、时间序列等传统机器学习算法的同时,支持图算法、深度学习等更加丰富的算法库,让用户可以快速接入人工智能,释放数据潜力。

那么,TDinsight 机器学习平台相比其他相似产品有何优势?这个平台是否开源?是否意味着腾讯以后将会开放自己的 AI 能力呢?

对此,腾讯互联网 + 大数据产品中心总经理刘煜宏说道:“腾讯有几个 AI 部门,包括提到的优图、医疗觅影,就是很好的 AI 跟行业结合很好的案例,所以腾讯 AI 能力一直体现在我们产品里,现在也单独拿出来开放了。TDinsight 是机器学习基础平台,腾讯大数据去年发布的 Angel 在 6 月份开源了,Angel 是一个面向机器学习的分布式高性能计算平台。那 Angel 跟 TDinsight 是什么关系呢?其实 TDinsight 你可以认为是一个机器学习的调度平台,但是又不仅仅是调度平台,TDinsight 自身包含多种算法以及模型,并且支持多源的输入以及输出,TDinsight 采用拖拽的方式能够根据不同的算法、模型调度对应不同的机器学习组件 (框架),例如:Angel、Spark、TensorFlow、Torch 等,完成机器学习整个流程。”

虽然 TDinsight 目前已经对政企开放,但开源似乎还是一件遥不可期的事情,刘煜宏表示,“我们也是跟各行各业的定制需求结合,目前要开源出来还不是很好的时机,现在腾讯公司开源的也越来越多,包括大数据是来源于开源。我们还是会回归到社区里,包括 Tbase,已经与社区结合得非常紧密,是非常核心的开源,包括资源调度管理平台,调度是在全球计算能力领先的很重要的模块。所以大数据开源会越来越多,但不像安卓整体开源,我们也会结合社区化把很多东西反馈到里面。”

Angel 机器学习平台

Angel 平台是使用 Java 和 Scala 混合开发的机器学习框架,用户可以像用 Spark, MapReduce 一样,用它来完成机器学习的模型训练。2017 年 6 月 16 日,腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。

Angel 采用参数服务器架构,支持十亿级别维度的模型训练。采用了多种业界最新技术和腾讯自主研发技术,如 SSP(Stale synchronous Parallel)、异步分布式 SGD、多线程参数共享模式 HogWild、网络带宽流量调度算法、计算和网络请求流水化、参数更新索引和训练数据预处理方案等。

这些技术使 Angel 性能大幅提高,达到常见开源系统 Spark 的数倍到数十倍,能在千万到十亿级的特征维度条件下运行。

自 2016 年初在腾讯内部上线以来,Angel 已应用于腾讯视频、腾讯社交广告及用户画像挖掘等精准推荐业务。未来还将不断拓展应用场景,目标是支持腾讯等企业级大规模机器学习任务。

Angel 相关链接:https://s.geekbang.org/search/c=0/k=Angel/t=


感谢徐川对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

大数据腾讯语言 & 开发架构机器学习