腾讯开放 TDinsight 机器学习平台等政企大数据平台

2017 年 6 月 16 日，腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。时隔半年，12 月 13 日，腾讯在“2017 互联网 + 大数据高峰论坛”发布“腾讯慧聚”品牌，其中就包括机器学习基础平台 TDinsight。与 Angel 和其他机器学习平台相比，TDinsight 有何优势？

TDinsight 机器学习平台

“腾讯慧聚”包括五大数据平台，分别是大数据一站式平台 Dmaster、大规模事务处理平台 Tbase、大数据实时接入平台 TDbank、大数据实时多维分析平台 Hermes，以及机器学习基础平台 TDinsight。

据腾讯互联网 + 大数据产品中心总经理刘煜宏介绍，TDinsight 机器学习平台提供一站式的机器学习平台，通过可视化的拖曳布局，组合各种数据源、组件、算法、模型和评估模块，支持各种主流的开源机器学习框架，包括 Spark、Python、R、XGBoost。覆盖特征工程、分类、聚类、回归、关联规则、时间序列等传统机器学习算法的同时，支持图算法、深度学习等更加丰富的算法库，让用户可以快速接入人工智能，释放数据潜力。

那么，TDinsight 机器学习平台相比其他相似产品有何优势？这个平台是否开源？是否意味着腾讯以后将会开放自己的 AI 能力呢？

对此，腾讯互联网 + 大数据产品中心总经理刘煜宏说道：“腾讯有几个 AI 部门，包括提到的优图、医疗觅影，就是很好的 AI 跟行业结合很好的案例，所以腾讯 AI 能力一直体现在我们产品里，现在也单独拿出来开放了。TDinsight 是机器学习基础平台，腾讯大数据去年发布的 Angel 在 6 月份开源了，Angel 是一个面向机器学习的分布式高性能计算平台。那 Angel 跟 TDinsight 是什么关系呢？其实 TDinsight 你可以认为是一个机器学习的调度平台，但是又不仅仅是调度平台，TDinsight 自身包含多种算法以及模型，并且支持多源的输入以及输出，TDinsight 采用拖拽的方式能够根据不同的算法、模型调度对应不同的机器学习组件 (框架)，例如：Angel、Spark、TensorFlow、Torch 等，完成机器学习整个流程。”

虽然 TDinsight 目前已经对政企开放，但开源似乎还是一件遥不可期的事情，刘煜宏表示，“我们也是跟各行各业的定制需求结合，目前要开源出来还不是很好的时机，现在腾讯公司开源的也越来越多，包括大数据是来源于开源。我们还是会回归到社区里，包括 Tbase，已经与社区结合得非常紧密，是非常核心的开源，包括资源调度管理平台，调度是在全球计算能力领先的很重要的模块。所以大数据开源会越来越多，但不像安卓整体开源，我们也会结合社区化把很多东西反馈到里面。”

Angel 机器学习平台

Angel 平台是使用 Java 和 Scala 混合开发的机器学习框架，用户可以像用 Spark, MapReduce 一样，用它来完成机器学习的模型训练。2017 年 6 月 16 日，腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。

Angel 采用参数服务器架构，支持十亿级别维度的模型训练。采用了多种业界最新技术和腾讯自主研发技术，如 SSP（Stale synchronous Parallel）、异步分布式 SGD、多线程参数共享模式 HogWild、网络带宽流量调度算法、计算和网络请求流水化、参数更新索引和训练数据预处理方案等。

这些技术使 Angel 性能大幅提高，达到常见开源系统 Spark 的数倍到数十倍，能在千万到十亿级的特征维度条件下运行。

自 2016 年初在腾讯内部上线以来，Angel 已应用于腾讯视频、腾讯社交广告及用户画像挖掘等精准推荐业务。未来还将不断拓展应用场景，目标是支持腾讯等企业级大规模机器学习任务。

Angel 相关链接： https://s.geekbang.org/search/c=0/k=Angel/t=

感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ， @丁晓昀），微信（微信号： InfoQChina ）关注我们。