【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

腾讯开放 TDinsight 机器学习平台等政企大数据平台

  • 2017-12-17
  • 本文字数:1499 字

    阅读完需:约 5 分钟

2017 年 6 月 16 日,腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。时隔半年,12 月 13 日,腾讯在“2017 互联网 + 大数据高峰论坛”发布“腾讯慧聚”品牌,其中就包括机器学习基础平台 TDinsight。与 Angel 和其他机器学习平台相比,TDinsight 有何优势?

TDinsight 机器学习平台

“腾讯慧聚”包括五大数据平台,分别是大数据一站式平台 Dmaster、大规模事务处理平台 Tbase、大数据实时接入平台 TDbank、大数据实时多维分析平台 Hermes,以及机器学习基础平台 TDinsight。

据腾讯互联网 + 大数据产品中心总经理刘煜宏介绍,TDinsight 机器学习平台提供一站式的机器学习平台,通过可视化的拖曳布局,组合各种数据源、组件、算法、模型和评估模块,支持各种主流的开源机器学习框架,包括 Spark、Python、R、XGBoost。覆盖特征工程、分类、聚类、回归、关联规则、时间序列等传统机器学习算法的同时,支持图算法、深度学习等更加丰富的算法库,让用户可以快速接入人工智能,释放数据潜力。

那么,TDinsight 机器学习平台相比其他相似产品有何优势?这个平台是否开源?是否意味着腾讯以后将会开放自己的 AI 能力呢?

对此,腾讯互联网 + 大数据产品中心总经理刘煜宏说道:“腾讯有几个 AI 部门,包括提到的优图、医疗觅影,就是很好的 AI 跟行业结合很好的案例,所以腾讯 AI 能力一直体现在我们产品里,现在也单独拿出来开放了。TDinsight 是机器学习基础平台,腾讯大数据去年发布的 Angel 在 6 月份开源了,Angel 是一个面向机器学习的分布式高性能计算平台。那 Angel 跟 TDinsight 是什么关系呢?其实 TDinsight 你可以认为是一个机器学习的调度平台,但是又不仅仅是调度平台,TDinsight 自身包含多种算法以及模型,并且支持多源的输入以及输出,TDinsight 采用拖拽的方式能够根据不同的算法、模型调度对应不同的机器学习组件 (框架),例如:Angel、Spark、TensorFlow、Torch 等,完成机器学习整个流程。”

虽然 TDinsight 目前已经对政企开放,但开源似乎还是一件遥不可期的事情,刘煜宏表示,“我们也是跟各行各业的定制需求结合,目前要开源出来还不是很好的时机,现在腾讯公司开源的也越来越多,包括大数据是来源于开源。我们还是会回归到社区里,包括 Tbase,已经与社区结合得非常紧密,是非常核心的开源,包括资源调度管理平台,调度是在全球计算能力领先的很重要的模块。所以大数据开源会越来越多,但不像安卓整体开源,我们也会结合社区化把很多东西反馈到里面。”

Angel 机器学习平台

Angel 平台是使用 Java 和 Scala 混合开发的机器学习框架,用户可以像用 Spark, MapReduce 一样,用它来完成机器学习的模型训练。2017 年 6 月 16 日,腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。

Angel 采用参数服务器架构,支持十亿级别维度的模型训练。采用了多种业界最新技术和腾讯自主研发技术,如 SSP(Stale synchronous Parallel)、异步分布式 SGD、多线程参数共享模式 HogWild、网络带宽流量调度算法、计算和网络请求流水化、参数更新索引和训练数据预处理方案等。

这些技术使 Angel 性能大幅提高,达到常见开源系统 Spark 的数倍到数十倍,能在千万到十亿级的特征维度条件下运行。

自 2016 年初在腾讯内部上线以来,Angel 已应用于腾讯视频、腾讯社交广告及用户画像挖掘等精准推荐业务。未来还将不断拓展应用场景,目标是支持腾讯等企业级大规模机器学习任务。

Angel 相关链接: https://s.geekbang.org/search/c=0/k=Angel/t=


感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2017-12-17 18:003623
用户头像

发布了 42 篇内容, 共 13.6 次阅读, 收获喜欢 53 次。

关注

评论

发布
暂无评论
发现更多内容

week3-作业一

Coder

架构师训练营 第三周 作业

一雄

极客大学架构师训练营 作业 第三周

架构第三周-学习总结

J.Smile

极客大学架构师训练营

架构师训练营 - 第三周 - 学习总结

stardust20

设计模式

ashuai1106

设计模式 架构师 极客大学架构师训练营 23种设计模式

百度CTO的故事中,藏着中国AI的底色

脑极体

架构师训练营第三周课后作业

不谈

极客大学架构师训练营

10分钟带你入门git到github

java金融

Java git GitHub 版本控制

第03周 重构软件代码 学习总结

Jaye

架构师训练营 -- 第三周作业

stardust20

架构师训练营 第三周 学习总结

一雄

学习 极客大学架构师训练营 第三周

【架构训练 Week03 作业】Review

Rex

架构师训练营第三周作业

Bruce Xiong

架构师训练营-W03S-代码重构

赤色闪电

极客大学架构师训练营

架构师训练营week03 总结

fujin

架构师 极客大学架构师训练营

单例模式和组合模式练习

jason

第三周总结

芒夏

极客大学架构师训练营

单虚拟机搭建zookeeper集群

Leonbond

zookeeper

第 3 周 - 课后作业

大海

单虚拟机搭建kafka集群

Leonbond

kafka

第三周学习总结

天之彼方

设计模式

探探上当代单身青年的倔强

脑极体

Week3 作业

TiK

极客大学架构师训练营

第03周 重构软件代码 命题作业

Jaye

Week3 总结

TiK

极客大学架构师训练营

架构师训练营 - 作业 - 第三讲

吕浩

架构师训练营第三周作业

Java 极客大学架构师训练营

第三周作业

田振宇

架构师训练营第三周学习总结

不谈

极客大学架构师训练营

极客大学架构师训练营第三周学习总结

竹森先生

设计模式 极客大学架构师训练营

架构师训练营-W03H-代码重构

赤色闪电

极客大学架构师训练营

腾讯开放TDinsight机器学习平台等政企大数据平台_大数据_陈利鑫_InfoQ精选文章