写点什么

基于融合计算的在线学习:打通流计算与机器学习

  • 2019-10-18
  • 本文字数:833 字

    阅读完需:约 3 分钟

基于融合计算的在线学习:打通流计算与机器学习

金融领域越来越多的活动场景,如双十一、双十二、财富日、新春大促,具有活动持续时间短强度高的特点,解决场景中的计算冷启动问题,优化系统效率和用户体验的需求越来越多。在生产环境的应用中,还需要满足高吞吐和端到端强数据一致性的需求,解决高维稀疏特征的大模型的训练、更新和服务问题。


在线机器学习,能够根据线上反馈数据,实时快速地进行模型调整,使得模型及时反映线上的变化,提高线上预测的准确率,能够有效的解决上述的一些问题,在金融场景也得到越来越多的应用。


基于融合计算的在线学习,通过打通流计算和机器学习两种计算模式,将不同系统间的数据传输转化为同一系统内部数据和计算之间、计算和计算之间,从而将不同的数据和计算的组织方式衔接在一起。在性能方面,通过内存间的数据共享减少数据的序列化和反序列化,大幅减少网络和计算开销,减少了 60%的机器资源使用,将端到端的延迟降低到原来的十分之一。同时,基于融合计算的在线学习通过流计算和 Tensorflow 的自然衔接,实现了端到端的数据一致性保障,并采用一体化编程、自助云化、智能运维大大简化了系统的开发、部署、运维成本。


融合计算由蚂蚁金服自主研发,它基于蚂蚁金服联合 UC Berkeley 大学推进的新一代计算引擎 Ray,通过动态数据流来实现流、批、离线数据的共享,在同一计算框架内兼容分布式服务、流处理、机器学习、图等计算模式,减少数据交换和落盘来优化计算和网络开销,是一个解决金融场景中需要衔接多个不同计算模式的开放计算框架。


通过流处理和机器学习两种计算模式的有机组合,基于融合计算的在线机器学习兼顾了各自的功能,并实现资源的优化和共享。在金融领域的其他场景也有其他类似的组合,如流式图计算。蚂蚁金服通过在线机器学习和流式图计算的探索,初步验证了融合计算框架。9 月 27 日,融合计算的理念与具体的案例将在云栖大会数字金融技术专场上进行分享,敬请期待。


本文转载自公众号蚂蚁金服科技(ID:Ant-Techfin)。


原文链接:


https://mp.weixin.qq.com/s/ZVR5zCE5CE3jmtPitVAj1A


2019-10-18 18:301244

评论

发布
暂无评论
发现更多内容

AI时代的就业市场:哪些岗位最受冲击?

天津汇柏科技有限公司

人工智能 AI 人工智能

AI语法纠正APP的测试

北京木奇移动技术有限公司

软件外包公司 AI英语学习 AI英语语法

大模型时代的软件进化论:恐龙式软件 vs. 猴群式软件

白鲸开源

软件开发 大模型 DeepSeek DeepSeek-R1

保姆级教程!DeepSeek+Chatbox 10分钟教会你实现AI客户端应用和智能助手

京东科技开发者

硅基流动+Cherry Studio‘0天然全科技’快速搭建DeepSeek满血版

京东科技开发者

DeepSeek(私有化)+IDEA+Dify+微信 搭建AI助手保姆级教程

京东科技开发者

AI发音练习APP的技术难点

北京木奇移动技术有限公司

软件外包公司 AI口语练习 AI英语学习

智慧家政云服务平台(源码+文档+部署+讲解)

深圳亥时科技

从 DeepSeek 爆火,看低代码开发的变革潜力

秃头小帅oi

首日调用客户破1.5万!DeepSeek-V3/R1上线背后的超低推理成本技术揭秘

百度Geek说

AI语法纠正APP的技术难点

北京木奇移动技术有限公司

软件外包公司 AI英语学习 AI英语语法

音乐NFT系统的测试

北京木奇移动技术有限公司

软件外包公司 音乐NFT 体育NFT

设备租赁服务平台(源码+文档+部署+讲解)

深圳亥时科技

家人们谁懂啊!DeepSeek 简直杀疯了

伤感汤姆布利柏

AIP平台升级:集成DeepseekR1推理模型助力智能应用新高度

大东(AIP智能体运营专员)

人工智能

AIP平台升级:集成DeepseekR1推理模型助力智能化开发

大东(AIP智能体运营专员)

人工智能

“数字创新产品课程” 4月12-13日 · CSPO认证在线周末班

ShineScrum

Scrum 敏捷 产品负责人 CSPO认证 敏捷认证

AI4Science之分子材料成像调研洞察

Splendid2025

政企在线学习平台(源码+文档+部署+讲解)

深圳亥时科技

ERP系统实施的难点是企业的人与管理

积木链小链

数字化转型 企业管理 ERP

AI发音练习APP的开发

北京木奇移动技术有限公司

软件外包公司 AI发音练习 AI口语APP

COB与SMD封装技术哪个更适合LED显示屏?

Dylan

技术 LED显示屏 全彩LED显示屏 led显示屏厂家

AI赋能灯塔低代码平台,AI应用落地“加速器”

中烟创新

基于融合计算的在线学习:打通流计算与机器学习_阿里巴巴_Geek_cb7643_InfoQ精选文章