【AICon】开辟产业应用新天地,大模型重塑各行各业,精华内容上线58%!>>> 了解详情
写点什么

基于融合计算的在线学习:打通流计算与机器学习

  • 2019-10-18
  • 本文字数:833 字

    阅读完需:约 3 分钟

基于融合计算的在线学习:打通流计算与机器学习

金融领域越来越多的活动场景,如双十一、双十二、财富日、新春大促,具有活动持续时间短强度高的特点,解决场景中的计算冷启动问题,优化系统效率和用户体验的需求越来越多。在生产环境的应用中,还需要满足高吞吐和端到端强数据一致性的需求,解决高维稀疏特征的大模型的训练、更新和服务问题。


在线机器学习,能够根据线上反馈数据,实时快速地进行模型调整,使得模型及时反映线上的变化,提高线上预测的准确率,能够有效的解决上述的一些问题,在金融场景也得到越来越多的应用。


基于融合计算的在线学习,通过打通流计算和机器学习两种计算模式,将不同系统间的数据传输转化为同一系统内部数据和计算之间、计算和计算之间,从而将不同的数据和计算的组织方式衔接在一起。在性能方面,通过内存间的数据共享减少数据的序列化和反序列化,大幅减少网络和计算开销,减少了 60%的机器资源使用,将端到端的延迟降低到原来的十分之一。同时,基于融合计算的在线学习通过流计算和 Tensorflow 的自然衔接,实现了端到端的数据一致性保障,并采用一体化编程、自助云化、智能运维大大简化了系统的开发、部署、运维成本。


融合计算由蚂蚁金服自主研发,它基于蚂蚁金服联合 UC Berkeley 大学推进的新一代计算引擎 Ray,通过动态数据流来实现流、批、离线数据的共享,在同一计算框架内兼容分布式服务、流处理、机器学习、图等计算模式,减少数据交换和落盘来优化计算和网络开销,是一个解决金融场景中需要衔接多个不同计算模式的开放计算框架。


通过流处理和机器学习两种计算模式的有机组合,基于融合计算的在线机器学习兼顾了各自的功能,并实现资源的优化和共享。在金融领域的其他场景也有其他类似的组合,如流式图计算。蚂蚁金服通过在线机器学习和流式图计算的探索,初步验证了融合计算框架。9 月 27 日,融合计算的理念与具体的案例将在云栖大会数字金融技术专场上进行分享,敬请期待。


本文转载自公众号蚂蚁金服科技(ID:Ant-Techfin)。


原文链接:


https://mp.weixin.qq.com/s/ZVR5zCE5CE3jmtPitVAj1A


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2019-10-18 18:301050

评论

发布
暂无评论
发现更多内容

书写开源之魂|2023年活力开源贡献者、开源项目揭晓

开放原子开源基金会

开源

使用极狐GitLab Triage 来自动管理 Issue 和 MR

极狐GitLab

深度盘点:除了BRC20外 这些公链潜力铭文也值得关注

大瞿科技

Inscribe:应用非定向资产交易协议 布局巨大铭文赛道

EOSdreamer111

深度盘点:除了BRC20外 这些公链潜力铭文也值得关注

BlockChain先知

KubeWharf:构建下一代分布式操作系统的云原生力量

不会算法。

《用“开源”的方式讲开源的法律,有问必答,一问到底》——开源合规分论坛为你答疑解惑

开放原子开源基金会

开源

感谢同行者|携手相伴前行路,共筑开源创未来

开放原子开源基金会

开源

开源赋能汽车智能化演进分论坛圆满举办

开放原子开源基金会

开源

开源治理与开发者运营分论坛圆满举办

开放原子开源基金会

开源

适用各种行情,使用网格交易策略实现自动高效套利

股市老人

终端闲思录(3)- 标准三剑客的本质

黑客不够黑

终端 文件描述符

一款DC-DC控制器应用方案

攻城狮Wayne

边缘计算技术:深度学习与人工智能的融合

熬夜磕代码、

前端 JS 安全对抗原理与实践

vivo互联网技术

前端加密 JS混淆 调试和反调试

多功能数据恢复软件:Apeaksoft Data Recovery激活中文

mac大玩家j

数据恢复软件 Mac软件 Mac数据管理

大模型 “下沉时刻”,容联云完成“三级跳”

脑极体

AI

大咖云集,2023开放原子开发者大会助力开发者实现梦想

开放原子开源基金会

开源

领跑 AI 时代,开放原子开发者大会——2023龙蜥操作系统大会圆满举办

开放原子开源基金会

开源

聊点个人成长那点破事儿

6点无痛早起学习的和尚

写作 21 天技术人写作行动营

Inscribe:应用非定向资产交易协议 布局巨大铭文赛道

股市老人

深度盘点:除了BRC20外 这些公链潜力铭文也值得关注

石头财经

边缘计算的深入学习之路

Geek-yan

Typora+PicGo 搭建免费图床

吳先森321

经验分享

软件开发

Geek_8da502

荣誉 | 第七在线(7thonline)荣获STIF2023年度数智化创新典范奖

第七在线

鸿蒙、ChatGPT 入选全球十大工程成就丨 RTE 开发者日报 Vol.111

声网

适用各种行情,使用网格交易策略实现自动高效套利

EOSdreamer111

技术创新,照见未来 | 2023开放原子开发者大会OpenHarmony分论坛圆满举行

开放原子开源基金会

开源

万能扫描仪整合软件:ExactScan pro免激活中文版

胖墩儿不胖y

Mac软件 扫描工具

创新铸就卓越 HashData再度荣获 IT168技术卓越奖

酷克数据HashData

基于融合计算的在线学习:打通流计算与机器学习_阿里巴巴_Geek_cb7643_InfoQ精选文章