【QCon】精华内容上线92%,全面覆盖“人工智能+”的典型案例!>>> 了解详情
写点什么

基于融合计算的在线学习:打通流计算与机器学习

  • 2019-10-18
  • 本文字数:833 字

    阅读完需:约 3 分钟

基于融合计算的在线学习:打通流计算与机器学习

金融领域越来越多的活动场景,如双十一、双十二、财富日、新春大促,具有活动持续时间短强度高的特点,解决场景中的计算冷启动问题,优化系统效率和用户体验的需求越来越多。在生产环境的应用中,还需要满足高吞吐和端到端强数据一致性的需求,解决高维稀疏特征的大模型的训练、更新和服务问题。


在线机器学习,能够根据线上反馈数据,实时快速地进行模型调整,使得模型及时反映线上的变化,提高线上预测的准确率,能够有效的解决上述的一些问题,在金融场景也得到越来越多的应用。


基于融合计算的在线学习,通过打通流计算和机器学习两种计算模式,将不同系统间的数据传输转化为同一系统内部数据和计算之间、计算和计算之间,从而将不同的数据和计算的组织方式衔接在一起。在性能方面,通过内存间的数据共享减少数据的序列化和反序列化,大幅减少网络和计算开销,减少了 60%的机器资源使用,将端到端的延迟降低到原来的十分之一。同时,基于融合计算的在线学习通过流计算和 Tensorflow 的自然衔接,实现了端到端的数据一致性保障,并采用一体化编程、自助云化、智能运维大大简化了系统的开发、部署、运维成本。


融合计算由蚂蚁金服自主研发,它基于蚂蚁金服联合 UC Berkeley 大学推进的新一代计算引擎 Ray,通过动态数据流来实现流、批、离线数据的共享,在同一计算框架内兼容分布式服务、流处理、机器学习、图等计算模式,减少数据交换和落盘来优化计算和网络开销,是一个解决金融场景中需要衔接多个不同计算模式的开放计算框架。


通过流处理和机器学习两种计算模式的有机组合,基于融合计算的在线机器学习兼顾了各自的功能,并实现资源的优化和共享。在金融领域的其他场景也有其他类似的组合,如流式图计算。蚂蚁金服通过在线机器学习和流式图计算的探索,初步验证了融合计算框架。9 月 27 日,融合计算的理念与具体的案例将在云栖大会数字金融技术专场上进行分享,敬请期待。


本文转载自公众号蚂蚁金服科技(ID:Ant-Techfin)。


原文链接:


https://mp.weixin.qq.com/s/ZVR5zCE5CE3jmtPitVAj1A


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2019-10-18 18:301054

评论

发布
暂无评论
发现更多内容

Hive SQL语句的正确执行顺序

五分钟学大数据

1月月更

3DCAT首届行业生态交流会|瑞云科技技术总监赵志杰:实时渲染助力元宇宙应用触手可及

3DCAT实时渲染

云计算 公有云 云渲染 元宇宙

TCP长连接实践与挑战

字节跳动终端技术

字节跳动 TCP 后端 HTTP 连接池

云厂商第一家,腾讯安全获国家级信息安全服务资质“双认证”!

腾讯安全云鼎实验室

云安全 安全服务

天津银行周传凯:从 0 到 1,我的分布式数据库落地经验谈

OceanBase 数据库

分布式 OceanBase 开源 OceanBase 社区版 客户实践

微信架构简析和学生系统初步方案

Bear

「架构实战营」

架构实战营模块一作业

刘璐

学生管理系统架构设计方案

Geek_36cc7c

第一次作业

Mr小公熊

实现一个任务调度系统,看这篇文章就够了

勇哥java实战分享

Elastic-job XXL-JOB 任务调度 自主研发

数据治理平台化的通用框架设计

Taylor

企业管理中用户数据同步机制解决思路

全象云低代码

低代码 数据同步 用户数据 后端技术

百度AICA再添57位“首席AI架构师”,人工智能与产业场景结合愈发深入

百度大脑

微信业务架构图

Geek_36cc7c

架构设计小试牛刀

Fingal

架构实战营

做了这么多年架构师,我终于理解了什么是架构设计

博文视点Broadview

从 Gitee 到极狐GitLab 的迁移指南

极狐GitLab

迁移 gitee 极狐GitLab

DDD独立类模式你用到了吗

神帅

DDD 独立类模式

三峡集团研究院:基于物联网的大规模储能系统能量管理和智能运维平台数据接入方案

EMQ映云科技

物联网 mqtt 碳中和 边云协同 新能源

为什么 Cpython 是 C 写的,而不是 Python

宇宙之一粟

Python 1月月更

☕【Java深层系列】「并发编程系列」深入分析和研究MappedByteBuffer的实现原理和开发指南

洛神灬殇

Java 文件I/O MappedByteBuffer FileChannel 1月日更

投票开始 | 和你一起见证龙蜥社区年度优秀开发者的诞生

OpenAnolis小助手

开源 开发者 活动 社群 比赛

架构实战营-模块一作业

炎彬

「架构实战营」

架构训练营作业1

Richard

架构实战营

如何知道自己是否适合做产品经理?

石云升

产品经理 1月月更

模板

Anthony

Hive底层数据存储格式详解

五分钟学大数据

hive 1月月更

领域划分的规则是什么

神帅

DDD 领域划分规则

微信的业务架构&学生管理系统架构设计

随欣所遇

架构实战营

微信业务架构图 & 学生管理系统设计

tom

Apache APISIX 2.12.0 版本发布,新功能更适配新一年!

API7.ai 技术团队

开源 后端

基于融合计算的在线学习:打通流计算与机器学习_阿里巴巴_Geek_cb7643_InfoQ精选文章