基于融合计算的在线学习：打通流计算与机器学习

金融领域越来越多的活动场景，如双十一、双十二、财富日、新春大促，具有活动持续时间短强度高的特点，解决场景中的计算冷启动问题，优化系统效率和用户体验的需求越来越多。在生产环境的应用中，还需要满足高吞吐和端到端强数据一致性的需求，解决高维稀疏特征的大模型的训练、更新和服务问题。

在线机器学习，能够根据线上反馈数据，实时快速地进行模型调整，使得模型及时反映线上的变化，提高线上预测的准确率，能够有效的解决上述的一些问题，在金融场景也得到越来越多的应用。

基于融合计算的在线学习，通过打通流计算和机器学习两种计算模式，将不同系统间的数据传输转化为同一系统内部数据和计算之间、计算和计算之间，从而将不同的数据和计算的组织方式衔接在一起。在性能方面，通过内存间的数据共享减少数据的序列化和反序列化，大幅减少网络和计算开销，减少了 60%的机器资源使用，将端到端的延迟降低到原来的十分之一。同时，基于融合计算的在线学习通过流计算和 Tensorflow 的自然衔接，实现了端到端的数据一致性保障，并采用一体化编程、自助云化、智能运维大大简化了系统的开发、部署、运维成本。

融合计算由蚂蚁金服自主研发，它基于蚂蚁金服联合 UC Berkeley 大学推进的新一代计算引擎 Ray，通过动态数据流来实现流、批、离线数据的共享，在同一计算框架内兼容分布式服务、流处理、机器学习、图等计算模式，减少数据交换和落盘来优化计算和网络开销，是一个解决金融场景中需要衔接多个不同计算模式的开放计算框架。

通过流处理和机器学习两种计算模式的有机组合，基于融合计算的在线机器学习兼顾了各自的功能，并实现资源的优化和共享。在金融领域的其他场景也有其他类似的组合，如流式图计算。蚂蚁金服通过在线机器学习和流式图计算的探索，初步验证了融合计算框架。9 月 27 日，融合计算的理念与具体的案例将在云栖大会数字金融技术专场上进行分享，敬请期待。

本文转载自公众号蚂蚁金服科技（ID：Ant-Techfin）。

原文链接：

https://mp.weixin.qq.com/s/ZVR5zCE5CE3jmtPitVAj1A