【AICon】 如何构建高效的 RAG 系统?RAG 技术在实际应用中遇到的挑战及应对策略?>>> 了解详情
写点什么

高性能网络通信框架释放 AI 算力的实践

  • 2019-09-02
  • 本文字数:732 字

    阅读完需:约 2 分钟

高性能网络通信框架释放 AI 算力的实践

相比于 MapReduce 等传统数据处理做法,大规模分布式 AI 场景下的网络通信面临着不一样的挑战。对于处理大规模离散特征的算法,如逻辑回归(LR),消息吞吐量将直接影响到整个训练任务的性能。对于处理稠密特征的深度学习算法或者是树模型(GBDT),网络延迟很容易成为性能瓶颈。 不同的 AI 算法面临不一样的性能瓶颈,我们设计了自己的 RPC 框架——PRPC,以求能在多变的 AI 场景下,都能实现优秀的性能。 通过 Zerocopy 和自研事件调度系统降低通信延迟;通过 RDMA 技术优化机器学习离线训练和线上预估。PRPC 的定位是尽可能的适应不同的机器学习的场景,最大化分布式计算的性能,所以我们让他与应用层进行了适当的耦合,从而使的整个过程都是 Zerocopy 的,同时上层算法也尽可能进行原地计算,使的整个机器学习任务的性能达到极致。 对于 LR 算法和 GBDT 算法,RDMA 模式下的 PRPC 有数倍性能提升。与 ZMQ,BPRC 和 GRPC 对比 PRPC 在大部分机器学习场景下有较大性能优势。 第四范式基础架构负责人刘一鸣即将在 QCon 全球软件开发大会(上海站)2019分享《高性能网络通信框架释放 AI 算力的实践

听众受益

  1. 了解大规模分布式机器学习场景下不同算法的性能瓶颈和解决思路;

  2. 高性能组件 RDMA 在大规模分布式机器学习场景下的应用和网络性能优化经验;

  3. RPC 的接口设计以及 Linux 事件调度的优化。


嘉宾介绍


刘一鸣,2012 级上海交通大学 ACM 班成员,现就职于第四范式,任基础架构负责人,是第四范式先知平台独有的大规模分布式机器学习框架 GDBT 的设计者 ,现在专注于机器学习系统的高性能计算和软硬一体优化,主导落地了分布式大规模参数服务器和 RDMA 网络框架。主要领域为机器学习分布式系统设计及高性能优化。


更多人工智能应用与实践的相关分享请访问 QCon 上海 2019 官网。


2019-09-02 00:00790

评论

发布
暂无评论
发现更多内容

Week1学习总结

guodongq

「架构实战营」

GrowingIO Terraform 实践

GrowingIO技术专栏

运维 SRE Terraform 项目实践 资源编排

架构实战营-模块1-作业

Pyel

「架构实战营」

技术架构演进的思考

gevin

架构演进

架构实战营模块1课后作业

墨宝

模块一作业

whoami

「架构实战营」

从实习到秋招成为一名安全工程师,我经历了什么

网络安全学海

面试 网络安全 信息安全 渗透测试 WEB安全

TypeScript 之 Class(下)

冴羽

JavaScript typescript 翻译 大前端

Spring AOP(一) AOP基本概念

程序员历小冰

spring aop 28天写作 12月日更

第一模块作业

Anlumina

「架构实战营」

Python Qt GUI设计:菜单栏、工具栏和状态栏的使用方法(拓展篇—2)

不脱发的程序猿

Python qt GUI设计 Qt Creator 菜单栏、工具栏、状态栏

我粗心,有救吗?

Justin

心理学 成长 28天写作

「从0到1如何快速实现cli工具」

速冻鱼

大前端 cli JavaScrip 签约计划第二季 12月日更

记录-今年最骄傲的一件事(2)

将军-技术演讲力教练

基于云的技术架构设计实践-第5篇

hackstoic

数据分析 云原生 数据可视化 业务分析 签约计划第二季

Hoo虎符研究院 | Arweave调研报告

区块链前沿News

Arweave Hoo虎符 虎符交易所 虎符研究院 去中心化存储

毕业总结

小智

架构训练营

微信业务架构图&学生管理系统毕业架构设计

Spring

架构实战营

日本公司诚招IT开发技术者

马农驾驾驾

Java c++ php Python 日语

微信业务架构图&&“学生管理系统”毕业架构设计

guodongq

「架构实战营」

学习总结

Anlumina

「架构实战营」

架构实战营三期--模块一作业

木几丶

架构实战营 #架构实战营

透过全球首个知识增强千亿大模型,看到中国AI差异化发展之路

脑极体

Rust 元宇宙 15 —— 细节和重构

Miracle

rust 元宇宙

作业:架构实战营模块1

Poplar89

「架构实战营」

Git 报错:unable to update local ref

liuzhen007

28天写作 12月日更

消费类电子线上问题定位,分析和解决落地

wood

硬件产品 28天写作 线上故障

如何验证你的产品创意?

石云升

产品思维 28天写作 12月日更

第一周作业

lv

彻底弄懂死锁

李子捌

Java、 28天写作 12月日更

我所理解的微服务

gevin

微服务 微服务架构

高性能网络通信框架释放 AI 算力的实践_QCon_刘一鸣_InfoQ精选文章