内容介绍

问题背景:随着深度学习技术的蓬勃发展,在无人驾驶领域取得了举足轻重的进展,众多算法研发人员为深度学习的技术提供了最基础的保证,但是随着算力的不断进步与演进,亟需一套简单易用的线下算法训练实验平台供算法研发人员使用。

解决方案:为了能够解决线下训练中遇到的使用问题,我们基于 Kubernetes 研发了一套高度可扩展的跨云 AI 训练方案,使用户可以自由的在各个机房使用不同的硬件训练。由于 Kubernetes Federation 技术还没有特别成熟,以及我们的场景并不需要跨 region 的部署方式,因此简单化处理了。后面会关注 Federation V2 项目。

方案介绍:我们开发了 caffe2-operator,批量调度算法,RDMA device plugin 以及 CSI 插件,为多个集群异构硬件提供统一的管控以及差异化使用。

实施后效果:减少了用户数据同步;大大提升了硬件利用率;监控管理以及自动化程度更加强大。

演讲提纲:

阐述 AI 算法研发的大致过程
在算法研发中训练的意义以及相关技术点
实际工作中现有训练使用的问题以及难点
基于 Kubernetes 的跨云 AI 训练平台的架构
Caffe2-Operator
调度算法(批量调度、抢占、优先级)
RDMA device plugin
CSI 插件

听众受益点:

了解现有 AI 算法研发的完整路径
跨云 Kubernetes 的技术方案
Kubernetes 与 AI 场景结合需要的定制化经验
为了达到训练最高性能我们做的工作

评论

发布
暂无评论