InfoQ 编辑部出品——2021年度技术盘点与展望 了解详情
写点什么

基于 CPU 的深度学习推理优化部署方案和实践

  • 2019 年 9 月 24 日
  • 本文字数:577 字

    阅读完需:约 2 分钟

基于 CPU 的深度学习推理优化部署方案和实践

CNUTCon上海2018大会上,张磊讲师做了《基于 CPU 的深度学习推理优化部署方案和实践》主题演讲,主要内容如下。


演讲简介


随着人工智能技术在多媒体领域的广泛应用, 深度学习算法的部署对计算平台资源的需求也在飞速增长。由于 GPU 资源总数和成本的限制,我们设计和部署了基于 CPU 的深度学习推理优化方案。方案通过封装 Intel VINO SDK 提供的基于 CPU 的深度学习加速底层软件,结合 docker 及 mesos 集群技术,完成深度学习算法在云端部署的自动化和服务化,将深度学习推理的性能在 CPU 上提升了 2~10 倍以上,满足多媒体业务的深度学习部署需求, 解决了 GPU 资源的依赖和稀缺问题。


主要内容:


  1. 使用 VINO SDK 实现 CPU 上的深度学习推理性能优化;

  2. 不同深度学习算法在 CPU 上加速的性能评估和对比;

  3. 基于 Docker 及 Mesos 的集群深度学习推理应用自动化部署方案。


听众受益:


  1. 学习 CPU 上深度学习的性能优化技术和实践;

  2. 了解大规模集群的深度学习应用部署管理方案;

  3. 理解深度学习推理的性能评估和监测方法。


讲师介绍


张磊


爱奇艺 研究员


现就职于爱奇艺技术产品中心计算云团队,目前主要负责云平台上深度学习应用的优化落地方案。加入爱奇艺之前就职于英特尔亚太研发有限公司,负责底层图形图像软件设计和实现,对 CPU,GPU 上应用的性能分析和优化有丰富的经验。












完整演讲 PPT 下载链接


https://cnutcon.infoq.cn/2018/shanghai/#schedule


2019 年 9 月 24 日 15:08796
用户头像

发布了 39 篇内容, 共 23.2 次阅读, 收获喜欢 131 次。

关注

评论

发布
暂无评论
发现更多内容

2020-07-04-第五周作业

路易斯李李李

常用分布式组件

张瑞浩

架构师训练营 第五周 【作业】

小K

架构课第5课作业

张瑞浩

【架构师训练营】week 5 homework

eazonshaw

极客大学架构师训练营

【架构师训练营】第 5 周总结

花生无翼

极客大学架构师训练营

架构师训练营 第五周 学习心得

LiJun

架构师训练营作业 (第五周)

小遵

第五周感悟

路人

极客大学架构师训练营

week5-作业

蒜泥精英

week05学习总结

Safufu

架构师训练 第五周 作业

LiJun

作业 - 第5周

Happy-Coming

架构师训练营 第五周 学习总结

亮灯

采用负载均衡技术总结

superman

分布式缓存架构

chenzt

架构师训练营 - 第五周 - 学习总结

Anrika

极客大学架构师训练营

架构师训练营 - 学习笔记 - 第五周

小遵

架构师训练营week05 summary

Nick

极客大学架构师训练营

缓存、异步、集群和分布式等架构模式的实践

dony.zhang

负载均衡 缓存 消息队列 分布式缓存 异步

架构师训练营 -Week 05 命题作业

华乐彬

极客大学架构师训练营 作业 一致性Hash算法

week05 作业

Safufu

架构师训练营 第五周 作业

亮灯

一致性HASH的golang实现

麻辣

week5-作业 一致性 hash 算法

a晖

管理堆内存,Rust是怎么做的?所有权!

袁承兴

c++ rust 堆内存管理 内存管理 垃圾回收

Week 05 作业

鱼_XueTr

负载均衡 hash

一致性Hash算法实现 - Java

羽球

极客大学架构师训练营 一致性哈希

深入学习一致性Hash

拈香(曾德政)

算法 极客大学架构师训练营 一致性Hash算法

架构师训练营第 0 期第5周作业

无名氏

分布式和异步的技术选型

拈香(曾德政)

缓存 分布式 极客大学架构师训练营 技术选型 异步

基于 CPU 的深度学习推理优化部署方案和实践-InfoQ