在CNUTCon上海2018大会上，张磊讲师做了《基于 CPU 的深度学习推理优化部署方案和实践》主题演讲，主要内容如下。
演讲简介：
随着人工智能技术在多媒体领域的广泛应用， 深度学习算法的部署对计算平台资源的需求也在飞速增长。由于 GPU 资源总数和成本的限制，我们设计和部署了基于 CPU 的深度学习推理优化方案。方案通过封装 Intel VINO SDK 提供的基于 CPU 的深度学习加速底层软件，结合 docker 及 mesos 集群技术，完成深度学习算法在云端部署的自动化和服务化，将深度学习推理的性能在 CPU 上提升了 2~10 倍以上，满足多媒体业务的深度学习部署需求, 解决了 GPU 资源的依赖和稀缺问题。
主要内容：
使用 VINO SDK 实现 CPU 上的深度学习推理性能优化；
不同深度学习算法在 CPU 上加速的性能评估和对比；
基于 Docker 及 Mesos 的集群深度学习推理应用自动化部署方案。
听众受益：
学习 CPU 上深度学习的性能优化技术和实践；
了解大规模集群的深度学习应用部署管理方案；
理解深度学习推理的性能评估和监测方法。
讲师介绍：
张磊
爱奇艺 研究员
现就职于爱奇艺技术产品中心计算云团队，目前主要负责云平台上深度学习应用的优化落地方案。加入爱奇艺之前就职于英特尔亚太研发有限公司，负责底层图形图像软件设计和实现，对 CPU，GPU 上应用的性能分析和优化有丰富的经验。
完整演讲 PPT 下载链接：
https://cnutcon.infoq.cn/2018/shanghai/#schedule
公众号推荐：
跳进 AI 的奇妙世界，一起探索未来工作的新风貌！想要深入了解 AI 如何成为产业创新的新引擎？好奇哪些城市正成为 AI 人才的新磁场？《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造，为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者，还是对生成式 AI 充满好奇的新手，这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号，回复「开发者洞察」领取。
暂无签名
分布式云行业实践指南（2023）
业内首个分布式云行业实践方法论、工具箱。
评论