写点什么

微软机器学习最新进展

  • 2021-05-18
  • 本文字数:2366 字

    阅读完需:约 8 分钟

微软机器学习最新进展

本文是微软 VB 实验室/英伟达 GTC 洞察力系列文章的一部分。


随着人工智能和机器学习技术的飞速发展,微软在今年英伟达GTC活动中的存在感一如既往地强势,这并不是什么稀奇事。


微软的公司代表在多场会议上分享了他们最新的机器学习成果,包括规模推理、在混合环境中训练机器学习模型的新能力,以及首次亮相的、可以帮助数据科学家们更高效地分析和排除 ML 性能问题的新型 PyTorch Profiler。


微软的这三项创新成果均结合了微软自己的科技(如 Azure),开源工具与英伟达 GPU 硬件科技。

机器推理规模化


关于数据收集和机器学习模型训练的成本,人们的讨论很热烈。的确,这些计算的开销不是小数目,尤其是对于一些大型项目来说,高达数百万美元的计算花费并不少见。但在这些关于 AI 花销的讨论中,机器推理,一个基本可以算作是训练后 ML 模型的应用,却甚少被提及。随着深度学习模型越来越复杂,即使是在机器进行推理时,也涉及大量的数学表达式和浮点运算。


机器推理是人工智能中非常有趣的分支之一,因为它是微软 Azure 等团队为用户提供切实体验的阶梯。其中一个例子便是,Azure 团队与英伟达合作,优化改进微软 Word 中由AI助力的语法检查器。这项任务的目的不是为了训练模型以提供更优秀的语法检查,而是为了增强实际执行语法检查的推理引擎。


考虑到 Word 庞大的用户群体,该语法检查器需要进行数十亿次的推理,是属于计算密集型的任务。这就带来了两个互相关联的难题:一是技术问题,二则是财务问题。如果想要降低成本,我们就需要更加强大且高效的技术。


英伟达开发的Triton推理服务器,可以充分利用其 GPU 的运算能力,供给Azure机器学习模型进行推理。在二者的结合下,工作负载得到了优化,运行也更加流畅。该推理服务器支持所有常用框架,包括 PyTorch、TensorFlow、MXNet 以及ONNX


ONNX Runtime作为一款高性能推理引擎,利用多种硬件加速器以达到在不同硬件配置上的最佳性能表现。在微软与英伟达的紧密合作下,ONNX Runtime 集成了用于在英伟达 GPU 上进行模型加速的 TensorRT 加速器。ONNX Runtime 也被用做 Triton 服务器的后端之一。


Azure 机器学习是一个托管的平台即服务平台,为用户做大部分的管理工作。这涉及到规模问题,这也是许多人工智能项目陷入困境甚至失败的关键所在,也是技术问题有时会与财务问题发生冲突的地方,而 Triton 和 Azure 机器学习就是为了解决这一痛点而建立的。

Kubernetes:让跨企业内部/混合与多云训练 ML 模型变得更容易


混合训练环境的搭建并非易事,而扩展资源密集型的 ML 模型训练规模的需求则会使问题变得更加棘手。灵活、敏捷以及治理都是至关重要的需求。


Azure Arc基础设施允许拥有 Kubernetes 资源的客户在“单一虚拟管理平台”上应用策略,执行安全监控等一系列操作。Azure 机器学习与 Kubernetes 的集成通过扩展 Kubernetes API 的形式,搭建在 Azure Arc 的基础设施上。除此之外,通过原生 Kubernetes 代码概念(如操作符和 CI/CDs)以及运行在集群之上的“代理”,客户得以使用 Azuer 机器学习进行 ML 模型训练。


无论用户混合使用了什么集群,Azure 机器学习都让他们可以轻松地切换目标。Azure 机器学习的 Kubernetes 本地代理支持的框架包括 SciKit、TensorFlow、PyTorch 和 MPI。


本地代理也让这套系统的运行更加顺滑。它免去了数据科学家们学习 Kubernetes 的需要,也让了解 Kubernetes 的 IT 操作员免去了学习机器学习的功夫。

PyTorch Profiler


全新的 PyTorch Profiler 是一款由微软与 Facebook 合作开发的开源工具,为常用 ML 框架 PyTorch 提供 GPU 的性能调试功能。这款故障排除工具有望帮助数据科学家们和开发者们以更高效的方式分析和排查大规模深度学习模型的性能问题,最大限度地提高昂贵的计算资源(硬件)的使用率。


在机器学习中,分析(profiling)负责检查模型的性能。这与模型预测的准确性不同,性能在这里指的是模型对计算机硬件资源的使用效率与使用率。


新型的 Profiler 以 PyTorch 原有的 autograd 分析器为基础构建,通过高保真的 GPU 分析引擎的加强,使用户能够捕捉并关联有关 PyTorch 操作的信息和 GPU 硬件级的详细信息。


PyTorch Profiler 的配置和使用都不需要花费太多精力。它完完全全是集成的产物,结合了全新 Profiler 的 profile 模块、全新 libkineto 库,以及 PyTorch Tensorboard Profiler 的插件。你在 Visual StudioCode 将这一切全部可视化。它不仅适合初学者,也适合经验丰富的从业者,它的应用横跨研究到生产的各种用例,它是对英伟达更先进的NSight的补充。


PyTorch Profiler 的主要功能之一是它的时间线追踪。简单来说,它可以显示 CPU 与 GPU 的活动,让用户可以放大并观察每个活动的具体情况。在这里,你可以看到所有典型的 PyTorch 操作符,以及更高级的 Python 模型和 GPU 时间线。


用户在 PyTorch Profiler 的可视化窗口中观察 GPU 利用率的情况时,可能会注意到一些小的“缺口”。这些小缺口代表着 GPU 可能会有约 40 毫秒的空闲,而用户会希望优化这些空闲时间,让 GPU 有事可做。PyTorch Profiler 可以让用户更深入地了解 GPU 的运作,看看有哪些依赖关系,以及在这个空闲间隙之前有哪些事件。如果将问题追溯到 CPU,用户可能会发现它才是瓶颈所在,而 GPU 则干坐在那里等待系统的另一部分读取完它需要的数据。


在这样微观的层面上检测 GPU 效率或许看起来微不足道,但如果一个步骤只需要 150 毫秒,那么此时 GPU 中的 40 毫秒空闲将会占据相当大的比例。再考虑一下,如果一个项目一次运行需要数小时,甚至是数周时,那么斤斤计较每一步中的损失就变得必要了,因为那意味着你在计算周期中付出的金钱变得低效了。


PyTorch Profiler 同时还提供建议功能,用于指导模型构建者们解决常见的问题和可能遇见的情况。在本文关于 GPU 利用率的例子中,你要做的可能只是调整 DataLoader 的 worker 数量,以确保 GPU 能够保持忙碌状态。


原文链接:


https://venturebeat.com/2021/04/22/microsoft-details-the-latest-developments-in-machine-learning-at-gtc-21/

2021-05-18 15:001730
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 570.2 次阅读, 收获喜欢 1979 次。

关注

评论

发布
暂无评论
发现更多内容

sublime text for Mac注册密钥激活 附 安装教程 支持M1

加油,小妞!

代码编辑 sublime text

与创新者同行,Apache Doris in 2023

SelectDB

数据库 大数据 数据仓库 数据分析 apache doris

DHorse(K8S的CICD平台)的实现原理

tiandizhiguai

BES 在大规模向量数据库场景的探索和实践

百度Geek说

数据库 AI 企业号11月PK榜

通义千问, 文心一言, ChatGLM, GPT-4, Llama2, DevOps 能力评测

SEAL安全

文心一言 通义千问 Walrus Appilot 企业号11月PK榜

大模型训练,为OCR应用提升性能

百度开发者中心

深度学习 大模型 人工智能「 OCR技术

云服务器玲琅满目的时代,为什么我独爱Amazon EC2 云服务器?

熬夜磕代码、

服务器 运维‘ 亚马逊云

CodeWhisperer--轻松使用一个超级强大的工具!

亚马逊云科技 (Amazon Web Services)

Python 人工智能 云上探索实验室 Amazon CodeWhisperer Amazon Cloud9

大模型训练中的同步与异步模式

百度开发者中心

深度学习 大模型 GPU算力

Elsten Software Bliss 最新中文版 + 图文安装教程 支持m1

加油,小妞!

数字音乐收藏库 Elsten Software Bliss

【云栖2023】张治国:MaxCompute架构升级及开放性解读

阿里云大数据AI技术

大数据

CorelDRAW 2023 for Mac(矢量图形设计工具)

展初云

Mac CorelDraw 矢量设计

异常报错甚至崩溃?

矩视智能

深度学习 机器视觉

「我在淘天做技术」音视频技术及其在淘宝内容业务中的应用

阿里技术

音视频 音视频技术 直播间 淘天 淘宝内容

AI 时代的企业级安全合规策略

极狐GitLab

AI 敏捷开发 敏捷交付 应用程序安全 安全合规

探索T5模型在NLP中的超大规模应用

百度开发者中心

自然语言处理 大模型

WebSocket魔法师:打造实时应用的无限可能 | 京东物流技术团队

京东科技开发者

html5 前端 企业号11月PK榜 weboskcet

科技改变农业:合成数据农业中的应用

3D建模设计

机器学习 合成数据 机器学习农业应用

里程碑式技术与应用突破!YashanDB V23.1三大新品重磅发布

YashanDB

数据库 国产数据库 yashandb

高防服务器怎么防御?

Geek_f19a80

服务器

你还在为SFTP连接超时而困惑么? | 京东云技术团队

京东科技开发者

安全 SSH 传输协议 sftp 企业号11月PK榜

Raw图像处理软件 Capture One Pro 23 for Mac

展初云

Mac Capture One Pro 23 Raw图像处理软件

C4D vs Blender:哪个更适合你的需求?

Finovy Cloud

blender C4D

从 SQL 查询优化技巧去看 h2 数据库查询原理 | 京东物流技术团队

京东科技开发者

数据库 sql h2database Code Insight BTree

嵌入式软件开发为什么需要DevOps?

DevOps和数字孪生

DevOps 嵌入式

2023热门服务器运维工具测评——面板篇

学IT的小树叶

技术 运维 服务器 入侵检测 远程工具

SecureCRT 9 for Mac(终端SSH工具)

展初云

securecrt Mac软件 终端仿真

大模型训练中的数据并行与模型并行

百度开发者中心

深度学习 大模型 #人工智能

微软机器学习最新进展_AI&大模型_VB Staff_InfoQ精选文章