立即领取|华润集团、宁德核电、东风岚图等 20+ 标杆企业数字化人才培养实践案例 了解详情
写点什么

VTA:一个开放、高度可定制化的深度学习加速器平台

  • 2018-07-17
  • 本文字数:3629 字

    阅读完需:约 12 分钟

导读:硬件加速为深度学习锦上添花,让高效的深度学习无处不在。随着硬件加速器出现在数据中心和边缘设备中,硬件专业化技术在深度学习技术栈中扮演着重要的角色。

今天,陈天奇团队推出 Versatile Tensor Accelerator(VTA,发音为 vita),这是一种开放、通用、可定制的深度学习加速器。VTA 是一种可编程加速器,提供了 RISC 风格的编程抽象来描述张量级的操作。VTA 的设计体现了主流深度学习加速器最突出和最常见的一些特征,比如张量操作、DMA 加载 / 存储和显式的计算 / 内存调节。

正文:

VTA 不仅仅是一个独立的加速器,它其实是一个端到端的解决方案,包含了驱动程序、JIT 运行时以及基于 TVM 的优化编译器栈。当前版本包含了一个行为硬件模拟器,以及用于在低成本 FPGA 硬件上部署 VTA(方便进行快速的原型设计)的基础设施。我们通过使用可定制的开源深度学习硬件加速器对 TVM 栈进行了扩展,提供了一个从高级深度学习框架到实际硬件设计和实现的端到端深度学习栈,形成了一个真正的端到端开源软硬件栈。

VTA 和 TVM 栈共同构成了以加速器为中心的、端到端的深度学习系统蓝图:

  • 为硬件、编译器和系统研究人员提供开放的深度学习系统栈,以便集成优化和协同设计技术。
  • 降低机器学习从业者的门槛,让他们能够体验需要专门硬件支持的新型网络架构、操作和数据表示。

研究人员的应用场景

我们将重点介绍 VTA 与完整的 TVM 软件栈相结合将给硬件、编译器和深度学习研究带来新的机会。

硬件设计师和计算机架构师

随着 ASIC 的推陈出新,在新型硬件之上提供完整且可用的软件栈对于在学术和商业领域取得成功来说都至关重要。VTA 为硬件加速器提供了 TVM 软件栈参考实现。我们希望能够让硬件设计人员快速构建和部署优化的深度学习库,并将它们用在 TensorFlow 或 PyTorch 等高级框架中。软件支持对于在加速系统中执行全系统评估以了解系统的限制和性能瓶颈来说至关重要。通过将 FPGA 用作硬件部署后端,我们为硬件设计原型的快速迭代提供了一个完整的解决方案。最后,我们希望能够将 VTA 发展成为一系列硬件设计,最终形成一个开放的可定制化硬件加速器生态系统。

另外,VTA 是第一批软硬件可重现 ACM 工件之一,可以作为可重复深度学习架构研究的模板。VTA 工件可使用在 ReQuEST 2018 上露过脸的 CK 部署。

优化编译器研究人员

已经出现的最新中间表示和优化编译器(如 TVM)用于更好地利用深度学习工作负载的特点。作为 TVM 的补充,VTA 提供了以加速器为中心的优化和底层代码生成能力。我们开源的深度学习编译器栈向 LLVM 看齐,通过社区一起改进以加速器为中心的编译器支持。编译器栈的可扩展性,以及修改硬件后端架构和编程接口的能力,将为深度学习带来令人兴奋的软硬件协同设计的可能性。

深度学习研究人员

透明且可定制的软件和硬件栈帮助深度学习研究人员提出新颖的神经网络操作和数据表示,同时能够对端到端系统上的优化进行全面评估。二值化等技术目前仅限于 CPU 和 GPU,除非有专门的工程资源可用于生成可评估这种技术节能潜力的 FPGA 或 ASIC。VTA 提供了可部署的参考硬件栈,从而为没有太多硬件设计背景的机器学习从业者降低了硬件定制化的门槛。

技术细节

技术栈概览

VTA 深度学习加速器和 TVM 栈可以弥合专注于提升生产效率的深度学习框架和关注性能的硬件基板(如 FPGA)之间的差距。

  • NNVM 是图形级的优化器,提供了图形级的中间表示(IR),作为不同深度学习框架之间的通用语言,以便更好地利用图形级优化,例如操作数融合。NNVM IR 还用于指定数据布局和数据格式约束:例如,张量平铺,以及用于超低精度计算的位组装。
  • TVM 是张量级的优化器,基于 Halide DSL 和调度原语,提供了一个优化编译器,为跨硬件后端的深度学习带来了性能可移植性。TVM 带来了针对专用硬件加速器的新型调度原语,例如张量化,张量化将计算降到专门的张量到张量硬件指令级别。另外,它还提供了用于显式内存管理的调度原语和降级规则,以便最大限度地提高硬件加速器的资源利用率。
  • VTA 运行时进行 VTA 二进制文件(指令流和微内核代码)的 JIT 编译,管理共享内存,并执行同步,将执行移交给 VTA。VTA 运行时提供了一组在 TVM 看来很通用的 API,隐藏了特定于平台的簿记任务的复杂性。它公开了一组可由 TVM 模块调用的 C++ API,简化了在未来加入其他硬件加速器的过程,因为可以不需要大幅修改上层的 TVM。
  • VTA 的两级 ISA 提供了一个高级的 CISC ISA,用于描述可变延迟操作,如 DMA 加载或深度学习操作符,以及一个低级的固定延迟 RISC ISA,用于描述低级的矩阵到矩阵的操作。这种两级 ISA 让代码变得更紧凑和更具表述性。
  • 最后,VTA 的微架构提供了灵活的深度学习硬件设计规范,可以被方便地编译到其他 FPGA 平台上。

VTA 硬件设计概览

Vanilla Tensor Accelerator(VTA)是围绕 GEMM 核心而构建的通用深度学习加速器,可进行高吞吐量的密集矩阵乘法操作。它的设计灵感来自主流的深度学习加速器,就像谷歌的 TPU 加速器一样。它的设计采用了解耦的访问 - 执行机制来隐藏内存访问延迟,并最大化计算资源的利用率。VTA 可以作为深度学习加速器的设计模板,为编译器栈提供了一个干净的张量计算抽象。

上图是VTA 硬件的高级概览。VTA 由四个模块组成,这四个模块通过FIFO 队列和单写入器/ 单读取器SRAM 内存块进行通信,以实现任务级的管道并行。计算模块使用GEMM 核心执行密集线性代数计算,并使用张量ALU 执行一般性计算。它直接操作一个寄存器文件,而不是进行标量值的存储,它存储的是等级1 或2 的张量。微操作高速缓存存储的是底层代码,这些代码通过执行一系列操作来修改寄存器文件。

VTA 硬件设计模板为用户提供了模块化,可选择修改硬件数据类型、内存架构、GEMM 核心维度、硬件操作符和管道阶段。将多个 VTA 变体暴露给编译器栈有助于编译器的开发,因为我们可以针对多个硬件加速器测试 TVM 的能力。

使用 VTA 模拟器和 Pynq FPGA 板进行 VTA 原型设计

VTA 为用户提供了两种方式来体验硬件加速和以加速器为中心的编译器优化。第一种不需要特殊的硬件,直接在 VTA 的行为模拟器上运行深度学习工作负载。开发人员可以很方便地使用这个模拟器后端。第二种方法需要使用现成的低成本 FPGA 开发板——Pynq 板,它提供了可重配置的 FPGA 构造和 ARM SoC。

VTA 借助 RPC 服务器接口,为 Pynq 平台提供了简单的 VTA 硬件设计和 TVM 工作负载的编译和部署流程。RPC 服务器负责处理 FPGA 重配置任务和 TVM 模块调用。VTA 运行时系统运行在 Pynq 嵌入式系统的 ARM CPU 上,并在 FPGA 硬件上动态生成 VTA 二进制文件。这个完整的解决方案可实现在低成本 FPGA 上进行开箱即用的原型设计,并提供了一个交互式的 Python 环境,为用户隐藏了大部分 FPGA 设计方面的复杂性和麻烦。

对于熟悉硬件和 FPGA 的程序员,我们公开了使用 HLS C 表示的 VTA 设计,并提供了基于 Xilinx 工具链构建的脚本,用以将 VTA 编译成 FPGA 比特流。我们目前正在构建一个 VTA 变体的仓库,这样用户就可以针对不同的深度学习工作负载使用不同的变体,而无需经历耗时的 FPGA 编译过程。

性能评估

VTA 还处于早期开发阶段,我们期待后续会有更多的性能改进和优化。截至目前,我们提供了基于低成本 Pynq 板的端到端性能评估,Pynq 板采用了过时的 28nm FPGA 构造。虽然该平台主要用于原型设计(FPGA 2012 无法与现代 ASIC 匹敌),但我们正在致力于将 VTA 移植到更新的高性能 FPGA 平台,以提供更具竞争力的性能。

ResNet-18 上的资源利用率

用于评估硬件资源利用率的常用方法是顶线图(roofline diagram):在给定硬件设计的情况下,不同的工作负载在计算和内存资源方面的利用率。下面的顶线图显示了在 ResNet-18 推断基准不同的卷积层上实现的吞吐量。每层具有不同的算术强度,即计算到数据移动比率。在左半部分,卷积层受限于带宽,而在右半部分,它们受限于计算。

设计硬件架构和编译器栈的目标是让每种工作负载尽可能地接近目标硬件的顶线。顶线图显示了硬件和编译器协同工作以最大限度地利用可用硬件资源的效果。顶线图展示的是延迟隐藏技术,需要在硬件级别进行显式依赖跟踪,需要编译器支持分区工作,需要在代码生成期间在指令流中显式插入依赖。其结果是带来了更高的计算和内存资源的总体利用率。

端到端ResNet-18 评估

为VTA 构建完整的编译器栈的好处是能够运行端到端工作负载。这在硬件加速器领域是非常具有

吸引力的,因为我们需要了解性能瓶颈,以及获得更高性能的安达尔局限性。上面的条形图显示了在Pynq 板的ARM Cortex A9 SoC 上,将ResNet 卷积层装载到基于FPGA 的VTA 上的推理性能以及没有装载到VTA 上的推理性能。结果很明显,VTA 实现了它的目标,减少了在CPU 上执行卷积所需的时间(深蓝色)。然而,很明显的是,其他操作也需要装载,因为它们现在成了新的瓶颈所在。对于希望了解系统如何影响端到端性能的系统设计人员而言,这种高级可见性至关重要。

英文原文: https://tvm.ai/2018/07/12/vta-release-announcement.html

感谢陈利鑫对本文的审校。

2018-07-17 11:2919658
用户头像

发布了 731 篇内容, 共 448.1 次阅读, 收获喜欢 2002 次。

关注

评论

发布
暂无评论
发现更多内容

数业智能心大陆:职场倦怠的新解法

心大陆多智能体

智能体 AI大模型 心理健康 数字心理

Deep Dive | 应对不固定业务流量场景,Zilliz Cloud Serverless 正式推出

Zilliz

zilliz cloud

震撼揭秘:2024年企业最受欢迎的IM即时通讯工具全面分析!

WorkPlus

低代码革命:加速云原生时代的端到端产品创新

EquatorCoco

云原生 低代码

实现NAS远程下载,Docker部署qBittorrent、Transmission、贝锐花生壳

贝锐

NAS Docker 镜像

🎊 NFTScan 浏览器上线三周年并推出 NFTScan OAT 活动!

NFT Research

NFT\ NFTScan

抖音、视频号足球直播授权为何难以获得?背后原因揭秘!

软件开发-梦幻运营部

如何帮助我们改造升级原有架构——基于TDengine 平台

梦笔生花

时序数据库 TDengine征文 架构升级

我在Marscode用了3天,转行成为Python程序员

豆包MarsCode

Python 人工智能 程序员 AI

赋能私有化沟通:定制即时通讯与音视频系统助推企业数字化转型

WorkPlus

华为云,调出AI原生三原色

脑极体

AI

安全无忧:私有化即时通讯软件提升企业内部信息安全的必然选择

WorkPlus

为什么要使用CDN?CDN有什么优点?

Ogcloud

CDN CDN加速 CDN技术 CDN网络加速

提高预算管理问责制,打造商业伙伴关系

智达方通

企业管理 企业管理工具 财务管理 全面预算管理系统 预算管理

.NET全局静态可访问IServiceProvider(支持Blazor)

快乐非自愿限量之名

.net

赋能企业沟通:2024年专业IM即时通讯软件的重要性不可小觑!

WorkPlus

Springboot+Shiro+Mybatis+mysql实现权限安全认证

快乐非自愿限量之名

MySQL 数据库 sql Spring Boot

图片压缩格式自适应,真的很省流量!

七牛云

流量 带宽 音视频技术 图片压缩

k8s 中的 Ingress 简介

不在线第一只蜗牛

Kubernetes 容器 云原生

从“群聊”到“一单到底”,天润融通工单系统助力品牌服务升级

天润融通

京东技术专家的修炼之道|“六边形战士”周默分享

京东零售技术

WebViz可视化工具的应用

梦笔生花

MySQL四种备份表的方式

百度搜索:蓝易云

重回极简:华为如何走向全面智能化?

脑极体

AI

得物自建 Redis 无人值守资源均衡调度设计与实现

得物技术

数据库 redis 后端

解析淘宝商品评论API返回值中的用户互动与社交元素

技术冰糖葫芦

API Gateway API 接口 API 测试 pinduoduo API

天润融通创新功能,将无效会话转化为企业新商机

天润融通

【功能详解】IoTDB 与 ThingsBoard 成功集成!

Apache IoTDB

一文详解腾讯云可观测平台 APM 采样方案

腾讯云可观测平台

应用性能监控 腾讯云可观测平台

天润融通助力连锁品牌,用知识库应对门店咨询挑战

天润融通

Apache Flink 流批融合技术介绍

Apache Flink

flink 实时计算 流批一体 流批融合 大数据计算

VTA:一个开放、高度可定制化的深度学习加速器平台_语言 & 开发_VTA团队_InfoQ精选文章