GMTC深圳站售票最后一周,点击查看最新日程>> 了解详情
写点什么

谷歌称 TensorFlow 的 OpenCL 可以将推理性能提高一倍

  • 2020 年 8 月 21 日
  • 本文字数:1035 字

    阅读完需:约 3 分钟

谷歌称 TensorFlow 的 OpenCL 可以将推理性能提高一倍

本文最初发表于 venturebeat,由 InfoQ 中文站翻译并分享。


Google 日前 发布了一款基于 OpenCL 的移动 GPU 推理引擎,用于 Android 上的 TensorFlow 框架。它现在可以在最新版本的 TensorFlow Lite库中使用,该公司声称,它提供了一个比现有的 OpenGL 后端加速两倍的“合理大小”的人工智能模型。


OpenGL 已有近三十年的历史,是一个平台无关的 API,用于渲染 2D 和 3D 矢量图形。OpenGL ES 3.1 增加了计算着色器,但 TensorFlow 团队表示,向后兼容的设计决策限制了它们充分发挥设备 GPU 的全部潜力。另一方面,OpenCL 从一开始就是为各种加速器的计算而设计的,因此与移动 GPU 推理领域更相关。这激发了 TensorFlow 团队对基于 OpenCL 的移动推理引擎的研究并最终采用。


新的 TensorFlow 推理引擎提供了一个优化器,可以选择合适的工作组规模来提高性能,从而在高通(Qualcomm)的 Adreno GPU 等硬件上比平均速度提高了 50%。它原生支持 FP16,并且需要加速器来指定数据类型的可用性,通过加速算法计算来减少内存和带宽的使用以及训练时间。(Google 指出,由于 FP16 的支持,某些较旧的 GPU,如大约 2012 年上市的 Adreno 305,现在可以以其全部能力运行了。)另外,OpenCL 能够通过物理常量内存保持协同,从而大大超过 OpenGL 的性能。物理常量内存是像 Adreno GPU 这样的芯片中的一项硬件功能,为存储常量数组和变量保留了 RAM。



在一次基准测试中,TensorFlow 团队将所谓的神经架构搜索系统 MNASNet 1.3 的延迟从基于 OpenGL 的后端在 Vivo Z3 上超过 100 毫秒降低到使用 OpenCL 替代方案的 25 毫秒。在另一项使用目标检测算法 SSD MobileNet v3 的测试中,该团队将华为 Mate 20 的延迟从近 100 毫秒降低到 25 毫秒以下。



Google 指出,OpenCL 并非标准 Android 发行版的一部分,因此一些用户无法使用它。作为一种权宜之计,TensorFlow Lite 现在可以在运行时检查 OpenCL 的可用性,这样,如果它不可用或无法加载,那么库就会退回到旧的 OpenGL 后端。


TensorFlow 软件工程师 Juhyun Lee 和 Raman Sarokin 在博文中写道:“当 TensorFlow Lite GPU 团队不断改进现有的基于 OpenCL 的移动 GPU 推理引擎时,我们也在研究其他技术。OpenCL 带来了很多特性,让我们可以优化我们的移动 GPU 推理引擎。”


作者介绍:


Kyle Wiggers,技术记者,现居美国纽约市,为 VentureBeat 撰写有关人工智能的文章。


原文链接:


https://venturebeat.com/2020/08/17/google-claims-tensorflows-new-opencl-inference-backend-can-double-performance/


2020 年 8 月 21 日 14:241514
用户头像
刘燕 InfoQ记者

发布了 725 篇内容, 共 233.4 次阅读, 收获喜欢 1375 次。

关注

评论

发布
暂无评论
发现更多内容

架构实战营 - 模块 5- 设计微博系统中”微博评论“的高性能高可用计算架构

蔸蔸

[架构实战营] 模块五作业

xyu

#架构实战营

阿里架构师花近十年时间整理出来的Java核心知识pdf(Java岗)

编程菌

Java 编程 程序员 面试 计算机

模块五作业

king

阿里P8整理的《百亿级并发系统设计》实战教程,实在是太香了

编程菌

Java 编程 程序员 阿里 计算机

【效率为王】Git 使用指南

村雨遥

git 8月日更

架构实战训练营第五模块作业

子豪sirius

架构实战营

干货来袭!阿里技术官甩出的内部首推分布式系统开发笔记太顶了

编程菌

Java 编程 程序员 面试 计算机

架构训练营 模块五

小卷儿

在线CSS代码压缩美化工具

入门小站

工具

架构实战营 模块五 作业

脉醉

#架构实战营

Nacos-spring-boot 0.2.10 发布,全面支持 Nacos2.0

阿里巴巴中间件

云计算 开源 云原生 中间件

常见酒店行业术语

IT蜗壳-Tango

8月日更

平台利用大数据割韭菜,消费者为何沦为砧板上的鱼肉

石头IT视角

【架构训练营】模块五作业

zclau

模块五作业

绝影

架构训练营

有了阿里人的并发图册+JDK源码速成笔记,我终于不慌内卷了

编程菌

Java 编程 程序员 面试 计算机

【ClickHouse】 核心特性

LeifChen

Clickhouse 8月日更

全靠阿里内部(珠峰版)Java面试笔记,成功拿下12家大厂offer

编程菌

Java 编程 程序员 阿里 计算机

”微博评论“的高性能高可用计算架构

feitian

模块五作业:设计微博评论的高性能高可用计算架构

Felix

真的香!Github一夜爆火被各大厂要求直接下架的面试题库也太全了

编程菌

Java 编程 程序员 面试 计算机

MongoDB中间件工具mgm入门介绍(一)

liuzhen007

8月日更

模块五作业-微博评论-高性能高可用架构

babos

#架构实战营

【设计模式】策略模式

Andy阿辉

C# 后端 设计模式 8月日更

从零开始的SRC挖掘

网络安全学海

黑客 网络安全 信息安全 渗透测试 漏洞挖掘

PAI:一站式云原生AI平台

阿里云大数据AI技术

[架构实战营一期] 模块五作业

trymorewang

架构实战营

架构实战营作业 M05

Shawn Liu

微服务的演进之路

卢卡多多

微服务 8月日更

有同学问我:Fetch 和 Ajax 有什么区别?

编程三昧

JavaScript ajax 前端 8月日更 Fetch

数据cool谈(第2期)寻找下一代企业级数据库

数据cool谈(第2期)寻找下一代企业级数据库

谷歌称 TensorFlow 的 OpenCL 可以将推理性能提高一倍-InfoQ