写点什么

谷歌发布第二代 TPU,并提供了免费试用方案

  • 2017-06-26
  • 本文字数:1247 字

    阅读完需:约 4 分钟

与第一代 TPU 只能服务于机器学习模型计算不同,谷歌最新的 TPU 现在既能处理训练也能处理服务。InfoQ 年初曾详细介绍过第一代 TPU白皮书

第二代TPU 的发布时间与一周前NVIDIA发布 Volta 的时间高度吻合,后者是一个普通的 GPU,针对 TensorFlow 进行了优化,具备经过严格测试的 Tensor Core 特性。谷歌没有像第一代 TPU 发布时那样提供一份与第二代 TPU 配套的公共白皮书。第一代 TPU 的白皮书是在 TPU 发布几个月之后才发布的。所以,可以推测,详细介绍第二代 TPU(TPU-2)基准测试数据的白皮书即将到来。理想情况下,其中会包含 TPU 和竞争对手芯片组配置的测试组合、它们的边界性能以及在它们上面运行的机器学习工作负载类型。和第一代 TPU 白皮书类似,那会提供有关 TPU-2 的详细信息。

谷歌提供了一些高级性能指标,据推测,这些指标是以谷歌通过 GCP计算引擎提供 TPU 即服务时使用的 TPU 物理基础设施配置为基础。一组特定研究人员和科学家将可以免费使用一个包含 1000 个云 TPU 的集群。该免费的 TPU 基础设施和面向其他所有人的 GCP 服务可能有一个很大程度的抽象,硬件研究人员或新闻资讯可以在没有白皮书的情况下有一个深入的了解。在性能提升方面,谷歌指出:

……我们的大规模新翻译模型在 32 个全世界最好的商用 GPU 上训练了一整天,而 1/8 个 TPU Pod 一下午就可以完成这项任务……

TPU-2 Pod 包含由多个 TPU-2 处理器组成的 TPU-2 板。根据谷歌公告中的零星技术信息以及几张照片,我们可以推测,每个芯片上的闪存可能存在连通性,单个的TPU-2 之间可能共享闪存状态。

第二代TPU 基础设施提供多达256 个芯片,它们连接在一起可以提供11.5 千兆次的机器学习运算能力。谷歌接受Alpha 版本试用申请,不过,申请表单和研究人员的免费试用表单相同。目前,还不清楚下一代TPU 是否会用在类似 CloudML 这样在 GPU 上执行模型训练的服务中。不过,该服务不只限于 TPU。该 GCP 特性

让用户可以在竞争对手的芯片(如英特尔的 Skylake )或 GPU(如 Nvidia 的 Volta )上构建自己的模型,然后将项目迁移到谷歌 TPU 云上做最后的处理。

对于 TPU-2 相对于第一代 TPU 的性能提升,现在还很难做出充分的比较,因为它们的特性集和底层数学操作原语不同。第一代 TPU 没有使用浮点操作,而是使用一个 8 位的整数近似地表示浮点数。现在还不知道谷歌是否提供近似方法将浮点运算性能转换成 8 位整数,用于定量分析的浮点运算估计。

谷歌最新的大规模翻译模型在 32 个“最好的商业 GPU”上需要训练一整天,而 1/8 个 TPU Pod 一下午就可以完成这项工作……每块板子的最大峰值吞吐量为每秒 45 万亿次浮点运算,如上所述,系统板每秒总计 180 万亿次浮点运算,峰值性能可达 11500 万亿次。

能够访问闪存以及可以在同样的硬件上提供训练和服务的能力会影响谷歌和其他芯片组生产商的竞争关系,因为 AMD 的 Vega Radeon Instinct GPU 加速器既可以直接访问闪存,也可以提供 ML 训练和服务。

查看英文原文 Second-Generation TPU Offers Both Training and Model Serving, Free Research Tier on GCP

2017-06-26 19:002521
用户头像

发布了 1008 篇内容, 共 422.8 次阅读, 收获喜欢 346 次。

关注

评论

发布
暂无评论
发现更多内容

理“ Druid 元数据”之乱

vivo互联网技术

大数据 存储 Druid Apache Druid

用户体验至上时代,银行的“主动出击”

博睿数据

金融 博睿数据 数据链DNA IT运维

基于阿里云 ASK 的 Istio 微服务应用部署初探

阿里巴巴云原生

阿里云 容器 微服务 云原生 服务网格

架构实战营-模块二作业

Roy

架构实战营

Docker镜像制作实战:设置时区和系统编码

程序员欣宸

Docker 5月月更

模块二 微信朋友圈高性能架构分析

挖了蘑菇哩斯

作业 架构实战营

大数据培训数仓实践 Kimball 维度建模

@零度

数仓 大数据开发

英特尔加速创新,唤醒网络及边缘原力

科技之家

善事利器 - 我是如何在药师帮掌店易项目落地 Zadig 的

Zadig

DevOps 云原生 CI/CD

什么是哈希?趣投哈希幸运哈希竞猜游戏开发方案策划

开发微hkkf5566

Java 实现 植物大战僵尸 小游戏【附源码】

JavaPub

Java

【架构训练营】模块二作业

知北游

作业

Kafka到底有多高可靠?(RNG NB)

敖丙

kafka Java EE 程序员‘

高危!Fastjson反序列化漏洞风险

源字节1号

软件开发

俄罗斯方块【附源码】

JavaPub

超级马里奥【附源码】

JavaPub

SAP UI5 自动化测试工具的 qunit-redirect.js

汪子熙

JavaScript 前端开发 SAP Fiori 5月月更

面试突击52:什么是三范式?它有什么用?

王磊

Java 面试

通过集成腾讯IM来浅尝一下.net 6的MINI API

为自己带盐

.net core 5月月更 mini api

【LeetCode】最多单词数的发件人Java题解

Albert

LeetCode 5月月更

国密在车联网安全认证场景中的应用|车联网系列专题07

EMQ映云科技

车联网 物联网 国密 emqx 5月月更

企业知识管理难题,现在有了一个好的解决方案

小炮

java培训动态上传jar包热部署实战分享

@零度

JAVA开发

深入解析 TiFlash丨多并发下线程创建、释放的阻塞问题

PingCAP

直播预告丨 Hello HarmonyOS 进阶课程第五课——原子化服务

HarmonyOS开发者

HarmonyOS

web前端培训如何解决模块依赖复杂度太高的问题

@零度

前端开发

亚信安慧AntDB数据库斩获“最佳数据库品牌”大奖

亚信AntDB数据库

架构实战营 7 期「模块二」如何抓住架构设计关键点

Steve_bot

如何快速解决集群异常和机器性能波动

NebulaGraph

可视化 图数据库 知识图谱

分析一下微信朋友圈的高性能复杂度

Geek_7a789a

畅聊安全生产,对话B站、唯品会一线专家!|TakinTalks大咖对谈

TakinTalks稳定性社区

谷歌发布第二代TPU,并提供了免费试用方案_AI&大模型_Dylan Raithel_InfoQ精选文章