《HarmonyOS:领航者说》技术公开课来啦,大咖分享、实战解码,不容错过 了解详情
写点什么

谷歌发布第二代 TPU,并提供了免费试用方案

  • 2017-06-26
  • 本文字数:1247 字

    阅读完需:约 4 分钟

与第一代 TPU 只能服务于机器学习模型计算不同,谷歌最新的 TPU 现在既能处理训练也能处理服务。InfoQ 年初曾详细介绍过第一代 TPU白皮书

第二代TPU 的发布时间与一周前NVIDIA发布 Volta 的时间高度吻合,后者是一个普通的 GPU,针对 TensorFlow 进行了优化,具备经过严格测试的 Tensor Core 特性。谷歌没有像第一代 TPU 发布时那样提供一份与第二代 TPU 配套的公共白皮书。第一代 TPU 的白皮书是在 TPU 发布几个月之后才发布的。所以,可以推测,详细介绍第二代 TPU(TPU-2)基准测试数据的白皮书即将到来。理想情况下,其中会包含 TPU 和竞争对手芯片组配置的测试组合、它们的边界性能以及在它们上面运行的机器学习工作负载类型。和第一代 TPU 白皮书类似,那会提供有关 TPU-2 的详细信息。

谷歌提供了一些高级性能指标,据推测,这些指标是以谷歌通过 GCP计算引擎提供 TPU 即服务时使用的 TPU 物理基础设施配置为基础。一组特定研究人员和科学家将可以免费使用一个包含 1000 个云 TPU 的集群。该免费的 TPU 基础设施和面向其他所有人的 GCP 服务可能有一个很大程度的抽象,硬件研究人员或新闻资讯可以在没有白皮书的情况下有一个深入的了解。在性能提升方面,谷歌指出:

……我们的大规模新翻译模型在 32 个全世界最好的商用 GPU 上训练了一整天,而 1/8 个 TPU Pod 一下午就可以完成这项任务……

TPU-2 Pod 包含由多个 TPU-2 处理器组成的 TPU-2 板。根据谷歌公告中的零星技术信息以及几张照片,我们可以推测,每个芯片上的闪存可能存在连通性,单个的TPU-2 之间可能共享闪存状态。

第二代TPU 基础设施提供多达256 个芯片,它们连接在一起可以提供11.5 千兆次的机器学习运算能力。谷歌接受Alpha 版本试用申请,不过,申请表单和研究人员的免费试用表单相同。目前,还不清楚下一代TPU 是否会用在类似 CloudML 这样在 GPU 上执行模型训练的服务中。不过,该服务不只限于 TPU。该 GCP 特性

让用户可以在竞争对手的芯片(如英特尔的 Skylake )或 GPU(如 Nvidia 的 Volta )上构建自己的模型,然后将项目迁移到谷歌 TPU 云上做最后的处理。

对于 TPU-2 相对于第一代 TPU 的性能提升,现在还很难做出充分的比较,因为它们的特性集和底层数学操作原语不同。第一代 TPU 没有使用浮点操作,而是使用一个 8 位的整数近似地表示浮点数。现在还不知道谷歌是否提供近似方法将浮点运算性能转换成 8 位整数,用于定量分析的浮点运算估计。

谷歌最新的大规模翻译模型在 32 个“最好的商业 GPU”上需要训练一整天,而 1/8 个 TPU Pod 一下午就可以完成这项工作……每块板子的最大峰值吞吐量为每秒 45 万亿次浮点运算,如上所述,系统板每秒总计 180 万亿次浮点运算,峰值性能可达 11500 万亿次。

能够访问闪存以及可以在同样的硬件上提供训练和服务的能力会影响谷歌和其他芯片组生产商的竞争关系,因为 AMD 的 Vega Radeon Instinct GPU 加速器既可以直接访问闪存,也可以提供 ML 训练和服务。

查看英文原文 Second-Generation TPU Offers Both Training and Model Serving, Free Research Tier on GCP

2017-06-26 19:002533
用户头像

发布了 1008 篇内容, 共 423.9 次阅读, 收获喜欢 346 次。

关注

评论

发布
暂无评论
发现更多内容

『OpenCV-Python』视频的读取和保存

德育处主任

OpenCV

鸿蒙安全控件之粘贴控件简介

龙儿筝

拼多多商品评价API的获取与应用

科普小能手

拼多多 API API 接口 拼多多商品详情接口 拼多多API

探索 Go 语言中的内存对齐:为什么结构体大小会有所不同?

左诗右码

Go

淘宝API接口探索:图片搜索拍立淘与商品评论的深度挖掘

代码忍者

API 接口 pinduoduo API

模型压缩理论简介及剪枝与稀疏化在 征程 5 上实践

地平线开发者

自动驾驶; 算法、

AI在职场:如何通过人工智能提升工作效率

幂简集成

人工智能 API

工程项目管理系统

深圳亥时科技

智能车间管理系统(源码+文档+部署+讲解)

深圳亥时科技

⭐️ GitHub Star 数量前十的工作流项目

NocoBase

GitHub 开源 工作流 工作流引擎 工作流自动化

CST软件如何使用Poser人体摆姿势

思茂信息

cst cst使用教程 CST软件

携手上海证券,共同见证市场活跃背景下交易服务新趋势

非凸科技

上海证券 非凸科技

“老爷机”训不动Lora?一台云电脑就可以让你轻松炼丹

Finovy Cloud

LoRa 云电脑

鸿蒙安全控件简介

龙儿筝

荣誉再加码!天翼云揽获SD-WAN & SASE大会两项大奖!

科技热闻

如何设置自动化测试断言?

老张

软件测试 自动化测试 接口测试 质量保障

全球司库 | 科学掌握企业融资债券数据信息,需从这几个维度展开!

用友智能财务

财务 企业数智化 司库

【创新视角】解锁淘宝商品详情API:让商品主图与详情图“跃然屏上”,重塑购物体验魅力!

代码忍者

API 接口 pinduoduo API

【线上发布会预约中】资源有限,性能无限:GreptimeDB Edge 赋能车端数据处理新高度

Greptime 格睿科技

数据库 汽车 性能报告

端侧AI,风起移动智能计算

脑极体

芯片

谷歌发布第二代TPU,并提供了免费试用方案_AI&大模型_Dylan Raithel_InfoQ精选文章