红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

Google 发布 Tensor2Tensor for TensorFlow

  • 2017-08-13
  • 本文字数:634 字

    阅读完需:约 2 分钟

TensorFlow(TF)社区和 Google 的 Brain 团队发布了作为TF API 重要扩展的 Tensor2Tensor

Tensor2Tensor(T2T)解决了在 TF 上训练和执行模型的模块化和可移植性问题。它将常用的深度学习模型管道抽象成一个可扩展的对象模型,并提供了 TF 训练所需要的标准 API。T2T 的目标之一是要降低模型训练管道和执行环境的重复性成本,同时减少基于 TF 现有 API 进行常见操作的工作量,这些操作原本很难在用户之间共享,它们有些只能用于解决特定的问题。

T2T 基于现有的 TF 库执行很多操作,包括模型架构、优化器、学习率衰退、scheme 和超参数。它还提供了一些预训练过的模型和样本数据集、默认的模型规范,以及超参数 modality 的控制方法。这样有助于用户重复实验、比较和交换结果,让他们专注在课题研究上,而不是把大量精力花费在编排 TF 管道环境上。

T2T 的数据集为标准的 TFRecord protobuf 文件,训练数据集可以通过用户自定义的 Problem 子类来生成,或者通过 Python 装饰器和直接函数调用的方式来生成。Problem 对象由训练时间超参数和它们的输入输出形态及数据集组成。Problem 提供了一些方法用于处理编码、文件路径、输入输出目标、超参数和默认属性值。模型的 metrics (如模型准确度)也被封装在 Problem 中。超参数集合通过装饰器注册成 Hparams 对象。

训练可以被配置成同步或异步模式。通过环境变量 TF_CONFIG 可以指定 master 服务器和参数服务器,支持 grpc 和 gpu 群组,以及计算资源的逻辑集群。

查看英文原文: Google Announces Tensor2Tensor for TensorFlow

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2017-08-13 19:002087
用户头像

发布了 322 篇内容, 共 133.6 次阅读, 收获喜欢 142 次。

关注

评论

发布
暂无评论
发现更多内容

【React技术】开发过程中遇到State和生命周期方法在类里面的运用

恒山其若陋兮

前端 11月月更

华为云桌面Workspace,让云上工作更高效!

路过的憨憨

深度学习-浅谈keras的扩展性

AIWeker

深度学习 keras 11月月更

制造业要用龙头带动整条产业链发展,阿里云智能制造加速器首次集结

B Impact

Python 操作Mysql

度假的小鱼

pymysql 11月月更 Python操作Mysql

Python 操作Excel(xlrd和XlsxWrite)

度假的小鱼

11月月更 Python xlrd读取Excel Python xlrd

基于 Apache Flink Table Store 的全增量一体实时入湖

Apache Flink

大数据 flink 实时计算

React源码分析5-commit

goClient1992

React

Flink Forward Asia 2022 主论坛概览

Apache Flink

大数据 flink 实时计算

React源码分析6-hooks源码

goClient1992

React

细说值传递、引用传递和地址传递

海风极客

编程语言 计算机基础 11月月更

读《程序是怎样跑起来的》体会

听风go

读书笔记 后端 计算机 计算机原理 读书总结

一文了解 Go 标准库 strings 常用函数和方法

陈明勇

Go golang 字符串 11月月更 strings

《2022开源大数据热力报告》发布,Flink 摘得「流处理」领域热力值 TOP1

Apache Flink

大数据 flink 实时计算

Flink CDC 2.3 发布,持续优化性能,更多连接器支持增量快照,新增 Db2 支持

Apache Flink

大数据 flink 实时计算

投入上百人、经历多次双 11,Flink 已经足够强大了吗?

Apache Flink

大数据 flink 实时计算

AI简报-重参数化RepVGG

AIWeker

深度学习 AI简报 11月月更

python小知识-内置方法和属性应用:反射和单例

AIWeker

Python python小知识 11月月更

湖仓一体电商项目(十五):实时统计商品及一级种类、二级种类访问排行业务需求和分层设计及流程图

Lansonli

湖仓一体电商项目 11月月更

华为云大数据平台,助力企业数字化转型成效明显

路过的憨憨

python版本管理工具DVC

AIWeker

人工智能 版本管理 11月月更 dvc

Python 操作mongodb库

度假的小鱼

mongodb 11月月更 Python 操作mongodb库

【web 开发基础】PHP 中数组的定义 (42)

迷彩

数据结构 数组 11月月更 数组的定义

“后 Hadoop 时代”,大数据从业者如何应对新技术趋势带来的挑战?

Apache Flink

大数据 flink 实时计算

【web 开发基础】PHP中数组的遍历(45)

迷彩

数据结构 数组 foreach 11月月更 数组遍历

【React技术】JSX在企业级项目的运用and一个元素渲染demo

恒山其若陋兮

前端 11月月更

【web 开发基础】PHP中使用array()语言结构新建数组(43)

迷彩

数据结构 array 11月月更 array() 新建数组

Discourse 的左侧边栏可以修改吗

HoneyMoose

【web 开发基础】PHP中的数组 (41)

迷彩

php 数据结构 11月月更 关联数组 索引数组

【web 开发基础】PHP中多维数组的声明 (44)

迷彩

数据结构 一维数组 二维数组 11月月更 多维数组

【web 开发基础】PHP中的预定义数组(46)

迷彩

php web开发基础 11月月更 预定义 超全局数组变量

Google发布Tensor2Tensor for TensorFlow_AI&大模型_Dylan Raithel_InfoQ精选文章