【FCon上海】与行业领袖共话AI大模型、数字化风控等前沿技术。 了解详情
写点什么

都在关心 TensorFlow 2.0,那我手里基于 1.x 构建的程序怎么办?

  • 2019-08-24
  • 本文字数:5762 字

    阅读完需:约 19 分钟

都在关心TensorFlow 2.0,那我手里基于1.x构建的程序怎么办?

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!


自 2015 年开源以来,TensorFlow 凭借性能、易用、配套资源丰富,一举成为当今最炙手可热的 AI 框架之一,当前无数前沿技术、企业项目都基于它来开发。一开始,TensorFlow 的主要目的是为构建神经网络提供高性能 API。然而,借助于机器学习社区对它的兴趣以及时间上的优势,这个类库已经演变成了一个完整的机器学习生态系统。

然而最近几个月,TensorFlow 正在经历推出以来最大规模的变化。TensorFlow 2.0 已经推出 beta 版本,同 TensorFlow 1.x 版本相比,新版本带来了太多的改变,最大的问题在于不兼容很多 TensorFlow 1.x 版本的 API。这不禁让很多 TensorFlow 1.x 用户感到困惑和无从下手。一般来讲,他们大量的工作和成熟代码都是基于 TensorFlow 1.x 版本开发的。面对版本不能兼容的问题,该如何去做?

本文将跟大家分享作者在处理 TensorFlow 适配和版本选择问题方面的经验,希望对你有所帮助。内容节选自《深度学习之TensorFlow工程化项目实战》一书,文末有送书福利!

一、新项目的版本选择

虽然 TensorFlow 的 2.0 版本中有很多光鲜靓丽的新功能。但是 TensorFlow 1.x 目前比较稳定,建议读者使用 TensorFlow 1.x 版本开发实际项目,并跟进 2.x 版本所更新的技术。待 2.x 版本迭代到 2.3 以上,再考虑使用 2.x 版本开发实际项目。


同时开发新项目时,尽量使用动态图+tf.keras 接口进行。这样,在以后的移植过程中,可以减少很多不兼容的问题。


如果选择 1.x 版本进行开发,尽量使用 TensorFlow 1.13.1、1.14 版本为主。因为 TensorFlow 2.x 版本的代码是基于 TensorFlow 1.13.1 转化而来。TensorFlow 1.13.1 版本可以部分支持 TensorFlow 2.0 版本的代码。而 1.14 版本在 1.13 基础上又更新了一代,相对更为稳定。

二、TensorFlow 1.x 版本与 2.x 版本共存的解决方案

由于 TensorFlow 框架的 1.x 版本与 2.x 版本差异较大。在 1.x 版本上实现的项目,有些并不能直接运行在 2.x 版本上,而新开发的项目推荐使用 2.x 版本。这就需要解决 1.x 版本与 2.x 版本共存的问题。


如用 Anaconda 软件创建虚环境的方法,则可以在同一个主机上安装不同版本的 TensorFlow。

1. 查看 Python 虚环境及 Python 的版本

在装完 Anaconda 软件之后,默认会创建一个虚环境。该虚环境的名字是“base”,是当前系统的运行主环境。可以用“conda info --envs”命令进行查看。


(1)在 Linux 系统中查看所有的 Python 虚环境。


以 Linux 系统为例,查看所有的 Python 虚环境具体命令如下:


(base) root@user-NULL:~# conda info --envs
复制代码


该命令执行后,会显示如下内容:


# conda environments:#base                  *  /root/anaconda3
复制代码


在显示结果中可以看到,当前虚环境的名字是“base”,是 Anaconda 默认的 Python 环境。


(2)在 Linux 系统中查看当前 Python 的版本


可以通过“python --version”命令查看当前 Python 的版本。具体命令如下:


(base) root@user-NULL:~# python --version
复制代码


执行该命令后会显示如下内容:


Python 3.6.4 :: Anaconda, Inc.
复制代码


在显示结果中可以看到,当前 Python 的版本是 3.6.4。

2. 创建 Python 虚环境

创建 Python 虚环境的命令是“conda create”。在创建时,应指定好虚环境的名字和需要使用的版本。


(1)在 Linux 系统中创建 Python 虚环境。


下面以在 Linux 系统中创建一个 Python 版本为 3.6.4 的虚环境为例(在 Windows 系统中,创建方法完全一致)。具体命令如下:


 (base) root@user-NULL:~# conda create --name tf2 python=3.6.4
复制代码


该命令创建一个名为“tf2”的 Python 虚环境。具体步骤如下:


①    在创建过程中会提示是否安装对应软件包,如下图所示。输入“Y”,则下载及安装软件包。



② 安装完软件包后,系统将会自动进行其他配置。如果出现如下图所示的界面,则表示创建 Python 虚拟环境成功。



在上图中显示了使用虚拟环境的命令:


conda activate tf2              #将虚拟环境tf2作为当前的Python环境conda deactivate                #使用默认的Python环境
复制代码


提示:

在 Windows 中,激活和取消激活虚拟环境的命令如下:

activate tf2
deactivate


(2)检查 Python 虚环境是否创建成功。


再次输入“conda info --envs”命令,查看所有的 Python 虚环境。具体命令如下:


(base) root@user-NULL:~# conda info –envs
复制代码


该命令执行后,会显示如下内容:


# conda environments:#base                  *  /root/anaconda3tf2                      /root/anaconda3/envs/tf2
复制代码


可以看到,虚环境中多了一个“tf2”,表示创建成功。


(3)删除 Python 虚环境。


如果想删除已经创建的虚环境,则可以使用“conda remove”命令。具体命令如下:


(base) root@user-NULL:~# conda remove --name tf2 --all
复制代码


该命令执行后没有任何显示。可以再次通过“conda info --envs”命令查看 Python 虚环境是否被删除。

3. 在 Python 虚环境中安装 TensorFlow

激活新创建的虚拟环境“tf2”,然后按照《深度学习之 TensorFlow 工程化项目实战》一书 2.3 节中介绍的方法安装 TensorFlow。具体命令如下:


(base) root@user-NULL:~# conda activate tf2                 # 激活tf2虚拟环境(tf2) root@user-NULL:~# pip install tf-nightly-2.0-preview  # 安装TensorFlow 2.0版
复制代码

三、2.x 版本对于静态图的影响

“静态图”是 TensorFlow 1.x 版本中张量流的主要运行方式。其运行机制是将“定义”与“运行”相分离。相当于:先用程序搭建起一个结构(即在内存中构建一个图),让数据(张量流)按照图中的结构顺序进行计算,最终运行出结果。


虽然在 TensorFlow 2.x 版本中默认的是动态图,但是也可以使用静态图。


在 TensorFlow 2.x 版本中,使用静态图的步骤与在 TensorFlow 1.x 版本中使用静态图的步骤完全一致。但是,由于静态图不是 TensorFlow 2.x 版本中的默认工作模式,所以在使用时还需要注意两点:


  1. 在代码的最开始处,用 tf.compat.v1.disable_v2_behavior 函数关闭动态图模式。

  2. 将 TensorFlow 1.x 版本中的静态图接口,替换成 tf.compat.v1 模块下的对应接口。


例如:


  • 将函数 tf.placeholder 替换成函数 tf.compat.v1.placeholder。

  • 将函数 tf.session 替换成函数 tf.compat.v1.session。

四、将 1.x 的动态图代码升级到 2.x 版本

在 TensorFlow 2.x 版本中,已经将动态图设为了默认的工作模式。使用动态图时,直接编写代码即可。


TensorFlow 1.x 中的 tf.enable_eager_execution 函数在 TensorFlow 2.x 版本中已经被删除,另外在 TensorFlow 2.x 版本中还提供了关闭动态图与启用动态图的两个函数。


  • 关闭动态图函数:tf.compat.v1.disable_v2_behavior。

  • 启用动态图函数:tf.compat.v1.enable_v2_behavior。

五、2.x 版本中的反向传播

在 1.x 版本中动态图的反向传播函数有多个:tf.GradientTape、tfe.implicit_gradients、tfe.implicit_value_and_gradients,可以根据实际的需要来灵活选择,使用起来非常灵活。(具体区别和实例演示可以参考《深度学习之 TensorFlow 工程化项目实战》一书)


但在 2.x 中,只保留了 tf.GradientTape 函数用于计算梯度。tfe.implicit_gradients 与 tfe.implicit_value_and_gradients 函数在 TensorFlow 2.x 中将不再被支持。

六、2.x 版本对于估算器的影响

TensorFlow 2.x 版本可以完全兼容 TensorFlow 1.x 版本的估算器框架代码。用估算器框架开发模型代码,不需要考虑版本移植的问题。

七、用工具进行代码的版本升级——适用于原生的 API 代码

如果手里的 1.x 代码只使用了原生的 API,那么可以直接使用 TensorFlow 2.x 版本中提供的工具对 TensorFlow 1.x 版本的代码进行升级。


TensorFlow 2.x 版本提供了一个升级 TensorFlow 1.x 版本代码的工具——tf_upgrade_v2,该工具可以非常方便地将 TensorFlow 1.x 版本中编写的代码移植到 TensorFlow 2.x 中。具体命令如下:


tf_upgrade_v2 --infile "1.x的代码文件"  -outfile "2.x的代码文件"
复制代码


该命令主要做的是名字匹配,实现了在 TensorFlow 2.x 版本中,将 TensorFlow 1.x 版本中的部分函数名字进行调整,部分例子如下:


  • 将函数 tf.random_uniform 改成了 tf.random.uniform。

  • 将函数 tf.random_crop 改成了 tf.image.random_crop。

  • 将函数 tf.random_shuffle 改成了 tf.random.shuffle。

  • 将函数 tf.read_file 改成了 tf.io.read_file。


tf_upgrade_v2 工具支持单文件转换和多文件批量转换两种方式。

1. 对单个代码文件进行转换

在命令行里输入 tf_upgrade_v2 命令,用“–infile”参数来指定输入文件,用“–outfile”参数来指定输出文件。具体命令如下:


tf_upgrade_v2 --infile foo_v1.py  --outfile foo_v2.py
复制代码


该命令可以将 TensorFlow 1.x 版本中编写的代码文件 foo_v1.py 转成可以支持 TensorFlow 2.x 版本的代码 foo_v2.py。

2. 批量转化多个代码文件

在命令行里输入 tf_upgrade_v2 命令,用“-intree”参数来指定输入文件路径,用“-outtree”参数来指定输出文件路径。具体命令如下:


tf_upgrade_v2 -intree foo_v1  -outtree foo_v2
复制代码


该命令可以将目录为 foo_v1 下的所有代码文件转成支持 TensorFlow 2.x 版本的代码文件,并保存到目录 foo_v2 中。

八、2.x 版本对于 TF-Hub、T2T 等库的影响

非常庆幸的是,TF-Hub、T2T 等库可以同时支持 TensorFlow 的 1.x 与 2.x 版本。

1.TF-Hub 库

TF-Hub 库是 TensorFlow 中专门用于预训练模型的库,其中包含很多在大型数据集上训练好的模型。如需在较小的数据集上实现识别任务,则可以通过微调这些预训练模型来实现。另外,它还能够提升原有模型在具体场景中的泛化能力,加快训练的速度。


在 GitHub 网站上有 TF-Hub 库的源码链接,其中包含了众多详细的说明文档。地址如下:


https://github.com/tensorflow/hub

2.T2T

Tensor2Tensor(T2T)是谷歌开源的一个模块化深度学习框架,其中包含当前各个领域中最先进的模型,以及训练模型时常用到的数据集。


如想了解更多关于 T2T 的细节,可以在以下链接中查看 T2T 框架的源码及教程:


https://github.com/tensorflow/tensor2tensor

九、2.x 版本对于 tf.layers 接口的影响

用 tf.layers 接口开发模型代码需要考虑版本移植的问题。在 TensorFlow 2.x 版本中,所有 tf.layers 接口都需要被换作 tf.compat.v1.layers。


另外,在 TensorFlow 2.x 版本中,tf.layers 模块更多用于 tf.keras 接口的底层实现。如果是开发新项目,则建议直接使用 tf.keras 接口;如果要重构已有的项目,也建议使用 tf.keras 接口进行替换。

十、2.x 版本的新特性——自动图

在 2.x 版本中,加入了很多新特性,自动图是最为实用的特性之一。


在 TensorFlow 1.x 版本中,要开发基于张量控制流的程序,必须使用 tf.conf、tf. while_loop 之类的专用函数。这增加了开发的复杂度。


在 TensorFlow 2.x 版本中,可以通过自动图(AutoGraph)功能,将普通的 Python 控制流语句转成基于张量的运算图,大大简化了开发工作。


在 TensorFlow 2.x 版本中,可以用 tf.function 装饰器修饰 Python 函数,将其自动转化成张量运算图。示例代码如下:


import tensorflow as tf           #导入TensorFlow2.0@tf.functiondef autograph(input_data):    #用自动图修饰的函数    if tf.reduce_mean(input_data) > 0:      return input_data           #返回是整数类型    else:      return input_data // 2      #返回整数类型a =autograph(tf.constant([-6, 4]))b =autograph(tf.constant([6, -4]))print(a.numpy(),b.numpy())        #在TensorFlow 2.x上运行,输出:[-3  2] [ 6 -4]
复制代码


从上面代码的输出结果中可以看到,程序运行了控制流“tf.reduce_mean(input_data) > 0”语句的两个分支。这表明被装饰器 tf.function 修饰的函数具有张量图的控制流功能。


在使用自动图功能时,如果在被修饰的函数中有多个返回分支,则必须确保所有的分支都返回相同类型的张量,否则会报错。


TensorFlow 2.x 版本还有更多新特性,比如 TensorFLow.js、TF-Lite、模型保存和恢复的新 API 等都可以使 AI 的开发和应用变得更加快捷、方便。具体可以参考《深度学习之 TensorFlow 工程化项目实战》一书的介绍和实例演示。

十一、将代码升级到 TensorFlow 2.x 版本的经验总结

下面将升级代码到 TensorFlow 2.x 版本的方法汇总起来,有如下几点。

1. 最快速转化的方法

在代码中没有使用 contrib 模块的情况下,可以在代码最前端加上如下两句,直接实现代码升级。


import tensorflow.compat.v1 as tftf.disable_v2_behavior()
复制代码


这种方法只是保证代码在 TensorFlow 2.x 版本上能够运行,并不能发挥 TensorFlow 的最大性能。

2. 使用工具进行转化的方法

在代码中没有使用 contrib 模块的情况下,用 tf_upgrade_v2 工具可以快速实现代码升级。当然 tf_upgrade_v2 工具并不是万能的,它只能实现基本的 API 升级。一般在转化完成之后还需要手动二次修改。

3. 将静态图改成动态图的方法

静态图可以看作程序的运行框架,可以将输入输出部分原样套用在函数的调用框架中。具体步骤如下:


(1)将会话(session)转化成函数。


(2)将注入机制中的占位符(tf.placeholder)和字典(feed_dict)转化成函数的输入参数。


(3)将会话运行(session.run)后的结果转化成函数的返回值。


在实现过程中,可以通过自动图功能,用简单的函数逻辑替换静态图的运算结构。

4. 将共享变量转成 Python 对象的命名空间

在定义权重参数时,用 tf.Variable 函数替换 tf.get_variable 函数。每个变量的命名空间(variable_scope)用类对象空间进行替换,即将网络封装成类的形式来搭建模型。


在封装类的过程中,可以继承 tf.keras 接口(如:tf.keras.layers.Layer、tf.keras.Model),也可以继承更底层的接口(如 tf.Module、tf.layers.Layer)。


在对模型进行参数更新时,可以使用实例化类对象的 variables 和 trainable_variables 属性来控制参数。

5. 升级 TF-slim 接口开发的程序

TensorFlow 2.x 版本将彻底抛弃 TF-slim 接口,所以升级 TF-slim 接口程序需要较大的工作量。官方网站给出的指导建议是:如果手动将 TF-slim 接口程序转化为 tf.layers 接口实现,则可以满足基本使用;如果想与 TensorFlow 2.x 版本结合得更加紧密,则可以再将其转化为 tf.keras 接口。


以上内容来自于《深度学习之TensorFlow工程化项目实战》一书,如果你想了解 TensorFlow 的更多使用技巧,或有关新旧版本的升级方法,或更多实例演示,请参考此书。


公众号推荐:

AGI 概念引发热议。那么 AGI 究竟是什么?技术架构来看又包括哪些?AI Agent 如何助力人工智能走向 AGI 时代?现阶段营销、金融、教育、零售、企服等行业场景下,AGI应用程度如何?有哪些典型应用案例了吗?以上问题的回答尽在《中国AGI市场发展研究报告 2024》,欢迎大家扫码关注「AI前线」公众号,回复「AGI」领取。

2019-08-24 08:0011887

评论

发布
暂无评论
发现更多内容

IPQ9574/Ultra-fast speed, ultra-low latency: key advantages and application prospects of WiFi 7

wallysSK

Sermant 的整体流程学习梳理

华为云开源

开源 字节码 微服务治理 sermant

关于Python中math 和 decimal 模块的解析与实践

华为云开发者联盟

Python 开发 华为云 华为云开发者联盟

骚操作之 持有 ReadOnlySpan 数据

八苦-瞿昙

C#

L2 网络 Mint Blockchain 正式对外发布测试网

NFT Research

blockchain NFT 测试网络

Live Wallpaper & Themes 4K Pro for Mac(超高清4K动态壁纸) v19.4中文激活版

iMac小白

SponsorBlock for YouTube for Mac(跳过youtube赞助商广告) v5.5.5激活版

iMac小白

QLab Pro for Mac(音频剪辑软件) v5.3.4激活版

iMac小白

PullTube for Mac(在线视频下载器) v1.8.5.25中文激活版

iMac小白

QCN9274 and QCN6224 are different, why is one a high match and the other a low match?

wifi6-yiyi

Microsoft Remote Desktop for Mac(微软远程连接软件) v10.9.6直装激活版

iMac小白

抖音技术分享:飞鸽IM桌面端基于Rust语言进行重构的技术选型和实践总结

JackJiang

网络编程 即时通讯 IM

BEANZ NFT 概览与数据分析

Footprint Analytics

blockchain NFT

大模型+搜索:构建完整技术栈,为企业定制化注入新活力

百度开发者中心

数字 大模型 人工智能、

京东商品详情数据获取item_get-获得JD商品详情,Java请求示例API接口

Anzexi58

请求示例JAVA获取淘宝商品详情数据API接口item_get-获得淘宝商品详情(按关键词搜索商品列表)

Anzexi58

API 文档

FastScripts for Mac(脚本调用工具) v3.3.1激活版

iMac小白

AudFree Tidable Music Converter for Mac(Tidal音乐转换器) v2.14.0免激活版

iMac小白

vivo 在离线混部探索与实践

vivo互联网技术

云计算 大数据 DevOps

Text Workflow for mac(文本格式转换工具) v1.9.1直装激活版

iMac小白

颠覆软件工程、“杀死”开发者?回溯大模型落地应用这一年 | 盘点

思码逸研发效能

Eudic欧路词典 for Mac(英语词典翻译查询工具) v4.6.2激活版

iMac小白

文生视频Sora模型发布,是否引爆AI芯片热潮

申公豹

人工智能

奇点云:SAFe框架下,我们对平台软件工程生产线做了4项改造

奇点云

大数据平台 制造业 奇点云

iPaaS如何实现安全通信保障

RestCloud

信息安全 ipaas

OpenMLDB v0.8.5 发布:认证功能完善,安全升级全面实施

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

干货!Windbg 在 TDengine 内存泄漏调试中的应用与实践分享

TDengine

tdengine 时序数据库 内存泄漏 windbg

JAVA请求示例获取1688商品详情数据API接口item_get-获得阿里巴巴商品详情(按关键词搜索商品列表)

Anzexi58

API 文档

都在关心TensorFlow 2.0,那我手里基于1.x构建的程序怎么办?_AI&大模型_李金洪_InfoQ精选文章