Inside Tensorflow 之:tf.keras part1

阅读数:5 2019 年 11 月 29 日 08:00

Inside Tensorflow之:tf.keras part1

最近 keras 之父 Francois Chollet 分享了 TensorFlow 中 tf.keras 接口的一些高端的用法,下面就让我们了解一下:

首先,给演讲来个概况:

Inside Tensorflow之:tf.keras part1
接下来是介绍 tf.keras 的架构:

Inside Tensorflow之:tf.keras part1
下面首先介绍 Layer 类,这里可以看到其实在 Layer 中也可以实现 losses 和 metrics 的追踪功能。
Inside Tensorflow之:tf.keras part1

那么 Layer 中没实现的功能包括:不涉及梯度的计算;设备指定;Tensor 变量的维度检查(必须输入和输出的 Tensor 第一维度是 batch N);类型检查

Inside Tensorflow之:tf.keras part1
下面讲到了如何自定义自己的 Layer 类,有两种方式,下面是最简单的一种,这种方式在构建时是会根据传入的参数 input_dim 推断出 input 的 shape。

Inside Tensorflow之:tf.keras part1
而下面这种方式,在构造时时推断不出 input 的 shape,必须等到调用该 Layer 层时才触发 build 函数去构建可训练的参数,调用 call 函数去做 inference。

Inside Tensorflow之:tf.keras part1
当然,Layer 中也可以声明 non_trainable 的变量:

Inside Tensorflow之:tf.keras part1
另外,Layer 也是可以嵌套使用的,就是在定义一个新的 Layer 类时去调用另外一个 Layer 类:

Inside Tensorflow之:tf.keras part1
定义完 Layer 之后,那么怎么使用它进行 inference 和训练呢?其实流程都是大致固定的,定义 inference 结构,loss 函数,优化器。然后遍历 dataset,求梯度最后更新。
Inside Tensorflow之:tf.keras part1

上面这些知识其实都是 Layer 的基本用法啦,让我们随着大佬的视频走的更远,飞的更高点,哈哈。

首先介绍的是在 Layer 中实现对 losses 追踪功能。

Inside Tensorflow之:tf.keras part1Inside Tensorflow之:tf.keras part1

那么怎么将这个 loss 加到 loss 函数中呢?其实也就是本来 model 的 loss+model.losses(模型可追踪的 loss)
Inside Tensorflow之:tf.keras part1

下面介绍了怎么让 Layer 类可序列化:在定义的时候加上 get_config 函数

Inside Tensorflow之:tf.keras part1
另外在定义 Layer 的时候,call 函数有一个特别重要的参数 Training,用来指示 train 模式和非 train 模式下的区别,这对于 Batch_normalization 来说就很有用:

Inside Tensorflow之:tf.keras part1
讲完了 Layer 类的定义,下面该轮到 Model 类的讲解了:
Inside Tensorflow之:tf.keras part1

Model 类可以处理一些 top-level 的功能,这是 Layer 类不具备的,比如 training,saving,summary,模型可视化等
Inside Tensorflow之:tf.keras part1

那么怎么在训练模型的时候打开 eager 模型呢(就是不会去构造 graph,速度相对会慢点):

Inside Tensorflow之:tf.keras part1
下面介绍了 Functional Models 的概念,平时用的也最多。Functional Model 可以自动生成 call、build 和 get_config 方法

Inside Tensorflow之:tf.keras part1Inside Tensorflow之:tf.keras part1

大佬总结了 Functional Model 的特点。其实最核心的点就是 Functional Model 只是去构造一个 layers 之间的 DAGs,仅仅处于 configuration 配置的层面,不会涉及到任何数据的流入和流出。个人一些使用 keras 的心得,一般比较复杂的模型,可以用 Functional Model 先去构造,然后使用 model.summary 或者 keras.utils.model_plot 函数将模型打印出来,然后去 check 下自己构造的模型有没有什么 bug。
Inside Tensorflow之:tf.keras part1
Inside Tensorflow之:tf.keras part1

下面介绍了在构造 Functional Model 时,内部的一些工作机制:可以看到有一个内部变量 -keras_history 来追踪 Model 的构建。

Inside Tensorflow之:tf.keras part1Inside Tensorflow之:tf.keras part1

那么这种 Functional Model 的构造方式有什么独特的特征呢?

Inside Tensorflow之:tf.keras part1
首先介绍的是静态输入兼容性检查:可以看到在调用 build 的前后对输入 x 分别作了一次兼容性检查。
Inside Tensorflow之:tf.keras part1

下面是 Whole-model 保存和 model plot 的功能:

Inside Tensorflow之:tf.keras part1
Inside Tensorflow之:tf.keras part1

另外,还有自动 Masking 的功能:
Inside Tensorflow之:tf.keras part1

下面,大佬深度总结了在符号输入情况下(一般是使用 Input 来定义的输入)当你调用一个 Layer 时所有的内部流程:

Inside Tensorflow之:tf.keras part1
最后将的是动态 Layer 类,该类因为存在动态的行为,不会被加入到 graph 中去执行。对应上个投影片的 step 6,如果是 dynamic 的 layer,则会根据静态的 shape inference 去调用 compute_output_shape 函数。

Inside Tensorflow之:tf.keras part1
整个视频听下来感觉还是蛮有深度的,大佬就是大佬啊。

视频的链接是:

https://www.youtube.com/watch ?

本文转载自 Alex-zhai 知乎账号。

原文链接: https://zhuanlan.zhihu.com/p/83513829

评论

发布