初学机器学习，写篇文章mark一下，希望能为将入坑者解点惑。本文介绍一些机器学习的入门知识，从安装环境到跑通机器学习入门程序MNIST demo。本篇为上篇。

内容提纲：
1.环境搭建
2.了解Tensorflow运行机制
3.MNIST(手写数字识别 ) softmax性线回归
4.MNIST 深度卷积神经网络（CNN）
5.tools 工具类
6.CPU & GPU & multi GPU

1 环境搭建 (Windows)

安装虚拟环境 Anaconda，方便python包管理和环境隔离。
Anaconda3 4.2 https://www.anaconda.com/downloads，自带python 3.5。
创建tensorflow隔离环境。打开Anaconda安装后的终端Anaconda Prompt，执行下面命令

CPU 版本

pip install tensorflow #通过包管理来安装
pip install whl-file #通过下载 whl 文件安装，tensorflow-cpu安装包：http://mirrors.oa.com/tensorflow/windows/cpu/tensorflow-1.2.1-cp35-cp35m-win_amd64.whl, cp35是指python3.5
GPU 版本。我的笔记本是技持NVIDIA显卡的，可以安装cuda，GPU比CPU快很多，不过笔记本的显存不大，小模型还可以跑，大模型建议在本地用CPU跑通，到Tesla平台上训练。

注意点：选择正确的 CUDA 和 cuDNN 版本搭配，不要只安装最新版本，tensorflow可能不支持。

目前Tensorflow已支持到CUDA 9 & cuDNN 7，之前本人安装只支持CUDA 8 & cuDNN 6，所以用是的：

CUDA8.1 https://developer.nvidia.com/cuda-80-ga2-download-archive

cudnn 6 https://developer.nvidia.com/cudnn ，将cudnn包解压，把文件放到cuda安装的对应目录中，C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v8.0，bin对应bin，include对应include，再添加bin目录到环境变量path中。

一些python工具包安装。用到啥安啥就行， pip install，不行就找源码编译安装

2 了解Tensorflow运行机制

上代码。注意注释说明

Tensor。是一个句柄，代表一个运算的输出，但并没有存储运算输出的结果，需要通过tf.Session.run(Tensor)或者Tensor.eval()执行运算过程后，才能得到输出结果。A Tensor is a symbolic handle to one of the outputs of an Operation，It does not hold the values of that operation’s output, but instead provides a means of computing those values in a TensorFlow.
Tensorflow运行过程：定义计算逻辑，构建图(Graph) => 通过会话(Session)，获取结果数据。基本用法参见链接。

3 MNIST(手写数字识别 ) softmax性线回归

分析

MNIST是一个入门级的计算机视觉数据集，它包含各种手写数字图片：

它也包含每一张图片对应的标签，告诉我们这个是数字几。比如，上面这四张图片的标签分别是5，0，4，1。

数据集图片大小28x28，单通道灰度图。存储样式如下：

MNIST手写数字识别的目的是输入这样的包含手写数字的28x28的图片，预测出图片中包含的数字。

softmax线性回归认为图片中数字是N可能性由图像中每个像素点用

表示是数字 i 的可能性，计算出所有数字（0-9）的可能性，也就是所有数字置信度，然后把可能性最高的数字作为预测值。

evidence的计算方式如下：

其中

代表权重，

代表数字 i 类的偏置量，j 代表给定图片 x 的像素索引（0~28x28=784)，用于像素求和。即图片每个像素值x权重之和，再加上一个偏置b，得到可能性值。

引入softmax的目的是对可能性值做归一化normalize，让所有可能性之和为1。这样可以把这些可能性转换成概率 y：

开始实现

数据

X样本 size 28x28 = 784

Y样本，样式如

读取

构建图(Graph)

Inference推理，由输入 x 到输出预测值 y 的推理过程

Loss 损失函数，分类一般采用交叉熵，这里用的是softmax交交叉熵。交叉熵是用来度量两个概率分布间的差异性信息，交叉熵公式如下：

计算loss的方法有很多种，常见的还有L1 loss 、L2 loss、sigmoid 交叉熵、联合loss、自定义loss…

Accuracy 准确率，预测值与真实值相同的概率。矩阵相乘输出y值是一个数组，tf.argmax函数可能从数据中找出最大元素下标，预测值的最大值下标和真值的最大值下标一致即为正确。

Training 训练，训练的目的是让Loss接近最小化，预测值接近真值，Tensorflow通过优化器Optimizers来实现。在y = Wx+b中，W、b在训练之初会赋初值（随机 or 0），经过Optimizer不短优化，Loss逼近最小值，使W、b不断接近理想值。W、b一起共784x10+10个参数。

minimize函数：更新参数，让Loss最小化，包含两个步骤：计算梯度；更新参数。

GradientDescentOptimizer：梯度下降算法优化器， Tensorflow实现的是SGD（随机梯度下降）。其缺点是依赖当前batch，波动较大。

其它一些增强版Optimizers：参考链接。 MomentumOptimizer、AdadeltaOptimizer、AdamOptimizer、RMSPropOptimizer、AdadeltaOptimizer …

Session：Tensorflow需要通过Session（会话）来执行推理运算，有两种创建方式，两者差别在于InteractiveSession会将自己设置为默认session，有了默认session，tensor.eval()才能执行。

也可以通过下设置默认session：

配置gpu相关session参数：

一个网络的训练过程是一个不断迭代（前向+反向）的过程。前向算法由前向后计算网络各层输出，反向算法由后向前计算参数梯度，优化参数，减小Loss。流程如图：

注意：每隔一段时间输出一下网络Loss和Accuracy，查看效果。每隔一段时间缓存一下网络参数，防止被突然中断，可再恢复。

模型参数的保存与恢复：

check point：默认保存方式。

pb：mobile使用。

npz：字典保存方式，｛name: value｝， numpy的一种保存方式。对参数按名保存，按名恢复。save和restore方法自己控制，可以选择性保存和恢复。参见附近代码中【tools.py】save_npz_dict & load_and_assign_npz_dict方法。

恢复：

#check point
saver = tf.train.Saver(max_to_keep = 3, write_version = 2)model_file=tf.train.latest_checkpoint(FLAGS.log_dir)if model_file:
     saver.restore(sess, model_file)#npz
tools.load_and_assign_npz_dict(name=FLAGS.log_dir+'/model.npz', sess=sess))打印网络中各参数信息：方便查看网络参数是否正确。

可视化。Tensorflow提供tensorboard可视化工具，通过命令打开web服务，由浏览器查看，输入网址http://localhost:6006

tensorboard --logdir=your-log-path #path中不要出现中文
需要在训练过程指定相应log路径，写入相关信息
参考附件【sample.py】中summary、writer相关关键字代码。Graph可视化：

训练过程可视化：

batch size = 128, 训练集，验证集。可以看到loss在收敛，accuracy在提高。由于训练集曲线反应的是当前batch的loss和accuracy，batch size相对不高，抖动较大。而验证集是全部图片进行测试，曲线较平滑。

创作场景

机器学习入门之 HelloWorld（上）