随着深度学习的快速发展和端侧设备算力的不断提升，原本在云端执行的推理预测工作正在部分迁移到端侧。在GMTC全球大前端技术大会上，淘宝无线开发专家陈以鎏发表了《MNN - 端侧推理引擎面临的挑战与应对》的演讲，与大家分享了MNN（Mobile Neural Network) 开发、开源中的思考与总结。本文整理内容如下。

开源与背景

人工智能从2006年开始，迎来了第三次浪潮。随着AlphaGo在2016年、2017年先后战胜李世石和柯洁，人工智能彻底进入了公众的视野。人工智能大热的背后，是大数据的积累，是深度学习的发展，也是设备算力的提升。与此同时，深度学习的框架也在不断演进 —— 从Torch、Caffe到TensorFlow、PyTorch，再到更面向移动端的CoreML、NNAPI、NCNN、MACE等。淘宝的深度学习推理引擎MNN也于2019年5月宣布开源。

MNN项目从2017年开始启动，在经历一年多的开发迭代并通过了淘宝双十一的考验后，于2018年底启动开源计划，在历时小半年的开源改造后，今年5月份正式在Github开源。

开源首先还是因为经历过双十一之后，我们觉得自己做好了准备，开源有助于我们鞭策自己，把MNN做的更好；另一方面，业界的开源方案，不论是TensorFlow Lite、NCNN还是Mace，都给了我们很好的输入和借鉴，我们也希望借着开源，将我们的思考和创新回馈社区。

下文就主要围绕着MNN，来介绍淘宝在移动AI上的一些实践经验。

挑战与应对

端侧推理引擎面临的挑战中，碎片化是最为显著的，这种碎片化是多层次、多维度的 ——

训练框架上，Caffe、TensorFlow、PyTorch、MXNet在训练模型时都很常用；
计算设备上，CPU、GPU已是主流，NPU、TPU渐渐成为标配，DSP、FPGA在IoT上也很常见；
算子层面上，众多参数会形成不同的组合，从而对应出不同的优化方式，轻量化和通用化需要取舍；

一款优秀的端侧推理引擎，就需要在这样碎片化的环境下，利用设备有限的资源，尽可能发挥出设备的性能。为此，也需要在转换、调度、执行上加入相应的优化策略。下文，会就其中的部分展开说明。

转换工具

模型优化

在模型优化中，MNN引入了前端的概念来统一训练框架。不同的前端负责加载不同训练框架的模型，统一转换为MNN的模型格式。对于最常用的训练框架TensorFlow和Caffe，我们提供了独立的前端；其他训练框架，比如MXNet，则需要先将模型转换为ONNX，再通过ONNX前端加载。这里，由于TensorFlow的算子颗粒度相比Caffe和ONNX要更小，我们引入了图优化的模块来对齐算子之间的颗粒度。模型转换之后，会经过优化器优化，包含算子融合、算子替换、布局调整等等。之后，可以选择对浮点模型执行量化压缩。目前模型压缩的模块还没有开源，我们会在完善之后，将相关代码开源。这些步骤都完成之后，会使用flatbuffer来保存部署模型。

图优化

这里以RNN-GRU cell为例，说明一下图优化。

左图是RNN-GRU cell在TensorBoard中的可视化描述。它足足包含了3584个节点，而每一个节点都代表了一定的数据读写或运算，累积起来的总量非常大。然而，所有这些节点可以打包使用一个大颗粒的算子来替代。这不仅大幅降低了部署模型的大小，还可以在大颗粒算子的实现中聚合大量的计算，避免不必要的数据读写。

右图展示的是一个实际业务模型在图优化前后的性能对比。在华为P10、红米3x、小米6上都有1倍左右的性能提升。而如果是双向GRU，效果还会更明显。

算子融合

再以Convolution、Batchnorm、Scale、ReLU为例说明优化器中的算子融合。
首先融合Convolution和Batchnorm，Convolution的weight等于weight乘alpha，而bias等于bias乘alpha再加beta；
而后融合Convolution和Scale，融合过程和Batchnorm类似；
最后融合Convolution和ReLU，在输出结果前，计算激活函数ReLU即可。

这样，四个算子就可以合并成一个算子。融合的过程避免了三次tensor读写、两次tensor乘加。优化效果见右图，MobileNet V1在小米5和华为P10上有20 ~ 40%的性能提升，效果还是比较明显的。

智能调度

整体设计

在调度上，MNN将每一类计算设备抽象为一个后端，将算子在特定后端上的实现抽象为执行器。后端负责特定设备上的资源分配和计算调度，执行器负责具体的实现。后端和算子的添加都通过注册表来实现，这是一个双层注册表结构，拓展起来就相对灵活。

调度时，可以为子图选择相应的后端，再由后端创建出相应的执行器，组成管线；也可以为子图选择后端组，实现混合调度。比如，在GPU上不宜实现排序算子时，可以回退到CPU来执行。

目前，MNN在CPU上实现了76个算子，Metal上有55个，OpenGL覆盖了基础的CNN网络，OpenCL和Vulkan分别有29和31个。

缓存管理

在创建完执行器之后，子图和管线已经就绪。下来，需要计算出所有tensor的形状，在相应的后端上完成内存的分配。而后，在准备执行器时，再为所有的执行器预先在后端上申请好必要的buffer。运行结束后，返回tensor即可。

由于推理所需的所有内存在准备期就已经申请完毕，在后续推理时，如果输入的形状不变，就可以复用tensor和buffer，从而避免频繁地申请、释放内存；只有输入形状改变的时候，才需要从形状计算开始，调整一次内存分配。同时，由于使用后端统一管理缓存，后端内的执行器之间，缓存就可以充分复用的，这就大大减少了内存的需求量。此外，MNN分配内存时，默认按照32位对齐，内存对齐有利于数据读写。

执行优化

数据布局与滑窗卷积

数据布局对性能影响巨大。

先来看一看在NCHW的布局下，怎么利用SIMD加速3x3的depth-wise卷积：
首先，读取数据时，需要一次性读取四个float作为第一行的数据，后两行的读取也是相似的；
这时，读取出的三行数据已经足够计算两列输出，即，可以复用部分数据；
而后，为了提高数据复用，会再读取出第四行数据，一次计算两行两列，即，可以引入循环展开；
然而，残留的5~25和21~25亮度眼边界无法利用SIMD计算，只能逐一循环读写完成计算；
按照这样的方式，就可以相应完成后几个通道的计算。

但是，NCHW布局下，无法充分利用SIMD进行加速，同时，实现优化分支越多，占用包大小也就越多。

再来看一看NC/4HW4布局下，利用SIMD加速的情况又是怎样的。

这里的"C/4"指的是按照4个通道对齐的方式重排数据。重排所有输入和权重数据后，每次SIMD读写都天然是4个通道的输入数据和4个通道的权重数据。这样，不论kernel、stride、dilation怎么变化，我们都可以简单地使用for循环和SIMD的一套通用优化完成卷积计算。既不会有边缘数据无法加速的问题，也不会对包大小造成影响。

Winograd

对于对于KxK卷积，可以使用Winograd算法进一步加速。MNN中支持2x2到7x7的Winograd实现。Winograd计算时，需要把输出拆分成NxN的小块，把输入拆分成(N+K-1)x(N+K-1)的小块。这样，问题就可以简化为两个小矩阵的卷积。

再套用Winograd的公式，将矩阵间的卷积运算转换为矩阵点乘运算。在这个过程中，除了矩阵点乘外，还引入三个矩阵转换，分别是输入矩阵d、权重矩阵g和结果矩阵Y’的转换。其中，权重转换时，G矩阵可以利用中国剩余数定理计算，GgGT就可以在准备执行器时提前计算；输入转换和输出转换时用到的A和B矩阵需要根据N和K计算，我们在代码中内置了几种优化后的组合，所以实际计算时，这两个转换并不需要经过复杂的矩阵乘法。

这样，原来矩阵卷积所需要的9x4次乘法计算就可以用矩阵点乘的4x4次乘法计算代替。只考虑乘法耗时的话，加速了2.25倍。示例中，K=3，N=2，但实际使用时，可以选择更大的N值，获取高的加速倍数，但也要相应消耗更多的内存。

Strassen

MNN可能是端侧推理引擎中，第一个应用Strassen算法优化矩阵乘法的。

Strassen在计算矩阵乘法时，首先需要将矩阵平均拆分成四个小矩阵。这里使用a11 ~ a22、b11 ~ b22、c11 ~ c22代表四个小矩阵，计算过程一共需要8次小矩阵乘法运算。

这里可以引入中间小矩阵，s1 ~ s4、t1 ~ t4、m1 ~ m7、u1 ~ u7。其中，只有m1 ~ m7包含小矩阵乘法，一共7次小矩阵乘法运算。而其他的，只包含小矩阵的加减法。也就是说，通过4 + 4 + 7次小矩阵加减法，替代了一次小矩阵乘法。

与原来的矩阵乘法相比，Strassen的时间复杂度从n的3次方，降低到n的2.81次方。在矩阵较大时，矩阵乘法远远慢于矩阵加减法，收益就更明显。

在MNN中，我们会递归使用Strassen。也就是说，递归拆分矩阵。在矩阵足够大时，继续拆分；在矩阵不够大时，使用普通的矩阵算法。这里使用减免的矩阵乘法开销作为收益，使用小矩阵s、小矩阵t、小矩阵u矩阵的加减法开销之和作为代价，收益大于代价时，就可以考虑使用Strassen算法。

链路优化

链路优化可以举一个19年春节淘宝扫年货的例子。在获得手机相机输入后，每一帧的图像首先需要经过一次预处理，将图片缩放到年货检测模型的输入大小上，然而再经过推理，判定图像有没有年货，如果有，就发放相关权益。这个过程中，图片预处理的耗时也不容忽视。降低这个耗时，就可以帮助我们提升帧率，从而改进用户体验。为此，我们引入了一个轻量级的2D图片处理库，可以高效地完成色值变化、色彩空间的转换或者仿射变换等。这样，MNN的用户就不再需要为图片处理引入libyuv或者opencv了。

性能比较

经过种种优化后，这是我们在性能上交出的答卷。

MobileNet V2，在OPPO r17和iPhone 7Plus上做了一系列的性能对比。

如图，MNN的性能在CPU和GPU上都有一定的优势。

小结

总的来说，MNN吸纳了前人的经验，也结合自己对端侧推理引擎的认知，做了许多创新。综合考虑性能、模型和后端的拓展性、缓存、CPU和GPU的算子实现，以及CV库等方面的表现，在端侧推理引擎中，MNN是值得移动AI用户尝试的选择。

后续规划

在后续计划上，转换部分，我们计划追加更多算子和更多图优化匹配模板，也计划将模型量化工具开源；调度部分，我们计划分步实现端侧训练和边缘学习，计算设备自动选择也在筹划中；执行部分，还是会持续优化现有各端算子的实现，也计划优化量化卷积、矩阵乘算法，计划在CV库上直接支持GPU，我们也考虑将现有NC/4HW4实现的算法，整理为独立的高性能计算库，算法自动选择同样在筹划中；其他部分，我们会持续建设项目的可用性，持续加入更多的文档和示例。

也欢迎大家参与到MNN中来。欢迎大家给我们提issue，提pull request。

嘉宾介绍

陈以鎏，花名离青，2015年加入淘宝，从事无线开发至今，目前担任无线开发专家一职。是阿里巴巴开源的首款端侧推理引擎 MNN (Mobile Neural Network) 的核心开发。

创作场景

开源 MNN：淘宝在移动 AI 上的实践