一. 美团点评训练Wide & Deep Learning模型

模型架构：

采用架构：parameter-server参数服务器

优化点：输入数据环节、优化集群网络瓶颈、优化PS上的UniqueOP性能瓶颈。下面分别介绍这三个优化点：

输入数据环节
读取数据慢的原因：旧的tensorflow消费数据接口底层采用的是python多线程，受制于Python的全局解释锁（GIL），Reader线程在训练时没有获得足够的调度执行；Reader默认的接口函数TFRecordReader.read函数每次只读入一条数据，如果Batch Size比较大，读入一个Batch的数据需要频繁调用该接口，系统开销很大；

解决方法：采用新的dataset接口，采用批量读数据接口TFRecordReader.read_up_to，该接口能够指定每次读数据的数量。

优化集群网络瓶颈

在推荐业务的模型中，embedding张量的参数规模是千万级，TensorFlow的tf.embedding_lookup_sparse接口包含了几个OP，默认是分别摆放在PS和Worker上的。如图所示，颜色代表设备，embedding lookup需要在不同设备之前传输整个embedding变量，这意味着每轮embedding的迭代更新需要将海量的参数在PS和Worker之间来回传输。

有效降低网络流量的方法是尽量让参数更新在一个设备上完成，利用embedding_lookup_sparse_with_distributed_aggregation接口，该接口可以将embedding计算的所使用的OP都放在变量所在的PS上，计算后转成稠密张量再传送到Worker上继续网络模型的计算。

优化PS上的UniqueOP性能瓶颈

embedding_lookup_sparse操作会使用UniqueOp算子，TensorFlow支持OP多线程，UniqueOp计算时会开多线程，线程执行时会调用glibc的malloc申请内存。

而Hadoop有时会设置export MALLOC_ARENA_MAX="4"的配置，该配置的意思是当进程开启多线程调用malloc时，最多从4个内存池中竞争申请，这限制了调用malloc的线程并行执行数量最多为4个。去掉该配置之后，线程并行执行数量没有限制，tensorflow的并发性能得到极大提升。

优化后效果对比

参考文献：https://zhuanlan.zhihu.com/p/35313627

二. 美团广告交易平台
模型：Wide & Deep模型，特征包括用户维度特征、场景维度特征、商品维度特征。Wide 部分有 80多特征输入，Deep部分有60多特征输入，经过Embedding输入层大约有600维度，之后是3层256等宽全连接，模型参数一共有35万参数，对应导出模型文件大小大约11M。

采用架构：TensorFlow同步

优化点：

采用Backup Workers，解决异步更新延迟和同步更新性能慢的问题。
优化参数分配方式，采用GreedyLoadBalancing接口，根据总的参数大小平均分配参数到各个ps上，取代了Round Robin取模分配的方法，可以使各个PS负载均衡。
计算设备方面：只使用CPU而不使用GPU，训练速度会更快，这主要是因为尽管GPU计算上性能可能会提升，但是却增加了CPU与GPU之间数据传输的开销，当模型计算并不太复杂时，使用CPU效果会更好些。
使用Estimator高级API，将数据读取、分布式训练、模型验证、TensorFlow Serving模型导出进行封装。
使用Estimator的优势：单机训练与分布式训练可以很简单的切换，而且在使用不同设备：CPU、GPU、TPU时，无需修改过多的代码；Estimator的框架十分清晰，便于开发者之间的交流；可以直接使用一些已经构建好的Estimator模型：DNN模型、XGBoost模型、线性模型和Wide&Deep模型等。

参考文献：https://tech.meituan.com/2018/10/11/tfserving-improve.html

三. 字节跳动BytePS

字节跳动AI实验室宣布开源了一款高性能分布式深度学习训练框架 BytePS。该框架支持TensorFlow、Keras、PyTorch、MXNet，可以运行在TCP或RDMA网络中。BytePS在性能上超过了过去性能一直领先的ring all-reduce。BytePS主要的优化点为：

为云和共享集群设计，抛弃了MPI的通信方式。
基于优先级的调度。
NUMA感知本地通信、 PCIe switch的优化
分层策略
PS的RDMA实现
张量分区
缺点：
不支持纯的CPU训练
不支持稀疏的模型训练
异步训练
容错机制
Straggler-mitigation
本文转载自Alex-zhai知乎账号。

原文链接：https://zhuanlan.zhihu.com/p/75946827

创作场景

企业级别的 tensorflow 分布式训练架构总结