六年前，IBM Watson进军智能医疗领域，欲通过AI解决人类医生都难以解决的医疗问题，一度成为AI界的“绝对明星”。但随后，Watson被爆出无法在现实中胜任医生的工作，给出了一大堆不可靠的医疗建议。最终，Watson被重磅合作伙伴弃用，其研发团队在经过数次裁员后，也所剩无几。

其实，IBM Watson的设计思想不但没有错，可能还堪称AI医疗“方法论”的缔造者之一。但为什么IBM Watson就这样陨落了呢？罪魁祸首其实是数据。

AI模型的训练需要大量的优质数据。在所有IBM Watson可以诊断的单病种中，数据样本量最大的是肺癌，可关于肺癌的数据样本竟然只有635例，其中一部分还是人工设计的案例，并非真实的案例。

想以这样的数据量训练出一个可以实际投入生产的AI模型无异于痴人说梦。并非IBM不想获取更多数据，实是无法获取更多数据。由于隐私保护相关法案的限制，加上一些行业数据离散分布的特性，一个AI模型想要获取充足的训练数据是非常困难的。

AI的现实远比理想要骨感的多。

正是在这种情况下，联邦学习走入了大众眼中。联邦学习本质上是一种加密的分布式机器学习技术，可以在不披露底层数据和加密形态的前提下共建模型。

2016年，谷歌提出“联邦学习”的概念，为解决此类数据问题提供了新的思路。2018年，微众银行向IEEE标准协会提交关于建立联邦学习标准的提案获批，这也是国际上首个针对人工智能协同技术框架订立标准的项目。2019年1月，微众AI团队将工业级联邦学习平台FATE开源，终于为数据的联合应用问题夯实了基础。

一、纵、横向联邦学习，保护隐私的同时联合建模

为了在保护数据隐私的情况下实现模型共建，微众银行将联邦学习的应用范畴进行业务扩展，形成了三类体系：纵向联邦学习、横向联邦学习和联邦迁移学习，大赛主要聚焦纵向和横向联邦学习。

纵向和横向联邦学习主要参照用户和用户特征两个维度进行划分。其中，用户维度是指用户ID，此ID一般为一个数据集合，可能包括电话号码、身份证号码等一系列数据，用以区分不同的用户；用户特征维度是指用户财务数据、出行数据、爱好数据等与用户画像有关的特征数据。

接下来，我们分别了解纵向和横向联邦学习的概念，以及其是如何按照用户和用户特征维度进行划分的。

纵向联邦学习

纵向联邦学习是指，在两个数据集的用户重叠较多而用户特征重叠较少的情况下，我们把数据集按照纵向（即特征维度）切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。

比如说，拥有用户财务数据的银行和拥有用户画像的社交媒体公司，在法律层面上是不允许共享数据建立模型的。在这种情况下，纵向联邦学习就派上了用场，先进行样本对齐，继而进行算法拆解，最终在保证数据隐私的情况下建立联合模型，双方皆大欢喜。

横向联邦学习

横向联邦学习是指，在两个数据集的用户特征重叠较多，而用户重叠较少的情况下，我们把数据集按照横向（即用户维度）切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。

最典型的例子是银行间共建反洗钱模型。虽然用户特征重叠很多，但各自样本数量非常单薄。最终的诉求还是在保证各自数据隐私的情况下，共建联合的反洗钱模型，且模型效果超过单边数据建模。

两种联邦学习最终都在不共享数据的情况下，实现了模型的共建，解决了AI的数据问题，但业界仍然需要一个工业级的开源平台作为探索联邦学习的基础。

运气不错，微众银行AI团队完成了FATE平台的建设并于2019年1月宣布开源，3月诞生第一位外部代码贡献者。一个开源的、工业级联邦学习应用构建平台终于到来了。

二、认识FATE，构建联邦学习应用

FATE平台通过一站式联合建模帮助开发者快速构建联邦学习应用。

联邦统计主要是对数据进行预处理，比如进行样本对齐、求系数之间的相关性和IV值等等；联邦特征工程环节主要是进行数据的特征分箱和特征选择，特征分箱是指将数据进行离散化处理，特征选择主要是指选择部分适合建模的样本特征；在模型训练环节，FATE已经提供了多种算法给用户进行模型训练，如Secureboost等；联邦在线推理则将训练完的模型部署到生产环境，做在线推理。

通过这样的workflow就可以非常方便的训练并部署一个联邦学习模型。

而从架构上看，FATE的核心功能主要分为四层：

FATE Workflow：通过DAG图定义联邦学习算法工作流。
FATE FederatedML Functions：包含联邦学习算法各个功能组件。
EggRoll：分布式计算和存储抽象。
Federated Network：跨站点网络通信抽象。

其中最核心的部分是FederatedML Function，分为五层结构：

在部署方式上，FATE支持单机版部署和集群版部署，集群版部署相对复杂一些，需要大家参考文档进行。

单机Docker版安装部署命令如下：

git clone https://github.com/WeBankFinTech/FATE.git
FATE $ sh build_standalone_docker.sh
FATE $ CONTAINER_ID='docker run -t -d fate/standalone'
FATE $ docker exec -t -i ${CONTAINER_ID} bash

部署完成后通过三步即可验证是否成功：

单机版单元测试验证：

sh ./federatedml/test/run_test.sh

Toy-example测试：用于测试eggroll的接口是否完整可用
最小化测试：测试一个最小的建模任务是否能完成

在项目的example文件夹下，也实现了很多例子可以作为参考，比如hetero_feature_binning。

这个例子可以方便的让你测试Feature binning算法，即一种特征构造方法，测试命令为：

sh run_feature_binning_standalone.sh

运行后的日志存放在：

your_install_path / logs / feature_binning_ {timestamp}

也可以点击这里访问直播录像教学。

一旦你开始从代码入手，踏上了学习FATE及联邦学习的旅途，人工智能就不再是一个空有模型、没有数据的高新概念，而是一个你真正可以触达，可以解决的技术问题。

创作场景

你的 AI 有训练样本吗？从 0 到 1 教你解决 AI 数据短缺问题