新机器学习库 TensorFlow Privacy 问世：旨在保护敏感数据

在最近的一篇博文中，TensorFlow 宣布推出TensorFlow Privacy。这是一个开源库，它允许研究人员和开发人员构建具有强大隐私保护功能的机器学习模型。基于强大的数学确定性（mathematical guarantees），使用本库可以确保用户数据无法通过训练过程被记住。

机器学习在如今的在线产品和服务中非常普遍。谷歌认为，为了保护用户隐私，把强大的隐私保护功能嵌入 TensorFlow 是非常重要的。为什么那么重要呢？谷歌大脑（Google Brain）的产品经理Carey Radebaugh对此进行了解释：

现代机器学习正越来越多地用于创造令人惊叹的新技术和用户体验，其中很多需要让训练机器负责地从敏感数据（例如个人照片或电邮）中学习。理想情况下，受过训练的机器学习模型的参数应该编码一般模式，而不是关于特定训练示例的事实。

TensorFlow Privacy 的引入符合谷歌去年发布的负责的AI实践承诺（Responsible AI Practices commitment），旨在“在这些[AI]系统中建立公平性、可解释性、隐私和安全性”。谷歌除了遵循负责的 AI 实践外，他们还希望让外部开发人员在其构建的应用程序和产品中应用同样的实践。

TensorFlow Privacy 的技术实现建立在差异化隐私理论（differentail privacy theory）之上，该理论通过提供一个衡量隐私保障的框架，以确保模型不会学习或记住用户的详细信息。

为了证明 TensorFlow Privacy 的有效性，谷歌提供了一个训练两个模型的例子，其中一个模型具有基于 TensorFlow Privacy 库的差异化隐私功能，而另一个没有。这两个模型是在标准 Penn Treebank 训练数据集上训练的。这两个模型在对英语建模中都表现良好。如对于以下的财经新闻句子，二者都能够获得好分数。

There was little turnover and nothing to stimulate the market

South korea and japan continue to be profitable

Merchant banks were stronger across the board

但是，在某些领域，这两个模型的得分天差地别。例如，使用传统的训练方法，以下这三个句子的得分都很高，也就是“在标准训练过程中，有效地记住了内容”。相反，差异性隐私模型在这些句子上的得分很低，并被拒绝了。

Aer banknote berlitz calloway … ssangyong swapo wachter

The naczelnik stands too

My god and i know i am correct and innocent

在财经新闻的语境中，这三个句子似乎不常见。因此，这三个罕见的句子可以用来识别或揭示个人信息，因而使用敏感数据训练就被拒绝了。Radebaugh 进行了额外的解释：

这两个模型的差异在于，有隐私保护的模型不能记住异常的罕见序列。我们可以利用我们先前在神经网络中测量无意识记忆的工作来量化这种影响。我们故意在训练数据中插入独特的、随机的罕见句子，并评估罕见句子对训练模型的影响。在这种情况下，单个随机罕见句子的插入就足够让无隐私保护模型完全记住它了。

TensorFlow Privacy 库和示例可以在它们的GitHub存储库中找到。此外，TensorFlow技术白皮书已经更新，包含了这些新隐私机制的详细信息。

阅读英文原文：Introducing TensorFlow Privacy, a New Machine Learning Library for Protecting Sensitive Data