减少谷歌翻译中性别偏见的可扩展方法_AI_谷歌AI

亚马逊云科技 2023 re:Invent 精彩合集！了解详情 



 写点什么

本文最初发布于谷歌 AI 博客， InfoQ 中文站经授权翻译并分享。

用于语言翻译的机器学习（ML）模型可能会因为模型训练数据中潜藏的社会偏见而生成同样带有倾向的结果。性别偏见就是一个典型的例子，主要体现在性别特定（语言中有他/她这样区分性别的语素）语言和非性别特定语言之间的翻译结果上。例如，谷歌翻译曾将土耳其语中的“他/她是医生”都翻译成了"他是医生"，而将土耳其语中的“他/她是护士”都翻译成了"她是护士"。

谷歌的AI原则强调了 AI 技术应当避免产生或加强不公平的偏见。根据这一原则，谷歌于 2018 年 12 月发布了性别特定的翻译功能。当翻译源语言是性别中立的表述时，这项功能会分别输出女性与男性化的翻译结果。

针对这项工作谷歌开发了一个三步方法，具体分为检测出性别中立的查询内容，生成针对特定性别的翻译，并检查准确度这几个步骤。随后谷歌使用这种方法，在土耳其语到英语的短语和句子翻译中启用了性别特定的翻译功能；如今，谷歌将这种方法扩展到了英语到西班牙语的翻译上，这也是谷歌翻译应用中最受欢迎的语言对。

左：将性别中立的英语短语翻译成性别特定的西班牙语对应词，早期示例。在这个例子中，软件只给出了一个带偏见的结果。右：新的翻译功能提供了女性化和男性化两种翻译结果

但在这种方法被应用于更多语言的过程中，谷歌发现它存在着很明显的扩展问题。具体来说，使用神经机器翻译（NMT）系统独立生成男性化和女性化的翻译结果时会导致很低的召回率，在多至 40%的有效查询上无法显示性别特定的翻译结果，因为这两种翻译结果一般是不完全相同的，除非内容是与性别相关的事物。此外，为了检测每种源语言中的性别中立内容需要构建一个分类器，而这是需要大量数据的。

如今，谷歌在发布新的英语到西班牙语的性别特定翻译功能时还宣布了一种改进的方法，这种方法使用了全新的范式，通过重写或后期编辑初始的翻译结果来解决性别偏见问题。这种方法的可扩展能力更强，尤其在从性别中立语言翻译成英语时表现更出色，因为它不需要性别中立检测器。

有了这种方法后，谷歌将性别特定的翻译功能扩展到了芬兰语、匈牙利语和波斯语到英语的三个语言对上。谷歌还使用了这一全新的基于重写的方法替换了以前的土耳其语到英语的翻译机制。

基于重写的性别特定翻译

基于重写的方法的第一步是生成初始翻译。然后系统会审核翻译结果，找出是否有性别中立的源语言短语生成性别特定翻译结果的实例。如果存在，系统将使用一个句子级重写器来生成另一个性别特定翻译结果。最后，初始翻译和重写翻译都会经过审查，以确保它们之间唯一的区别就是性别。

上：原始方法。下：基于重写的新方法。

重写器

构建一个重写器需要生成由数百万个成对短语组成的训练示例集，其中每对短语都包含一个男性化和一个女性化的翻译结果。由于这类数据很难获取，因此谷歌为这个目的生成了一个新的数据集。首先谷歌做了一个庞大的单语数据集，然后以编程方式生成了候选的重写结果，方法是将性别代词从男性转换为女性，反之亦然。由于一个翻译结果可以有多个有效候选者，具体则取决于上下文（例如，女性代词“她”可以映射到“他”或“他的”，而男性代词“他”可以映射到“她”或“她的”）——所以需要一种机制来选出正确的候选结果。要解决这个问题，可以使用语法解析器或语言模型。因为语法解析模型需要使用针对每种语言的带标签数据集进行训练，所以它的可扩展性小于语言模型（后者能够以无监督的方式学习）。因此，谷歌使用了经过数百万个英语句子训练的内部语言模型来选出最佳候选结果。

上表展示了具体的数据生成过程。首先分析输入内容，然后生成候选结果，最后使用语言模型选出合适的结果

上述数据生成流程会将训练数据从男性化的输入转换为女性化的输出，反之亦然。然后谷歌合并了两种输出数据，并在其上训练了一个单层的的基于transformer的序列到序列模型。谷歌在训练数据中引入了标点符号和大小写变体，以提高模型的鲁棒性。最终模型可以可靠地在 99％的时间内生成所需的男性化或女性化重写结果。

评估

谷歌还设计了一种新的评估方法，称为"偏见减少"，用于衡量新的翻译系统与现有系统之间的相对偏见减少水平。这里，“偏见”的定义是在源语言未指定性别的情况下做出性别选择。例如，如果当前系统有 90％的时间出现偏见，而新系统有 45％的时间出现偏见，那么计算出的相对偏见减少水平就是 50％。基于这个度量标准，新方法可将匈牙利语、芬兰语和波斯语到英语的翻译偏见减少≥90％。与现有的土耳其语到英语系统相比，新方法将偏见减少水平从 60%提高到了 95％。谷歌的系统在触发性别特定的翻译结果时，平均精度为 97％（也就是说，当应用决定显示性别特定的翻译结果时，有 97％的时间是正确的）。