本文最初发表在 Towards Data Science 博客，经原作者 Prajakta Kharkar Nigam 授权，InfoQ 中文站翻译并分享。

“人工智能确实不错，除了’你可能根本无法完全信任它‘”，牛津大学人类未来研究所的高级研究员曾说。为了能够信任人工智能，人们需要依赖真正能信任的模型。如果人工智能模型的运作方式不透明，就很难信任任何模型或任何第三方来源。

就其本身而言，技术与能源一样，都是纯粹的潜力。我们如何部署技术，以及以何种意图来部署技术，对其产生的影响起着至关重要的作用。人工智能亦不例外。

Netflix 最近的纪录片《监视资本主义：智能陷阱》（The Social Dilemma）深入探讨了那些从控制我们的注意力和改变我们的行为中获利的商业利益集团是如何利用技术，特别是人工智能来控制我们的。

虽然滥用的可能性并非人工智能的独特特征，但有一些独特的原因使得人工智能模型构成了更严重的威胁。作为该行业的专业人士及其“用户”，我观察到，为人工智能赋能的模型的不透明性是我们正在承担的关键风险。

不透明的人工智能模型

去年在多伦多大学的深度学习暑期班上，我了解到，大多数人工智能模型使用的是机器学习、深度学习或强化学习方法。机器学习方法是基于先进的统计建模，用于做出更好的预测。深度学习和强化学习使用的是神经网络。神经网络是模拟我们大脑决策结构的多层算法。尽管不如生物神经网络复杂，但这些网络提供了相当真实和详细的过程模型。

先进的统计方法和神经网络的问题在于，决策越复杂，它们就越不能清楚地说明模型是如何得到特定结果的。几乎不可能找出最初输入模型的几个输入中的哪一个或两个驱动了这些结果，这是因为大多数这样的分析都在观察新的模式，并创造新的见解。

科学研究，尤其是商业和经济学研究，在此之前，都是从对世界运行方式的直觉理解开始，然后用数据来证实或反驳。人工智能建模的运作理念与此不同。我们使用大数据集来训练算法，然后期望这样训练好的模型能从其他大数据集中寻找关于世界运行方式的新见解。这些见解是有价值的，因为它们通过揭示我们无法用肉眼或纯粹的逻辑思维辨别的模式和关系，扩展了我们对我们所居住的世界的知识。然而不幸的是，这并不等同于发展对世界的更好理解。这些模型和它们所产生的见解，并不一定能增加我们对这些模式为什么存在以及是什么驱动它们的因素的理解。这些模型都是不透明的。

意外后果

不可否认的是，这些技术所解决的任务的复杂性和方法的可解释性水平之间存在一个权衡。应用越复杂，就越难解释模型是如何决定的。当然，研究者对赋予各种特征（变量）的权重以及这些特征组合表示相互作用的方式有一定的控制权。但是，一旦模型调整到位，它就会起到神奇的作用，并非所有的模型都能剖析出哪些特征和原因最为重要。

在 2007 年金融危机之后，我有机会与几家不同的储备银行合作。金融风险模型的不透明性让我们感到恐惧的是，基于此类模型结果而采取的政策措施会产生“意外后果”。这些模型及其建议过于复杂，难以理解。

同样的，我们也不可能预测基于黑箱类型人工智能（或在前面的背景下，金融工程模型）设计的行动或策略的所有后果。

模型的不透明是导致金融危机的复杂性的根源，而这一点却没有人注意到。就像用来构造金融产品的复杂金融工程模型掩盖了这些产品的实际风险一样，黑箱人工智能也可能隐藏着关键的相互联系，这可能会瓦解整个系统。一个微小但关键的故障，就能拖垮一个庞大但相互关联的系统——这就是复杂性经济学，它既适用于以技术为后盾的决策系统，也适用于风险相互关联的银行系统。

迈向可解释、更安全的人工智能

近几年来，人们一直在让人工智能变得可解释、消除模型偏见、为机器学习和人工智能的道德使用建立伦理和原则方面做出巨大的努力。

对于 Google、Tesla、Microsoft 等大型科技公司来说，可解释的人工智能已经成为其议程中不可或缺的一部分。将重点放在这一点上是完全有商业意义的。不仅很难说服高管们根据一款黑箱软件提供的建议采取行动，而且也几乎不可能说服政策监管机构相信这类人工智能的安全性。因此，可解释的人工智能就成为一种必需。

慢慢地，但肯定地，让人工智能模型更安全的科学方法的研究也在大学和智库中展开。OpenAI 和人类未来研究所（Future of Humanity Institute）等智库正在推动研究和对接哪些方法可以让人工智能模型内在更安全，甚至是那些无法完全解释的方法。其他如加拿大多伦多的 Vector Institute、英国的 Alan Turing Institute 等也在围绕人工智能模型的安全使用进行政策对话。例如，牛津大学人类未来研究所的研究员Ryan Carey利用自己的医生博士背景，正在运用围绕智能体激励机制的经济学理论来帮助创造更安全的人工智能。

人工智能模型必须有助于加深我们的理解

在我们取得进步的同时，我们必须记住，在人工智能发展的最初几十年里，我们所做的和不做的选择，将对人工智能和由人工智能驱动的世界的运作方式产生倍增效应。

复杂模型的诱惑是巨大的，然而，人工智能产生任何有意义的影响的唯一方式是拥抱简单性。我们必须要坚持发展对人工智能能做什么的直观认识。我们需要建立模型，这些模型不仅能够通过吞噬大数据集来大量得出答案，还可以帮助我们提高对世界运行机制的理解。

作者介绍：

Prajakta Kharkar Nigam，一名经济学家出身的教育家。

原文链接：

https://towardsdatascience.com/opaque-ai-models-can-be-deceptive-17165cb91d61

创作场景

不透明的人工智能模型可能具有欺骗性