不透明的人工智能模型可能具有欺骗性

2020 年 10 月 15 日

不透明的人工智能模型可能具有欺骗性

本文最初发表在 Towards Data Science 博客,经原作者 Prajakta Kharkar Nigam 授权,InfoQ 中文站翻译并分享。

“人工智能确实不错,除了’你可能根本无法完全信任它‘”,牛津大学人类未来研究所的高级研究员曾说。为了能够信任人工智能,人们需要依赖真正能信任的模型。如果人工智能模型的运作方式不透明,就很难信任任何模型或任何第三方来源。

就其本身而言,技术与能源一样,都是纯粹的潜力。我们如何部署技术,以及以何种意图来部署技术,对其产生的影响起着至关重要的作用。人工智能亦不例外。

Netflix 最近的纪录片《监视资本主义:智能陷阱》(The Social Dilemma)深入探讨了那些从控制我们的注意力和改变我们的行为中获利的商业利益集团是如何利用技术,特别是人工智能来控制我们的。

虽然滥用的可能性并非人工智能的独特特征,但有一些独特的原因使得人工智能模型构成了更严重的威胁。作为该行业的专业人士及其“用户”,我观察到,为人工智能赋能的模型的不透明性是我们正在承担的关键风险。

不透明的人工智能模型

去年在多伦多大学的深度学习暑期班上,我了解到,大多数人工智能模型使用的是机器学习、深度学习或强化学习方法。机器学习方法是基于先进的统计建模,用于做出更好的预测。深度学习和强化学习使用的是神经网络。神经网络是模拟我们大脑决策结构的多层算法。尽管不如生物神经网络复杂,但这些网络提供了相当真实和详细的过程模型。

先进的统计方法和神经网络的问题在于,决策越复杂,它们就越不能清楚地说明模型是如何得到特定结果的。几乎不可能找出最初输入模型的几个输入中的哪一个或两个驱动了这些结果,这是因为大多数这样的分析都在观察新的模式,并创造新的见解。

科学研究,尤其是商业和经济学研究,在此之前,都是从对世界运行方式的直觉理解开始,然后用数据来证实或反驳。人工智能建模的运作理念与此不同。我们使用大数据集来训练算法,然后期望这样训练好的模型能从其他大数据集中寻找关于世界运行方式的新见解。这些见解是有价值的,因为它们通过揭示我们无法用肉眼或纯粹的逻辑思维辨别的模式和关系,扩展了我们对我们所居住的世界的知识。然而不幸的是,这并不等同于发展对世界的更好理解。这些模型和它们所产生的见解,并不一定能增加我们对这些模式为什么存在以及是什么驱动它们的因素的理解。这些模型都是不透明的。

意外后果

不可否认的是,这些技术所解决的任务的复杂性和方法的可解释性水平之间存在一个权衡。应用越复杂,就越难解释模型是如何决定的。当然,研究者对赋予各种特征(变量)的权重以及这些特征组合表示相互作用的方式有一定的控制权。但是,一旦模型调整到位,它就会起到神奇的作用,并非所有的模型都能剖析出哪些特征和原因最为重要。

在 2007 年金融危机之后,我有机会与几家不同的储备银行合作。金融风险模型的不透明性让我们感到恐惧的是,基于此类模型结果而采取的政策措施会产生“意外后果”。这些模型及其建议过于复杂,难以理解。

同样的,我们也不可能预测基于黑箱类型人工智能(或在前面的背景下,金融工程模型)设计的行动或策略的所有后果。

模型的不透明是导致金融危机的复杂性的根源,而这一点却没有人注意到。就像用来构造金融产品的复杂金融工程模型掩盖了这些产品的实际风险一样,黑箱人工智能也可能隐藏着关键的相互联系,这可能会瓦解整个系统。一个微小但关键的故障,就能拖垮一个庞大但相互关联的系统——这就是复杂性经济学,它既适用于以技术为后盾的决策系统,也适用于风险相互关联的银行系统。

迈向可解释、更安全的人工智能

近几年来,人们一直在让人工智能变得可解释、消除模型偏见、为机器学习和人工智能的道德使用建立伦理和原则方面做出巨大的努力。

对于 Google、Tesla、Microsoft 等大型科技公司来说,可解释的人工智能已经成为其议程中不可或缺的一部分。将重点放在这一点上是完全有商业意义的。不仅很难说服高管们根据一款黑箱软件提供的建议采取行动,而且也几乎不可能说服政策监管机构相信这类人工智能的安全性。因此,可解释的人工智能就成为一种必需。

慢慢地,但肯定地,让人工智能模型更安全的科学方法的研究也在大学和智库中展开。OpenAI 和人类未来研究所(Future of Humanity Institute)等智库正在推动研究和对接哪些方法可以让人工智能模型内在更安全,甚至是那些无法完全解释的方法。其他如加拿大多伦多的 Vector Institute、英国的 Alan Turing Institute 等也在围绕人工智能模型的安全使用进行政策对话。例如,牛津大学人类未来研究所的研究员 Ryan Carey 利用自己的医生博士背景,正在运用围绕智能体激励机制的经济学理论来帮助创造更安全的人工智能。

人工智能模型必须有助于加深我们的理解

在我们取得进步的同时,我们必须记住,在人工智能发展的最初几十年里,我们所做的和不做的选择,将对人工智能和由人工智能驱动的世界的运作方式产生倍增效应。

复杂模型的诱惑是巨大的,然而,人工智能产生任何有意义的影响的唯一方式是拥抱简单性。我们必须要坚持发展对人工智能能做什么的直观认识。我们需要建立模型,这些模型不仅能够通过吞噬大数据集来大量得出答案,还可以帮助我们提高对世界运行机制的理解。

作者介绍:

Prajakta Kharkar Nigam,一名经济学家出身的教育家。

原文链接:

https://towardsdatascience.com/opaque-ai-models-can-be-deceptive-17165cb91d61

2020 年 10 月 15 日 08:30 550
用户头像
刘燕 InfoQ记者

发布了 396 篇内容, 共 130.8 次阅读, 收获喜欢 627 次。

关注

评论

发布
暂无评论
发现更多内容

shell实现SSH自动登陆

阿呦,简笔话_Golden

如何在微服务团队中高效使用 Git 管理代码?

看山

git 微服务 高效

架构师训练营 - 第八周 - 学习总结

stardust20

行为型模式:迭代器模式解析

七哥爱编程

Java 编程 程序员 设计模式 迭代器模式

架构师训练营第8周

大丁💸💵💴💶🚀🐟

域名凭什么能卖出亿元高价?

北柯

创业 互联网 域名解析

产品、方案、生态三力齐发 英特尔驱动智能边缘价值迸发

飞天鱼2017

英特尔®边缘软件中心重磅发布 一站式资源供给为应用开发创新赋能

飞天鱼2017

第八周作业

赵龙

天天用SpringBoot,它的自动装配你能说出来吗?

java金融

Java spring springboot 自动装配 EnableAutoConfiguration

JVM详解之:汇编角度理解本地变量的生命周期

程序那些事

Java JVM 汇编 生命周期

面经手册 · 开篇《面试官都问我啥》

小傅哥

面试题 Java 面试 面试经验 面试官

架构师训练营第八周作业

sunnywhy

极客大学架构师训练营

实现DevOps的三步工作法

看山

DevOps 凤凰项目

架构师训练营第八章作业

itrickzhang

Week 08 命题作业

Jeremy

第八周作业

方堃

世界上最狠的语言

十三

Java开发Spark ELT实践(一)

团子粑粑

大数据 Apache Spark

Week 08 学习总结

Jeremy

面试官问:如何设计一个安全的对外接口?

Java小咖秀

Java 面试 经验

云图说 | 快速创建一个kubernetes集群

华为云开发者社区

Kubernetes 虚拟机 集群容错 华为云 容器化

设计过度有时比设计不足更可怕

菜根老谭

架构思维 过度设计 演化思维 设计不足

架构师训练营第八章总结

itrickzhang

扎克伯格:从程序员到福布斯全球首富,他经历了什么?

北柯

抢占5G大市场 众盟科技助力企业跑赢短视频营销新赛道

人称T客

作业一

Kiroro

第八周学习总结

赵龙

敏捷开发:影响地图工作坊的反思

华为云开发者社区

敏捷开发 业务线 需求管理 需求 华为云

【API进阶之路】高考要考口语?我用多模态评测API做了一场10w+刷屏活动

华为云开发者社区

人工智能 英语学习 评测 API 华为云

架构师训练营 -- 第八周作业

stardust20

不透明的人工智能模型可能具有欺骗性-InfoQ