中科院曾毅：AI 最大的风险不是超级智能，而是被我们视而不见的安全伦理问题

10 月 31 日，由北京智源人工智能研究院主办的 2019 北京智源大会在国家会议中心开幕，会期两天。智源大会是北京创建全球人工智能学术和创新最优生态的标志性学术活动，定位于“内行的 AI 盛会”。

在大会现场，智源人工智能伦理与安全研究中心主任曾毅接受了 InfoQ 等媒体的采访，曾毅向记者表示：真正的风险并不是来自通用智能或是超级智能，而是现在已经涌现出来的安全伦理问题。

以下是曾毅主任的访谈实录：

曾毅：今年 5 月，北京智源人工智能研究院发布了“北京共识”，同一天我们成立了智源人工智能研究院人工智能伦理与安全研究中心。

为什么发布人工智能北京共识？两年前，中国发布了新一代人工智能的发展规划，各方对于中国人工智能的发展方向都有不同的理解。而我们最开始要做的一件事情，就是从科学家和产业的角度出发，首先达成一个共识，并且要得到政府的支持。再从这样的角度讲一讲，我们作为中国人工智能的从业者，希望把中国的人工智能发展成什么样？

所以在人工智能北京共识发布的时候，我们希望表达的愿景是这样的：中国发展人工智能，不光是以人为中心，也要关注对于生态的影响，还要关注人工智能技术对于社会可持续发展的影响，而最关键的目标则是要构建人类命运共同体。

在人工智能发展的过程当中，有很多人在问，实现通用智能或者超级智能，是不是最大的风险？而我经常这样回答：真正的风险，现在看来并不是通用智能或者超级智能，而是在于人工智能发展的道路过程当中，已经涌现出来的很多风险以及安全、伦理的问题。

今天，学术界、企业可能对于这些问题，采取了视而不见的态度，或者是并不关注，因为有一些可能跟经济的利益无关。但是，如果把这种人工智能，直接部署到社会当中、直接影响整个社会，这其中可能存在更巨大的潜在风险。

昨天，在科技部组织的中欧科技伦理论坛上，我发言后，还有外国专家在问，最大的风险是不是超级智能？我说最大的风险在于我们发展专用人工智能过程当中，可能存在的算法歧视、偏见，以及潜在的问题，这些就足以使人工智能对我们的社会产生巨大的负面影响。

那么，在这个过程当中，如果学术界、企业界还没有更多的关注，作为一个源头创新的北京智源人工智能研究院，我们该怎么做？

所以，一方面，我们发布了“人工智能北京共识”，让大家了解到可能存在的风险以及未来我们应当的走向。智源人工智能研究院做的事情，就是从技术的角度，将可能存在的安全风险伦理，以及治理的问题，以技术落地的方式，跟学术界和产业界合作，真正地推动人工智能向着对人类和全社会有意义的方发展。

几个月前，我们发布了智源人工智能研究院安全伦理研究中心第一批项目，其中涉及到的范围，第一个就是开发高度安全的机器学习模型，来解决类似于深度学习模型当中、现在通过对抗神经网络能够发现的弱点，用来解决深度学习系统中不安全的瓶颈问题。

第二个尝试，就是构建开放的数据隐私的平台，真正实现我们在“北京共识”当中提出的，在人工智能发展过程当中注重数据隐私、注重用户授权的撤销（换句话说就是，用户授权应用或者企业使用他的数据，哪天不想让你这样用了，能不能把我的数据拿回来），这个在 GDPR 欧盟通用数据保护条例当中有专门的规定。在“北京共识”，以及科技部新一代人工智能治理原则当中，也有这样的专门规定，就是关于用户数据授权撤销的。很可惜的是，现在没有任何一个企业真正做到，这个背后有很大的隐患。因此，我们希望通过构建开放数据隐私和安全的平台，来支持企业在数据隐私方面，解决瓶颈问题。

第三个项目，是关于让人工智能自主系统如何去真正学习人类的伦理和价值观，这个项目是整个布局当中最有挑战的。因为你让人工智能系统去遵守人类的规则，但它能够学会这个规则，同样也可以把这条规则删掉。人类为什么有自己的价值观？我们不会随便改变自己的价值观，是因为我们真正理解这个价值观。但是，怎么让人工智能系统真正理解人类的价值观，而不是给它输入规则让它遵守，这个应该是目前人工智能研究中“圣杯”级的问题。

最后一个布局，是关于人工智能风险安全和伦理的一个检测平台。因为我们不能够寄希望于所有的中小企业、大企业对于人工智能安全伦理存在风险的方方面面都了如指掌。而智源研究院，作为一个服务北京发展的新型研发机构，我们希望构建起这样的安全伦理和风险检测平台。我们不能说通过了这个平台检测就可以确保是非常安全的，但至少我们可以告诉你，当你的服务、产品、模型，通过这个平台的检测以后，其中可能存在哪些我们已知的风险和安全伦理的隐患。这是第一步的工作，关于这一点，我们已经得到了北京市、中国科学院、清华大学、北京大学和企业相关研究机构的大力支持。

“人工智能北京共识”最开始推出的时候，有些国外媒体说这是北京市政府一个秀。但是对我来讲，这是我未来 30 年生涯的目标——如何使“人工智能北京共识”真正从技术层面落地，让北京人工智能的发展真正成为中国人工智能发展的源头、成为世界人工智能发展的典范，真正实现中国政府、科学群体倡导的构建人类命运共同体的目标。

Q：我想问两个问题，一个是您刚才提到的算法偏见，包括识别上的漏洞，您能不能具体谈一下，我们现在实际应用中存在哪些比较普遍的问题，或者是这些风险以后可能会带来什么问题，能不能举一些例子？

曾毅：像我刚才提到的高度安全的机器学习模型，有一个例子挺有名的。比如说对一个视觉图像进行识别分类，当你用对抗神经网络的算法改变其中一个像素的时候，它就有可能把一只青蛙识别成一辆卡车——大家可能觉得这没什么大不了的。

然而，当我们用对抗神经网络生成一个乌龟的 3D 模型时，谷歌的分类系统有 80%的几率把这个 3D 乌龟模型识别成来福枪，另外 20%的几率分类为其它的东西，也就是说，它没有一次把 3D 打印的乌龟真正认为是乌龟。这是因为对抗神经网络改变了 3D 打印乌龟的局部纹理，但基于统计意义一般性的分类系统，是没有办法真正把它识别出来的。

那么我们可以想象，一个城市的安全监控系统里，当它看到有 100 个 10 岁小孩在马路边上拿着一个乌龟模型的时候，就有可能认为孩子手里拿着一把来福枪。如果这样的系统具有一定的自主性，能够自主决策的话，这显然是存在重大的、扰乱社会治安的安全隐患。

虽然这样的情况真正发生的几率可能比较小，但实际上内部安全隐患、外部安全隐患的个案都是一样的。只要事情发生一次，就足以对社会产生重大的影响。我们不能等这样的潜在风险真的爆发出来，再去采取措施。

我经常跟一些企业的人聊，他们说曾老师你说的这些问题我们在实际情况下很难碰到，现在也不知道该怎么解决，所以现在就这样了。这就造成了，现在很多企业对于存在的风险视而不见，但这种情况的背后是有重大风险的。

我们说，人工智能发展是主旋律，但是人工智能的健康发展，一定是治理和发展双轮驱动，就是在发展的过程当中，我们同时还要保证它是稳健的，是向着正确方向发展的。

Q：您说的这个高度安全的机器学习和刚才说的识别率的问题，似乎跟伦理是两回事。

曾毅：不完全是两回事。如果发现识别结果不对，就应该花力气去改造这个模型，这样才能避免刚才说到的问题，

就像我们刚才说的乌龟的模型，为什么人不会犯这样的错误？因为人是靠大规模范围的拓扑优先的原则，我看这个东西是什么东西，会先看轮廓，然后就认出来了；但是深度学习模型，它是一个逐层抽象的神经网络，没有太多的反馈信息，所以它最终学到的，其实很多是局部的特征。比如它会把一个红黄蓝随机组合的图片，看做一只孔雀，因为孔雀就很像这个。

所以，如何解决深度学习模型，或者是其它人工智能模型当中存在的这样类似的风险，是我们智源人工智能研究院安全伦理研究中心布局的重要项目，要真正从技术的角度来解决这样的问题，而不仅仅是停留在伦理原则上去讨论。

事实上，智源人工智能研究院部署的安全伦理的课题，全都是部署给技术专家，让技术专家构造全新的技术系统，来解决我们这样的潜在的问题。

Q：“北京共识”提出了很多大的原则，能不能再给监管部门提一些具体监管实施上的意见，因为我们现在看到有一些地方比较激进，比如不准在公共场合使用人脸识别，您刚刚提到的一些企业视而不见的态度等。

曾毅：您谈到的人脸识别，比如说美国加州决定禁用这个技术。我觉得是这样，首先，禁用一两项技术其实不能解决安全风险的问题。我专门写过一篇文章讲这个问题：你可能存在歧视的问题、隐私安全的问题，禁用了人脸识别，但是步态识别、声音识别、虹膜识别这些，其实也存在同样的风险，你能把它们都禁掉吗？

有一个报道当中说，根据抽样统计数据显示，中国 83%的民众可以认同政府合理使用人脸识别，这个是大部分群众能够接受的。但是让我非常惊讶的是，美国同样的抽样数据显示，也有高达 80%的民众持同样的观点。所以说，其实其它一些国家，看似好像宣称更重视隐私的问题，但民众对于技术发展的过程中所带来的益处和弊端，也还是在不断探索的过程中。

所以，在科技部发布新一代人工智能治理原则的时候，最重要的是在最后的结尾部分写了“敏捷治理”。什么叫做敏捷治理？就是因为在发展过程当中，没有人确切知道技术发展真正的方向和可能对于社会的影响。因此治理的原则，也是要随着技术的发展不断迭代的。所以，不管是“人工智能北京共识”的提出，还是科技部新一代人工智能治理原则的提出，都会是一个不断迭代的过程。也许是两年更新一次，或者是随着技术的进展，如果有必要的话，就应该进行必要的更新，绝对不是写完放在那里我们就照着样子干，30 年不变之类的，绝对不是这样。

如果说要给政府一些建议，我觉得可以借鉴生物领域做生命伦理时的一部分工作。比如说，你要开展一个生物实验，就必须在一个系统当中注册生物实验，说明可能存在哪些伦理安全的隐患，然后再由伦理审查委员会去审查。

对此，我有两个建议，一方面，不管是企业、科研机构，还是我们的政府，在指导人工智能发展的时候，应该建立不同层级的人工智能伦理和治理委员会。

另外一方面，我想应该号召国家建立人工智能服务和产品的监管平台，不是说通过这个监管平台才能够上市，而是你至少要做到备案，及时发现可能存在哪些风险，由国家相关部门在不同的阶段进行分析也好、审查也好，帮助大家规避一些问题。

现在的发展模式是什么呢？企业做完了产品，一旦出了问题（像前一段时间的换脸软件就是这样的，上线之后出了问题），有关部门再去约谈。但是实际上，比如像他的用户知情同意书，如果有这样监管的平台，厂商把用户协议传上来，立刻就能发现其中的哪些原则违反了国家的法律或者是人工智能发展的原则，这些都是一目了然的。这样，就可以在产生社会负面影响之前，规避掉存在的风险。

Q：因为现在神经网络用得比较多，所以您会不会认为风险产生的原因，是一个技术上的瓶颈，如果不去解决的话，风险可能会一直存在？

曾毅：我作为国际顾问委员会委员参与了剑桥大学的一个项目，叫做“通用人工智能实现的不同途径及其存在的风险”。它想说什么意思呢？就是不管用哪个途径来实现通用人工智能都会存在风险，这不光是深度学习的问题，你用符号推理、自然语言的符号主义、或者是做类脑人工智能（从技术角度我就是做类脑人工智能的），你不管采用任何的途径，都存在完全不同的、或者是相似的风险。

所以，并不是说哪一个更安全，你要说技术瓶颈的话，现在深度学习确实遇到一些技术瓶颈，像我们刚才谈到可能存在一些风险问题。但是深度学习的瓶颈不光是这个，对于深度的理解实际上也是非常关键的。比如说，像大家知道 IBM 沃森，利用深度学习和符号推理的技术，它会推荐一个患有肺癌的、并且有高度出血可能性的人去服用一个虽然能治愈肺癌、但是却有很大出血风险的一个药物，这是因为，它是基于文本的统计推理，对于人类真正的医疗场景，并没有真正的理解，所以这叫做统计自然语言处理。之所以叫做“处理”，而不叫“理解”，是因为它还没有达到理解的阶段，人工智能的不同的技术发展都有自己的瓶颈。

但是这些瓶颈有一些是这样的：瓶颈突破了，这个技术本身就进步了，有一些瓶颈如果不突破，安全隐患就有可能对社会产生很大的影响。有一些技术突破，是和更多的应用场景相关，是跟经济发展相关的；但安全风险的瓶颈如果不突破，就是关乎人类生存的，关乎人工智能技术能不能更好、更安全服务于人类的。在这个角度思考的话，我想它的优先级其实是不一样的。

Q：我想请问一下，现在除了企业跟研究机构，还有一些个人也在使用的人工智能，比如前段时间很火的 deepfakes，那么对于这种情况，有没有办法让它更符合我们想要的方向？

曾毅：我觉得是这样的，人工智能的治理一定是在多个尺度，不仅是跟企业和学术界相关，这就是为什么我们会去提议，应该建立这样的人工智能监管平台。我们知道有一些人做了微信上的应用，你上传一个画像，就给你下载一个铅笔画，类似这些是个人就完全可以做的事情。但是就如你所说，他可能也存在着风险，比如说对数据隐私的侵犯等。所以，如果说能够构建这样的安全风险的监管平台，这样多尺度的监管，应该可以涵盖人工智能的所有受众，而不是只跟企业和政府有关。而且，我想一定要注意的一个问题是，治理不是说不让发展，而是去保证稳健的发展。

Q：我有一个问题，您刚才也谈到技术方面的问题，我们了解到这两年有一个关于联邦学习的概念特别火，所以您觉得联邦学习对于 AI 隐私保护会是一个好的解决方案吗？

曾毅：我觉得这是其中一个途径，这种尝试应该是越来越多才好。联邦学习是这样：人们都重视隐私的问题，联邦学习说那好，你的数据基础可以自己保留，我们用不同的模型来相互学习，这样就避开了数据隐私的问题。

但是更好的是什么呢？我想可以不可以这样做：当用户的数据上传以后，我们有一种方法首先对单独用户的所有数据进行加密，然后在这个加密数据上再进行训练。如果加密以后的数据，还能够用来训练的话，用户的数据即使是跨出组织，被共享了，但是只要机器学习的模型能够训练也不影响人工智能的服务。

虽然联邦学习是解决了一部分数据隐私的问题，但是数据隐私的问题非常广泛。像我刚才说的用户数据授权撤销的，虽然 GDPR 欧洲通用数据保护条例有这个规定，而且欧盟是完全在推行这样的通用数据保护条例，但我可以很负责任地说，目前几乎没有任何一家企业真正完全符合 GDPR。

简单来讲，你可以把数据库当中的用户数据删除，这样看似用户数据就被消除掉了，但你其实已经使用了它的数据，那么你的数据特征已经被模型学到了，而这个模型可能一个月、半年才更新一次，这个时候用户数据怎么拿得回来？所以，实际上没有任何一家企业做得到。

Q：刚才我们提到了公众对于人工智能的认识，其实大家很多的认识都来自于文学电影。我觉得现在大众对于人工智能伦理方面的认识有所偏差。另外，我有听过一句话，一个不再像人类一样思维的机器，会引起大家的恐慌。您觉得大众是否对这方面的安全意识是比较薄弱的？除了寄希望于政府和技术平台以外，作为公众还应该怎么去做？

曾毅：当我们推出“人工智能北京共识”的时候，第二天，在百度搜索引擎上有 500 万的即时搜索量，就是用户自己的输入，不算点开新闻看的。从这方面可以看出，实际上公众很关注人工智能的社会影响，关注人工智能在中国发展的走向。但是一般的大众对于人工智能的风险可能不是太了解。

像我们刚才谈到很多技术细节，大众不一定真正的了解。所以，我觉得人工智能的技术科普任何时候都很重要，但同时我们需要注意科普的东西的正确性。举个例子来说，现在我们构建大学教材这没有问题，中学的我觉得问题也不大，小学开始学习计算问题也不大。但是，如果说人工智能这个东西，非要在幼儿园里讲，我觉得这个就不太对了。

有一次，教育部有一个同志问我，说曾老师，我们在推进这个事，你有什么建议？我说我的建议就是最好不要。因为人工智能的专家，对于人工智能的理解，都是完全不同的视角，也可以认为目前几乎所有的专家，都还停留在盲人摸象的阶段。幼儿园的小朋友在接触事物的时候，辩证思维的能力并没有我们那么强，不能说等他稍微长大一点的时候，发现我幼儿园时学的东西其实不是人工智能。

Q：我觉得您现在关注的一个点，其实就是人工智能行业其实需要一个行业规范，或者是国家标准，那么您认为“人工智能北京共识”有没有可能作为以后人工智能行业规范的一个基础？您预计大概什么时候会有一个行业规范出台？

曾毅：我必须首先声明，“人工智能北京共识”更多是一个自底向上的，科学家的产业共识，当然政府也希望看到这样的事情。我刚才反复提到另外一个，叫做科技部新一代人工智能治理原则，这个就是一个国家人工智能发展、治理的文件。我们先发了“北京共识”，然后科技部也发布了治理原则。这两个项目我都深度参与了，科技部在今年 3 月份的时候成立了新一代人工智能治理委员会，我是委员之一。我们同步在做的事情，一个是自底向上的产业和学术界共识和政府的引导。而科技部作为新一代人工智能发展的主体单位，其治理原则实际上就是下面逐步的落实。像我们北京是新一代人工智能创新发展实验区，科技部的第一个实验区，智源人工智能研究院承担的不光是有北京的愿景，另外一方面就是作为新一代人工智能的实验区去实现国家的愿景。

所以，我觉得像我刚才讲的，有一些产业有自己的人工智能的原则，而“人工智能北京共识”则是一个科技共同体。关于政府主导的这个治理原则，我想是顶层的设计。我觉得所有的这些原则的技术落地，是未来真正推进过程中，智源人工智能研究院、企业应该做的事情。还有国家层面的开放，科技部授予了若干个企业新一代人工智能开放创新平台，像这些治理原则，那些企业都是应当去遵守的。我想科技部后续作为治理委员会，会推进相关政策在科技部相关的项目、企业的落实情况，这些都不是去限制企业发展，而是保证人工智能服务稳健发展的。

Q：我看到现在智源的人工智能伦理中心研究有四个方面，其中第二个方面，就是刚才您提到的，要开展符合人类伦理道德的智能自主学习模型的研究，也就是让人工智能自己去习得人类的伦理和价值观。但是，其实这存在一个问题，他在习得人类价值观的时候是选择什么样的人类价值观？它是基于什么样的基础去学习？众所周知，很多道德困境就是由人类自己做抉择的时候也是很困难的。但怎么样才能让机器做出这个判断呢？

曾毅：关于这个学习人类价值观的问题，可以有非常深刻的讨论。

首先，人类的价值观并不是统一的。它有点像我们的交通系统，你走在北京的话，应该遵守的交通规则是北京，但是你要到伦敦的话，它的交通系统是完全不一样的。我们看到，人类的价值观有不同的视角，像我当时去联合国参观他的一个人类价值讨论的会场，其中有一个艺术作品在表达的，就是关于人类的价值观：我们有不同视角的解读，而这些视角之间不是冲突的，而是对于人类之所以是人类的一个互补观点。

我觉得，人工智能学习的应该是具有统计意义的、大多数人认可的人类的价值观。像我们遇到的“电车难题”：紧急情况下你是应该撞老太太，还是撞五个男孩？类似这样人类暂时都还没有解决的问题，还是应该留给人类首先去讨论清楚。当然，如果到了人工智能高度发展的时候，到了超级智能的阶段，也许这个问题可能会是人工智能去辅助人类解决。但是我想目前还没有这样的端倪。

所以，我觉得我们其实应该深刻反思的点在于，如果人工智能在不断的演进、演化，我们人类应该做什么。现在有一个词叫做后人类时代，其实，“人类”我们叫做 Human being，但实际上人类是在不断发展的，所以从哲学角度讲，应该叫做 Human becoming。人类正在不断演化的过程当中，所以人类将走向哪个方向，我们对于人类价值观需要不需要重新的审视，在我看来，这将是技术的进展对于人类的变革提出的新问题。