Graph + AI 中国峰会火热报名中,点击探索图分析更多可能! 了解详情
写点什么

谷歌联合斯坦福推出可解释 AI 新方法,揭秘图像分类器到底是如何工作的

2019 年 10 月 15 日

谷歌联合斯坦福推出可解释AI新方法,揭秘图像分类器到底是如何工作的

当 AI 系统变得越来越益复杂,它的可解释性通常会变得越来越差。不过业内已经涌现了不少研究成果来挑战这个难题,比如 Facebook 的研究人员推出了Captum库,该库可以解释基于深度学习框架 PyTorch 的神经网络是如何做决定的,同类型的研究还有 IBM 的AI Explainability 360工具包和 Microsoft 的InterpretML。为了使 AI 的决策更加透明,来自 Google 和 Stanford 的团队最近开发了一种新的机器学习模型:Automated Concept-based Explanation(ACE),该模型可以自动提取用来预测模型且“对人类有意义”的视觉概念。



Google 的 ACE 模型能够区分出影响图像分类器决策的不同特征。


研究人员在近日发布的论文中对这项工作进行了详细的说明。他们认为,当前大多数机器学习解释方法为了评估不同特征(例如像素、超像素、词向量)对目标模型的重要性,会对各个特征做一些修改。这种方法并不完善,即使输入出现非常微小的变化,它也很容易受到攻击。


相比之下,ACE 在提取概念并确定每个概念的重要性之前,通过将经过训练的分类器和同一分类中的一组图像作为输入来识别更高级别的概念。具体来说,ACE 将具不同分辨率的图像进行分割,从而捕获不同的纹理、物体部分和物体,然后再将相似的分割片段分组,作为同一概念的示例,最终返回对决策最重要的概念。



对于三种不同的 ImageNet 分类,ACE 的输出结果。


为了测试 ACE 的鲁棒性,该团队使用 Google 的 Inception-V3 图像分类器模型在 ImageNet 数据集上进行训练,并从数据集的 1,000 个类别中选择了 100 个类别的子集来应用 ACE。


测试结果表明,被 ACE 模型标记为重要的概念倾向于遵循人类的直觉,例如,对于警车的图像分类器来说,执法徽标比地面上的沥青更重要。但是,情况并非总是如此。在另一个例子里,对于预测篮球图像的分类器来说,最重要的概念是球员的球衣而不是篮球本身;而当对旋转木马做分类的时候,木马上的灯光比座位和竖杆更可能影响分类的结果。


当然,目前 ACE 还远远不够完美,它难以有效地提取异常复杂或困难的概念。但是研究人员认为,这一研究提出了模型学习关联性的新方法,可能会让机器学习的使用变得更加安全。


“我们通过人类实验验证了这个方法的意义和一致性,并进一步验证了它确实对于模型预测有重要意义。[我们的]方法能够自动将输入的特征分组为高级概念;这些概念作为连续的示例出现,对于正确预测图像中存在的物体非常重要。”研究人员表示。


2019 年 10 月 15 日 12:371086
用户头像
蔡芳芳 InfoQ高级编辑

发布了 620 篇内容, 共 305.0 次阅读, 收获喜欢 2024 次。

关注

评论

发布
暂无评论
发现更多内容

在K8S/OpenShift上开发应用程序的14种最佳实践

东风微鸣

Kubernetes 最佳实践 k8s最佳实践 openshift

精彩回顾 | 一张图读懂OPPO应用与数据安全防护

OPPO安全

OPPO安全

数字货币将带来怎样的“革命”

CECBC区块链专委会

数字货币 货币

关于Mysql常用数据类型的小抄

xzy

MySQL

华为工程师又爆一份“架构师宝典”,价值百万薪“史诗级”操作系统,送你备战金三银四要不要?

云流

编程 程序员 计算机网络 操作系统

大企软件系统问题多?归乡名企工程师:解决很简单,分分钟做个新系统

Learun

敏捷开发 快速开发 企业开发 CRM 企业应用

测试过程中如何快速定位一个bug

测试人生路

软件测试

从零做网站开发:基于Flask和JQuery,实现表格管理平台

华为云开发者社区

jquery flask 框架

年轻人快来学习TCP 协议如何解决粘包、半包问题!

程序员小灰

c++ Linux TCP 后台开发 Linux服务器开发

GO训练营第2周总结

Glowry

设备常用网管配置举例

OPPO技术开放日第六期丨OPPO安全解析“应用与数据安全防护”背后的技术

OPPO安全

OPPO安全

技术应用丨DWS 空间释放(vacuum full) 最佳实践

华为云开发者社区

内存 存储 磁盘

《视觉系统中的深度学习》PDF及源代码免费下载

计算机与AI

学习 计算机视觉

关于物联网规则引擎技术,你想要知道的都在这儿!

华为云开发者社区

数据 联动 iotda

cncf serverless 所有项目全解读

coldTea214

云计算 Serverless 容器云 cncf

「云原生上云」后的聚石塔是如何应对 双11 下大规模应用挑战的

阿里巴巴云原生

阿里云 云原生

爆买剁手之后,我们的快乐为什么越来越贬值?

脑极体

Accept-Language是什么? 就在身边,你却没看见的“冷知识”系列(不定期偶遇)

八苦-瞿昙

随笔杂谈 HTTP

linux后台开发必知的linux系统内存知识总结

linux大本营

c++ Linux 后台开发 架构师 内存管理

Serverless 应用引擎的远程调试和云端联调

阿里巴巴云原生

Java Serverless 云原生 后端

浅谈互斥锁与进程间的通信(举例说明)

ShenDu_Linux

Linux 程序员 架构师 进程线程区别

进一步深挖工业数据价值

CECBC区块链专委会

数据安全;工业互联网

区块链在国际贸易领域应用的法律问题

CECBC区块链专委会

区块链

中国CRM突围指南

ToB行业头条

CRM

LeetCode题解:455. 分发饼干,贪心while循环,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

同步与异步,回调与协程

Linux服务器开发

线程 协程 后端开发 底层应用开发 Linux服务器开发

《迅雷链精品课》第九课:区块链P2P网络

迅雷链

区块链

深入了解进程间通信:System V信号量+共享内存

ShenDu_Linux

Linux 进程 内存管理 通信协议

当居住空间被智能包裹:OTA智能社区改变了什么?

脑极体

架构师 3 期 3 班 -week2- 作业

zbest

作业 week2

聊一下 Mesh 数据平面 Sidecar 与 Service 通信的那些事儿

聊一下 Mesh 数据平面 Sidecar 与 Service 通信的那些事儿

谷歌联合斯坦福推出可解释AI新方法,揭秘图像分类器到底是如何工作的-InfoQ