10 月,开发者不可错过的开源大数据大会-2021 WeDataSphere 社区大会深圳站 了解详情
写点什么

谷歌联合斯坦福推出可解释 AI 新方法,揭秘图像分类器到底是如何工作的

2019 年 10 月 15 日

谷歌联合斯坦福推出可解释AI新方法,揭秘图像分类器到底是如何工作的

当 AI 系统变得越来越益复杂,它的可解释性通常会变得越来越差。不过业内已经涌现了不少研究成果来挑战这个难题,比如 Facebook 的研究人员推出了Captum库,该库可以解释基于深度学习框架 PyTorch 的神经网络是如何做决定的,同类型的研究还有 IBM 的AI Explainability 360工具包和 Microsoft 的InterpretML。为了使 AI 的决策更加透明,来自 Google 和 Stanford 的团队最近开发了一种新的机器学习模型:Automated Concept-based Explanation(ACE),该模型可以自动提取用来预测模型且“对人类有意义”的视觉概念。



Google 的 ACE 模型能够区分出影响图像分类器决策的不同特征。


研究人员在近日发布的论文中对这项工作进行了详细的说明。他们认为,当前大多数机器学习解释方法为了评估不同特征(例如像素、超像素、词向量)对目标模型的重要性,会对各个特征做一些修改。这种方法并不完善,即使输入出现非常微小的变化,它也很容易受到攻击。


相比之下,ACE 在提取概念并确定每个概念的重要性之前,通过将经过训练的分类器和同一分类中的一组图像作为输入来识别更高级别的概念。具体来说,ACE 将具不同分辨率的图像进行分割,从而捕获不同的纹理、物体部分和物体,然后再将相似的分割片段分组,作为同一概念的示例,最终返回对决策最重要的概念。



对于三种不同的 ImageNet 分类,ACE 的输出结果。


为了测试 ACE 的鲁棒性,该团队使用 Google 的 Inception-V3 图像分类器模型在 ImageNet 数据集上进行训练,并从数据集的 1,000 个类别中选择了 100 个类别的子集来应用 ACE。


测试结果表明,被 ACE 模型标记为重要的概念倾向于遵循人类的直觉,例如,对于警车的图像分类器来说,执法徽标比地面上的沥青更重要。但是,情况并非总是如此。在另一个例子里,对于预测篮球图像的分类器来说,最重要的概念是球员的球衣而不是篮球本身;而当对旋转木马做分类的时候,木马上的灯光比座位和竖杆更可能影响分类的结果。


当然,目前 ACE 还远远不够完美,它难以有效地提取异常复杂或困难的概念。但是研究人员认为,这一研究提出了模型学习关联性的新方法,可能会让机器学习的使用变得更加安全。


“我们通过人类实验验证了这个方法的意义和一致性,并进一步验证了它确实对于模型预测有重要意义。[我们的]方法能够自动将输入的特征分组为高级概念;这些概念作为连续的示例出现,对于正确预测图像中存在的物体非常重要。”研究人员表示。


2019 年 10 月 15 日 12:371089
用户头像
蔡芳芳 InfoQ高级编辑

发布了 623 篇内容, 共 306.5 次阅读, 收获喜欢 2041 次。

关注

评论

发布
暂无评论
发现更多内容

关于CodeReview的一些思考

Yezhiwei

JAVA小抄-000-初始

NoNoGirl

Java

[读书随笔]从哲学上的问题分类看TDD

老狗

哲学 TDD

如何对Code Review的评论进行分级

宝玉

代码审查 Code Review

婚姻就是合伙开公司,各自做好自己的工作很重要

鼎玉谷

管理 婚姻 公司 付出 人情

金融「中台」十宗罪

fino星君

中台 企业中台 业务中台

笔记:《如何系统思考》之如何做到系统思考

wiflish

思维方式

Clickhouse 性能测试

久吾尔岂

《TCP/IP详解》概述

网瘾少年SEC

TCP 网络协议 IP

关于「后浪」,ta 们在说什么?

boyzcl

年轻人 系列 后浪

我也曾对架构师的力量一无所知

曲水流觞TechRill

读懂才会用 : Redis的多线程

小眼睛聊技术

Java redis 学习 程序员 编程语言 后端

当我们谈到ThreadLocal的时候,我们在谈什么?

Jason

Java 多线程 ThreadLocal

瞎琢磨先生の常用的 linux 命令

瞎琢磨先生

Linux Shell

翻译和产品本地化的区别是什么?

葛仲君

翻译 本地化 全球化 产品开发

瞎琢磨先生の好物推荐(软件/网站)

瞎琢磨先生

对你来说,阅读是另一种生活的方式吗?

叶小鍵

习惯与惯性

伯薇

个人成长 习惯 习惯养成 提升能力

如何利用数据异构实现多级缓存或者数据迁移

松花皮蛋me

缓存 分布式 分库分表

DDD 实践手册(4. Aggregate — 聚合)

Joshua

设计模式 领域驱动设计 架构模式

机会是留给不停寻找他们的人,而不是原地等待的人

非著名程序员

程序员 提升认知 机会 行动派

基于vue(element ui) + ssm + shiro 的权限框架

吴邪

Redis学习笔记(基础命令)

编程随想曲

redis

面试指南 | 终于要跟大家见面了,我有点紧张。

Apache Flink

大数据 flink 流计算 实时计算 大数据处理

开始每周写作计划

M1racle

准备重读测试驱动开发

escray

学习 CSD 认证实战营

重新认识Go语言中的slice

麻瓜镇

Go

年轻人的世界

boyzcl

年轻人 系列

写作的意义到底是什么

董一凡

写作

C++线程池的实现

helloworld

c++ C# 线程池

C++定时器的实现

helloworld

c c++ C#

开源中间件技术学习路线

开源中间件技术学习路线

谷歌联合斯坦福推出可解释AI新方法,揭秘图像分类器到底是如何工作的-InfoQ