写点什么

谷歌联合斯坦福推出可解释 AI 新方法,揭秘图像分类器到底是如何工作的

  • 2019-10-15
  • 本文字数:983 字

    阅读完需:约 3 分钟

谷歌联合斯坦福推出可解释AI新方法,揭秘图像分类器到底是如何工作的

当 AI 系统变得越来越益复杂,它的可解释性通常会变得越来越差。不过业内已经涌现了不少研究成果来挑战这个难题,比如 Facebook 的研究人员推出了Captum库,该库可以解释基于深度学习框架 PyTorch 的神经网络是如何做决定的,同类型的研究还有 IBM 的AI Explainability 360工具包和 Microsoft 的InterpretML。为了使 AI 的决策更加透明,来自 Google 和 Stanford 的团队最近开发了一种新的机器学习模型:Automated Concept-based Explanation(ACE),该模型可以自动提取用来预测模型且“对人类有意义”的视觉概念。



Google 的 ACE 模型能够区分出影响图像分类器决策的不同特征。


研究人员在近日发布的论文中对这项工作进行了详细的说明。他们认为,当前大多数机器学习解释方法为了评估不同特征(例如像素、超像素、词向量)对目标模型的重要性,会对各个特征做一些修改。这种方法并不完善,即使输入出现非常微小的变化,它也很容易受到攻击。


相比之下,ACE 在提取概念并确定每个概念的重要性之前,通过将经过训练的分类器和同一分类中的一组图像作为输入来识别更高级别的概念。具体来说,ACE 将具不同分辨率的图像进行分割,从而捕获不同的纹理、物体部分和物体,然后再将相似的分割片段分组,作为同一概念的示例,最终返回对决策最重要的概念。



对于三种不同的 ImageNet 分类,ACE 的输出结果。


为了测试 ACE 的鲁棒性,该团队使用 Google 的 Inception-V3 图像分类器模型在 ImageNet 数据集上进行训练,并从数据集的 1,000 个类别中选择了 100 个类别的子集来应用 ACE。


测试结果表明,被 ACE 模型标记为重要的概念倾向于遵循人类的直觉,例如,对于警车的图像分类器来说,执法徽标比地面上的沥青更重要。但是,情况并非总是如此。在另一个例子里,对于预测篮球图像的分类器来说,最重要的概念是球员的球衣而不是篮球本身;而当对旋转木马做分类的时候,木马上的灯光比座位和竖杆更可能影响分类的结果。


当然,目前 ACE 还远远不够完美,它难以有效地提取异常复杂或困难的概念。但是研究人员认为,这一研究提出了模型学习关联性的新方法,可能会让机器学习的使用变得更加安全。


“我们通过人类实验验证了这个方法的意义和一致性,并进一步验证了它确实对于模型预测有重要意义。[我们的]方法能够自动将输入的特征分组为高级概念;这些概念作为连续的示例出现,对于正确预测图像中存在的物体非常重要。”研究人员表示。


2019-10-15 12:371839
用户头像
蔡芳芳 InfoQ 总编辑

发布了 813 篇内容, 共 590.0 次阅读, 收获喜欢 2808 次。

关注

评论

发布
暂无评论
发现更多内容

软件测试/测试开发/全日制/测试管理丨MongoDB NoSQL数据库

测试人

软件测试

好玩有趣的桌面宠物Desktop Goose for mac

Rose

Desktop Goose mac破解版 mac桌面宠物

技术菜鸟如何提升自己的能力

老张

个人成长 自动化测试 技术提升

你还在“垃圾”调优?快来看看JDK17的ZGC如何解放双手 | 京东云技术团队

京东科技开发者

重新认识Elasticsearch-一体化矢量搜索引擎

京东科技开发者

隐患上报二维码:扫码上报隐患,可实时跟踪整改进度

草料二维码

支付宝小程序备案流程详解(必看!)

盐焗代码虾

小程序 支付宝 备案

SVN管理工具Cornerstone for mac入门教程

Rose

SVN管理工具 cornerstone 4 破解版 Cornerstone入门教程

Premiere新手入门教程:Premiere Pro (PR) mac版基础教程合集

Rose

Premiere Pro下载 Premiere教程 PR转场预设

虾皮shopee根据ID取商品详情 API (shopee.item_get):利用虾皮shopee API提升电商平台用户转化率与客单价

技术冰糖葫芦

API

英文版sketch怎么转为中文,Sketch中英文切换教程

Rose

Mac矢量图设计 Sketch 99 Sketch中英文切换教程

Photoshop 2024 崩溃怎么办?

Rose

Photoshop启动时崩溃 PS冻结

Final Cut Pro for Mac(fcpx视频剪辑)v10.7.1 中文版

Rose

软件开发

Geek_8da502

即时通讯技术文集(第31期):IM开发综合技术合集(Part4) [共13篇]

JackJiang

网络编程 即时通讯 IM

大模型时代下的新开发范式探索

百度开发者中心

人工智能 深度学习 大模型

低代码开发平台,程序员的提效工具

互联网工科生

低代码开发平台 应用系统 JNPF

Office 2013-2021专业增强版激活许可证 Mac/win

Rose

office许可证 office下载

云虚拟主机空间优化指南:如何充分利用你的云空间?

一只扑棱蛾子

云虚拟主机

Apache Doris 入门 10 问

SelectDB

数据库 大数据 数据仓库 数据分析 apache doris

如何下载会员视频?推荐使用唐尼downie 4 !

Rose

mac软件下载 视频下载工具 Downie 4 Mac版 Downie 4中文版

随着 AI 的兴起,Web3 停滞不前丨 RTE 开发者日报 Vol.123

声网

英特尔宣布收购Silicon Mobility,引领电动汽车能源管理技术发展

E科讯

在CentOS环境下编译GreatSQL RPM包

GreatSQL

大模型:产业智能化时代的新引擎

百度开发者中心

人工智能 大模型

Sermant重磅更新,1.3.0 release版本发布

华为云开发者联盟

开源 华为云 华为云开发者联盟 sermant

谷歌联合斯坦福推出可解释AI新方法,揭秘图像分类器到底是如何工作的_AI&大模型_蔡芳芳_InfoQ精选文章