写点什么

谷歌联合斯坦福推出可解释 AI 新方法,揭秘图像分类器到底是如何工作的

  • 2019-10-15
  • 本文字数:983 字

    阅读完需:约 3 分钟

谷歌联合斯坦福推出可解释AI新方法,揭秘图像分类器到底是如何工作的

当 AI 系统变得越来越益复杂,它的可解释性通常会变得越来越差。不过业内已经涌现了不少研究成果来挑战这个难题,比如 Facebook 的研究人员推出了Captum库,该库可以解释基于深度学习框架 PyTorch 的神经网络是如何做决定的,同类型的研究还有 IBM 的AI Explainability 360工具包和 Microsoft 的InterpretML。为了使 AI 的决策更加透明,来自 Google 和 Stanford 的团队最近开发了一种新的机器学习模型:Automated Concept-based Explanation(ACE),该模型可以自动提取用来预测模型且“对人类有意义”的视觉概念。



Google 的 ACE 模型能够区分出影响图像分类器决策的不同特征。


研究人员在近日发布的论文中对这项工作进行了详细的说明。他们认为,当前大多数机器学习解释方法为了评估不同特征(例如像素、超像素、词向量)对目标模型的重要性,会对各个特征做一些修改。这种方法并不完善,即使输入出现非常微小的变化,它也很容易受到攻击。


相比之下,ACE 在提取概念并确定每个概念的重要性之前,通过将经过训练的分类器和同一分类中的一组图像作为输入来识别更高级别的概念。具体来说,ACE 将具不同分辨率的图像进行分割,从而捕获不同的纹理、物体部分和物体,然后再将相似的分割片段分组,作为同一概念的示例,最终返回对决策最重要的概念。



对于三种不同的 ImageNet 分类,ACE 的输出结果。


为了测试 ACE 的鲁棒性,该团队使用 Google 的 Inception-V3 图像分类器模型在 ImageNet 数据集上进行训练,并从数据集的 1,000 个类别中选择了 100 个类别的子集来应用 ACE。


测试结果表明,被 ACE 模型标记为重要的概念倾向于遵循人类的直觉,例如,对于警车的图像分类器来说,执法徽标比地面上的沥青更重要。但是,情况并非总是如此。在另一个例子里,对于预测篮球图像的分类器来说,最重要的概念是球员的球衣而不是篮球本身;而当对旋转木马做分类的时候,木马上的灯光比座位和竖杆更可能影响分类的结果。


当然,目前 ACE 还远远不够完美,它难以有效地提取异常复杂或困难的概念。但是研究人员认为,这一研究提出了模型学习关联性的新方法,可能会让机器学习的使用变得更加安全。


“我们通过人类实验验证了这个方法的意义和一致性,并进一步验证了它确实对于模型预测有重要意义。[我们的]方法能够自动将输入的特征分组为高级概念;这些概念作为连续的示例出现,对于正确预测图像中存在的物体非常重要。”研究人员表示。


2019-10-15 12:371971
用户头像
蔡芳芳 InfoQ 总编辑

发布了 818 篇内容, 共 605.0 次阅读, 收获喜欢 2820 次。

关注

评论

发布
暂无评论
发现更多内容

HOWO 新能源全能王-E,能省能赚”盈“到家!

科技热闻

AI 英语写作 App 的开发

北京木奇移动技术有限公司

软件外包公司 AI英语学习 AI英语写作

行业分享丨泛亚汽车数字化转型实践:虚拟仿真技术如何赋能汽车研发的创新实践?

Altair RapidMiner

AI 汽车 仿真 智能制造 CAE

GenDev 智能开发:Amazon Q Developer CLI 赋能 Jenkins 实现智能代码审核

亚马逊云科技 (Amazon Web Services)

【KWDB 创作者计划】香橙派Ai Pro安装部署KWDB数据库踩坑经验

KaiwuDB

手把手教你获取淘宝天猫商品详情数据和全店数据(避坑版)

tbapi

淘宝商品详情接口 天猫商品详情接口 淘宝店铺商品接口 天猫店铺商品接口

用 Python 与 KWDB 打造智能自动售卖机:从搭建到实践

KaiwuDB

企微、钉钉、飞书私有化贵?这个支持私有化的 IM 软件可免费用!

BeeWorks

即时通讯 IM 私有化部署

Nextcloud AIO - 一站式自托管Nextcloud解决方案

qife122

Nextcloud 自托管

智慧环保系统(源码+文档+讲解+演示)

深圳亥时科技

扫得远更扫得准,鸿蒙扫一扫体验再提升

HarmonyOS SDK

harmoyos

如何评估开源管理后台的可扩展性和定制化能力?6 大关键评估维度

NocoBase

开源 开发工具 定制化 管理后台 扩展性

MyEMS能源管理系统后台配置-联系人管理

开源能源管理系统

开源 能源管理

AI 英语写作 App 的测试

北京木奇移动技术有限公司

软件外包公司 AI英语学习 AI英语写作

数字揭秘丨什么?!Altair EDEM竟然可以用来解答高考物理压轴的电磁力学题?

Altair RapidMiner

AI 制造业 电磁仿真 EDEM 离散元仿真

AFNetworking - 强大的iOS网络请求库

qife122

ios objective-c

用systemd管理GreatSQL服务详解

GreatSQL

AI 英语写作 App 的上线

北京木奇移动技术有限公司

软件外包公司 AI英语学习 AI英语写作

黑龙江等保三级认证

等保测评

一文读懂,Abaqus生成文件后缀含义

思茂信息

abaqus abaqus软件 有限元分析 有限元仿真 有限元

十年“画饼”终兑现,AI出行要变天?|小奇说

奇点云

自动驾驶 AI 特斯拉 Robotaxi

智源-人大高瓴26级联培博士预推免报名开始啦~欢迎感兴趣的同学咨询报名

智源研究院

人工智能

7月代理IP | 充值加赠22%,1元也加赠!再加新人礼包,限时开启中ing

kookeey代理严选

节点搭建 海外IP 海外IP代理 跨境网络专线

BeeWorks 免费版上线,赋能重要行业高效协作

BeeWorks

即时通讯 IM 私有化部署

AI 英语写作App的技术难点

北京木奇移动技术有限公司

软件外包公司 AI英语学习 AI英语写作

行业洞见 | 数据市场发展路径和形态

数据堂

人工智能 数据标注 大模型 数据市场 数据生产

KWDB语法添加指南

KaiwuDB

告别SQL卡顿与混乱!AI如何赋能实时计算?

袋鼠云数栈

数据库 sql 数据治理 数据平台 数据管理

Go 1.23实战升级,你的Web开发加速器来了!(附完整B2C电商源码)

博文视点Broadview

KWDB时序数据库在工业级机器手臂生产调度中的落地实践案例,加速时序数据高效存储与检索

KaiwuDB

场景案例 - KWDB分布式多模数据库在净水机物联网IoT方案落地最佳实践:GoLang时序IoT数据 + 香橙派Orange Pi AI Pro 开发板场景案例测试

KaiwuDB

谷歌联合斯坦福推出可解释AI新方法,揭秘图像分类器到底是如何工作的_AI&大模型_蔡芳芳_InfoQ精选文章