写点什么

MIT 研究人员发现 ImageNet 数据集存在系统级缺陷

  • 2020-07-28
  • 本文字数:1775 字

    阅读完需:约 6 分钟

MIT 研究人员发现ImageNet数据集存在系统级缺陷

本文最初发表于 venturebeat,由 InfoQ 中文站翻译并分享


麻省理工学院研究人员得出结论,众所周知的 ImageNet数据集存在“系统注释问题”,当用作基准数据集时,与实际情况或直接观测结果并不一致。


“我们的分析明确指出,嘈杂的数据收集管道是如何导致结果基准与其作为代理的实际任务之间的系统性不一致的 ” , 麻省理工学院的研究人员 在一篇题为《从 ImageNet 到图像分类:基准测试的情景化进展》的论文中写道,“我们相信,开发能够更好地捕捉实际情况,同时又保持可扩展性的注释管道,是未来研究的重要途径。”


当斯坦福大学视觉实验室(Stanford University Vision Lab)在 2009 年的计算机视觉与模式识别大会 CVPR 上 介绍 ImageNet时,它比许多以前存在的图像数据集要大得多。ImageNet 的数据集包含数百万张照片, 这些照片是在两年多的时间里收集的。ImageNet 将 WordNet 层次结构用于数据标签,并被广泛用作物体识别模型的基准。直到 2017 年,ImageNet 的年度竞赛还在推进计算机视觉领域发挥着作用。



但是,在仔细研究 ImageNet 的“基准任务不一致”之后,麻省理工学院的研究小组发现,大约 20% 的 ImageNet 照片包含了多个物体。他们对多个物体识别模型的分析表明,在一张照片中有多个物体会导致整体正确率下降 10%。作者声称,这些问题的核心是用于创建像 ImageNet 这样的大规模图像数据集的数据收集管道。


“总的来说,这个[注释]管道表明,单个 ImageNet 标签并不总是足以捕获 ImageNet 图像内容。然而,当我们训练和评估的时候,我们将这些标签视为基本事实。”报告合著者、麻省理工学院博士生 Shibani Santurkar 在国际机器学习大会 ICML 上 介绍了这项研究结果。“因此,这可能会导致 ImageNet 基准测试与现实世界的物体识别任务之间出现不一致的现象,无论是在我们鼓励模型所做的特性方面,还是在我们如何评估它们的性能方面,都是如此。”


据研究人员的说法,大规模图像数据集的理想方法是收集世界上单个物体的图像,并由专家按照确切的类别对它们进行标注,但这并不便宜,而且也不容易进行扩展。相反,ImageNet 从搜索引擎和像 Flickr 这样的网站上收集图片。然后,通过 Amazon Mechanical Turk 这样的群众外包平台对从互联网搜索引擎收集来的图片进行分类标注。研究人员指出,给 ImageNet 照片标注的 Amazon Mechanical Turk 被要求专注于一个物体,而忽略了其他物体或遮挡物。研究人员称,其他大规模图像数据集也遵循类似的(而且可能还存在问题)管道。


为了评估 ImageNet,研究人员创建了一个管道,要求人类注释员从多个标签中选择一个与照片最相关的。然后,最常被选中标签被用来训练模型,以确定研究人员所说的“绝对基础事实”。


“我们利用的关键思想是利用模型预测实际增强 ImageNet 标签。具体来说,我们采用了多种模型,并将它们的前五个预测汇总起来,得到一组候选标签。” Santurkar 说。“然后,我们实际上通过使用人类注释员来确定这些标签的有效性,但我们不是询问他们单个标签是否有效,而是对多个标签单独重复这个过程。这使得我们能够确定与单个图像可能相关的标签集。”


但研究小组警告说,他们的方法并不完全符合基本事实,因为他们也使用了非专家数据标签。他们的结论是,对于不是专家的人类注释员来说,在某些情况下很难准确地对图像进行标注。例如,除非你是犬类专家,否则从 24 种梗类犬选择一种标签可能是很困难的。


该研究小组的论文在 5 月下旬 首次发表后,于日前被 ICML 接受发表。这篇论文在会议上发表之前, 麻省理工学院决定从互联网上删除 8000 万张小图数据集,并要求拥有该数据集副本的研究人员予以删除。这些措施是在研究人员提请注意数据集中的冒犯性标签,如 N 开头的词,以及针对女性的性别歧视属于和其他贬损性标签后采取的。研究人员对 2006 年发布的 8000 万张小图数据集进行了审核,结论是这些标签是 WordNet 层次结构的结果。


ImageNet 也使用 WordNet 层级结构, 在 ACM FaccT 会议上发表的一篇论文中,ImageNet 的创建者表示,他们计划删除数据集 Person 子树中几乎所有的约 2800 个类别。他们还列举了该数据的其他问题,比如缺乏图像多样性。

作者介绍:

Khari John,非裔美国人,住在旧金山东湾。是 VentureBeat 人工智能专栏作家。


原文链接:


https://venturebeat.com/2020/07/15/mit-researchers-find-systematic-shortcomings-in-imagenet-data-set/


2020-07-28 07:001931
用户头像
刘燕 InfoQ高级技术编辑

发布了 1060 篇内容, 共 407.8 次阅读, 收获喜欢 1863 次。

关注

评论

发布
暂无评论
发现更多内容

ReactNative进阶(三十五):应用脚手架 Yo 构建 RN 页面

No Silver Bullet

React Native 1月月更 BloC yo

使用 Lambda 表达式实现超强的排序功能

CRMEB

重新学架构之微信业务与学生管理系统

陈华英

「架构实战营」

多方计算时,每次结果竟然都存在着巨大隐患,此文告诉你可以这样解决!

华为云开发者联盟

安全 多方计算 数据保护 华为云tics服务 差分隐私算法

网易Go语言通用开发框架-Ngo开源啦

月读

golang Go 语言 开源治理 开源中国

CWE视图层级关系解析:节点关系查询

华为云开发者联盟

软件开发 cwe 软件缺陷 CWE视图层级关系 节点关系

为什么需要闭包?闭包是什么概念?

蜜糖的代码注释

Java 后端 开发

华为云FusionInsight连续三次获得第一 加速释放数据要素价值

数据湖洞见

大数据 FusionInsight 华为云

Flink 流批一体平台 StreamX 1.2.1 正式发布

ApacheStreamPark

spark FlinkSQL 流批一体 Flink 平台 一站式平台

小程序开发中使用 JS

Speedoooo

V7.1:新字段“嵌入”,实现自定义元素交互

明道云

征集用户| 填写 2022 Apache Pulsar 用户调查问卷,抽取丰厚礼品

Apache Pulsar

开源 云原生 中间件 Apache Pulsar 社区

告警关联中的频繁项集挖掘问题

云智慧AIOps社区

算法 智能运维 智能告警 人工智能「 云智慧

面试突击19:为什么ConcurrentHashMap不允许插入null值?

王磊

品高股份加入,龙蜥社区迎来又一家云计算厂商

OpenAnolis小助手

Linux 开源

把复杂交给我们,把简单还给你丨TiVP 让 SQL 执行计划可视化

PingCAP

专访深职院XR专家 | 实时云渲染赋能虚拟仿真实训,打造5G+XR智慧教育平台

3DCAT实时渲染

教育 XR VR/AR 云渲染 元宇宙

鸿蒙轻内核源码分析:虚拟文件系统VFS

华为云开发者联盟

鸿蒙 文件系统 鸿蒙轻内核源码 虚拟文件系统VFS 虚拟文件系统

深度评测丨GaussDB(for Redis)大Key操作的影响

华为云开发者联盟

redis 运维 GaussDB(for Redis) 大Key KV查询

模块一

Geek_f3e842

架构实战营

微信业务架构图 & 学生管理系统架构设计

smile

架构实战营

低代码实现探索(三十)低代码设计器设计方式

零道云-混合式低代码平台

面试官太难伺候?一个try-catch问出这么多花样

阿Q说代码

效率 字节码指令 1月月更 try-catch finally-return

OpenCloudOS开源操作系统社区迎来首个正式版本

科技热闻

Android C++系列:JNI中的Handler--ALooper

轻口味

c++ android jni 1月月更

拍乐云发布互动白板2.0,首创超高清文档演示和滚动浏览

拍乐云Pano

WebRTC RTC opengl

MIT 研究人员发现ImageNet数据集存在系统级缺陷_AI_KHARI JOHNSON_InfoQ精选文章