写点什么

MIT 研究人员发现 ImageNet 数据集存在系统级缺陷

  • 2020-07-28
  • 本文字数:1775 字

    阅读完需:约 6 分钟

MIT 研究人员发现ImageNet数据集存在系统级缺陷

本文最初发表于 venturebeat,由 InfoQ 中文站翻译并分享


麻省理工学院研究人员得出结论,众所周知的 ImageNet数据集存在“系统注释问题”,当用作基准数据集时,与实际情况或直接观测结果并不一致。


“我们的分析明确指出,嘈杂的数据收集管道是如何导致结果基准与其作为代理的实际任务之间的系统性不一致的 ” , 麻省理工学院的研究人员 在一篇题为《从 ImageNet 到图像分类:基准测试的情景化进展》的论文中写道,“我们相信,开发能够更好地捕捉实际情况,同时又保持可扩展性的注释管道,是未来研究的重要途径。”


当斯坦福大学视觉实验室(Stanford University Vision Lab)在 2009 年的计算机视觉与模式识别大会 CVPR 上 介绍 ImageNet时,它比许多以前存在的图像数据集要大得多。ImageNet 的数据集包含数百万张照片, 这些照片是在两年多的时间里收集的。ImageNet 将 WordNet 层次结构用于数据标签,并被广泛用作物体识别模型的基准。直到 2017 年,ImageNet 的年度竞赛还在推进计算机视觉领域发挥着作用。



但是,在仔细研究 ImageNet 的“基准任务不一致”之后,麻省理工学院的研究小组发现,大约 20% 的 ImageNet 照片包含了多个物体。他们对多个物体识别模型的分析表明,在一张照片中有多个物体会导致整体正确率下降 10%。作者声称,这些问题的核心是用于创建像 ImageNet 这样的大规模图像数据集的数据收集管道。


“总的来说,这个[注释]管道表明,单个 ImageNet 标签并不总是足以捕获 ImageNet 图像内容。然而,当我们训练和评估的时候,我们将这些标签视为基本事实。”报告合著者、麻省理工学院博士生 Shibani Santurkar 在国际机器学习大会 ICML 上 介绍了这项研究结果。“因此,这可能会导致 ImageNet 基准测试与现实世界的物体识别任务之间出现不一致的现象,无论是在我们鼓励模型所做的特性方面,还是在我们如何评估它们的性能方面,都是如此。”


据研究人员的说法,大规模图像数据集的理想方法是收集世界上单个物体的图像,并由专家按照确切的类别对它们进行标注,但这并不便宜,而且也不容易进行扩展。相反,ImageNet 从搜索引擎和像 Flickr 这样的网站上收集图片。然后,通过 Amazon Mechanical Turk 这样的群众外包平台对从互联网搜索引擎收集来的图片进行分类标注。研究人员指出,给 ImageNet 照片标注的 Amazon Mechanical Turk 被要求专注于一个物体,而忽略了其他物体或遮挡物。研究人员称,其他大规模图像数据集也遵循类似的(而且可能还存在问题)管道。


为了评估 ImageNet,研究人员创建了一个管道,要求人类注释员从多个标签中选择一个与照片最相关的。然后,最常被选中标签被用来训练模型,以确定研究人员所说的“绝对基础事实”。


“我们利用的关键思想是利用模型预测实际增强 ImageNet 标签。具体来说,我们采用了多种模型,并将它们的前五个预测汇总起来,得到一组候选标签。” Santurkar 说。“然后,我们实际上通过使用人类注释员来确定这些标签的有效性,但我们不是询问他们单个标签是否有效,而是对多个标签单独重复这个过程。这使得我们能够确定与单个图像可能相关的标签集。”


但研究小组警告说,他们的方法并不完全符合基本事实,因为他们也使用了非专家数据标签。他们的结论是,对于不是专家的人类注释员来说,在某些情况下很难准确地对图像进行标注。例如,除非你是犬类专家,否则从 24 种梗类犬选择一种标签可能是很困难的。


该研究小组的论文在 5 月下旬 首次发表后,于日前被 ICML 接受发表。这篇论文在会议上发表之前, 麻省理工学院决定从互联网上删除 8000 万张小图数据集,并要求拥有该数据集副本的研究人员予以删除。这些措施是在研究人员提请注意数据集中的冒犯性标签,如 N 开头的词,以及针对女性的性别歧视属于和其他贬损性标签后采取的。研究人员对 2006 年发布的 8000 万张小图数据集进行了审核,结论是这些标签是 WordNet 层次结构的结果。


ImageNet 也使用 WordNet 层级结构, 在 ACM FaccT 会议上发表的一篇论文中,ImageNet 的创建者表示,他们计划删除数据集 Person 子树中几乎所有的约 2800 个类别。他们还列举了该数据的其他问题,比如缺乏图像多样性。

作者介绍:

Khari John,非裔美国人,住在旧金山东湾。是 VentureBeat 人工智能专栏作家。


原文链接:


https://venturebeat.com/2020/07/15/mit-researchers-find-systematic-shortcomings-in-imagenet-data-set/


2020-07-28 07:002452
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 570.4 次阅读, 收获喜欢 1979 次。

关注

评论

发布
暂无评论
发现更多内容

Java 开发瓶颈破局:飞算 JavaAI 如何一站式生成标准化项目结构?

飞算JavaAI开发助手

我定制的通义灵码 Project Rules,用 AI 写出“更懂我”的代码

阿里巴巴云原生

阿里云 云原生 通义灵码

QT 实现 C++ 数据类与 json 的转换

电子尖叫食人鱼

c++ qt

搞定 XLSX 预览?别瞎找了,这几个库(尤其最后一个)真香!

Immerse

从编码执行者到系统指挥官:AI时代程序员的价值跃迁之路

飞算JavaAI开发助手

我定制的通义灵码 Project Rules,用 AI 写出“更懂我”的代码

阿里云云效

阿里云 云原生 通义灵码

2025 Java 框架痛点全解析:如何避免性能瓶颈与依赖混乱

飞算JavaAI开发助手

MyBatis中的 10 个宝藏技巧!

量贩潮汐·WholesaleTide

Java 数据库 mybatis

金仓数据库KingbaseES系统故障的排查方法

金仓技术

KingBase 金仓数据库

AI时代下,应用动态化开发有新的思路?

Speedoooo

灰度发布 热更新 小程序容器 小程序技术 动态化技术

Kubelet 可观测性最佳实践

观测云

Kubernetes

金仓数据库KingbaseES PAKCAGE的使用

金仓技术

KingBase 数据库· 金仓数据库

Kubernetes弹性扩容:助力AI大模型部署与运维的云原生实践

inBuilder低代码平台

MySQL的高可用解决方案

陈一之

MySQL 高可用架构

通义灵码入选 “2025 年值得关注的 AIGC 产品”,是唯一入选的 AI 编程产品

阿里云云效

阿里云 云原生 通义灵码

接单流程设计探索

京东科技开发者

从一棵树到一片森林:Mint Forest V3 正式上线!

NFT Research

blockchain web3

k8s中资源限制 limit 和 request 的关系

陈德伟

k8s JVM Request Resource limit

聊聊SpringAI流式输出的底层实现?

王磊

金仓数据库KingbaseES如何通过Hint影响执行计划

金仓技术

KingbaseES 金仓数据库

当KES高可用共享集群部署遇到文件系统损坏,该如何解决?

金仓技术

KingBase 金仓数据库

如何基于 Kestrel 实现 socks5 代理

八苦-瞿昙

C# Proxy

高并发下单库存扣减异常?飞算 JavaAI 自动化生成分布式事务解决方案

飞算JavaAI开发助手

探索Playwright:前端自动化测试的新纪元

京东科技开发者

使用华为开发者空间搭建WordPress博客平台

华为云开发者联盟

华为云 华为开发者空间

通义灵码入选 “2025 年值得关注的 AIGC 产品”,是唯一入选的 AI 编程产品

阿里巴巴云原生

阿里云 云原生 通义灵码

从重复编码到设计:飞算 JavaAI 助力程序员跳出「低阶陷阱」

飞算JavaAI开发助手

飞算JavaAI深度评测:从代码生成到工程化落地的完整能力

飞算JavaAI开发助手

即时编译助力金仓数据库KingbaseES分析能力飞跃

金仓技术

JIT 金仓数据库

飞算 JavaAI 的 “高并发处理” 方案:如何应对流量高峰

飞算JavaAI开发助手

飞算 JavaAI “智能引导” 功能:小白一天也能成为 Java 高手

飞算JavaAI开发助手

MIT 研究人员发现ImageNet数据集存在系统级缺陷_AI&大模型_KHARI JOHNSON_InfoQ精选文章