Flickr 公布百万图像供研究者使用

  • 张天雷

2014 年 7 月 10 日

话题:大数据语言 & 开发架构机器学习AI

近日,雅虎洛杉矶研究院的人机交互研究员David Ayman Shamma在雅虎研究院网站新闻上发布了 Flickr 图片数据集,内有百万张基于 Creative Common 许可的图片,以供研究者使用。David 是雅虎人机交互研究组的高级经理和组长,同时也是雅虎研究院在 Flickr 的科研联络人。

在官网上对于数据集进行描述和结识的文章中,David 表示,信息时代的摄影在不停的发生变化,从古老的 C-41 逐步演变成为完全不同的形式。粗略估计当前全世界的照片中,有 10% 的来自过去一年,这还是三年之前给出的估计。图片服务网站 Flickr 以 Creative Common 许可为基础,成了人们分享照片的便捷途径。

当前学术界大部分的图像研究,还只能使用小规模数据集进行算法的测试。因此雅虎研究院联手 Flickr 给全世界的研究人员提供一个更为宏伟的平台。因此 Flickr 迅速得到了学术界的青睐,每张图片的原始数据,元数据,分享方式、分享网络,都可以为现有的研究问题如计算机视觉、社会网络研究等带来解答,同时也将孕育新的研究萌芽,比如现在机器学习领域的深度学习。

Flickr 此次公布的数据集中,包括近 1 亿张图片和 70 万部视频,它们全部来自 Flickr,并且受 Creative Common 许可保护。数据集大概有 12GB,包括图片 id、jpeg 格式图片的下载地址,视频的下载地址以及标题、描述、相机类型、标签等元数据。指的一提的是,其中大概 5 千万图片有地理信息标记,而且关于图片的评论,点赞以及分享数据都可以通过 Flickr 的 API 进一步得到。

更令人非常佩服的是,与以往的数据分享机构简单的发布原始数据这种方式不同,雅虎研究院非常认真的要进一步拥抱学术界,David 表示,由于 1 亿张图片的处理需要大量的计算能力和时间,并不是随便一个研究机构都能办到,雅虎研究院联合位于伯克利的国际计算科学研究所(ICSI)以及劳伦斯利弗莫尔国家实验室会基于这些图片和视频提取业界常用的视觉和音频特征,然后放到亚马逊云服务(整个处理过的数据在 50TB 左右),供全世界的研究人员使用。

此外,David 还对研究方向给出了一些建议,如不借助图片的经纬度信息来给出拍摄地点的 MediaEval Placing 任务,物体定位、概念识别和抽取等任务。

目前数据集的下载需要向雅虎研究院提交申请,审核后可以下载。


感谢郭蕾对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

大数据语言 & 开发架构机器学习AI