写点什么

Facebook 打造第一视角视频数据集 Ego4D:捕获超 3000 小时镜头,剑指下一代 AI

  • 2021-10-22
  • 本文字数:1588 字

    阅读完需:约 5 分钟

Facebook打造第一视角视频数据集Ego4D:捕获超3000小时镜头,剑指下一代AI

据了解,Ego4D 是目前最大的第一视角日常活动视频数据集。

第一视角视频数据集 Ego4D


近日,Facebook 公布了一项名为 Ego4D 的研究项目。该项目为 Facebook 与全球 13 所大学和实验室合作项目,通过收集第一人称镜头,以训练下一代人工智能模型。


信息显示,Ego4D 数据集包含超过 3025 个小时的视频,由来自 9 个国家(美国、英国、印度、日本、意大利、新加坡、沙特阿拉伯、哥伦比亚和卢旺达)73 个不同地点录制的视频组成,总录制人数达 855 人。据了解,这些参与者拥有不同的年龄和背景,有些人是因其有趣的职业而被招募过来,例如面包师、机械师、木匠和园艺师。



这也是目前最大的第一视角日常活动视频数据集,在此之前,最大的第一视角视频数据集由人在厨房里 100 个小时的镜头组成。此外,以前的数据集通常由只有几秒钟的半脚本视频剪辑组成,而 Ego4D 的参与者一次佩戴头戴式摄像头长达 10 小时,并拍摄无脚本日常活动的第一人称视频,包括沿街散步、阅读、洗衣、购物、与宠物玩耍、玩棋盘游戏和与其他人互动。一些镜头还包括音频、有关参与者注视焦点位置的数据以及同一场景的多个视角。



收集到视频后,卢旺达的工作人员总共花费了 25 万个小时观看数千个视频剪辑,并编写数百万个描述拍摄场景和活动的句子。这些视频能够帮助人工智能理解或识别现实世界或虚拟世界中的某些事物,人类也可以通过一副眼镜或 Oculus 耳机从第一人称视角看到这些事物。


纽约石溪大学和谷歌大脑的计算机视觉研究员 Michael Ryoo 表示:“这个数据集里的视频更接近人类所观察的世界,这在同类数据集中是第一个。”


值得一提的是,研究人员还列出了该项目的五大挑战:


  • 情景记忆:我的 X 在哪里?

  • 手与物体交互:物体在交互过程中如何变化?

  • 视听日记:谁说了什么,什么时候说的?

  • 社会交互:谁在与谁交互?

  • 预测:接下来会发生什么?


Facebook 首席研究科学家 Kristen Grauman 在接受 CNBC 采访时表示,“这次发布的是一个开放数据集和研究挑战,它能促进我们内部和学术界外部进步,其他研究人员可以支持这些新问题,以更有意义、更大规模的方式共同解决它”。


据 Grauman 介绍,该数据集可以部署在 AI 模型中,用于训练机器人等技术以更快地了解世界。“在过去,机器人通过在自己做事来进行学习,现在,它们有机会根据人类经验从视频中学习。”


Facebook 表示,Ego4D 数据集将在 2021 年 11 月底之前提供下载。

隐私问题引担忧


Ego4D 数据集虽然给下一代人工智能带来了更多的想象空间,但也不可避免地引发人们对于隐私问题的担忧。Grauman 坦言:“在做 Ego4D 项目时,我们也意识到有一些隐私方面的工作需要做,尤其是当将隐私从探索性研究领域带出融入到产品中时。”


Facebook 表示,只有在征得参与者同意后,数据才会包含面部和其他识别信息。同时,出于隐私考虑,对于大多数视频,数据已在发布前进行了去标识化处理,如已从视频中删除了个人身份信息,并模糊了旁观者的面部和车牌号码,此外,许多视频中的音频也被删除了。


面对质疑,Facebook 的发言人称,该公司预计将来会进一步引入隐私保护措施,“Ego4D 纯粹是为了促进更广泛科学界进步的研究,我们今天没有任何关于产品应用或商业用途的分享。”


伴随着人工智能技术快速发展,隐私问题一直是大家讨论的焦点。人工智能在获取和处理海量信息数据,不可避免会涉及个人隐私保护这一重要伦理问题,并且隐藏着不容忽视的隐私泄露风险。


当前,国内外都颁布了相应的法规保护用户隐私与数据安全。比如在欧洲,2018 年生效的《通用数据保护条例》(General Data Protection Regulation,GDPR)对个人数据的收集和使用进行了规范。数据保护条例并没有明确提及人工智能或机器学习,但对个人数据的大规模自动处理和自动决策非常重视。这意味着,凡是人工智能使用个人数据的地方,都属于该条例的范围,皆适用 GDPR 原则。


而至于 Facebook 的 Ego4D 数据集未来会在隐私保护上交出怎样的答卷,一切交给时间。

2021-10-22 13:586177

评论

发布
暂无评论
发现更多内容

英特尔正式启动人工智能创新应用大赛,助力更多开发者抓住 AI PC新机遇

E科讯

加速开发与部署:Docker容器与低代码开发的完美结合

不在线第一只蜗牛

Docker 低代码 容器化 部署

天谋科技时序数据库 IoTDB 电力应用案例入选中国信通院「中国通信行业开源创新发展案例集」

Apache IoTDB

稳定币分析的 3 个关键指标

Footprint Analytics

区块链 加密货币 稳定币

软件测试/测试开发丨<火焰杯>测试开发职业竞赛开始报名啦!

测试人

软件测试 测试开发

喜讯 | 华为云多个开源项目通过信通院可信认证

华为云开源

云原生 开源项目 可信开源 华为云开源

数智金融技术峰会|数新网络受邀分享《金融信创湖仓一体数据平台架构实践》,敬请期待

数新网络官方账号

大数据 金融

Github标星第一,堪称最强前端面试指南!

程序员改bug

前端 前端面试 前端开发程序员 前端程序员

告别高昂存储,高效灵活管理数据

观测云

日志分析 数据备份

详解Prompt框架

Bob Lin

人工智能 AI openai ChatGPT GPT-4

驱动AI PC应用向大众普及,英特尔人工智能创新应用大赛为开发者与大众用户搭建桥梁

E科讯

当 ChatGPT 有了身体会怎样?《Nature》预测 2024 科技大事丨 RTE 开发者日报 Vol.112

声网

年度总结&计划-做标杆服务协创未来

开源物联卡管理平台-设备管理

物联网 IoT eSIM安全 Java技术提升

大厂 300+ 道前端面试题大全附答案(整理版)+前端常见算法面试题~~全面详细

程序员改bug

程序员 面试 前端 前端开发

长文预警,凭借前端面试题精选大全 ,成功混圈阿里字节腾讯

程序员改bug

程序员 前端 开发 IT 计算机

运维人员新身份——背锅侠

尚思卓越

运维

每日一题:LeetCode-718. 最长重复子数组

Geek_4z9ami

Go 面试 算法 LeetCode 动态规划

如何使用 NFTScan NFT API 在 Base 网络上开发 Web3 应用

NFT Research

API NFT\ NFTScan

手把手教你用python做一个年会抽奖系统

不在线第一只蜗牛

Python 人工智能 编程语言 年会

2024中国信通院ICT深度观察报告会 | 政企数字化转型论坛在京召开

信通院IOMM数字化转型团队

数字化转型 IOMM ICT深度观察

<火焰杯>测试开发职业竞赛开始报名啦!

测吧(北京)科技有限公司

测试

Facebook打造第一视角视频数据集Ego4D:捕获超3000小时镜头,剑指下一代AI_AI&大模型_凌敏_InfoQ精选文章