微软推出预训练模型VLP,可通过模仿人类来理解图片与视频内容

2019 年 10 月 10 日

微软推出预训练模型VLP,可通过模仿人类来理解图片与视频内容

近日,微软官方技术博客上发布了一篇文章,文章表明:微软的AI系统正在通过大规模的预训练和统一的架构来扩展场景和语言理解。

该系统通过模仿人类对世界了解的方式来训练图像-文本对。微软方面表示,其单模型编码-解码器视觉语言预训练(VLP)模型既可以生成图像描述,又可以回答有关场景的自然语言问题,为将来可能达到人类同等水平的框架奠定了基础。



图片来源:Microsoft Research Blog


人类从小就开始学习,了解周围的世界是一项必备的生存技能。人们通过观察环境、与周围环境以及其他人的互动直接或间接地学到了很多东西:比如一个叔叔指着一块闪亮的红色水果并讲述了他的侄子是苹果;或者一位老师读了一本关于毛毛虫的书,并告诉他毛毛虫最后变成了蝴蝶;又或者一个孩子观察着她的父母在谈论寄信的事情,以及寄出邮件的邮递员,她看到父母拿出了白色信封,上面印有刻字和邮票等等。


即使周围的环境发生新的变化,人类也能通过经验来理解这些变化。一枝花插在花瓶里,而后院的花园里种满了花,孩子们能够利用常识将这两者联系起来,并随着信息的获取而调整意识里旧的关联,利用他们的内在常识来弄清楚他们遇到的事情。人类与物理环境、照片和书籍等物品的互动越多,就越能更好地理解和使用语言来解释周围环境中存在的事物和发生的事情。


可是,对于机器而言,场景理解和语言理解很难训练,特别是在弱监督的条件下。如果没有确切的标签来学习场景中的所有组件,机器将难以获得扎实的基础,以建立需要了解场景和语言的其他功能。收集必要的标签通常代价很高,即使好的标签也只能提供对场景的合理理解,而不能提供语言信息。


那么,主要的问题就变成了:是否可以利用网络上可用的大量图文对,来模仿人类改善场景和语言理解的方式?能否建立一个统一机器功能的模型,以在视觉语言生成任务和理解任务上都表现出色?


在微软的论文《用于图像标注和VQA的统一视觉语言预训练》中,研究人员提出了一个统一的单模型编码-解码器系统,该系统能够完成两个不同的任务:生成图像场景描述和视觉问题解答(VQA)。


生成场景描述并回答有关场景的自然语言问题,可以很好地指示系统在场景理解和语言理解方面的整体有效性。研发人员相信该模型(又被称为视觉语言预训练(VLP)模型)是率先使用来自语言和视觉的数据来显示针对不同下游任务的重大改进的模型之一。


目前该模型已经在GitHub上开源,已使用三百万个图文对进行了预训练。微软方面表示:如果可以进一步利用文本数据来训练,并充分利用可公开获得的视觉数据集——比如带有标注的大型电影集,以及基于图像和视频的人类对话,或者在社交媒体上发布的图像或视频下的评论,或许将有机会看到机器场景和语言理解达到人类平等。



微软研究人员针对通用的视觉语言预培训开发了统一的编码-解码器模型,并对它们进行了微调,以进行图像标注和视觉问题解答。通过视觉语言预训练,与随机初始化或仅使用语言的预训练相比,下游任务的训练速度和整体准确性都得到了显著提高。


在当前模型上进行改进


现有的图像标注和 VQA 方法只有质量低下的标注和推理功能。这主要是由于三个原因:


  1. 上下文利用不充分。这是一项非常重要的功能,尤其是当给定场景中存在各种对象、关系和概念时,上下文的有效性不足。此外,该模型应该能够识别重要的组成部分,以准确描述图像并在给定自然语言问题的情况下对它们进行推理。

  2. 没有利用大规模的训练数据进行预训练。这对于学习语言和视觉的通用表示形式至关重要,对于许多下游任务尤其有用,而不仅仅是对图像标注和VQA有效。

  3. 体系结构在各种任务集上都设计得不能很好地执行。在这些任务集上,例如VQA和信息检索需要语言和视觉对齐,并且使用单个模型执行语言生成。


而微软的 VLP 模型试图通过以下架构克服上述限制:


  • 部署共享的多层变压器网络(multi-layer transformer network)进行编码和解码;

  • 针对双向和序列到序列预测进行优化;

  • 在自我关注机制中结合特殊的蒙版,以使单个模型可以在给定场景上执行生成和理解任务。


当前大多数对模型进行预训练以处理多个任务的方法中,采用的是分别对编码器和解码器进行预训练,或者仅对它们的编码器进行预训练。但是微软的研发人员将编码器和解码器一起预训练,并针对双向和序列到序列的预测进行优化,这样做可以创建更好地对齐的编码-解码器表示形式,从而允许将相同模型用于不同的任务,例如图像标注和 VQA。


测试与评估


研发人员在三个具有挑战性的基准上评估了 VLP 对图像进行标注和推理的能力:COCOFlickr30KVQA 2.0。结果是:VLP 在几个图像标注和 VQA 指标上的表现均优于基线模型和最新模型,在训练过程中,VLP 被证明更准确,收敛速度更快。


对 COCO 和 VQA 2.0 的定性结果(如下图 2 所示)表明,VLP 不仅可以在生成标注时键入更多细节(如第一张照片的标注所示),而且还可以回答有关图像的挑战性问题。以前仅接受过语言训练的模型无法正确回答此类问题。例如,VLP 能够在第一张照片中识别出不同人的服装设计相似性,以及第二张照片中的主角并不是在自拍等等。



图 2:上表显示了 COCO 和 VQA 2.0 的定性示例。第一列表示来自 COCO 验证集的图像;第二列显示了五个人工标注;第三列表示由三种不同模型生成的标注及其对应的 CIDEr 分数,这是一种用于评估标注质量的指标,只有 Unified VLP 具有视觉语言预训练;最后一列显示 VQA 问题和与图像相关联的正确答案以及由模型生成的答案,前两个是成功案例,后两个是失败案例。


该研发团队表示:未来将继续加强 VLP 架构和预训练方法,同时在预训练和一系列更多样化的下游任务中添加更多数据。


2019 年 10 月 10 日 17:041024
用户头像
陈思 InfoQ编辑

发布了 555 篇内容, 共 189.7 次阅读, 收获喜欢 1064 次。

关注

评论

发布
暂无评论
发现更多内容

JVM系列之:String,数组和集合类的内存占用大小

程序那些事

Java JVM GC JOL

性能测试与优化 和 操作系统与文件系统

满山李子

极客大学架构师训练营

数据湖应用解析:Spark on Elasticsearch一致性问题

华为云开发者社区

大数据 spark elasticsearch 数据湖 华为云

架构训练营第七周作业

张锐

挑战10的1,143,913次方种算法组合:这都不是事儿!

华为云开发者社区

华为 算法 进化 华为云

前浪出新招,996已过时,互联网员工都开始住公司了!(爆公司信息)

程序员生活志

加班 996 007 互联网公司

http请求压测工具

潜默闻雨

英特尔唐炯:竞争推动PC行业良性发展,促使英特尔前行

飞天鱼2017

BIGO | Likee深度推荐模型的特征工程优化

InfoQ_3597a20b53cc

人工智能

web 性能压测工具

Z冰红茶

漫画:如何证明sleep不释放锁,而wait释放锁?

王磊

Java Wait Sleep

进击的 Flink:网易云音乐实时数仓建设实践

Apache Flink

flink

面试官拿System.out.println()考了我半个小时?我傻了

Java小咖秀

Java 面试

新手村:MySQL 学习经验、资源的分享

多选参数

MySQL MySQL 高可用 MySQL优化

计算机网络基础(八)---网络层-路由概述

书旅

计算机网络 网络协议 计算机基础 AS

原生Ingress灰度发布能力不够?我们是这么干的

博云技术社区

云计算 容器 云原生 PaaS

直播中那几秒延时到底来自哪?

巨侠说

CDN 云直播 直播 直播带货

百度人脸算法“飞速迭代”,多模态活体检测V3.1获银行卡检测中心增强级认证

百度大脑

人工智能 人脸识别 百度大脑

程序设计理念-CentOs7实践Nginx-带来安装服务的通用法则

图南日晟

Nginx PHP-FPM 架构设计 环境安装

PV与UV你的网站也可以

北漂码农有话说

来了,来了,你们要的Nginx教程来了

Java旅途

nginx

第7周总结:性能

慵秋

Kubernetes的拐点助推器:左手开源,右手边缘计算

华为云开发者社区

Kubernetes 容器 边缘计算 容器技术 华为云

为啥Underlay才是容器网络的最佳落地选择

博云技术社区

云计算 容器 容器网络

第7周-作业1

seng man

技术​选型的艺术

YourBatman

技术选型 湖北

架构感悟 7- 性能优化何为

旭东(Frank)

秒懂云通信:选云通信到底哪家强?

巨侠说

云通信 通信云

【小白学YOLO】YOLOv3网络结构细致解析

华为云开发者社区

人工智能 网络 物体检测 华为云 网络层

web压力性能测试

周冬辉

压力测试

关于数据库索引的知识点,你所需要了解的都在这儿了

鄙人薛某

MySQL 索引结构 索引 MySQL优化

微软推出预训练模型VLP,可通过模仿人类来理解图片与视频内容-InfoQ