写点什么

全球最大规模中文跨模态生成模型文心 ERNIE-ViLG 来了!百度这次实现了图文双向生成

  • 2022-01-07
  • 本文字数:2262 字

    阅读完需:约 7 分钟

全球最大规模中文跨模态生成模型文心ERNIE-ViLG来了!百度这次实现了图文双向生成

前不久,百度产业级知识增强大模型“文心”全景图亮相,近日,其中的跨模态生成模型 ERNIE-ViLG 在百度文心官网开放体验入口,并放出了论文。


体验链接:https://wenxin.baidu.com/wenxin/ernie-vilg


论文链接:https://arxiv.org/pdf/2112.15283.pdf



据悉,文心 ERNIE-ViLG 参数规模达到 100 亿,是目前为止全球最大规模中文跨模态生成模型,该模型首次通过自回归算法将图像生成和文本生成统一建模,增强模型的跨模态语义对齐能力,显著提升图文生成效果。


先来体验下文心 ERNIE-ViLG“图像创作”能力。


在文字生成图像上,文心 ERNIE-ViLG 可以根据用户输入的文本,自动创作图像,生成的图像不仅符合文字描述,而且达到了非常逼真的效果。


注意!以下图片都是全新生成,并非可直接搜索到的原图。


文心 ERNIE-ViLG 不仅能创作建筑、动物等单个物体:



还可以创作包含多个物体的复杂场景:



甚至能根据用户输入的文字要求脑洞大开:



对于具有无限想象力的古诗词,文心 ERNIE-ViLG 也能生成恰如其分的画面,并根据不同的图画风格也有所调整:


(油画风格)



(中国画风格)



(水彩画风格)



此外,还能根据文字提示对图片进行补全:



而在图像到文本的生成上,文心 ERNIE-ViLG 能够理解画面,用简洁的语言描述画面的内容:



不仅如此,文心 ERNIE-ViLG 还能够根据图片中的场景回答相关的问题:



目前文心 ERNIE-ViLG 在百度文心官网开放体验的文本生图像 demo 能够根据古诗词进行作画,增强诗词的画面感。


在这些能力的背后,究竟蕴含着怎样的 AI 技术秘密?

跨模态生成:AI 领域极具挑战性的一道“难题”

跨模态生成,指的是将一种模态 (文本、图像、语音) 转换成另一种模态,同时保持模态之间的语义一致性。


图文生成是跨模态生成的挑战之一。以文本生成图片为例,文本描述概括性强,根据文本生成图片,需要考虑大量文字中未涵盖的细节信息,具有极高的挑战性。例如诗句“春江水暖鸭先知”,仅仅描述了江水、鸭子两个物体和春天这个季节,但没有具体描述鸭子的颜色、江边的桃花以及图中物体之间的位置关系。


春江水暖鸭先知


近些年来,基于生成对抗网络(GAN)的方法在人脸、风景等受限领域的文本到图像生成任务上已取得了不错的效果;DALL-E 通过超大规模的自回归生成模型,在图像片段之间建立了前后依赖的关系,从而具备多样性生成的建模能力,在多样性更强、难度更大的开放领域文本到图像生成上取得了亮眼的效果。


百度文心 ERNIE-ViLG 模型则进一步提出统一的跨模态双向生成模型,通过自回归生成模式对图像生成和文本生成任务进行统一建模,更好地捕捉模态间的语义对齐关系,从而同时提升图文双向生成任务的效果。


文心 ERNIE-ViLG 在文本生成图像的权威公开数据集 MS-COCO 上,图片质量评估指标 FID(Fréchet Inception Distance)远超 OpenAI 的 DALL-E 等同类模型,并刷新了图像描述多项任务的最好效果。此外,文心 ERNIE-ViLG 还凭借强大的跨模态理解能力,在生成式视觉问答任务上也实现了较好表现。


文心 ERNIE-ViLG 技术原理解读:图文双向生成统一建模


百度文心 ERNIE-ViLG 使用编码器-解码器参数共享的 Transformer 作为自回归生成的主干网络,同时学习文本生成图像、图像生成文本两个任务。


基于图像向量量化技术,文心 ERNIE-ViLG 把图像表示成离散的序列,从而将文本和图像进行统一的序列自回归生成建模。在文本生成图像时,文心 ERNIE-ViLG 模型的输入是文本 token 序列,输出是图像 token 序列;图像生成文本时则根据输入的图像序列预测文本内容。两个方向的生成任务使用同一个 Transformer 模型。视觉和语言两个模态在相同模型参数下进行相同模式的生成,能够促进模型建立更好的跨模态语义对齐。



文心 ERNIE-ViLG 图文双向生成统一建模框架


已有基于图像离散表示的文本生成图像模型主要采用两阶段训练,文本生成视觉序列和根据视觉序列重建图像两个阶段独立训练,文心 ERNIE-ViLG 提出了端到端的训练方法,将序列生成过程中 Transformer 模型输出的隐层图像表示连接到重建模型中进行图像还原,为重建模型提供语义更丰富的特征;对于生成模型,可以同时接收自身的抽象监督信号和来自重建模型的原始监督信号,有助于更好地学习图像表示。


文心 ERNIE-ViLG 构建了包含 1.45 亿高质量中文文本-图像对的大规模跨模态对齐数据集,并基于百度飞桨深度学习平台在该数据集上训练了百亿参数模型,在文本生成图像、图像描述等跨模态生成任务上评估了该模型的效果。

文本生成图像(Text-to-image Synthesis)任务效果

文心 ERNIE-ViLG 文本生成图像的能力在开放领域公开数据集 MS-COCO 上进行了验证。评估指标使用 FID(该指标数值越低效果越好), 在 zero-shot 和 finetune 两种方式下,文心 ERNIE-ViLG 都取得了最佳成绩,效果远超 OpenAI 发布的 DALL-E 等模型。



文心 ERNIE-ViLG 在 MS-COCO 数据集上的效果

图像描述(Image Captioning)任务效果


图像生成文本能力上,文心 ERNIE-ViLG 在 COCO-CN、AIC-ICC 两个公开中文图片标题生成数据集上,都取得了最好成绩。


文心 ERNIE-ViLG 在 AIC-ICC 数据集上的效果


生成式视觉问答(Generative VQA)任务效果


在生成式视觉问答方面,文心 ERNIE-ViLG 也展示了不俗的实力。生成式视觉问答要求模型根据图像内容和对应的问题生成答案,模型需要具备深度的视觉内容理解能力和跨模态的语义对齐能力,并需要生成简短的答案文本,难度极高。文心 ERNIE-ViLG 在 FMIQA 数据集上取得了最好的效果,图灵测试的通过率达到了 78.5%,优于当前最好方法 14 个百分点。



文心 ERNIE-ViLG 在 FMIQA 数据集上的效果


让机器具备跨模态生成能力是人工智能的重要目标之一。在艺术创作、虚拟现实、图像编辑、AI 辅助设计、虚拟数字人等领域,文心 ERNIE-ViLG 这类跨模态大模型有着广泛的应用前景。

2022-01-07 13:356437
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 569.8 次阅读, 收获喜欢 1979 次。

关注

评论

发布
暂无评论
发现更多内容

飞桨框架2.0正式版重磅发布,一次端到端的“基础设施”革新

百度开发者中心

百度应用部署秘籍

百度开发者中心

乡村振兴:AI+乡村的下一个命题

百度开发者中心

华云大咖说 | 华云数据与海量数据携手共建国产云生态

华云数据

以太坊杀手?NA公链(Nirvana)Chain忠于挑战自己NAC公链

区块链第一资讯

Redis 客户端服务端命令数据交换

escray

redis 学习 极客时间 Redis 核心技术与实战 4月日更

为什么主动跨数据复制在5G时代非常重要?

VoltDB

数据分析 5G VoltDB 电信

iOS 面试策略之算法基础1-3节

iOSer

ios 面试 算法 iOS算法

HugeGraph图数据库获Apache TinkerPop官方认证

百度开发者中心

阿里最强 Python 自动化工具开源了!

星安果

Python 开源 自动化 阿里

Python实现植物大战僵尸

不脱发的程序猿

Python GitHub 开源 游戏开发 4月日更

[知识它]一篇文章或一本书是怎么写出来的

知识它

写作技巧 写文章 快速写作 写作方法

阿里最新发布Spring Cloud ALiBaBa全解第三版开源!

Java架构追梦

Java 阿里巴巴 架构 面试 SpringCloud Alibaba

架构可视化支撑系统演进探索

华为云开发者联盟

架构 软件系统 架构可视化 辅助系统 架构可视化辅助系统

软件测试面试题【2021模拟面试整理版(含答案)】

程序员阿沐

面试 软件测试

重磅功能!博睿数据APM助企业从容应对云原生架构演进

博睿数据

应用性能监控产品 Bonree Server 博睿数据 bonree

关于机器学习的十大常见问题

澳鹏Appen

人工智能 机器学习 深度学习 大数据 数据

正点原子:STM32F103(战舰)、STM32F407(探索者)、STM32F103(MINI)原理图和PCB

不脱发的程序猿

开发板 stm32 硬件设计 4月日更 正点原子

开放原子超级链动态内核上线,十分钟可搭建一条区块链

百度开发者中心

500+解决方案已搭载,英特尔新至强出道不含糊

E科讯

为什么很多SaaS叫好不叫座?

ToB行业头条

SaaS tob

初窥Ray框架

行者AI

深度学习

基于Vue和Quasar的前端SPA项目crudapi后台管理系统实战之布局菜单嵌套路由(三)

crudapi

Vue crud crudapi quasar 路由

中间件技术在百度云原生测试中的应用实践

百度开发者中心

中间件

「开源」首次被列入“十四五”规划,未来大有可为

百度开发者中心

翻译:《实用的Python编程》08_00_Overview

codists

Python

纹理打包器TexturePacker

空城机

UI 4月日更 Texture Packer 纹理打包器 pixi

语音聊天室 anyHouse 使用手册

anyRTC开发者

ios android 音视频 WebRTC RTC

Javascript执行机制-任务队列

Sakura

kubectl top node报错及解决

箭上有毒

GitHub爆火!银四巨作:拼多多/蚂蚁/百度面经分享

比伯

Java 架构 面试 程序人生 技术宅

全球最大规模中文跨模态生成模型文心ERNIE-ViLG来了!百度这次实现了图文双向生成_AI&大模型_百度技术团队_InfoQ精选文章