写点什么

谷歌最新 Imagen AI 在文本至图像生成方面优于 DALL-E

作者:Anthony Alford

  • 2022-06-29
  • 本文字数:1648 字

    阅读完需:约 5 分钟

谷歌最新Imagen AI在文本至图像生成方面优于DALL-E

来自谷歌大脑团队的研究人员发布了Imagen,这是一个文本至图像的 AI 模型,它能够通过给定的文本描述生成该场景下逼真的图像。Imagen 在 COCO 基准上的表现要优于DALL-E 2,并且与很多类似的模型不同,它只对文本数据进行了预训练。


发布在 arXiv 上的论文描述了该模型和多个实验。Imagen 使用 Transformer 语言模型将输入的文本转换成一个嵌入式向量的序列。然后,连续的三个扩散模型(diffusion model)会将这些嵌入式的向量转换成 1024x1024 像素的图片。作为其成果的一部分,该团队开发了名为U-Net的改进型扩散模型,以及适用于文本至图像模型的新基准套件 DrawBench。按照 COCO 基准,Imagen 的 zero-shot FID得到了 7.27 分,超过了之前表现最好的 DALL-E 2 模型。研究人员还讨论了其工作潜在的社会影响,指出:


我们开发 Imagen 的主要目标是推进生成方法(generative method)的研究,使用文本到图像的合成作为一个测试平台。尽管生成方法的终端用户在很大程度上不在这个范围之内,但是我们意识到该研究的潜在下游应用是多种多样的,并且可能会以很复杂的方式影响社会……在未来的工作中,我们将会探索一个负责任的外部化框架,以平衡外部审计的价值和不受限制的开放访问的风险。


近年来,一些研究人员已经在探索训练多模式(multimodal)的 AI 模型,也就是在不同类型的数据上操作系统,比如文本和图像。在 2021 年,OpenAI 发布了CLIP,这是一个深度学习模型,能够将文本和图像映射到相同的嵌入空间中,让用户判断文本描述是否与给定的图像匹配。该模型在很多计算机视觉任务中被证明是有效的,OpenAI 还用它创建了DALL-E模型,它能够通过文本描述生成逼真的图像。CLIP 以及类似的模型都是在图像-文本组合的数据集上进行训练,这些数据都是从互联网上搜集而来,类似于 InfoQ 今年早些时候报道的LAION-5B数据集。


谷歌团队没有使用图像-文本数据集来训练 Imagen,而是简单地使用了“现成的”文本编码器T5,将输入文本转换成嵌入式向量。为了将嵌入式向量转换成图像,Imagen 使用了一系列的扩散模型。这些用于图像生成的 AI 模型使用了迭代的去噪过程,将 Gaussian 噪音转换成数据分布中的样本,在该情况下,也就是图像。去噪的条件是一些输入。在第一个扩散模型中,条件就是输入文本的嵌入式向量,该模型的输出是一个 64x64 像素的图像。该图像经过两个“超级分辨率”扩散模型的向上采样,将分辨率提升到了 1024x1024。对于这些模型,谷歌开发了一个新的深度学习架构,叫做 Efficient U-Net,它比以前的 U-Net 实现 “更简单,收敛更快,内存效率更高”。



“一只可爱的柯基犬住在用寿司做成的房子里”。图片来源:https://imagen.research.google


除了在 COCO 校验集上评估 Imagen 之外,研究人员还开发了一个新的图像生成基准,即 DrawBench。该基准由一系列文本提示组成,“旨在探测模型的不同语义属性”,包括组成、基数(cardinality)和空间关系。DrawBench 使用人类评估员比较了两种不同的模型。首先,每个模型根据提示生成图像。然后,评估人员比较这两个模型的结果,指出哪个模型产生的图像更好。借助 DrawBench,谷歌大脑团队将 Imagen 与 DALL-E 2 以及其他三个类似的模型进行了评估。团队发现,与其他模型相比,评委们“非常”喜欢 Imagen 生成的图像。


在 Twitter 上,谷歌的产品经理 Sharon Zhou讨论了这项成果,她指出:


一如既往,[结论]是我们需要不断扩大[大型语言模型]的规模


在另一个主题推文中,谷歌大脑团队的负责人 Douglas Eck 发布了一系列由Imagen生成的图像,这些图像都来自于同一个提示信息的不同变化形式,Eck 通过添加词语来调整图像的风格、亮度和其他方面。在Imagen项目的网站上还可以找到其他几个由 Imagen 所生成图像的样例。


作者简介:

Anthony 是 Genesys 的开发总监,他从事与客户体验相关的多个 AI 和 ML 项目。他在设计和构建可扩展软件方面有着超过 20 年的经验。Anthony 拥有电子工程博士学位,专业是智能机器人软件,曾在人与人工智能交互和 SaaS 业务优化的预测分析领域研究过各种问题。


原文链接:

Google's New Imagen AI Outperforms DALL-E on Text-to-Image Generation Benchmarks

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2022-06-29 09:005372

评论

发布
暂无评论
发现更多内容

28岁小公司程序员,无车无房不敢结婚,要不要转行?

程序员晚枫

程序员 收入

初识大热的ChatGPT的几点思考|社区征文

穿过生命散发芬芳

ChatGPT

前端学习路径

阡陌r

Portraiture2023人像免费磨皮插件

茶色酒

Portraiture2023

经验分享:高德地图如何短时间快速完成春节出行备战工作?

阿里巴巴中间件

阿里云 云原生 函数计算

架构实战 8 - 消息队列MySql表格设计

架构实战营 「架构实战营」

使用OpenAI接口释放ChatGPT API 的力量

devpoint

React nextjs ChatGPT

JavaScript异步编程的深入理解,使用回调函数实现异步编程

兴科Sinco

JavaScript 前端 前端开发 异步编程

分享主流的10个流程管理软件

PingCode

流程管理 流程管理软件

LeSS敏捷框架高效生产力实践

俞凡

敏捷开发 大厂实践

Kubernetes容器状态探测的艺术

俞凡

Kubernetes 云原生

将老人拉出无声的世界,AI是怎么做的?

脑极体

AI医疗

FL Studio21中文语言版水果编曲工具

茶色酒

FL Studio21

One-YOLOv5 v1.2.0发布:支持分类、检测、实例分割

OneFlow

人工智能 深度学习

一天吃透Git面试八股文

程序员大彬

git 面试

订单超时怎么处理?我们用这种方案

阿里巴巴中间件

阿里云 云原生

工作一年,我重新理解了《重构》

阿里巴巴中间件

阿里云 云原生 重构

架构训练营-模块9秒杀系统

张Dave

国内AGV调度系统到底是什么水平?

申扬科技

调度系统 AGV

【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制(上篇)

洛神灬殇

分布式 2PC 3PC 原理分析 分布式协议

如何设计一个优秀的 Go Web 项目目录结构

江湖十年

Go 设计 后端 项目 Web Service

在前端领域摸爬滚打7年,我终于掌握了这些沉淀技巧

小鑫同学

强强联合:Neovim+ChatGPT | 社区征文

SkyFire

ChatGPT neovim

前端学习

阡陌r

Spinner(列表选项框)的基本使用

攻城狮Wayne

android spinner galley

大型供应链物流企业的数字化转型方法论

明道云

Matlab常用图像处理命令108例(二)

timerring

图像处理

AutoCompleteTextView的基本使用

攻城狮Wayne

android 控件 AutoCompleteTextView

极氪汽车 APP 系统云原生架构转型实践

阿里巴巴中间件

阿里云 云原生

YOLOv5全面解析教程⑥:模型训练流程详解

OneFlow

人工智能 深度学习

从混乱到完备:我的研发流程之路

SkyFire

研发流程

谷歌最新Imagen AI在文本至图像生成方面优于DALL-E_AI&大模型_InfoQ精选文章