谷歌AI发布了一篇关于Muse的研究论文，这是一种新的文本至图像生成技术，它基于掩码生成（Masked Generative）Transformer，可以生成与DALL-E 2和Imagen等竞争对手相媲美的高质量图片，但是速度要快得多。
Muse 被训练为预测随机掩码图像的 token，它会使用业已训练过的大型语言模型所生成的嵌入式文本。这项工作涉及在离散的 token 空间中进行掩码建模。Muse 使用一个 9 亿个参数的模型，称为掩码生产transformer（masked generative transformer），以创造视觉效果，而不是采用像素空间扩散或自回归模型。
谷歌声称，借助 TPUv4 芯片，可以在 0.5 秒内创建一个 256*256 的图像，而使用 Imagen 则需要 9.1 秒，根据谷歌的说法，Imagen 使用的扩散模型提供了“前所未有的逼真程度”和“深度的语言理解”。TPU，即张量处理单元（Tensor Processing Unit），是谷歌开发的定制芯片，专门用作 AI 的加速器。
根据研究，谷歌 AI 已经训练了一系列不同规模的 Muse 模型，参数从 6.32 亿到 30 亿不等，研究发现，预先训练好的大型语言模型，对于生成逼真的高质量图像至关重要。
Muse 的性能也超过了最先进的自回归模型Parti，因为它使用了并行解码，在推理时间上比 Imagen-3B 或 Parti-3B 模型快 10 倍以上，根据使用同等硬件的测试，比 Stable Diffusion v1.4 快 3 倍。
Muse 创建的视觉效果与输入中的各种语义成分相对应，如名词、动词和形容词。此外，它还展示了视觉风格和多对象特性的知识，如合成性（compositionality）和基数（cardinality）。
近年来，由于新的训练方法和改进的深度学习架构，图像生成模型有了长足的进步。这些模型有能力生成非常详尽和逼真的图像，在广泛的行业和应用中，它们正在成为越来越强大的工具。
原文链接：
Google AI Unveils Muse, a New Text-To-Image Transformer Model
相关阅读：
中国开发者画像洞察研究报告 2024
分析开发者的行为模式、工作价值、职业发展等内容，帮助整个行业生态更深入地理解开发者，为他们提供更精准...
评论