写点什么

Runway 全新 Gen-3 视频生成模型获网友盛赞:比 Sora 更好

  • 2024-06-20
    北京
  • 本文字数:2192 字

    阅读完需:约 7 分钟

大小:1.04M时长:06:04
Runway 全新 Gen-3 视频生成模型获网友盛赞:比 Sora 更好

凭借广受欢迎的视频生成工具而声名大噪的 AI 厂商 Runway 最近发布了最新版本的 Runway Gen-3。Gen-3 Alpha 是 Runway 在专为大规模多模态训练所构建的全新基础设施之上,训练出的模型家族的首位成员。与 Gen-2 相比,Gen-3 在保真度、一致性和运动表现方面迎来重大改进,并朝着构建通用世界模型迈出了坚实一步。


新模型目前仍处于 alpha 内测阶段,尚未对外公布。但从一系列演示视频的效果来看,与目前已经开放的 Gen-2 相比,下代模型生成的视频似乎在连续性、真实性以及提示词遵循能力方面取得了重大飞跃。


  • 细粒度的时间控制


Gen-3 Alpha 由描述精细、时间密集的描述词训练而成,可实现富有想象力的过渡效果并为场景元素生成精确的关键帧。


00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    • 逼真的人类形象


    Gen-3 Alpha 擅长生成具有各种动作、手势及情绪,且富有表现力的人类形象,开拓出前所未有的叙事方式与空间。

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      • 为艺术家而生,供艺术家使用


      Gen-3 Alpha 的训练由研究科学家、工程师及艺术家共同组成的跨学科团队倾力完成,旨在诠释各种视觉风格及镜头语言。


      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        Gen-3 模型生成的视频,特别是包含大画幅人脸特写的视频,拥有极为逼真的画面效果。这也不禁令 AI 艺术社区的成员们将其与 OpenAI 尚未发布,但同样备受期待的 Sora 进行了比较。


        00:00 / 00:00
          1.0x
          • 3.0x
          • 2.5x
          • 2.0x
          • 1.5x
          • 1.25x
          • 1.0x
          • 0.75x
          • 0.5x
          网页全屏
          全屏
          00:00


          网友评价


          一位 Reddit 用户在 Runway Gen-3 讨论主题下的高票评论中写道,“哪怕目前展示的都是精心挑选的优质之作,效果看起来也要比 Sora 好得多。Sora 的效果和观感仍有风格化痕迹,但这边的视频则更真实,也是我迄今为止见过的最好的 AI 生成视频。”


          另一位用户则在拥有 6.6 万成员的 Reddit AI Video 子频道上写道,“如果不告诉我,我肯定会觉得这些画面是真实拍摄出来的。”


          AI 电影制作人、自称 Runway 创意合作伙伴的用户 PZF 发布推文称,“这些 Runway Gen-3 片段在我看来吸引力十足——看起来很有电影的质感。画面流畅、平实(我是说非常自然)而且相当可信。”



          除了 Gen-3 视频生成器,Runway 还推出了一套微调工具,提供更灵活的图像与相机控制选项。该公司发布推文称,“Gen-3 Alpha 将为 Runway 的文本生视频、图像生视频以及文本生图像工具、现有控制模式(例如运动画笔、高级相机控制及导演模式)以及即将推出的工具提供支持,以前所未有的精细方式控制结构、风格与运动形态。”



          Gen-3 Alpha 是 Runway 在专为大规模多模态训练所构建的全新基础设施之上训练出的模型家族的首位成员,代表我们朝着构建通用世界模型迈出了坚实一步。



          Gen-3 Alpha 经过视频与图像的联合训练,旨在为 Runway 旗下各文本生视频、图像生视频及文本生图像工具、现有控制模式(如运动画笔、高级相机控制、导演模式)以及即将推出的更多工具提供支持,以前所未有的精细方式控制结构、风格与运动形态。


          Runway 宣称,Gen-3 是其实现建立“通用世界模型”这一雄心勃勃目标的重要一步。这些模型使得 AI 系统能够构建环境的内部表现,并借此来模拟该环境中将要发生的未来事件。这种方法使得 Runway 有别于只关注特定时间轴内下一可能帧的传统预测技术。


          虽然 Runway 方面尚未透露 Gen-3 的具体发布时间,但公司联合创始人兼 CTO Anastasis Germanidis 宣布 Gen-3 Alpha“将很快在 Runway 产品内现身”。他还透露,具体包括现有模态以及“一些目前只能借助更强大基础模型实现的新模态”。



          Runway Gen-3 Alpha 将很快在 Runway 产品中现身,并将支持大家所熟悉的全部现有模态(文本生视频、图像生视频、视频生视频),以及一些目前只能借助更强大基础模型实现的新模态。

          竞品对比


          Runway 的 AI 探索之旅始于 2021 年,当时他们与慕尼黑大学的研究人员合作开发出 Stable Diffusion 的首个版本。Stability AI 后来以帮助该项目承担计算成本为由介入,并推动 AI 视频生成在全球范围内掀起热潮。


          从那时起,Runway 就一直是 AI 视频生成领域的重要参与者,与 Pika Labs 等竞争对手并驾齐驱。然而,随着 OpenAI 宣布推出超越现有模型能力的 Sora,市场格局也随之发生变化。好莱坞著名演员阿什顿·库彻最近表示,像 Sora 这样的工具可能会彻底颠覆影视剧的创作逻辑,此言一出旋即引发轰动。


          然而就在全球翘首期待 Sora 发布之际,新的竞争对手也陆续崭露头角,包括快手打造的 Kling 以及 Luma AI 的 Dream Machine。


          Kling 是一款来自中国的视频生成器,能够以每秒 30 帧的速度生成最长 2 分钟的 1080p 分辨率视频,较现有模型实现了巨大改进。这套中文模型现已发布,但用户需要使用中国手机号进行注册。快手表示后续将为该模型推出全球版。


          另一颗新星 Dream Machine 则是一套可供免费使用的平台,能够将书面文本转换为动态视频,且生成结果在质量、连续性及提示词遵循效果方面全面超越 Runway Gen-2。用户只需提交 Google 账户即可完成登录,但目前由于人气过高,内容生成速度往往很慢、甚至无法顺利完成视频生成。


          在开源领域,Stable Video Diffusion 虽然在生成效果上不算出色,但其开放属性却为模型的后续改进和发展提供了坚实基础。Vidu 是由北京生数科技和清华大学开发的另一款 AI 视频生成器,采用名为 Universal Vision Transformer (U-ViT) 的专有视觉转换模型架构,只需一次单击即可生成 16 秒长的 1080p 分辨率视频。


          至于前面提到的 Pika Labs,由于尚未发布重大更新,所以其目前的生成效果基本与 Runway Gen-2 持平。


          参考链接:


          https://runwayml.com/blog/introducing-gen-3-alpha/https://decrypt.co/235842/runway-gen-3-ai-video-better-than-sora


          2024-06-20 18:049259

          评论

          发布
          暂无评论
          发现更多内容

          AIGC背后的技术分析 | 基于规则产生式的推理

          TiAmo

          推理 AIGC 规则产生

          日常开发中,程序员如何提升技术?这13个点一定要做到!

          Java你猿哥

          Java ssm java基础 日常开发 java 编程

          一个同事喜欢查别人的BUG,截图发工作大群,还喜欢甩锅怎么办?

          Java你猿哥

          Java 程序员 ssm 编码 java编程

          搜索引擎的基本架构

          Andy

          一不小心,穿越到未来银行

          脑极体

          生成式AI

          网易数帆汪源:低代码仍然被“误会”,市场明年会迎拐点

          B Impact

          文心一言 VS chatgpt (17)-- 算法导论4.1 3~4题

          福大大架构师每日一题

          ChatGPT 文心一言

          浅克隆和深克隆有什么区别?

          javacn.site

          java面试

          探究 JavaScript 前端热点面试题(三):让你在面试中游刃有余!

          Immerse

          PullTube for Mac使用技巧:快速导出铃声、缩略图和短片

          Rose

          Mac视频下载器 PullTube下载 PullTube使用教程

          BitKeep崛起:千万用户的信任,终点还未到来

          股市老人

          C语言编程—数据类型

          芯动大师

          从腾讯XR、Meta、迪士尼裁员先砍元宇宙,谈应对不确定新业务

          B Impact

          小白白也能学会的 PyQt 教程 —— 自定义组件 Switch Button

          繁依Fanyi

          2023-05-16:给你一个 严格升序排列 的正整数数组 arr 和一个整数 k 。 请你找到这个数组里第 k 个缺失的正整数。 输入:arr = [2,3,4,7,11], k = 5。 输出:9

          福大大架构师每日一题

          golang 算法 rust

          新能源汽车品牌加速出海 赛力斯“硬实力”助力全球化布局

          科技热闻

          MySQL触发器Trigger加载以及目前局限

          GreatSQL

          MySQL greatsql greatsql社区

          日常开发中,程序员如何提升技术?这13个点一定要做到!

          程序员小毕

          Java 程序员 程序人生 后端 架构师

          IDP 与 DevOps平台:相似之处与关键差异

          SEAL安全

          IdP 平台工程 内部开发者平台

          依赖反转和依赖注入:提高程序的可维护性和可扩展性

          Jack

          TiKV 新架构:Partitioned Raft KV 原理解析

          PingCAP

          MySQL 数据库 TiDB

          聊一聊适配器模式

          Java 设计模式 适配器模式

          CrossOver 让你在Mac上轻松运行 PC 游戏

          Rose

          虚拟机 CrossOver2023 Mac电脑运行win CrossOver Mac下载

          揭秘RLHF;可商用开源LLM列表;领域编译器的前世今生

          OneFlow

          人工智能 深度学习 RLHF

          涅槃重生,BitKeep如何闯出千万用户新起点

          鳄鱼视界

          Session 会话

          Andy

          一不小心,穿越到未来银行

          白洞计划

          银行 生成式AI

          开发者反响热烈,阿里云免费试用产品增至 80 多款!

          云布道师

          阿里云

          SecureCRT中文乱码怎么办?解决 SecureCRT中文乱码方法

          Rose

          SecureCRT下载 SecureCRT激活版 SecureCRT许可证 SecureCRT中文乱码

          SVN管理工具Cornerstone入门教程

          Rose

          cornerstone 4破解 SVN管理 Cornerstone教程 Mac版Cornerstone许可证

          Runway 全新 Gen-3 视频生成模型获网友盛赞:比 Sora 更好_AI&大模型_褚杏娟_InfoQ精选文章