写点什么

媲美 Sora?Runaway 亮相视频生成模型 Gen-3 Alpha,更懂物理世界

  • 2024-06-18
    北京
  • 本文字数:1455 字

    阅读完需:约 5 分钟

大小:712.17K时长:04:03
媲美Sora?Runaway亮相视频生成模型Gen-3 Alpha,更懂物理世界

人工智能生成的高质量视频的竞争正在升温。

 

当地时间 6 月 17 日,专门为电影和图像内容创作者开发生成式人工智能工具的公司 Runway AI 发布了 Gen-3 Alpha。

 

Gen-3 Alpha 地址:https://runwayml.com/blog/introducing-gen-3-alpha/

 

该公司最新的人工智能模型可以根据文本描述和静态图像生成视频片段。Runway 公司表示,与 Runway 之前的旗舰视频模型 Gen-2 相比,该模型在生成速度和保真度方面实现了“重大”改进,并且对其所创建视频的结构、风格和动作进行了精细控制。

 

Gen-3 将在未来几天内向 Runway 订阅者推出,包括企业客户和 Runway 创意合作伙伴计划中的创作者。

 

Runway 在其博客上写道:“Gen-3 Alpha 擅长生成具有各种动作、手势和情绪的富有表现力的人类角色。它旨在诠释各种风格和电影术语,并实现富有想象力的过渡和场景中元素的精确关键帧。”

 

00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    提示:从窗户向外看,看到一个巨大的奇怪生物在夜晚破败的城市中行走,一盏路灯昏暗地照亮了整个区域。


    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      提示:一张电影广角肖像,一个男人的脸被电视的光照亮。


      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        提示:一个中年悲伤的秃头男人突然变得快乐,因为一顶卷发假发和一副太阳镜突然落在他的头上。


        目前 Gen-3 还未开放给公众试用,但在官网的博客中,Runway 秀出了数十个精彩的生成视频,无论是光线、色彩、运动轨迹、人物细节都非常逼真,有行业人士表示一些视频是 Sora 级别的质量。

         

        Runway 表示,Gen-3 Alpha 是即将推出的一系列模型中的首个,这一系列模型是在为大规模多模态训练而构建的新基础设施上训练的。

         

        Gen-3 Alpha 有其局限性,其中局限之一就是其视频最长只能拍摄 10 秒。不过,Runway 联合创始人 Anastasis Germanidis 承诺,Gen-3 只是下一代模型系列中第一个也是最小的一个视频生成模型,这些模型都是在升级的基础设施上进行训练的。

         

        Germanidis 今早接受 TechCrunch 采访时表示:“该模型在处理复杂的角色和物体交互时可能会遇到困难,而且生成过程并不总是严格遵循物理定律。首次推出的版本将支持 5 秒和 10 秒的高分辨率生成,生成时间明显快于 Gen-2。生成一段 5 秒的视频需要 45 秒,生成一段 10 秒的视频则需要 90 秒。”

         

        与所有视频生成模型一样,Gen-3 Alpha 也接受了大量视频和图像样本的训练,因此它可以“学习”这些样本中的模式来生成新的视频片段。训练数据从何而来?Runway 没有透露。

         

        如今,很少有生成式 AI 供应商主动提供此类信息,部分原因是他们认为训练数据是一种竞争优势,因此对训练数据和相关信息讳莫如深。

         

        团队创始成员之一的 Germanidis 表示:“我们有一个内部研究团队,负责监督我们所有的培训,我们使用精选的内部数据集来训练我们的模型。”他没有再说什么。

         

        Runway 由克里斯托瓦尔(Cristóbal Valenzuela),亚历杭德罗(Alejandro Matamala)和阿纳斯塔西斯(Anastasis Germanidis)三个智利人于 2018 年底创立,由他们在纽约大学(NYU)的论文项目发展而来,他们在此相识并获得了研究生学位。

         

        Runway 在 2018 年获得了 Lux Capital 的 200 万美元种子融资,在 2020-2022 年陆续完成了 A、B、C 三轮融资,C 轮由 Felicis 领投,金额达 5000 万美元,估值 5 亿美元。2024 年 6 月 1 日,The Information 消息,生成式 AI 平台 Runway 获得 1 亿美元 D 轮融资(约 7 亿元),估值 15 亿美元,本次由谷歌领投。

         

        此外,Runway 还运营着 Runway Studios,这是一个娱乐部门,作为企业客户的制作合作伙伴,并主办人工智能电影节,这是首批专门展示完全或部分由人工智能制作的电影的活动之一。

         

        Runway 的主要使用人群包括电影制作人、设计师、VFX 和 CGI 专业人士、艺术家、编码员、音乐家、学生和教育工作者等。

        2024-06-18 18:419165
        用户头像
        李冬梅 加V:busulishang4668

        发布了 1155 篇内容, 共 772.6 次阅读, 收获喜欢 1283 次。

        关注

        评论

        发布
        暂无评论
        发现更多内容

        华为云Flexus云服务器X实例之openEuler系统下部署Joplin笔记工具

        平平无奇爱好科技

        灵活就业管理系统(源码+文档+部署+讲解)

        深圳亥时科技

        3D服装设计软件Marvelous Designer for Mac中文激活版

        小玖_苹果Mac软件

        华为云X实例监控与告警管理详解

        平平无奇爱好科技

        华为云Flexus X实例docker部署最新Appsmith社区版,搭建自己的低代码平台

        平平无奇爱好科技

        云服务器Flexus X实例:RAG 开源项目 FastGPT 部署,玩转大模型

        平平无奇爱好科技

        基于华为云Flexus云服务器X实例快速搭建Halo博客平台

        平平无奇爱好科技

        《CPython Internals》阅读笔记:p20-p42

        codists

        模具工厂生产管理系统(源码+文档+部署+讲解)

        深圳亥时科技

        承载AI的云南花卉,正在盛开

        白洞计划

        AI

        华为云Flexus云服务器X实例之openEuler系统下部署Grav内容管理系统

        平平无奇爱好科技

        苹果电脑压缩软件哪个好用一些?解压软件BetterZip免费下载

        阿拉灯神丁

        压缩工具 mac解压缩软件 苹果电脑解压缩 BetterZip BetterZip 5下载

        短视频APP的开发流程

        北京木奇移动技术有限公司

        软件外包公司 短视频APP

        华为云Flexus云服务器X实例之openEuler系统下部署dufs文件服务器

        平平无奇爱好科技

        华为云Flexus云服务器X实例之openEuler系统下搭建GoAccess日志分析服务器 前言

        平平无奇爱好科技

        华为云Flexus云服务器X实例之openEuler系统部署Docker Compose管理工具Dockge

        平平无奇爱好科技

        简单易用的室内设计软件Room Arranger for Mac激活版

        小玖_苹果Mac软件

        Apache Commons 3 比较对象三两事

        FunTester

        高阶面经:Spring框架全析

        王中阳Go

        Java 框架 spring框架 spring aoc IOC面试题

        Flexus云服务器X实例部署宝塔运维面板

        平平无奇爱好科技

        云服务器Flexus X实例:开源项目LangChain部署,实例测试

        平平无奇爱好科技

        华为云Flexus云服务器X实例之openEuler系统下部署Tailchat开源聊天系统

        平平无奇爱好科技

        ThreadLocal 为何能取代 Session?

        王中阳Go

        ThreadLocal session管理

        云服务器Flexus X实例:多智能体对话框架 AutoGen 部署和实例运行

        平平无奇爱好科技

        华为Flexus云服务器搭建Cloudreve私人网盘

        平平无奇爱好科技

        征程 6X release版本内核模块安全加载

        地平线开发者

        自动驾驶; #算法 地平线征程6

        华为云 Flexus云服务器X实例-选购到创建宝塔

        平平无奇爱好科技

        华为云Flexus云服务器X实例部署Servas自托管书签管理工具

        平平无奇爱好科技

        华为云Flexus云服务器X实例之openEuler系统下部署SQLite数据库浏览器sqlite-web

        平平无奇爱好科技

        35岁失业危机,是个伪命题

        老张

        职场成长 35岁危机

        媲美Sora?Runaway亮相视频生成模型Gen-3 Alpha,更懂物理世界_生成式 AI_李冬梅_InfoQ精选文章