【AICon】AI 大模型超全落地场景&最佳实践 了解详情
写点什么

媲美 Sora?Runaway 亮相视频生成模型 Gen-3 Alpha,更懂物理世界

  • 2024-06-18
    北京
  • 本文字数:1455 字

    阅读完需:约 5 分钟

大小:712.17K时长:04:03
媲美Sora?Runaway亮相视频生成模型Gen-3 Alpha,更懂物理世界

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!

人工智能生成的高质量视频的竞争正在升温。

 

当地时间 6 月 17 日,专门为电影和图像内容创作者开发生成式人工智能工具的公司 Runway AI 发布了 Gen-3 Alpha。

 

Gen-3 Alpha 地址:https://runwayml.com/blog/introducing-gen-3-alpha/

 

该公司最新的人工智能模型可以根据文本描述和静态图像生成视频片段。Runway 公司表示,与 Runway 之前的旗舰视频模型 Gen-2 相比,该模型在生成速度和保真度方面实现了“重大”改进,并且对其所创建视频的结构、风格和动作进行了精细控制。

 

Gen-3 将在未来几天内向 Runway 订阅者推出,包括企业客户和 Runway 创意合作伙伴计划中的创作者。

 

Runway 在其博客上写道:“Gen-3 Alpha 擅长生成具有各种动作、手势和情绪的富有表现力的人类角色。它旨在诠释各种风格和电影术语,并实现富有想象力的过渡和场景中元素的精确关键帧。”

 

00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    提示:从窗户向外看,看到一个巨大的奇怪生物在夜晚破败的城市中行走,一盏路灯昏暗地照亮了整个区域。


    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      提示:一张电影广角肖像,一个男人的脸被电视的光照亮。


      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        提示:一个中年悲伤的秃头男人突然变得快乐,因为一顶卷发假发和一副太阳镜突然落在他的头上。


        目前 Gen-3 还未开放给公众试用,但在官网的博客中,Runway 秀出了数十个精彩的生成视频,无论是光线、色彩、运动轨迹、人物细节都非常逼真,有行业人士表示一些视频是 Sora 级别的质量。

         

        Runway 表示,Gen-3 Alpha 是即将推出的一系列模型中的首个,这一系列模型是在为大规模多模态训练而构建的新基础设施上训练的。

         

        Gen-3 Alpha 有其局限性,其中局限之一就是其视频最长只能拍摄 10 秒。不过,Runway 联合创始人 Anastasis Germanidis 承诺,Gen-3 只是下一代模型系列中第一个也是最小的一个视频生成模型,这些模型都是在升级的基础设施上进行训练的。

         

        Germanidis 今早接受 TechCrunch 采访时表示:“该模型在处理复杂的角色和物体交互时可能会遇到困难,而且生成过程并不总是严格遵循物理定律。首次推出的版本将支持 5 秒和 10 秒的高分辨率生成,生成时间明显快于 Gen-2。生成一段 5 秒的视频需要 45 秒,生成一段 10 秒的视频则需要 90 秒。”

         

        与所有视频生成模型一样,Gen-3 Alpha 也接受了大量视频和图像样本的训练,因此它可以“学习”这些样本中的模式来生成新的视频片段。训练数据从何而来?Runway 没有透露。

         

        如今,很少有生成式 AI 供应商主动提供此类信息,部分原因是他们认为训练数据是一种竞争优势,因此对训练数据和相关信息讳莫如深。

         

        团队创始成员之一的 Germanidis 表示:“我们有一个内部研究团队,负责监督我们所有的培训,我们使用精选的内部数据集来训练我们的模型。”他没有再说什么。

         

        Runway 由克里斯托瓦尔(Cristóbal Valenzuela),亚历杭德罗(Alejandro Matamala)和阿纳斯塔西斯(Anastasis Germanidis)三个智利人于 2018 年底创立,由他们在纽约大学(NYU)的论文项目发展而来,他们在此相识并获得了研究生学位。

         

        Runway 在 2018 年获得了 Lux Capital 的 200 万美元种子融资,在 2020-2022 年陆续完成了 A、B、C 三轮融资,C 轮由 Felicis 领投,金额达 5000 万美元,估值 5 亿美元。2024 年 6 月 1 日,The Information 消息,生成式 AI 平台 Runway 获得 1 亿美元 D 轮融资(约 7 亿元),估值 15 亿美元,本次由谷歌领投。

         

        此外,Runway 还运营着 Runway Studios,这是一个娱乐部门,作为企业客户的制作合作伙伴,并主办人工智能电影节,这是首批专门展示完全或部分由人工智能制作的电影的活动之一。

         

        Runway 的主要使用人群包括电影制作人、设计师、VFX 和 CGI 专业人士、艺术家、编码员、音乐家、学生和教育工作者等。

        公众号推荐:

        AGI 概念引发热议。那么 AGI 究竟是什么?技术架构来看又包括哪些?AI Agent 如何助力人工智能走向 AGI 时代?现阶段营销、金融、教育、零售、企服等行业场景下,AGI应用程度如何?有哪些典型应用案例了吗?以上问题的回答尽在《中国AGI市场发展研究报告 2024》,欢迎大家扫码关注「AI前线」公众号,回复「AGI」领取。

        2024-06-18 18:418185
        用户头像
        李冬梅 加V:busulishang4668

        发布了 872 篇内容, 共 443.8 次阅读, 收获喜欢 1043 次。

        关注

        评论

        发布
        暂无评论

        写给go开发者的gRPC教程-protobuf基础

        凉凉的知识库

        golang 微服务 gRPC protobuf 微服务框架

        解锁极狐GitLab 自动化功能:Webhook 触发 Pipeline 与计划流水线

        极狐GitLab

        DevOps pipeline ChatOps webhook ChatGPT

        提名倒计时! | 2022 龙蜥社区优秀贡献者

        OpenAnolis小助手

        技术 操作系统 龙蜥社区 开源贡献者 奖项报名

        第三届腾讯Light·技术公益创造营正式启动:聚焦三大议题,探索技术公益可持续路径​

        OpenCloudOS

        开源

        官宣:计算中间件 Apache Linkis 正式毕业成为 Apache 顶级项目

        腾源会

        开源

        跬智信息 (Kyligence) 入选2022年度上海市优质大数据服务供应商目录

        Kyligence

        大数据 数据分析

        喜讯!云起无垠实力入选多项中国网络安全行业全景图

        云起无垠

        gcc属性__attribute__((naked))使用场景

        SkyFire

        GCC 内嵌汇编

        Intel官方回应:处理器降价消息不实!全力减少库存

        科技之家

        MoBYv2AL :结合 BOYL 和 MoCo 的主动学习算法

        Zilliz

        深度 | Web 3.0时代去中心化IM 的挑战与思考

        环信

        Web3.0 环信im

        青云 KubeSphere 与 OpenCloudOS 完成技术兼容互认证

        OpenCloudOS

        云原生 操作系统 KubeSphere

        深入浅出学习透析Nginx服务器的架构分析及原理分析「底层技术原理+运作架构机制」

        C++后台开发

        nginx 负载均衡 中间件 后端开发 Linux服务器开发

        C#/VB.NET 在Excel中添加水印

        在下毛毛雨

        C# .net Excel 添加水印

        2/8 19:00 直播 | StarRocks 实战系列第一期--部署&导入

        StarRocks

        数据库

        金兔迎福报、新春第一炮【2022 中国开源年度报告】!

        腾源会

        开源

        快速入门pandas进行数据挖掘数据分析[多维度排序、数据筛选、分组计算、透视表](一)

        汀丶人工智能

        Python 数据挖掘 数据分析 pandas

        大文件传输软件的优势有哪些?-镭速传输

        镭速

        全息电网 数字孪生智慧电网Web3D运维系统

        2D3D前端可视化开发

        智慧电网 数字电网 智能电网 数字孪生智慧电网 智慧电网三维可视化

        活动预告 | 2023 QCon 全球软件开发大会 - AI 基础架构论坛

        第四范式开发者社区

        人工智能 机器学习 数据库 开源 特征

        对话阿里云叔同:如何看待 2022 年云原生的发展,2023 年有哪些值得关注的技术?

        阿里巴巴中间件

        阿里云 云原生

        我发现买不起自己出版的图书了,这到底是咋回事?

        冰河

        程序员 并发编程 高并发 架构师 编程开发

        干货|常用3D建模软件有哪些?

        Finovy Cloud

        3DMAX Autodesk Maya 3D软件

        基于 Flink+Pravega 的游戏服务器监控与调节系统设计

        Apache Flink

        大数据 flink 实时计算

        抖音春晚直播观看人数破1.3亿,火山引擎技术助力“新年俗”新体验

        火山引擎边缘云

        云原生 CDN 边缘计算 抖音 视频云

        沿着数字中国的大江大河,领略云上三峡

        脑极体

        华为云 三峡

        程序员培训后怎么能够在一线城市找到工作?

        小谷哥

        架构训练营模块四作业

        gigifrog

        架构训练营

        【1.27-2.3】写作社区优秀技术博文一览

        InfoQ写作社区官方

        热门活动 优质创作周报

        信用卡APP评测系列——工银e生活5.0打造个人生活服务平台,引领用户美好生活

        易观分析

        金融 银行 信用卡

        前端程序员就业方向有哪些?

        小谷哥

        媲美Sora?Runaway亮相视频生成模型Gen-3 Alpha,更懂物理世界_生成式 AI_李冬梅_InfoQ精选文章