写点什么

阿里云开源视频生成大模型 I2VGen-XL,2 分钟生成高清电影级效果视频

  • 2023-09-06
    北京
  • 本文字数:749 字

    阅读完需:约 2 分钟

大小:434.29K时长:02:28
阿里云开源视频生成大模型I2VGen-XL,2分钟生成高清电影级效果视频

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!

近日,阿里云推出全新视频生成大模型 I2VGen-XL,并在魔搭社区开放体验,用户上传一张图片后 2 分钟左右即可生成一段 1280*720 的高分辨率视频。据介绍,该模型的训练还使用了多种风格的视频数据,可生成科技感、电影色、卡通风格和素描等类型丰富的视频。目前,I2VGen-XL 的模型和代码均已开源。

 

在此之前,阿里云曾推出 AI 绘画创作大模型通义万相(基座模型 Composer)和可控视频生成模型 VideoComposer,团队在该领域发表 60 多篇 CCF-A 类论文,并在国际顶级视觉竞赛中获得 10 余项冠军。

 

和 AI 绘画创作大模型相比,视频生成大模型的技术门槛更高,其需要克服文本和视频内容匹配度、视频画面质量、画面连续性等诸多技术挑战。在此之前,阿里云和微软等科技公司相继推出一系列可控视频生成研究成果,例如用户可通过定义空间布局、运动模式等条件来生成视频,但其画面清晰度难以满足真实场景应用的需求。

 

针对该问题,阿里云进一步提出创新思路,I2VGen-XL 模型设计了两个阶段:首先在低分辨率条件下保证生成结果和给定图像语义的匹配度,随后通过视频扩散模型(VLDM)来提高视频分辨率,并同时提升时间和空间上的一致性,保证最终视频内容的清晰度和连贯性,最终实现 1280*720 高分辨率的突破,并且在画面细节的展现上大幅领先现有模型。

 

I2VGen-XL 模型研发负责人表示,未来将进一步实现 2K 超清效果,可应用于短视频内容生产、电影制作等场景。


I2VGen-XL流程图

 

目前,I2VGen-XL 模型已吸引国内外用户和开发者的广泛体验和二次开发,涌现了大量创意 AI 视频生成内容,例如在城堡上展翅的恐龙、宇航员在飞船中行走的科幻电影画面等等……知名 AI 社交媒体分析师 Ahsen Khaliq 在推特发布多条由该模型生成的视频效果,并表示模型在清晰度、纹理、语义和时间连续性方面有优势。



模型体验地址:

https://modelscope.cn/studios/damo/I2VGen-XL-Demo/summary

公众号推荐:

AGI 概念引发热议。那么 AGI 究竟是什么?技术架构来看又包括哪些?AI Agent 如何助力人工智能走向 AGI 时代?现阶段营销、金融、教育、零售、企服等行业场景下,AGI应用程度如何?有哪些典型应用案例了吗?以上问题的回答尽在《中国AGI市场发展研究报告 2024》,欢迎大家扫码关注「AI前线」公众号,回复「AGI」领取。

2023-09-06 11:277579

评论

发布
暂无评论
发现更多内容

MMPsy 数据集:数业智能心大陆在多模态心理评估中的创新与应用

心大陆多智能体

人工智能 数据分析 数据集 多模态 数字心理

接口测试:Mock 的价值与意义

霍格沃兹测试开发学社

最适合ZKsync主网和撸空投的4个钱包推荐,bitget钱包

股市老人

蓝易云 - linux系统中u-boot命令的EMMC和SD卡操作命令分析

百度搜索:蓝易云

Linux 云服务器 SD EMMC U-Boot

利用Python语言调用腾讯混元大模型接口实战指南

幂简集成

Python API 大模型

云服务与低代码开发的结合:重塑现代软件开发模式

快乐非自愿限量之名

云原生 低代码 云服务

Java实现基于ArrayList的生产者/消费者

极客罗杰

Microsoft Remote Desktop for Mac(微软远程连接软件)v10.9.8直装激活版

Rose

浅拷贝、深拷贝与序列化【初级Java必需理解的概念】

快乐非自愿限量之名

Java 拷贝

ae 2021下载安装版:After Effects 2021 for Mac/win版 激活版

你的猪会飞吗

mac软件下载 苹果软件下载

从 MySQL 到 MongoDB 再到 TDengine,这家能源企业这样应对数据挑战

TDengine

数据库 tdengine 时序数据库

HarmonyOS NEXT大揭秘进入倒计时:HDC 2024华为开发者大会精彩亮点抢先看

最新动态

直播预告丨华为数字化转型解决方案,助力钢铁行业飞越“寒冬”!

YG科技

蓝易云 - linux系统中rootfs根文件系统制作及挂载基本操作

百度搜索:蓝易云

Linux 运维 服务器 云服务器 rootfs

又来了!涛思数据成为中关村物联网产业联盟高级会员单位

TDengine

数据库 tdengine 时序数据库

电竞直播APP软件开发公司哪家好?现成源码由哪些优势

软件开发-梦幻运营部

AIGC在保险场景中的视觉应用

京东科技开发者

线性稳压器LDO的基础知识

芯动大师

芯片 LDO 电源

蓝易云 - centos脚本获取昨天日期删除指定文件之外的其他文件

百度搜索:蓝易云

云计算 Linux 服务器 系统 云服务器

一键获取企业“松弛感”

脑极体

云服务

云电竞平台测评

Yan-英杰

极速查询:StarRocks 存算分离 Compaction 原理 & 调优指南

StarRocks

云计算 大数据 数据仓库 数据湖 湖仓一体

蓝易云 - 关于openfeign的http和rpc

百度搜索:蓝易云

云计算 Web 服务器 云服务器 openfeign

第55期|GPTSecurity周报

云起无垠

专访 Altair 大中华区总经理刘源博士:仿真拥抱人工智能,Altair 打造数字孪生新生态

Altair RapidMiner

人工智能 机器学习 数据分析 altair

FabFilter Total Bundle 2024 Mac音频插件合集 v2024.05.30直装激活版

Rose

特价最后一周

开源物联卡管理平台-设备管理

物联网 IoT eSIM安全 java 技术提升

连续两年入选CVPR !快手KVQ,大模型加持的视频质量评价“黄金眼”

快手技术

音视频 快手 KVQ

【程序设计】做一个发送系统邮件的功能,如何设计数据表?

靠谱的程序员

程序设计

AI大佬都在说下一个爆点是智能体,建议开发者抢占先机!

AI浩

智能体

游戏部署换新季,华为云618营销季助力游戏企业闯关升级

YG科技

阿里云开源视频生成大模型I2VGen-XL,2分钟生成高清电影级效果视频_阿里巴巴_凌敏_InfoQ精选文章