AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

阿里云开源视频生成大模型 I2VGen-XL,2 分钟生成高清电影级效果视频

  • 2023-09-06
    北京
  • 本文字数:749 字

    阅读完需:约 2 分钟

大小:434.29K时长:02:28
阿里云开源视频生成大模型I2VGen-XL,2分钟生成高清电影级效果视频

近日,阿里云推出全新视频生成大模型 I2VGen-XL,并在魔搭社区开放体验,用户上传一张图片后 2 分钟左右即可生成一段 1280*720 的高分辨率视频。据介绍,该模型的训练还使用了多种风格的视频数据,可生成科技感、电影色、卡通风格和素描等类型丰富的视频。目前,I2VGen-XL 的模型和代码均已开源。

 

在此之前,阿里云曾推出 AI 绘画创作大模型通义万相(基座模型 Composer)和可控视频生成模型 VideoComposer,团队在该领域发表 60 多篇 CCF-A 类论文,并在国际顶级视觉竞赛中获得 10 余项冠军。

 

和 AI 绘画创作大模型相比,视频生成大模型的技术门槛更高,其需要克服文本和视频内容匹配度、视频画面质量、画面连续性等诸多技术挑战。在此之前,阿里云和微软等科技公司相继推出一系列可控视频生成研究成果,例如用户可通过定义空间布局、运动模式等条件来生成视频,但其画面清晰度难以满足真实场景应用的需求。

 

针对该问题,阿里云进一步提出创新思路,I2VGen-XL 模型设计了两个阶段:首先在低分辨率条件下保证生成结果和给定图像语义的匹配度,随后通过视频扩散模型(VLDM)来提高视频分辨率,并同时提升时间和空间上的一致性,保证最终视频内容的清晰度和连贯性,最终实现 1280*720 高分辨率的突破,并且在画面细节的展现上大幅领先现有模型。

 

I2VGen-XL 模型研发负责人表示,未来将进一步实现 2K 超清效果,可应用于短视频内容生产、电影制作等场景。


I2VGen-XL流程图

 

目前,I2VGen-XL 模型已吸引国内外用户和开发者的广泛体验和二次开发,涌现了大量创意 AI 视频生成内容,例如在城堡上展翅的恐龙、宇航员在飞船中行走的科幻电影画面等等……知名 AI 社交媒体分析师 Ahsen Khaliq 在推特发布多条由该模型生成的视频效果,并表示模型在清晰度、纹理、语义和时间连续性方面有优势。



模型体验地址:

https://modelscope.cn/studios/damo/I2VGen-XL-Demo/summary

2023-09-06 11:278869

评论

发布
暂无评论
发现更多内容

算法工程师的核心竞争力是什么

易成研发中心

什么是域名泛解析?怎么做域名泛解析?

国科云

解锁DeepSeek深度应用,天翼云GPU云主机强势破局!

天翼云开发者社区

云计算 AI应用 gpu 算力 DeepSeek

HPE发布8款新服务器,英特尔至强6助力能效提升65%,每瓦性能增长41%!

E科讯

Springboot前后端分离项目统一封装返回结果

^O^

电商人必看!三分钟教你打通阿里巴巴1688商品详情接口(阿里巴巴API系列)

代码忍者

1688API接口

DDoS攻击是无解的吗

易成研发中心

DDoS

2025年,怎么靠技术传播自我“破圈”?

白鲸开源

技术传播

线上机器CPU占用高分析实践

京东科技开发者

DolphinScheduler环境搭建、服务启动等常见问题及解决方案

白鲸开源

开源 大数据任务调度 Apache DolphinScheduler FAQ

携程网获取景点列表API接口(携程API系列)

tbapi

携程网 携程网API接口 携程网数据采集

数字版权NFT的测试和上线

北京木奇移动技术有限公司

数字资产 数字版权 NFT 软件外包公司

告别服务器繁忙,满血接入 DeepSeek 的代码助手来了!

CodeBuddy

AI DeepSeek

碳实践|探索屋顶太阳能光伏系统减排潜力

AMT企源

碳管理 光伏企业 节能减排

【保姆级教程】DeepSeek R1+RAG,基于开源三件套10分钟构建本地AI知识库

不在线第一只蜗牛

携程网地方美食品列表数据接口(携程API系列)

tbapi

携程API 携程网 携程美食列表接口

MobPush 智能推送系统的用户行为分析:驱动精准运营的核心引擎

MobTech袤博科技

【黄金圆环】在研发领域的实践分享

京东科技开发者

搜推电商大模型及应用实践-下篇

京东科技开发者

全网首发 | PAI Model Gallery一键部署阶跃星辰Step-Video-T2V、Step-Audio-Chat模型

阿里云大数据AI技术

人工智能 模型部署 LLM PAI 阶跃星辰

从大模型性能优化到DeepSeek部署|得物技术

得物技术

人工智能 前端

阿里云开源视频生成大模型I2VGen-XL,2分钟生成高清电影级效果视频_阿里巴巴_凌敏_InfoQ精选文章