写点什么

智谱上线视频生成模型:30 秒生成 6 秒时长,免费不限次!B 站也有研发功劳?

  • 2024-07-27
    北京
  • 本文字数:1300 字

    阅读完需:约 4 分钟

大小:655.85K时长:03:43
智谱上线视频生成模型:30秒生成6秒时长,免费不限次!B 站也有研发功劳?

整理 | 华卫

 

Sora 毫无疑问带来 AI 大模型的全新玩法,大模型可基于任意文字生成视频,包括 Runway 的 Gen 系列、微软的 Nuwa、Meta 的 Emu、谷歌的 Phenaki/VideoPoet、智谱 CogVideo 等。

 

7 月 26 日,智谱 AI CEO 张鹏在智谱 Open Day 上宣布,AI 生成视频模型清影(Ying)正式上线智谱清言,只需要 30 秒时间就能生成 6 秒时长、1440x960 清晰度的 3:2 比例视频。当日起,所有 C 端用户都能通过清影(Ying)体验到 AI 文生视频、图生视频能力。

 


PC 端链接:https://chatglm.cn/video

移动端链接:https://chatglm.cn/download?fr=web_home

 

输入一段文字后(俗称 Prompt),用户可以选择自己想要生成的风格,包括卡通 3D、黑白、油画、电影感等,配上清影自带的音乐,就能够生成充满 AI 想象力的视频片段。

 

除了文本生成视频,也可以到清影上玩图片生成视频。图生视频带来了更多的新玩法,包括表情包梗图、广告制作、剧情创作、短视频创作等。同时,基于清影的「老照片动起来」小程序也会同步上线,只需一步上传老照片,就能让凝练在旧时光中的照片灵动起来。

 

现在,清影(Ying)API 已同步上线大模型开放平台 bigmodel.cn,企业和开发者通过调用 API 的方式,体验和使用文生视频以及图生视频的模型能力。

 

据了解,清影(Ying)的付费方案是:在首发测试期间,所有用户均可免费使用,不限次数。此后,付费 5 元可解锁一天(24 小时)的高速通道权益,付费 199 元可解锁一年的付费高速通道权益。 

 

清影上线后,我们也第一时间测试了它的实际效果。

 

文生视频

 

先来看看对于可爱动物的视频生成效果。我们输入了以下两个提示词:

 

prompt1:两只小浣熊打架抢苹果

00:00 / 00:00
    1.0x
    • 3.0x
    • 2.5x
    • 2.0x
    • 1.5x
    • 1.25x
    • 1.0x
    • 0.75x
    • 0.5x
    网页全屏
    全屏
    00:00


    prompt2:一只奶牛猫在看猫和老鼠的动画片

    00:00 / 00:00
      1.0x
      • 3.0x
      • 2.5x
      • 2.0x
      • 1.5x
      • 1.25x
      • 1.0x
      • 0.75x
      • 0.5x
      网页全屏
      全屏
      00:00


      图生视频

      再来看看对于人类的视频生成效果,我们输入了一张“仕女拉小提琴”的图片:

       


      得到的视频如下:

      00:00 / 00:00
        1.0x
        • 3.0x
        • 2.5x
        • 2.0x
        • 1.5x
        • 1.25x
        • 1.0x
        • 0.75x
        • 0.5x
        网页全屏
        全屏
        00:00


        背后自研技术,推理速度比前代提升 6 倍

        据介绍,清影(Ying)底座的视频生成模型是 CogVideoX,它能将文本、时间、空间三个维度融合起来,参考了 Sora 的算法设计;它也是一个 DiT 架构,通过优化,CogVideoX 相比前代(CogVideo)推理速度提升了 6 倍。

         

        并且,智谱自研了一个端到端视频理解模型,用于为海量的视频数据生成详细的、贴合内容的描述,这样可以增强模型的文本理解和指令遵循能力,使得生成的视频更符合用户的输入,能够理解超长复杂 prompt 指令。

         

        在内容连贯性上,智谱 AI 自研高效三维变分自编码器结构(3D VAE),将原视频空间压缩至 2%大小,配合 3D RoPE 位置编码模块,更有利于在时间维度上捕捉帧间关系,建立起视频中的长程依赖。

         

        该生成式视频模型的研发中,Scaling Law 继续在算法和数据两方面发挥作用。“我们积极在模型层面探索更高效的 scaling 方式。”张鹏表示:“随着算法、数据不断迭代,相信 Scaling Law 将继续发挥强大威力。”

         

        bilibili 作为合作伙伴也参与并支持清影的研发过程。同时,合作伙伴华策影视也参与了模型共建。

         

        此外,智谱 AI 生成式视频研发得到北京市的大力支持,海淀区是智谱 AI 总部所在地,为智谱 AI 开展大模型研发提供了产业投资、算力补贴、应用场景示范、人才等全方位支持。智谱 AI 生成式视频研发算力支持则来自于亦庄集群,目前北京亦庄人工智能公共算力平台已建成。

        2024-07-27 16:007740

        评论

        发布
        暂无评论
        发现更多内容

        图解JavaScript原型:原型链及其分析 | JavaScript图解

        电子尖叫食人鱼

        JavaScript

        AI实时对话开启粉丝互动新时代

        腾讯云音视频

        人工智能 腾讯云 实时音视频 trtc AI实时对话

        实时多模态如何重塑未来交互?我们邀请 Gemini 解锁了 39 个实时互动新可能丨Voice Agent 学习笔记

        声网

        组件库实战-基建思路

        溪抱鱼

        typescript Vue Rest

        BaikalDB 架构演进实录:打造融合向量化与 MPP 的 HTAP 查询引擎

        百度Geek说

        MPP 分布式数据 MPP 架构 向量化引擎

        吴恩达:AI 被过度炒作,但语音 AI 产品却被低估;ChatGPT 升级语音翻译功能丨日报

        声网

        DJ舞台设计:重塑电子音乐体验

        Dylan

        Dj LED显示屏 全彩LED显示屏 led显示屏厂家 舞台表演

        小程序容器驱动SuperApp生态:下一代前端技术范式

        xuyinyin

        懒懒笔记 | 课代表带你梳理【RAG课程 11&12:优化和加速你的RAG】

        商汤万象开发者

        AI LLM rag实战

        中烟创新智能稽核平台:为烟草行业定制的数字化风控引擎

        中烟创新

        2026深圳电子展,中国(深圳)国际电子信息展览会

        AIOTE智博会

        电子展 深圳电子展 电子信息展 电博会

        焱融存储成为 AMD 中国行业生态共建计划首批合作伙伴

        焱融科技

        人工智能 AMD AMD EPYC 处理器 焱融全闪存储

        准确率从 19% 提升至 95%!文本审核模型优化的三个阶段实践(下)

        亚马逊云科技 (Amazon Web Services)

        短信验证码服务最佳实践:个人开发者如何选择和集成现代化短信服务

        外滩运维专家

        报名启动|隐语开源社区Meetup大湾区站 x 数据安全沙龙来啦

        隐语SecretFlow

        数据安全 隐私计算 数据流通 数据要素流通

        分析师:对英特尔未来发展持谨慎乐观态度

        E科讯

        通义灵码 AI IDE 上线!智能体+MCP 从手动调用工具过渡到“AI 主动调度资源”

        阿里巴巴云原生

        通义灵码

        Framework失败问题,全面整理.NET Framework 各种安装失败及异常情况

        小焱

        Framework

        HTAP 技术:融合事务与分析的数据处理新范式

        镜舟科技

        OLAP OLTP HTAP 数据库架构 实时分析

        内网IM选型逻辑:企业为何青睐自研或外采私有化IM

        BeeWorks

        即时通讯 IM

        就医体验飙升的背后,是CPU在“悄悄打工”?

        E科讯

        【6.12 直播】内存泄漏怎么办?时序数据库 IoTDB 官方避坑指南“面对面”告诉你!

        Apache IoTDB

        华为云重磅亮相 KubeCon China 2025 ! 精彩议程一览

        华为云开源

        开源 云原生 华为云

        AWS EKS 集群日志上报观测云实践

        观测云

        aws lambda

        DirectX 修复工具增强版:Direct 官方中文修复利器免费下载

        小焱

        dll DLL库 directx directx不兼容 dll缺失

        加速数字化转型:低代码平台在关键业务领域的四大高效落地场景

        不在线第一只蜗牛

        低代码

        鸿蒙Next仓颉语言开发实战教程:店铺详情页

        幽蓝计划

        摩尔线程重磅亮相2025北京智源大会,传递国产算力发展加速度

        新消费日报

        深入研究:shopee商品列表API接口指南

        tbapi

        shopee商品列表接口 shopee数据采集 shopee接口

        4种比常见的线程池和线程同步买票问题

        量贩潮汐·WholesaleTide

        Java Python

        BOE(京东方)“照亮成长路”公益项目新十年启幕 科技无界照亮美好未来

        科技热闻

        智谱上线视频生成模型:30秒生成6秒时长,免费不限次!B 站也有研发功劳?_生成式 AI_华卫_InfoQ精选文章