写点什么

从“抖音同款”到“豆包同款”:视频云正在进入 Agent 时代

  • 2025-12-24
    北京
  • 本文字数:4573 字

    阅读完需:约 15 分钟

大小:2.26M时长:13:10
从“抖音同款”到“豆包同款”:视频云正在进入 Agent 时代

对于普通人而言,音视频算得上是最“接地气”的技术——不需要具备专业背景,就能直观地感受到技术能力高低带来的体验层面的差异。比如,观看世界杯直播,模糊的画面、明显的延迟、卡顿的互动,都能直接影响球迷观看体验。


在移动互联网时代,人们对于音视频技术的要求其实很简单,就是“看得清、看得爽”。这也是火山引擎视频云能够在这一时期杀出重围的关键——火山引擎将抖音在亿级 DAU 场景下长期打磨和验证的能力,封装成一系列解决方案,向业界输出“抖音同款”的音视频能力,重点解决画质、时延、稳定性和大规模分发问题,为用户带来更高清、更实时、更沉浸的视频体验。


但到了 AI 时代,人们对音视频能力的要求又迈向新的高度,视频不只用来“看”,还要能够“听”和“理解”,甚至能够与人“对话”。比如,在教育场景,大家希望 AI 老师能实时对话,并能根据辅导对象智能匹配教学内容;在娱乐场景,大家希望 AI 陪伴助手更懂自己,更有“人味儿”。什么样的视频云,才能支撑起这一想象?在 2025 年冬季火山引擎原动力大会“智能视频云”论坛上,火山引擎视频云通过一场自我进化给出了答案——过去,火山引擎视频云提供的是“抖音同款”的经典能力。这一次,火山引擎视频云将进化为打造“豆包同款” 的生成式智能。


面对 AI 时代的音视频场景,“豆包同款”视频云在技术侧,提供从底层(AIGC 传输系统)、到核心引擎 AI MediaKit+MIPP(智能媒体处理平台),再到顶层音视频互动智能体三重支撑;在服务侧,火山引擎视频与边缘服务的海外拓展,正帮助中国企业加速出海。


从“抖音同款”到“豆包同款”,音视频技术的三重进化

底层技术支撑:AIGC 传输系统让多模态交互成为可能


正如前文所言,AI 时代,人们对于音视频的期待提升到了能理解、能互动的新高度。只有获取更多维度的信息,AI 才能真正理解用户意图,生成准确、自然的响应。这也意味着,传输系统需要处理更多模态的信息,比如视频、音频、图像、文字等。


在这样的需求背景下,支撑豆包等大规模 AI 应用的 AIGC 传输系统应运而生。它不仅支持实时、长连接的多模态数据传输,还能覆盖多样化的实时交互场景:从实时音视频传输到实时语音流,再到 Push-to-Talk 半实时语音交互,以控制信令传输,都能基于这一套基础设施稳定运行。为了提升复杂网络环境下的稳定性,AIGC 传输系统还内置了弱网对抗机制,保障用户和智能体的流畅互动。


AIGC 传输系统带来的,是面向人机实时交互场景的多模态数据传输能力的升级,它能支撑大规模、高并发和突发业务场景下的 AIGC 多模态数据实时传输,为智能体应用提供稳定、实时、可扩展的多模态数据传输能力。在传输之上,还需要一个覆盖生产端、分析端、消费端的全链路核心引擎,对底层原子能力进行统一编排与调用。基于 AIGC 传输系统与分布式多媒体智能处理平台 MIPP 的能力支撑,火山引擎视频云核心引擎 AI MediaKit 也实现了全面升级。

核心引擎:AI MediaKit 将“王牌”原子能力引入大模型


在过去,传统媒体工具套件的核心是媒体数据处理与服务的技术集合,这套经典能力长期用于开发音视频播放或录制的各类功能。但在 AIGC 时代,媒体价值链路被重新定义,内容不再只是拍摄、播放,而是生成、分析、理解、消费;用户也不再只是观看,而是通过自然语言、语音、图像等方式参与交互。


这也是为什么,火山引擎视频云选择将经典能力升级为 AI MediaKit——作为面向 AI 云原生时代的极致效率工具,AI MediaKit 将原先在抖音、豆包等业务中打磨成熟的媒体处理技术,升级成更细粒度的原子能力。这些在视频云时代长期积累的媒体处理原子能力,也是火山引擎最核心、也最具竞争力的能力。在视频理解、AI 推搜、内容二次创作等场景中,AI MediaKit 能够将大模型的多模态理解能力和 AIGC 生成能力引入音视频处理流程,让系统不仅能“看见”和“听见”,还能理解内容含义,从而更好地放大媒体价值。



AI MediaKit 的另一个核心价值在于,能提升内容生产效率和体验。比如,AI MediaKit 面向大模型调用与编排更加友好。与直接调用大模型能力相比,AI MediaKit 提供预设的、可配置的 AI 工作流,可以从数据预处理和后处理、并发任务处理降低延时等多个角度,把多媒体处理能力和大模型原子能力编排得更好,效率也更高。


以视频翻译场景为例,过去长期面对人工翻译成本高、制作周期长,传统机器翻译效果不理想、无法提供沉浸式的播放体验等核心痛点。“声影智译”基于豆包大模型,结合视频云的理解和内容预处理能力+多媒体工程能力和知识库,比如为大模型提供更适合的“原材料”,提供平滑的语句切分、适宜语速、精准定位说话人等工程能力,确保整体翻译效果可以达到业务生产水平。从而整体实现视频多模态翻译,包括文本翻译、声音翻译以及面容翻译。


AI MediaKit 深度融合生成式 AI 和多模态理解能力,提升多媒体处理能力的深度和广度。此次升级不仅带来了能力与效率的提升,也推动多媒体能力从单一工具向价值放大器转变,帮助企业以更高性价比构建面向生产级的 AI 应用与音视频智能体。

顶层应用:音视频互动智能体推动交互体验升级


构建一个真正可靠、能在生产环境中稳定运行的智能体并非易事,需要整合一整套复杂系统能力。为了降低企业构建音视频智能体门槛,火山引擎提供了一套完整的解决方案——将原本只是工具属性的音视频对话 AI 方案,升级为一个交流更顺畅、体验更好,并且具有记忆、能自己解决问题的音视频互动智能体。企业能够直接调用这套方案,快速搭建智能体。


火山引擎智能互动产品负责人杨若扬表示,音视频互动智能体此次升级最关键的转变在于两方面:其一,AI 在感官体验上更加接近真人;其二,AI 智能体拥有特定场景的知识和技能。为了让音视频互动智能体更具“真人感”,火山引擎通过模型精调,使得智能体的回复更加口语化,并覆盖了开心、激动、撒娇、安慰、生气等 20 多种情绪状态,以及夹子音、气泡音、悄悄话等多种表达方式,甚至还能根据上下文内容及对话对象的情绪状态,自动选择合适的表达方式,并在语速、音调甚至方言等方面进行动态调整。



本次音视频互动智能体升级带来最大的惊喜,来自声纹识别——能够通过不同音色识别对话对象。这项能力对于不少应用场景来说,极为关键。比如,在人和 AI 进行一对一交流的过程中,如果不具备声纹识别能力,大模型往往会将所有人声一并识别,导致交互混乱。通过声纹识别,智能体可以认准主讲人的声音,将非主讲人的人声全部屏蔽,实现声纹层面的降噪效果。目前,该项能力已支持无感注册,仅需采集约 10 秒的目标音色即可完成识别。


此外,声纹识别还能根据不同说话对象,实现个性化应答。以 AI 玩具为例,当智能体识别到是在与小孩子交流时,回应的声音会更加可爱;当智能体识别到是在与爸爸交流时,除了回应内容发生变化,也会切换成更为自然的语气。


对于陪伴类 AI 应用而言,最重要的一个功能就是长期记忆。音视频互动智能体本次在长期记忆方面的升级,也是一大亮点。通过持续记录历史交流内容,智能体能将原本碎片化的交互变成连续性故事,基于这些记忆,智能体更能理解用户的偏好,甚至能够主动提供信息与建议,人和智能体的沟通也更加个性化。比如,个人助手能够记住用户关注的行业热点、工作习惯,陪伴应用能够记住用户的年龄、性别、喜好,教育应用能够记住孩子的年龄信息以及各学科的学习进度和理解情况。


在教育、游戏、创作等典型应用场景中,音视频互动智能体的价值可以得到最佳体现。在教育场景中,AI 老师通过声音复刻技术以及情绪、表达方式上的优化,能够与线上真人老师高度一致。以“与爱为舞”为例,通过打造“全时、全知、全能”的 AI 导师,能够实现“人机协同”的深度耦合。


游戏场景中,AI 游戏陪玩不仅能提供情绪价值,还能实时感知游戏进程,为玩家提供专业攻略指导。以 TapTap 游戏陪玩 Agent 为例,其 AI 游戏助手一端借助火山引擎实时音视频实现了用户交互链路,另一端对接自有的多模态理解能力与大模型推理能力,并通过融合模型能力与搭建系统工程的方式,TapTap 将 Agent 拆成三层能力:感知游戏、理解游戏,以及基于完整上下文和游戏世界引擎,生成对用户友好的提示,并通过 UI 和语音的方式与玩家进行互动。


与教育、游戏场景相比,在创作场景中,音视频互动智能体扮演的角色稍显不同。以今年较为火爆的视频生成、Vibe coding 场景为例,高质量的 Prompt 门槛越来越高,普通用户只能依靠“抽卡”。音视频互动智能体能通过多轮对话理解用户意图,明确创作目标,进而提升创作可控性,提高效率。


在智能硬件方面,火山引擎联合乐鑫共同推出了一套名为“喵伴”的硬件开发套件。“喵伴”最大的亮点在于,这是一个能够开箱即用的硬件 Demo 方案,开发者可以方便快捷地搭建自己的产品,5 分钟跑通业务链路,快速进行功能验证。此外,“喵伴”提供标准化接口,能够兼容多硬件设备硬件,大幅降低适配成本。


可以预见的是,随着技术和应用的不断拓展,音视频互动智能体的智能交互体验,还会带来更多惊喜。其中一个较为清晰的趋势就是多人群聊,通过多智能体协作,为用户带来更复杂、多角色的互动体验,从而为视频会议、AI 教学、狼人杀、游戏语音带来更多玩法和可能性。


从底层(AIGC 传输系统)、到核心引擎 AI MediaKit+MIPP(智能媒体处理平台),再到顶层音视频互动智能体,火山引擎视频云将音视频中最核心多项能力进行了系统性重构与升级。音视频技术侧的行业叙事,已被火山引擎“卷”到了新高度。而在服务侧,火山引擎也试图开“卷”——将一系列音视频能力,打造成中国企业出海的“秘密武器”。

国产 AI 应用,掀起出海浪潮


国产 AI 应用出海,早已是不可逆的浪潮。《2025 年 AIGC 海外移动应用市场分析》报告显示,2025 年 Q1 中国 AI 应用全球市场份额跃升至 7.9%,并且还在持续增长。但对不少企业而言,出海始终是一道难解的“题”:方案适配、网络体验、资源利用、商业模式……每个都是牵一发而动全身的关键变量。


一面是企业迫切的出海需求,一面是艰巨的现实挑战。火山引擎视频与边缘服务通过一套体系化的出海解决方案,帮助企业征战海外市场。比如,为了解决出海应用体验差、不稳定、成本高等痛点,火山引擎通过智能全球加速(IGA),提供了一套 AI 应用加速方案,能让大模型请求、模型训练数据传输以及模型生成等场景,在全球范围内实现更快、更稳、更安全,帮助开发者降低试错成本,加速验证和落地 AI 应用的商业模式。


为了提升互动的实时性,火山引擎还推出了面向出海场景的 Conversational AI 解决方案,支持超过一百种语言的交互能力。同时支持音视频、图像等多模态的交互,通过模型、语音、视频以及数字人通话场景,帮助企业实现业务创新。


当前,火山引擎这套出海解决方案已经帮助多个中国 AI 应用加速走向全世界。以近几年热门的出海方向短剧、漫剧场景为例,麦芽短剧依托火山引擎声影智译,实现了高效、专业的 AI 视频翻译,视频内容能够无障碍全球化传播,并通过精细化字幕擦除,实现高质量的无痕擦除,最大程度的还原视频画面。


从内容生产到分发再到变现,火山引擎视频云通过一场全方位的进化,构成了一条完整的出海价值链条。毕竟在追求效率与商业回报上,火山引擎一直走的是极为务实的路线,将技术优势持续转化为可规模化、可验证的业务价值。


而这轮从“抖音同款”经典能力,到“豆包同款”生成式智能的进化,本质上,也是火山引擎在为下一个十年的交互方式做准备。

2025-12-24 18:217

评论

发布
暂无评论

KubeBlocks完成阿里云PolarDB数据库产品生态集成认证

阿里云数据库开源

polarDB PolarDB-X KubeBlocks

生成式 AI 如何释放开发者的生产力?

LigaAI

人工智能 程序员 技术管理 AIGC 研发效能管理

1024 特别企划|揭秘 StarRocks 社区背后的神秘力量(内涵福利)

StarRocks

开源社区 StarRocks

英特尔以创新边缘AI技术赋能未来智慧城市建设

E科讯

实况窗功能上线,即时掌握活动最新进展

HarmonyOS SDK

HarmonyOS

LLM在text2sql上的应用 | 京东云技术团队

京东科技开发者

人工智能 LLM 企业号10月PK榜 text2sql

语音识别技术在医疗健康领域的应用与挑战

数据堂

用友BIP智能分析资产包正式发布,助力企业智能化决策!

用友BIP

智能分析

支付宝权限问题大全|一文搞定,持续更新

盐焗代码虾

支付宝 经验分享 支付宝权限

用友BIP,为打造世界一流光伏数智灯塔工厂聚势蓄能

用友BIP

光伏产业

数智化浪潮中,广电行业收入管理流程该如何重构?

用友BIP

广电行业

Java类加载机制详解 | 京东云技术团队

京东科技开发者

Java spi 类加载机制 企业号10月PK榜

开放原子开源基金会联合主办的2023 CCF中国开源大会正式开幕

开放原子开源基金会

开源 CCF

用友全球司库十问(五)| 企业如何主动管理资金流动性?

用友BIP

全球司库 流动性管理

介绍SDK(C++版)使用方法

矩视智能

深度学习 机器视觉

HarmonyOS SDK,赋能开发者实现更具象、个性化开发诉求

HarmonyOS SDK

鸿蒙 HarmonyOS

实测亚马逊 AI 编程助手 Amazon CodeWhisperer

全栈若城

开放原子开源基金会理事长孙文龙一行赴拓维信息参观交流

开放原子开源基金会

开源

语雀服务宕机带来的稳定性思考

老张

高可用 SRE 稳定性保障

利用观测云的 RUM 追踪和分析一个 VIP 用户的旅程

观测云

可观测性 用户体验分析

零代码开发、可视化界面!飞桨AI Studio星河社区带你玩转Prompt应用

飞桨PaddlePaddle

程序员 开发者 插件开发 Prompt

第10期 | GPTSecurity周报

云起无垠

SpringBoot自动配置原理解析 | 京东物流技术团队

京东科技开发者

spring-boot 自动配置 企业号10月PK榜

ETL工具与数据处理的关系

谷云科技RestCloud

数据处理 ETL

2023 CCF中国开源大会「开放科学——引领未来科学研究发展的新范式分论坛」成功举办

开放原子开源基金会

从“抖音同款”到“豆包同款”:视频云正在进入 Agent 时代_字节跳动_凌敏_InfoQ精选文章