上海交通大学 AI 学院副教授赵波将在 AICon 上海分享大模型在长视频理解中的前沿进展

5 月 23 日-24 日，AICon 全球人工智能开发与应用大会上海站即将拉开帷幕。本次大会将聚焦 AI 技术的前沿突破与产业落地，围绕 AI Agent、多模态应用、大模型架构创新、推理性能优化、大模型驱动数据创新、AI 产品创新与出海策略等核心议题，呈现技术与应用融合的最新趋势。

上海交通大学人工智能学院副教授赵波已确认出席 AICon 上海并将在多模态大模型创新实践专题发表题为《大模型在长视频理解中的前沿进展》的主题演讲。近年来，多模态大模型技术发展迅速，展现出强大的视觉理解能力。其中基于大模型的长视频理解任务受到了越来越多的关注，其在教育、影视、安防等领域具有广泛的应用前景。然后由于大语言模型的有效上下文长度有限，难以用有限的 GPU 计算资源实现长视频理解。

针对这一研究问题，课题组首先推出了面向长视频理解大模型的测评基准：MLVU，提供了丰富的评测任务，揭示了主流大模型在长视频理解任务上的能力缺陷。针对长视频数据 Token 数量过多的问题，课题组提出利用可学习 Token 来自适应地压缩视频 Token，从而实现单张卡处理 1 小时以上视频的能力。

在本次分享中，赵波教授将系统解析长视频理解大模型的技术挑战与创新突破，结合课题组提出的测评基准与压缩技术，探讨解决 GPU 资源受限下长视频处理难题的实践路径。

赵波是国家级青年人才，曾担任智源研究院数据智能研究中心负责人。博士毕业于英国爱丁堡大学。主要研究方向包括多模态大模型，具身智能，数据智能等。曾提出系列有影响力的数据蒸馏与合成算法。推出的多模态大模型 Bunny 已被下载数十万次。发表包括 ICLR Oral, NeurIPS Spotlight, CVPR Highlight 等数十篇顶会顶刊论文。曾获得 ICML 2022 杰出论文奖。担任 NeurIPS’24、BMVC’24 领域主席。他在本次会议的详细演讲内容如下：

演讲提纲：

1. 基于大模型的长视频理解任务与挑战

2. 主流的视频理解模型与能力测评

3. 基于可学习 Token 的视频 Token 压缩技术

   可学习的压缩 Token

   自适应切片算法

   训练数据扩增方法

4. 应用实例分析

5. 总结与展望

听众收益：

• 了解最新的长视频理解大模型性能和局限性

• 了解最新的长视频理解大模型 Token 压缩技术

除此之外，本次大会还策划了AI Agent 构建及多元应用、多模态大模型创新实践、AI for Data，数据管理与价值挖掘实践、大模型推理性能优化策略、AI 产品设计的创新思维、智能硬件与大模型的融合探索、金融领域大模型应用实践、大模型助力业务提效实践等专题，届时将有来自不同行业、不同领域、不同企业的 60+资深专家在 AICon 上海站现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 580 元，详情可扫码或联系票务经理 13269078023 咨询。