写点什么

从唤醒到陪伴:多模态 Agent 如何重构手机交互范式|AICon 上海

  • 2026-05-06
    北京
  • 本文字数:1143 字

    阅读完需:约 4 分钟

当前,以 Agent 为核心的新一轮技术浪潮正在席卷产业。那么,世界模型的下一个突破在哪?Agent 从 Demo 到工程化还差什么?研发体系不重构,还能撑多久?

6 月 26 日-6 月 27 日,AICon全球人工智能开发与应用大会将在上海举办。本次大会将围绕以上问题,邀请来自腾讯、阿里、快手、华为、飞猪等 50+头部企业的技术负责人、高校与科研机构的一线专家,分享 Agent 在真实生产环境中的落地经验与前瞻思考。深入探讨探讨 Agent 从原型到量产的工程挑战、数据与记忆的基础设施底座、安全可信的落地保障,以及大模型推理优化、智算架构升级等关键命题。

OPPO 高级算法工程师刘鹏已确认出席 “Agent 系统架构与工程化实践” 专题,并发表题为《从唤醒到陪伴:多模态 Agent 如何重构手机交互范式》的主题分享。智能手机每天承载着用户大量的内容消费与操作行为,但传统 AI 助手仅能被动响应单次唤醒,无法真正"陪伴"用户的手机使用旅程。本次分享介绍的系统,以手机屏幕时序视频流为输入,构建了一个具备持续感知、个性化记忆与主动执行能力的多模态伴随 Agent。刘鹏将重点分享三个算法核心:一是屏幕多模态意图理解;二是时序记忆管理;三是工具执行与结果融合,并且结合真实踩坑案例,分享陪伴类 Agent 从 0 到 1 落地的完整经验。

刘鹏,深耕大模型与多模态方向近三年,专注视频智能体工程落地与时序感知记忆管理机制研究。参与了 OPPO 一键问屏与实景问答两款多模态 Agent 产品的研发,历史迭代产品分别在 2024、2025 年 OPPO 开发者大会正式亮相。拥有 7 年一线算法工程经验,长期负责从模型到系统的全链路交付。他在本次会议的详细演讲内容如下:

演讲提纲:

  1. 伴随助手 Agent 整体设计

  • 范式跃迁:从"唤醒-响应"到"持续感知-陪伴"

  • 三大核心挑战:实时性、时序性、意图模糊性

  • 系统架构全景概览

2. 屏幕多模态意图理解

  • 多维并行意图识别架构设计

  • 意图冲突时的融合决策策略

  • 规则驱动与模型驱动的边界:混合架构的演进与取舍

3. 时序记忆管理

  • 流式多层级多场景 Memory 架构设计

  • 视频流有效信息提取与噪音过滤实践

  • 时间窗口选择困境与时间衰减检索机制

4. 工具执行与结果融合

  • 旅行生活场景的专属子 Agent 设计

  • 多工具并发执行与降级策略

  • 误触发治理与多链路结果融合排序

5. 总结与展望

  • 效果呈现与已知边界

  • 从被动响应到主动陪伴

  • 从会话记忆到用户心智模型

听众收益:

  • 全面了解 OPPO 从 0 到 1 搭建的多模态 Agent 架构设计和落地经验

除此之外,本次大会还策划了端侧 AI、物理与数字空间智能化世界模型与多模态智能突破Agent 架构与工程化实践Agent 安全与可信治理企业级研发体系重构AI 原生数据工程AI 时代的个人提效与组织变革等 14 个专题论坛,届时将有来自不同行业、不同领域、不同企业的 50+资深专家在现场带来前沿技术洞察和一线实践经验。

更多详情可扫码或联系票务经理 13269078023 进行咨询。