
如果你也关注 Agent、AI 搜索、多模态、工程化等话题,一定不要错过这 100+可落地的实践案例!
10 月 23 日-10 月 25 日,QCon全球软件开发大会将在上海举办。本次大会将聚焦 Agentic AI、具身智能、强化学习框架、端侧大模型实践、多智能体协作等热门话题,以及 AI 时代下的软件研发、可观测、开源等技术实践,邀请来自腾讯、阿里、字节跳动、华为、蚂蚁集团、小红书等企业的技术专家,和来自清华大学、北京邮电大学、浙江大学的顶尖高校讲师,和你一起重构技术认知与能力边界!
清华大学计算机科学与技术系副教授,博士生导师艾清遥博士已确认出席并发表题为《让外部知识“长入”模型:动态化与参数化 RAG 技术探索》的主题分享。检索增强生成(RAG)已成为帮助大型语言模型(LLMs)利用和学习外部知识的主流范式。然而,传统的 RAG 方法通常将 LLMs 视为静态的黑箱,仅依赖提示词和上下文工程来整合检索到的信息。这忽略了两个重要的问题,即 LLM 推理过程中的动态信息需求和 LLM 在内、外部知识利用过程存在的机制鸿沟。为此,艾清遥博士团队针对性地提出动态化和参数化的检索增强生成范式,通过主动分析 LLMs 在推理过程中不断变化的需求,实时将检索到的知识注入模型的内部表示和参数中,弥合外部知识检索与内在模型动态之间的差距,实现对 LLM 外部知识利用效率和性能的全面提升。
具体而言,本次分享将重点介绍如何从注意力网络和多层感知机权重两个角度实现动态化和参数化的检索增强,在不改变 LLM 原有参数的前提下实现无缝且实时的外部知识注入。实验表明,与传统 RAG 相比,基于动态化和参数化的检索增强技术可以在提升系统的准确性和适应性的同时显著减少计算开销。相信动态化和参数化的检索增强范式将为弥合外部知识检索与内在模型动态之间的差距,推进大语言模型信息系统的动态定制化和可持续学习提供重要指导。

艾清遥,清华大学计算机科学与技术系副教授,博士生导师。主要研究方向为信息检索,包括信息表示学习、排序优化理论、检索增强技术等在互联网搜推和智慧司法上的应用。曾担任 ACM SIGIR-AP 2023 大会联合主席,NTCIR-18/19 程序联合主席,ACM TOIS 副主编,SIGIR、CIKM、WSDM 等国际顶级信息检索会议的领域主席。曾获北京市科技进步一等奖、钱伟长中文信息处理科学技术奖一等奖、钱伟长青年创新奖、Google 全球研究学者奖、ACM SIGIR 杰出青年学者奖、ACM SIGIR 2024 最佳论文奖、SIGIR-AP’23 最佳论文荣誉提名等。他在本次会议的详细演讲内容如下:
演讲提纲
1. RAG 的技术演进与核心挑战
传统 RAG 的局限性
动态化与参数化的 RAG 价值
2. 基于检索与生成推理解耦技术的动态化 RAG 实例
基于交叉注意力机制的知识注入
跨任务对比实验
推理复杂度理论分析
3. 基于增量参数模块的参数化 RAG 实例
LLM 内外部知识机制理论
外部知识的参数化模块构建
参数化 RAG 流程范式
性能与效率对比实验
4. 未来方向与行业启示
动态感知与参数化注入的复合架构
持续学习框架
您认为,这样的技术在实践过程中有哪些痛点?
技术理论仍待完善
需要软硬件结合的系统支持
演讲亮点
解密动态化与参数化 RAG 突破 Transformer 架构限制的核心机理
实证多文档场景下推理延迟与准确率不可兼得的破解之道
听众收益
掌握下一代 RAG 技术的动态化与参数化实施方法论
除此之外,本次大会还策划了多模态融合技术与创新应用、混沌工程与全链路压测实践、Data Infra for AI、Agentic AI、加速与反哺:AI 时代的可观测实践、Vibe Coding、端侧大模型的创新与应用、大模型推理的工程实践、AI 搜索技术的深水区、模型训练与微调、具身智能:当 AI 学会“动手思考”、大模型驱动的制造革命、AI4SE:软件研发提质增效实践、AI 重塑视觉创作体验、从“炫技”走向“实用”的 AI 产品、大模型驱动的智能数据分析等 20 多个专题论坛,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 上海站现场带来前沿技术洞察和一线实践经验。
目前,所有大会演讲嘉宾已结集完毕,更多详情可联系票务经理 18514549229 咨询。

评论