多模态数据驱动的 RAG 增强实践｜QCon 北京

2025 年 4 月 10 - 12 日，QCon 全球软件开发大会将在北京召开，大会以 “智能融合，引领未来” 为主题，将汇聚各领域的技术先行者以及创新实践者，为行业发展拨云见日。

明略科技技术专家董振兴已确认出席并发表题为《多模态数据驱动的 RAG 增强实践》的主题分享。随着生成式大模型技术的飞速发展，企业 AI 搜索需求呈现爆发式增长。纯文本 RAG 虽然在处理文本数据方面表现出色，但难以应对企业内部复杂多样的数据类型。多模态 RAG 技术通过整合文本、图像和音频等多种数据形式，实现了更全面的信息检索和利用，显著提升了生成内容的准确性和时效性，并有效降低了大模型产生幻觉的风险。

本次演讲将聚焦于 RAG 在多模态数据场景下的实践应用和技术挑战。具体将探讨多模态数据的向量化策略，深入剖析检索增强和生成增强的关键技术与解决方案，包括如何有效进行跨模态数据处理、检索和问答，以在海量异构数据中精准定位信息。此外，还将探讨借助 Agentic RAG 等前沿技术，通过大模型的推理和反馈机制，处理复杂搜索查询，提升检索的智能化和精准度。通过对这些核心技术的深入解析，旨在为听众提供构建高效、智能的多模态 RAG 增强系统的全面思路。

董振兴于 2018 年入职明略科技，主要负责 RAG 能力的增强及调优，从 0 到 1 构建了明略多模态 RAG 并持续迭代优化。本次会议中，他的详细演讲内容如下：

演讲提纲

1. 智能时代对多模态搜索的需求

• 当前 AI 搜索的发展趋势，以及对更智能信息检索的需求

• 企业内部数据的多样性和复杂性对传统文本 RAG 的挑战

2. 多模态数据的解析与向量化

• 企业中常见的多模态数据类型（文本、图像、音频等）及其特点

• 针对不同模态数据的向量化策略

3. 多模态信息的检索增强

• 多模态数据检索策略

• 如何将检索到的多模态信息有效地融入生成过程，提升生成内容的质量

• 多模态场景下基于 Agentic RAG 的复杂查询处理与智能检索

4. 总结和展望

您认为，这样的技术在实践过程中有哪些痛点？

• 多模态数据处理的复杂性与难度。不同模态的数据拥有各自特有的存储格式和编码方式，需要进行复杂的预处理、转换、解析才能统一处理

• 多模态数据的对齐问题。例如一段文本描述了一张图片的内容，如何将这两者在语义上对齐是一个挑战

• Agentic RAG 的鲁棒性与可解释性差，且调试困难。如何保证 Agent 在各种复杂的场景下都能稳定运行，并且其决策过程具有一定的可解释性，是实际应用中需要考虑的问题

演讲亮点

• 聚焦多模态数据：深入探讨如何处理和利用文本、图像、音频等多种数据形式进行 RAG

• 强调实践性：结合实际开发和调优经验，分享关键技术和解决方案

• 提供全面的思路：从数据处理、检索增强到生成增强，提供构建高效智能多模态 RAG 系统的完整框架

听众收益

• 深入了解多模态 RAG 系统的核心技术和应用场景

• 学习如何针对不同模态的数据进行向量化和检索

• 掌握多模态 RAG 系统的开发流程和关键优化策略

• 了解当前领域的技术挑战和未来发展方向

除此之外，本次大会还设置了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施、不被 AI 取代的工程师、大模型赋能 AIOps、云成本优化、Lakehouse 架构演进、越挫越勇的大前端等专题，届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 680 元，详情可扫码或联系票务经理 18514549229 咨询。