写点什么

多模态数据驱动的 RAG 增强实践|QCon 北京

  • 2025-03-22
    北京
  • 本文字数:1359 字

    阅读完需:约 4 分钟

多模态数据驱动的 RAG 增强实践|QCon 北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将在北京召开,大会以 “智能融合,引领未来” 为主题,将汇聚各领域的技术先行者以及创新实践者,为行业发展拨云见日。


明略科技技术专家董振兴已确认出席并发表题为多模态数据驱动的 RAG 增强实践的主题分享。随着生成式大模型技术的飞速发展,企业 AI 搜索需求呈现爆发式增长。纯文本 RAG 虽然在处理文本数据方面表现出色,但难以应对企业内部复杂多样的数据类型。多模态 RAG 技术通过整合文本、图像和音频等多种数据形式,实现了更全面的信息检索和利用,显著提升了生成内容的准确性和时效性,并有效降低了大模型产生幻觉的风险。


本次演讲将聚焦于 RAG 在多模态数据场景下的实践应用和技术挑战。具体将探讨多模态数据的向量化策略,深入剖析检索增强和生成增强的关键技术与解决方案,包括如何有效进行跨模态数据处理、检索和问答,以在海量异构数据中精准定位信息。此外,还将探讨借助 Agentic RAG 等前沿技术,通过大模型的推理和反馈机制,处理复杂搜索查询,提升检索的智能化和精准度。通过对这些核心技术的深入解析,旨在为听众提供构建高效、智能的多模态 RAG 增强系统的全面思路。


董振兴于 2018 年入职明略科技,主要负责 RAG 能力的增强及调优,从 0 到 1 构建了明略多模态 RAG 并持续迭代优化。本次会议中,他的详细演讲内容如下:


演讲提纲

1. 智能时代对多模态搜索的需求

  • 当前 AI 搜索的发展趋势,以及对更智能信息检索的需求

  • 企业内部数据的多样性和复杂性对传统文本 RAG 的挑战

2. 多模态数据的解析与向量化

  • 企业中常见的多模态数据类型(文本、图像、音频等)及其特点

  • 针对不同模态数据的向量化策略

3. 多模态信息的检索增强

  • 多模态数据检索策略

  • 如何将检索到的多模态信息有效地融入生成过程,提升生成内容的质量

  • 多模态场景下基于 Agentic RAG 的复杂查询处理与智能检索

4. 总结和展望


您认为,这样的技术在实践过程中有哪些痛点?

  • 多模态数据处理的复杂性与难度。不同模态的数据拥有各自特有的存储格式和编码方式,需要进行复杂的预处理、转换、解析才能统一处理

  • 多模态数据的对齐问题。例如一段文本描述了一张图片的内容,如何将这两者在语义上对齐是一个挑战

  • Agentic RAG 的鲁棒性与可解释性差,且调试困难。如何保证 Agent 在各种复杂的场景下都能稳定运行,并且其决策过程具有一定的可解释性,是实际应用中需要考虑的问题


演讲亮点

  • 聚焦多模态数据:深入探讨如何处理和利用文本、图像、音频等多种数据形式进行 RAG

  • 强调实践性:结合实际开发和调优经验,分享关键技术和解决方案

  • 提供全面的思路:从数据处理、检索增强到生成增强,提供构建高效智能多模态 RAG 系统的完整框架


听众收益

  • 深入了解多模态 RAG 系统的核心技术和应用场景

  • 学习如何针对不同模态的数据进行向量化和检索

  • 掌握多模态 RAG 系统的开发流程和关键优化策略

  • 了解当前领域的技术挑战和未来发展方向


除此之外,本次大会还设置了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 680 元,详情可扫码或联系票务经理 18514549229 咨询。



2025-03-22 15:054938

评论

发布
暂无评论

技术实录 | 灵雀云基于 OVN 的 Kubernetes 网络架构解析

York

灵雀云 Kubernetes k8s Kube-OVN

“持证”就能上岗 京东绿色内推招聘通道开启

京东科技开发者

云计算 大数据 程序人生

容器网络方案调研:都是网络插件,Kube-OVN凭啥脱颖而出?

York

灵雀云 Kubernetes k8s Kube-OVN

电商后链路如何做好私域运营?

Linkflow

客户数据平台 CDP 客户画像

Kube-OVN 0.5.0 发布,支持 NetworkPolicy、用户自定义网卡和MTU

York

灵雀云 Kubernetes k8s Kube-OVN

Kube-OVN再更新! v0.8.0 支持网关高可用以及网络监控集成

York

灵雀云 Kubernetes k8s Kube-OVN

腾讯大佬亲自总结出“Java知识地图+学习路线”从点到面一应俱全!不看血亏

比伯

Java 编程 架构 程序人生 计算机

再谈自研开源Kube-OVN, 设计思路及实现原理

York

灵雀云 Kubernetes k8s Kube-OVN

Python进阶系列文章汇总

Kaito

Python 爬虫

代码整洁之道

田维常

代码

OVS 设计与实现阅读笔记,五年前的这篇论文里这些问题已经明了

York

Kubernetes k8s Kube-OVN

视频课程|Kube-OVN 入门与应用实战 (第1期)

York

灵雀云 Kubernetes k8s Kube-OVN

SpringCloud从入门到精通02---支付模块01

Felix

软件测试--缺陷报告

测试人生路

软件测试

Yarn RM写ZNode超数据量限制bug修复

kwang

大数据 zookeeper YARN

2021年的28天写作,从微信视频号开始

赵新龙

法庭上的CTO 28天写作

大作业一:架构设计方案评审

Nick~毓

剖析JDK:强引用、软引用、弱引用、虚引用有何区别?

后台技术汇

28天写作

架构师训练营技术知识点

三板斧

架构师训练营第 1 期

同城快递系统-大作业

三板斧

极客时间架构师一期

一个20年技术老兵的 2020 年度技术总结

万俊峰Kevin

微服务 go-zero Go 语言

2021年阿里巴巴面试参考指南泰山版开源(Java版)

Java架构追梦

Java 架构 面试 分布式 微服务

“58同城”架构师分享:联盟广告平台架构及实践

Java架构师迁哥

Kube-OVN 0.6.0 发布,支持 IPv6、流量镜像及更多功能

York

灵雀云 Kubernetes k8s Kube-OVN

Kube-OVN v0.9.0更新,网络可视化和控制平面稳定性提升

York

灵雀云 Kubernetes k8s Kube-OVN

中国特色新基建可视化,工程监控画面还能这么美?你绝对没见过

一只数据鲸鱼

物联网 新基建 数据可视化 绿色工业

灵雀云Kube-OVN:基于OVN的开源Kubernetes网络实践

York

灵雀云 Kubernetes k8s Kube-OVN

Kube-OVN v 0.7.0 发布,IPAM、子网和安全功能增强

York

灵雀云 Kubernetes k8s Kube-OVN

灵雀云开源项目 Kube-OVN 亮相开源基础设施峰会

York

灵雀云 Kubernetes k8s Kube-OVN

一份阿里Java学习路线出现“病毒式”传播,导致44人秋招同时拿到offer

Java架构师迁哥

教小师妹快速入门Maven,嘿嘿嘿...

田维常

maven

多模态数据驱动的 RAG 增强实践|QCon 北京_AI&大模型_QCon全球软件开发大会_InfoQ精选文章