智能体刷屏的背后,是 AI 应用拐点的来临?AICon 北京站议程重磅公布,50+ 硬核分享不容错过 了解详情
写点什么

仅 4 个多月 RAG 就又进化到“一个新时代”了:成本降低到 GraphRAG 的 0.1%

  • 2024-12-03
    北京
  • 本文字数:2300 字

    阅读完需:约 8 分钟

大小:1.08M时长:06:18
仅4个多月RAG就又进化到“一个新时代”了:成本降低到GraphRAG的0.1%

在质量和成本方面,将 VectorRAG 与 GraphRAG 相结合的新方案将为行业带来革命性的变革。

 

近日微软推出了一种“不同于以往的方法”,名为 LazyGraphRAG,追求的是以高效、低成本的方式实现图形 RAG 功能。

 

微软方面的研究人员声称,这种新型 RAG 方案“在成本和质量方面实现了天然可扩展性”,能够“在理想的成本和质量范围之内表现出强大性能”。此外,它还降低了整个数据集的全局搜索成本,并使得本地搜索更加高效。

 

有些朋友可能不太熟悉,GraphRAG 是“Graph”图形与 RAG(检索增强生成)的混合词。这项技术通过单一端到端系统利用文本提取、网络分析以及大模型提示/摘要的方式,深入理解基于单词的数据集内容。

 

今年 7 月,微软首次开源了 GraphRAG,仅 4 个多月的时间在 Github 已有 19.7k 颗星,成为目前最火的 RAG 框架之一。

 


在人工智能领域,RAG 系统对于文档摘要、知识提取和探索性数据分析任务至关重要。但现有系统的主要问题之一在于成本与质量之间的权衡。

 

传统方法(如基于向量的 RAG)在处理局部化任务时表现良好,例如从特定文本片段中检索直接答案。然而,当涉及需要全面理解数据集的全局性查询时,这些方法往往难以胜任。相比之下,图支持的 RAG 系统通过利用数据结构中的关系,可以更好地解决此类更广泛的问题。然而,与图 RAG 系统相关的高索引成本,使其难以被成本敏感的场景所接受。因此,在可扩展性、经济性和质量之间实现平衡,仍然是现有技术的关键瓶颈。

 

这次微软推出的 LazyGraphRAG 是一种全新系统,不仅克服了现有工具的局限性,还融合了它们的优势。LazyGraphRAG 通过消除对高成本初始数据摘要的需求,将索引成本降至接近向量 RAG 的水平。

 

后续,微软也会很快发布 LazyGraphRAG 开源版本并加入到 GraphRAG 库中。

 

开源地址:https://github.com/microsoft/graphrag

 

成本降低至 1/1000

 

LazyGraphRAG 代表了检索增强生成领域的突破性进步,微软称它是“适用于所有场景的低成本解决方案”。

 

为了评估 LazyGraphRAG 的性能,微软设计了三种不同的预算场景,观察其在多种条件下的表现。

 

  • 最低预算(100 次相关性测试,使用低成本 LLM,与 SS_8K 成本相同),LazyGraphRAG 在本地和全局查询中显著优于所有条件,仅在全局查询时略逊于 GraphRAG 的全局搜索条件。

  • 中等预算(500 次相关性测试,使用更高级的 LLM,查询成本为 C2 的 4%),LazyGraphRAG 在本地和全局查询上全面超越所有对比条件。

  • 高预算(1,500 次相关性测试),LazyGraphRAG 的胜率进一步提升,展现出其在成本与质量平衡方面的优异扩展性。

 


也就是说,LazyGraphRAG 将 VectorRAG 与 GraphRAG 相结合,“同时克服了二者的各自局限性”。微软方面写道,“LazyGraphRAG 表明,单一、灵活的查询机制有望在本地全局查询范围之内大大超越各类专用查询机制,而且消除了大语言模型的前期数据汇总成本。”

 

 “其极快且几乎免费的索引功能,使得 LazyGraphRAG 成为致病性查询、探索性分析以及流式数据用例的理想选择。与此同时,它还能够随着相关性测试预算的增加而平衡提高答案质量,这使其成为对其他 RAG 方法进行基准测试的重要工具。”

 

Vector RAG 也被称为语义搜索,根据微软方面的解释,这是一种“最佳优先搜索形式,使用与查询的相似性来选择最佳匹配的源文本块。”“然而,语义搜索仍有一大短板,即无法满足全局查询所需要考虑的数据集广度。”

 

研究人员写道,“GraphRAG 全局搜索则是一种广度优先搜索,它使用源文本实体的社区结构以确保查询结果中能充分考虑到数据集广度。但问题在于,它无法识别本地查询所需要的最佳社区。”

 

在回答关于整个数据集内容的全局查询请求时,后一项技术往往比传统向量 RAG 效果更好,其适合的问题包括“核心主题是什么?”或者“这些信息体现了 X 的什么特征?”等等。总之,GraphRAG 更擅长提供重视广度的问题。

 

在另一方面,Vector RAG 则更适合本地查询场景下,答案跟问题结构相似的情况。例如涉及“谁、什么、何时、何地”之类的问题,微软强调这也是所谓“最佳优先”这种算法形式的由来。

 


GraphRAG 与 LazyGraphRAG 之间的区别。

 

LazyGraphRAG 以迭代深化的方式将最佳优先与广度优先两种搜索动态结合起来——首先在有限的深度上进行搜索,之后再通过迭代深入数据集内部。

 

微软公司表示,LazyGraphRAG 的数据索引成本与向量 RAG 相同,而仅为完整 GraphRAG 成本的 0.1%。

 

 “在同等配置下,LazyGraphRAG 也表现出与 GraphRAG 全局搜索相当的答案质量,但全局查询的成本却降低至 1/700 以下。只需要相当于 GraphRAG 全局搜索查询成本的 4%,LazyGraphRAG 就能在本地和全局两方面表现出明显优于所有竞争方法的查询效果。”

 

微软是这样回答这个问题的:“与完整的 CraphRAG 全局搜索机制相比,这种方法在某种程度上确实更「懒」,因为它会推迟对大模型的使用,从而大大提高答案生成效率。其整体性能可以通过一条主要参数(相关性测试预算)进行扩展,该参考则以一致的方式把控成本与质量之间的权衡。”

 

因此,这种勤奋的 RAG 方法确有“懒”的一面,因为它只在绝对必要时才会应用大语言模型(LLM),由此优化了对大语言模型的使用。它不会预先处理整个数据集,而是先进行初始相关性测试,分析较小的数据子集以识别出潜在的相关性信息。

 

在完成这些测试之后,系统才会使用资源密集型的大语言模型开展更加深入的分析。

虽然跟如今他的个人风格不尽相同,但这还是让我们想起比尔·盖茨当初执掌微软时说过的一句话: “我宁愿选个懒人去做困难的工作,因为懒人会找到一种更简单的办法来完成任务。”

 

参考链接:

https://www.thestack.technology/microsoft-lazygraphrag/

https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/

2024-12-03 11:416099

评论

发布
暂无评论
发现更多内容

KubeEdge 新版本5大特性解读:更完备的节点设备能力,全新的Dashboard体验

华为云开发者联盟

开源 容器 云原生 kubeedge

2024年IT项目管理软件用哪个?8大精选一览

易成研发中心

企业网盘软件对比:9款国内靠谱选择推荐

易成研发中心

选择支持在线编辑的企业网盘,看看这些主流5款

易成研发中心

中昊芯英携全自研TPU AI芯片亮相2024高交会

科技热闻

Linux 数据处理三剑客:提升工作效率的必备工具

测试人

软件测试

电商数据探索:利用API接口获取淘宝关键词与店铺商品全览

代码忍者

API 接口 pinduoduo API

大国重器 数智领航——用友助力核工业迈向高质量发展新征程

用友BIP

淘宝/天猫商品描述API返回值深度解析与实战应用:以taobao.item_get_desc为例

代码忍者

API 接口 pinduoduo API

解密小红书详情API接口:获取与运用

科普小能手

API 小红书 API 接口 小红书API接口 小红书API

天润融通:饮品连锁店,一定要避开的坑!

天润融通

莱特币转型MEME币:背后隐含的加密市场现象

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

代币开发:构建区块链生态的核心要素

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

小团队项目管理软件哪款最合适?8款工具对比

易成研发中心

从《中央企业高质量发展报告(2024)》看央企奋进新姿态

用友BIP

SQL 审核在 CloudQuery 的四大场景应用

BinTools图尔兹

企业为什么需要国际专线网络?

Ogcloud

SD-WAN国际专线 国际专线 国际网络专线 国际互联网专线

适合企业的十款文档管理系统厂商分析

易成研发中心

异构仿真:打造更可靠的综合化航空电子软件

DevOps和数字孪生

飞机

2024年中小企业如何选择项目管理软件?这8款值得关注

易成研发中心

CFD专栏丨HyperMesh CFD功能详解:虚拟风洞 Part 2

Altair RapidMiner

gpu 仿真 智能制造 altair CFD

.NET现在可以做什么,有哪些公司在用的?

不在线第一只蜗牛

.net

2024年,众多领先企业携手用友加速出海

用友BIP

创新实践:基于边缘智能+扣子的智能轮椅 AIoT 解决方案

火山引擎边缘云

物联网, 智能IoT边缘服务 大模型 AI 基础设施 边缘智能

Hack VC:模块化是个错误吗?以数据为依据审视以太坊的这一战略

TechubNews

网盘企业版哪个好用?盘点8款适合企业使用的网盘

易成研发中心

仅4个多月RAG就又进化到“一个新时代”了:成本降低到GraphRAG的0.1%_生成式 AI_Tina_InfoQ精选文章