写点什么

蚂蚁集团开源向量索引库 VSAG,支持千维以上向量存储

  • 2024-09-09
    北京
  • 本文字数:875 字

    阅读完需:约 3 分钟

大小:470.54K时长:02:40
蚂蚁集团开源向量索引库VSAG,支持千维以上向量存储

近日,由蚂蚁集团发起的,旨在提高数据库与大模型应用开发效率的“星辰智能社区”新发布了两个项目:AI 原生数据应用开发框架 DB-GPT 新版本与向量索引库 VSAG。


DB-GPT 是一个开源的 AI 原生数据应用开发框架。在数据库领域,如何增强和大语言模型的交互任务,减少大模型的幻觉,为用户提供可靠并且安全的数据理解和分析能力,仍然是一项极具挑战的工作。DB-GPT 通过开发多模型管理(SMMF)、Text2SQL 效果优化、RAG 框架以及优化、Multi-Agents 框架协作、AWEL(智能体工作流编排)等多种技术能力,让围绕数据库构建大模型应用更简单便捷。


本次开源的新版本 DB-GPT v0.6.0,完整支持了数据驱动的 AI 原生应用生命周期管理(AI Native Data Apps-dbgpts)以及 AI 原生应用仓库,方便开发者构建、发布、分享 AI Native Data Apps,还新增了六大特性,包括将 AWEL 协议升级至 2.0,支持更复杂的编排;结合 TuGraph,能支持图的构建与检索,进一步增强检索的准确性与召回的稳定性,以减少大模型的幻觉,在同样的检索效果下,构建 Graph 的成本比业界的方案少 50%的 Tokens;支持 Agent Memory,如感知记忆、短期/长期记忆、混合记忆等;支持意图识别、槽位填充,支持 Text2NLU、Text2GQL 微调等。


除此之前,社区还新发布了向量索引库 VSAG。VSAG 是蚂蚁集团在向量数据库上一系列的工程优化与向量索引的算法改进成果,适用于高维向量的存储和计算优化,并能提供 C++ 和 Python 的接口以便使用。VSAG 已在蚂蚁内部百亿数据量级业务上使用,在保证同样的召回率情况下,VSAG 可以通过量化和基于磁盘的重排技术,将内存消耗降低到 HNSW(最流行的向量索引)的 1/10,从而实现生产部署成本的大幅降低。VSAG 将结合 DB-GPT,让 RAG 的构建更加简单、高效,同时 VSAG 作为独立开放的向量引擎,也将支持 LangChain、LlamaIndex 构建 RAG 应用。


关于星辰智能社区

“星辰智能社区”由蚂蚁集团发起,专注于 AI 时代数据智能技术的探索,社区在 GitHub 上已获得 17k Star 数,核心成员来自蚂蚁、阿里、美团、京东、唯品会等科技公司和知名海内外高校硕博在校学生。目前已有超过 50 万用户正在学习和使用 DB-GPT,社区活跃人数近 7000 人,开发贡献者 130 人。

2024-09-09 15:417243

评论

发布
暂无评论
发现更多内容

YashanDB数据库事务管理详解,保证数据一致性

数据库砖家

YashanDB数据库在金融行业的实际应用探讨

数据库砖家

YashanDB数据库在电子商务中的应用优势

数据库砖家

YashanDB数据库在金融行业的成功应用分享

数据库砖家

YashanDB数据库在民生工程中的应用实例

数据库砖家

YashanDB数据库分布式事务设计与应用实践

数据库砖家

YashanDB数据库事务隔离级别及实际应用方案

数据库砖家

YashanDB数据库与第三方服务的整合实践

数据库砖家

YashanDB数据库在电商网站中的应用实例与效果分析

数据库砖家

4年磨砺,今朝开源!清源SCA开源版重磅登场!

安势信息

开源 安势信息 清源SCA开源版

YashanDB数据库事务日志管理及优化技巧

数据库砖家

YashanDB数据库使用过程中遇到的挑战及解决办法

数据库砖家

YashanDB数据库事务恢复及错误处理流程

数据库砖家

YashanDB数据库优化查询性能的策略解析

数据库砖家

YashanDB数据库与智能分析工具的整合

数据库砖家

YashanDB数据库升级注意事项及版本兼容性分析

数据库砖家

YashanDB数据库与机器学习的结合前景展望

数据库砖家

YashanDB数据库与数据科学的应用实例分析

数据库砖家

YashanDB数据库在大数据处理中的重要性与应用

数据库砖家

YashanDB数据库分布式事务实现与挑战解析

数据库砖家

YashanDB数据库功能与应用场景全面介绍

数据库砖家

YashanDB数据库企业应用部署实例分析

数据库砖家

YashanDB数据库全方位性能优化及实战经验分享

数据库砖家

YashanDB数据库业务连续性保障策略全面解析

数据库砖家

YashanDB数据库云上部署最佳实践与技术要点

数据库砖家

YashanDB数据库分页查询优化实用教程

数据库砖家

YashanDB数据库基础架构部署最佳方案分享

数据库砖家

YashanDB数据库分布式架构设计实战指南

数据库砖家

YashanDB数据库基础知识:初学者必看指南

数据库砖家

YashanDB数据库事务处理与数据一致性保障

数据库砖家

YashanDB数据库在金融行业的数据处理应用探讨

数据库砖家

蚂蚁集团开源向量索引库VSAG,支持千维以上向量存储_AI&大模型_蚂蚁集团_InfoQ精选文章