写点什么

谷歌云为 Valkey 和 Redis 集群的 Memorystore 添加了可扩展的向量搜索

作者:Mohit Palriwal

  • 2024-11-20
    北京
  • 本文字数:1613 字

    阅读完需:约 5 分钟

谷歌云为 Valkey 和 Redis 集群的 Memorystore 添加了可扩展的向量搜索

谷歌云(Google Cloud)为 Valkey 和 Redis 集群的 Memorystore 引入了可扩展的向量搜索功能。该更新允许开发人员以超低的延迟在数十亿个向量上执行向量搜索。


这种增强对于依赖于生成式人工智能的应用程序来说特别有益,例如检索增强生成(RAG)、推荐系统和语义搜索。


该更新利用了在集群中跨节点划分向量索引进行分区的能力。每个节点都包含一个索引分区,该分区与其键空间部分相对应,可使集群能够处理数十亿个向量,同时保持个位毫秒数的延迟和 99% 以上的召回率。这种架构不仅在添加节点时线性地加速了索引的构建时间,而且优化了搜索性能——对分层可导航小世界(hierarchical navigable small-world,HNSW)搜索进行对数优化,对暴力搜索进行线性优化。


开发人员可以使用这些新功能将他们的集群扩展到 250 个分片,在单个实例中存储数十亿个向量。这种可扩展性对于需要在大量数据集上执行语义搜索的企业应用程序来说至关重要。


除了可扩展性之外,此次更新还引入了对混合查询(Hybrid Query)的支持。混合查询使开发人员能够将向量搜索与数字和标签字段上的过滤器相结合。该功能对于基于特定条件微调搜索结果来说特别有用。例如,在线服装零售商可以使用混合搜索来推荐类似的商品,同时根据服装类型和价格范围过滤结果。


为了实现混合查询,开发人员可以创建一个新的向量索引,其中包含用于过滤的其他字段:


FT.CREATE inventory_index SCHEMA embedding VECTOR HNSW 6 DIM 128 TYPE FLOAT32 DISTANCE_METRIC L2 clothing_type TAG clothing_price_usd NUMERIC
复制代码


这将创建一个索引’investory_index’,其中包含一个向量字段’embedment’,用于服装条目的语义嵌入;一个标签字段“clothing_type”,用于服装类目表示(例如“连衣裙”或“帽子”);以及一个数字字段’clothing price_usd’,用于服装的价格表示。


要对“investory_index”执行混合查询,可执行如下操作:


FT.SEARCH inventory_index “(@clothing_type:{dress} @clothing_price_usd:[100-200])=>[KNN 10 @embedding $query_vector]“ PARAMS 2 query_vector “...” DIALECT 2
复制代码


该查询检索了 10 条结果,这些结果按服装类型为“连衣裙”、价格范围在 100-200 之间进行过滤,并结合了向量相似性搜索。


一些社区成员警告说,如果组织内尚未部署 Redis 的向量搜索技术,则不要采用该技术。例如,Reddit 上的 marr75 表示:


不过,更好的建议可能是坚持使用占主导地位的数据持久和查询技术。如果是 RediSearch,那就坚持用下去。如果不是,不要因为它的向量搜索支持而选择它,这很好,但不是同类中最好的或最先进的。


谷歌云还通过将其向量搜索功能捐赠给了 Valkey 键值数据存储,为开源社区做贡献。该计划旨在使 Valkey 的开发人员能够利用向量搜索来创建高级的生成式人工智能应用程序。


在谷歌最近发布的一篇公告博客中,SanjieMo 的首席分析师、前 Gartner 的副总裁 Sanjeev Mohan 分享了他对谷歌贡献的看法:


Valkey 对于继续推进社区主导的以提供功能丰富的开源数据库替代品的努力来说非常重要。在 Memorystore 中推出 Valkey 支持是谷歌致力于为用户提供真正开放且可访问的解决方案的又一例证。他们对 Valkey 的贡献不仅使寻求灵活性的开发人员受益,而且还加强了更广泛的开源生态系统。


快速和精确的向量搜索与电子商务等行业息息相关,在这些行业中,了解客户偏好并提供量身定制的建议可能会大有裨益。

作者介绍

Mohit Palriwal 是奈飞(Netflix)的高级软件工程师,也是 Netflix 可观测性团队的重要成员。Netflix Atlas 项目团队的一员,该项目是一个开源的多维时间序列数据库,旨在处理大规模需求。在加入 Netflix 之前,Mohit 是 Salesforce 的首席软件工程师,在那里他与人合作构建了 AWS 上的可观测云。Mohit 的经验还延伸到了亚马逊网络服务(AWS),在那里他花了四年多的时间开发并推出了基于无服务器架构的 AWS Pinpoint。


查看原文链接:

https://www.infoq.com/news/2024/10/vector-search-memorystore/

2024-11-20 08:029752

评论

发布
暂无评论
发现更多内容

抖音、小红书都在用的秒验一键登录验证方式,到底好在哪?

MobTech袤博科技

聚道云连接器打通红圈CRM和金蝶云星辰,赋能环境科技公司数字化转型

聚道云软件连接器

案例分享

阿里巴巴API接口助力,快速搜索“智能手表”新品,精准获取商品ID

技术冰糖葫芦

API Explorer api 货币化 API 文档

10年大厂运营大咖告诉你,如何有效应对消息推送厂商配额

MobTech袤博科技

海外云手机:跨境电商引流的利器

Ogcloud

云手机 海外云手机 云手机海外版 国外云手机 跨境云手机

上传应用程序到苹果应用商店的工具和要求

雪奈椰子

2024年本机一键验证登录最强指南已出,请查收!

MobTech袤博科技

iOS 开发中上传 IPA 文件的方法(无需 Mac 电脑)

如何搭建企业级MQ消息集成平台

RestCloud

ipaas MQ消息

MobTech积极参与鸿蒙生态建设,HarmonyOS NEXT鸿蒙星河版产品即将发布

MobTech袤博科技

如何选择高防服务器?稳定性与安全性兼备

一只扑棱蛾子

高防服务器

20余年运维实践经验总结!一本书掌握数字化运维方法

嘉为蓝鲸

运维 数字化转型 运维管理 IT 运维

3分钟教你最大化利用APP消息推送(Push)在运营中的优势

MobTech袤博科技

软件测试学习笔记丨自动化测试策略

测试人

软件测试 自动化测试 测试开发

开创加密资产新纪元:深度解析ERC-314协议

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

高维解码|Redis 收紧许可证!开源软件公司如何在云时代生存?

Zilliz

redis 开源 许可证 Zilliz 开源公司

秒验资深玩家熬夜整理的15个常见问题,拿走不谢!

MobTech袤博科技

秒验:让APP验证和登录远不只是便捷

MobTech袤博科技

数仓调优实战:GUC参数调优

快乐非自愿限量之名

数仓 数仓架构

10分钟说清楚,秒验一键认证除了快,还有哪些优点?

MobTech袤博科技

都2024年了,你还不知道一键登录怎么选吗?

MobTech袤博科技

海外云手机助力出海电商引流获客

Ogcloud

云手机 海外云手机 云手机海外版 电商云手机 跨境云手机

为什么 80% 的码农都做不了架构师?

秃头小帅oi

流量见顶了以后,APP为何仍然要使用推送通知?

MobTech袤博科技

一文快速读懂消息推送的到达率、转化率和卸载率

MobTech袤博科技

内部人士揭秘:千万不要关闭手机一键登录验证

MobTech袤博科技

哪个好人,2024年还在做push攻略科普啊!

MobTech袤博科技

QAnything-1.3.0,支持纯python笔记本运行,支持混合检索

有道技术团队

10年产品经理教你快速提升消息推送的点击率

MobTech袤博科技

K8s技术全景:架构、应用与优化

不在线第一只蜗牛

架构 Kubernetes 容器

谷歌云为 Valkey 和 Redis 集群的 Memorystore 添加了可扩展的向量搜索_Google_InfoQ精选文章