NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

PayPal 开源 JunoDB,支持 3500 亿次日请求的键值存储

  • 2023-06-24
    北京
  • 本文字数:1172 字

    阅读完需:约 4 分钟

PayPal开源JunoDB,支持3500亿次日请求的键值存储

PayPal 最近开源了JunoDB,这是一个底层使用 RocksDB 存储引擎的分布式键值存储。JunoDB 是一个高度可用且非常注重安全的数据库。在 PayPal,它每天处理 3500 亿次请求。

 

JunoDB是用 Golang 编写的,采用了基于代理的设计,支持连接的线性横向扩展。它使用一致性哈希算法对数据进行分区,最大限度地减少了集群扩展或收缩时的数据移动。为了实现零停机,JunoDB 使用了数据中心内和跨数据中心复制,并通过基于仲裁的协议和两阶段提交确保数据一致性。PayPal 首席 MTS Yaping Shi写道:


实际上,PayPal 的每一个核心后端服务都依赖于 JunoDB,从登录到风险再到最终的交易处理。使用 JunoDB,应用程序可以有效地存储和缓存数据,以便在关系数据库和其他服务上快速访问以及降低负载。



图片来源:https://medium.com/paypal-tech/unlocking-the-power-of-junodb-paypals-key-value-store-goes-open-source-ee85f935bdc1

 

该数据库主要包含三个组件:JunoDB 客户端库(有面向不同语言的版本)、JunoDB 客户端代理(一个连接存储服务器并负责分片的负载平衡器),以及 JunoDB 存储(基于高性能嵌入式数据库RockDB,同时提供了内存和磁盘持久化存储)。

 

如果出现节点故障,那么它提供的自动化即时故障转移功能避免了集群领导的重新选举或数据的重新分配。

 

对于这个新的 NoSQL 解决方案,其建议的应用场景包括缓存、存储用户首选项、帐户详情和 API 响应等信息、幂等性(确保操作幂等并消除任何重复处理)和延迟桥接(帮助解决由跨区域的分布式数据库所造成的复制延迟)。Shi 介绍了该项目在 PayPal 内部的演进情况:


它最初是一个单线程的 C++程序,但后来,为了实现高并发和多核友好性,我们用 Golang 进行了重写。JunoDB 还从一个短 TTL(生存时间)的内存数据存储演变为一个支持长 TTL 的持久数据存储。默认情况下,它通过磁盘加密和 TLS 传输来提升数据的安全性。

 

Mercado Libre 高级软件工程师 Nahim Felicito Gomez评论道:


使用 Golang 重写 JunoDB,PayPal 充分利用了该语言的并发性和多核能力,那也是 Golang 成为构建 JunoDB 客户端库的理想选择的原因。

 

Hacker News上,许多用户讨论了该项目及键值存储的好处,并将 JunoDB 与FoundationDB等其他数据库进行了比较,而用户 gregwebs 则质疑公告中缺乏数据:


如果能看到一些基准测试,或者只是提供一些数据,那就太好了。TiKV是 CNCF 捐赠的项目,具有大致相同的架构,并已部署在超过 200 个节点的大型集群中。

 

JunoDB 是GitHub上的一个开源项目,遵循 Apache 2 许可。为了帮助开发人员有效地使用该数据库,PayPal 发布了服务器设置客户端构建视频教程。该项目的路线图上还包括 Golang 客户端和 Kubernetes JunoDB 操作符。

 

原文链接:

https://www.infoq.com/news/2023/06/paypal-junodb-kv-store/


相关阅读:

Skyscanner 数据文化的改进之道

DevSecOps,将安全性集成到软件开发的每一个阶段

零拷贝技术升级,V6D 让数据传输更高效

2023-06-24 08:004276

评论 1 条评论

发布
用户头像
如果已经存储10亿条数据在内了,一天存取3500亿还是可以的,如果本身10条数据,任何一个循环存储本地map对象都比这个快。。。。。
2023-08-01 21:36 · 广东
回复
没有更多了
发现更多内容

《实现领域驱动设计》笔记——架构

EquatorCoco

架构 DDD 技术架构

全渠道、全触点、全用户 | 数智化运营赋能企业生意“无边界”

用友BIP

数智营销

灯具照明行业智能制造MES系统解决方案

万界星空科技

数字化转型 工业互联网 mes 智能照明 灯具mes

万界星空科技线束行业MES系统

万界星空科技

数字化转型 工业互联网 mes 线束行业 线束mes

Flask已死,FastAPI是未来

Bob Lin

Python django flask FastApi python web

finally中的代码一定会执行吗?

王磊

Java 面试题

Flutter Web 和 H5

A __Sun A0 .

flutter HTML5, CSS3 flutter for web

测试用例设计方法六脉神剑——第五剑:化气为型,场景用例破云 | 京东物流技术团队

京东科技开发者

测试 测试用例 场景法

Sui 概览:技术特色与生态发展现状

Footprint Analytics

区块链 Sui Layer 1

Amazon CodeWhisperer 体验

亚马逊云科技 (Amazon Web Services)

人工智能 云上探索实验室 Amazon CodeWhisperer

开发者能力机制解析,玩转Sermant开发

华为云开源

服务治理 sermant 字节码增强框架

如何利用烛龙和谷歌插件优化CLS(累积布局偏移) | 京东云技术团队

京东科技开发者

前端 页面布局 CLS

微店商品API:电商的实时数据利器

Noah

Axure RP 9 for Mac:功能强大与高效协作的完美结合

影影绰绰一往直前

QUIC在零信任解决方案的落地实践

权说安全

什么是 DDoS ?如何识别和应对DDOS攻击

德迅云安全杨德俊

Web 安全 DDoS

第13期 | 用友BIP项目云,助力科研类项目管理实现精智核算

用友BIP

项目管理

Apache Doris 2.0.3 版本正式发布

SelectDB

数据库 大数据 数据湖 OLAP Doris

万界星空MES安灯管理:优化生产监控的重要工具

万界星空科技

数字化转型 mes 安灯系统 mes安灯管理 生产管理

米哈游宣布启动鸿蒙原生应用开发

新消费日报

极限科技(INFINI labs)荣获中国信通院大数据“星河”标杆案例

极限实验室

中国信通院 极限科技 “星河”标杆案例

智能制造解决方案之智能仓储

天津汇柏科技有限公司

仓储控制系统 解决方案 智能制造 仓储执行系统

记一次生产慢sql索引优化及思考 | 京东云技术团队

京东科技开发者

数据库 SQL优化 MySQL、

千亿级工业大数据的最优方案!智光电气的时序数据库应用

TDengine

tdengine 时序数据库 国产数据库

Beyond Compare 4 for Mac:功能强大与简单易用的完美结合

影影绰绰一往直前

在CentOS上搭建NFS服务器

麦兜

nginx+lua+redis实现灰度发布 | 京东云技术团队

京东科技开发者

lua nginx redis 服务器

一分钟轻松制作AI数字人播报视频

青否数字人

数字人

火山引擎DataLeap:助你实现从数据研发1.0到数据研发3.0的跨越

字节跳动数据平台

大数据 数据中台

CodeArts 五年磨一剑,深耕信创软件开发工具

华为云PaaS服务小智

ide 全球软件开发大会

天猫商品详情接口json 格式返回介绍

tbapi

天猫商品详情数据接口 天猫商品API接口 天猫API接口

PayPal开源JunoDB,支持3500亿次日请求的键值存储_数据库_Renato Losio_InfoQ精选文章