写点什么

一栈式 HTAP 数据库为 Web3 业务提供毫秒级多维查询 | 案例故事之 NFTScan x TiDB 

  • 2023-04-13
    北京
  • 本文字数:2216 字

    阅读完需:约 7 分钟

一栈式 HTAP 数据库为 Web3 业务提供毫秒级多维查询 | 案例故事之NFTScan x TiDB 

NFTScan 成立于 2021 年 4 月,是一个多链 NFT 数据基础设施服务商,截止到 2023 年 1 月份,NFTScan 已经支持了 11 条区块链网络,包括 Ethereum、Solana、BNBChain、Moonbeam、Polygon、Arbitrum、Optimism、Avalanche、Fantom、Cronos、PlatON 网络。

 

NFTScan 旗下有 2 个核心业务:NFTScan.COM 多链 NFT 数据浏览器平台和 NFTScan OpenAPI 开发者平台。NFTScan 主要为 Web3 用户提供高效简洁的 NFT 资产搜索查询服务,以及为 Web3 开发者和新一代金融科技公司提供专业的 NFT API 数据服务。



目前,NFTScan 数据库收录了 100 万+ 个 NFT 合约地址,7 亿多枚 NFT 资产数据,17 亿多链 NFT 链上交互记录。并且这个数字还在以每日  3000 个 NFT 合约地址和 200 万个 NFT 资产的速度在递增。从上述数据可以看出,NFTScan 有着增量大,活跃度高两大特点。这样的业务特点决定了 NFTScan 对数据库技术架构要求极高,需要具备全面、实时、高效等特性,并满足高并发、低延时等需求。选择一个合适的,能满足业务需求的数据存储体系对 NFTScan  来说至关重要。


以前的 MySQL 解决方案的挑战

 

此前,NFTScan 使用 Amazon Web Services (AWS) 上的 MySQL 和 Elasticsearch 作为其核心数据库解决方案。MySQL 存储了所有业务数据,包括来自 B 端和 C 端用户的用于分析和处理的数据。其中,NFT 的交易记录和资产记录是核心的业务数据模型,B 端和 C 端的查询也大部分是围绕这两类核心数据展开的。由于 NFT 数据每天都在持续增长,多维度查询会存在一些分布不均匀的现象,NFTScan 将 NFT 交易和资产相关数据以全索引方式同步到 Elasticsearch,以近乎全字段索引的方式响应多维度 NFT 数据查询,从而解决 MySQL 在多维度检索海量数据方面的性能与效率瓶颈。

 

该解决方案在使用半年后, NFTScan 逐渐发现其无法满足业务的快速增长,存在以下缺陷:

  • 可扩展性差,存储和维护成本高。每天新的区块链数据量急剧增加,但 MySQL 无法自动横向扩展以应对不断增加的工作负载。NFTScan 不得不手动对表进行分片并新增 MySQL 的主备集群,来分摊和均衡 CPU 和内存资源的使用,这大大增加了存储和维护成本。

  • 随着成本的增加,使用率下降。Elasticsearch 部署在 AWS 上,由于 AWS 原生集群配置的限制,NFTScan 不得不增加更多的 Elasticsearch 高配置数据节点来提供在线查询服务,这导致成本上升和使用率降低。

  • 反复出现的精度错误。Elasticsearch 数据库更多的是为搜索而设计的,而不是为计算设计,所以在聚合计算中存在精度误差。

 

为什么选择 TiDB?

 

经过近一个月的调研和测试,NFTScan 最终选择了 TiDB 来作为核心数据架构,替代原有数据库系统。NFTScan 研发团队在调研中选择 TiDB 主要有以下几点考量因素:

  • 高度兼容 MySQL :TiDB 在传输协议和 SQL 语法等方面与 MySQL 高度兼容,NFTScan 可以轻松地将数据迁移到 TiDB,MySQL 兼容性大大减少了研发团队使用新数据库的学习成本、时间和精力,同时也能加速数据库架构的迁移工作;

  • 弹性伸缩:TiDB 采用计算和存储分离的分布式架构以及底层分布式存储数据的设计机制,NFTScan 可以根据读写流量的实时变化灵活伸缩计算存储资源,最大限度地提高了资源使用率,并大幅降低了成本;

  • 一体化 HTAP 架构:TiDB 的 HTAP 能力可以同时处理事务和分析工作负载,一套数据库即可满足事务型数据库和分析型数据库的需求,不仅完美地满足了 NFTScan 不断增长的业务需求,还降低了整体运营成本;

  • 高可用性:TiDB 本身的数据副本同步机制和内置的灾备方案,保证了整体数据库服务的高可用性。

 

迁移方案

 

经过两个月的时间,NFTScan 完成了将底层数据库系统全部切换到 TiDB 的工作,通过部署 2 台 TiDB 服务器、9 台 TiKV 服务器和 2 台 TiFlash 服务器,并在同一 region 下,跨三个可用区(AZ) 进行部署,保证了整体架构的高可用性。

截至 2022 年 11 月,NFTScan 的 TiDB 数据库存储了大约 6TB 的业务数据,QPS 达到 5000,平均查询时长 40ms,各种应用在 TiDB 上运行稳定。

 

流畅的迁移体验

 

在整个迁移过程中,NFTScan 对 TiDB 的性能与数据迁移的流畅性印象深刻。

 

TiDB 提供了 Dumpling、TiDB Data Migration (DM) 等一系列数据同步套件,帮助 NFTScan 将历史数据从 MySQL 迁移到 TiDB。比如 NFTScan 的一些业务数据是不能直接迁移到 TiDB 的,必须在迁移前先进行调整。在这种情况下,TiDB 的同步工具可以并发写入大量数据。在解析存储实时 NFT 数据时,执行效率较之前的存储方案提升了约 30%。

 

同时,TiDB 的 online  schema update (在线 schema 更新)设计,使得 NFTScan 可以在迁移过程中进行异步更改字段和异步添加索引等数据定义语言 (DDL) 操作,而不会阻塞整个表的读写,这大大提高了业务逻辑调整时数据模式的灵活性。迁移完成后,NFTScan 对 B 端、C 端各类应用程序的数据查询进行了改造,经过充分调优和测试后,逐步将生产环境的应用全部切换到 TiDB。

 

用户收益

 

  • TiDB 支持多维实时查询,查询时间短。TiDB 完美地满足了 NFTScan 高吞吐量和低延迟的核心要求。以业务端的 API 服务为例,平均查询时间从 10-100 毫秒下降到 10 毫秒或更少。即使处理 1,000 QPS,这样的查询速度也能保持稳定。

  • TiDB 的列式存储引擎 TiFlash ,可以高效地处理分析工作负载。例如,在对某张具有数亿行的表执行复杂查询时,可以在几秒钟内获得结果。

  • TiDB 的智能 SQL 优化器可以根据数据的分布情况选择最具性价比的数据查询执行计划,让开发者可以灵活调整和优化 SQL 执行计划。

2023-04-13 14:193448
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 571.5 次阅读, 收获喜欢 1979 次。

关注

评论

发布
暂无评论
发现更多内容

牛客java选择题每日打卡Day8

京与旧铺

7月月更

一个酷酷的“幽灵”控制台工具

为自己带盐

C# 控制台 7月月更

windows下设置TortoiseGit客户端连接git不用每次输入用户名和密码

乌龟哥哥

7月月更

AI人脸编辑让Lena微笑

逝缘~

华为云 AI Gallery 7月月更

架构实战营模块 6 作业

Roy

架构实战营

当 Knative 遇见 WebAssembly

阿里巴巴中间件

阿里云 容器 云原生 Knative WebAssenbly

ServiceMesh主要解决的三大痛点

阿泽🧸

Service Mesh 7月月更

【愚公系列】2022年7月 Go教学课程 005-变量

愚公搬代码

7月月更

【LeetCode】 解密消息Java题解

Albert

LeetCode 7月月更

谈谈讲清楚这件事的重要性

阿里巴巴中间件

阿里云 技术 云原生

想要在Linux中只显示隐藏文件,用对ls就可以实现

wljslmz

Linux 运维 7月月更

自律,提升自制力原来也有方法

沃德

程序员 7月月更

Qt 实现容器的DELETE的方式

小肉球

qt 7月月更

Android 面试知识点

沃德

android 程序员 7月月更

LinkedBlockingQueue源码分析-初始化

zarmnosaj

7月月更

一个开发者自述:我是如何设计针对冷热读写场景的 RocketMQ 存储系统

阿里巴巴中间件

阿里云 RocketMQ 云原生编程挑战赛

当我们谈论不可变基础设施时,我们在谈论什么

阿里巴巴中间件

阿里云 容器 云原生 托管

Java 9 中的字符串(String)压缩的改进

HoneyMoose

Salesforce 容器化 ISV 场景下的软件供应链安全落地实践

阿里巴巴中间件

阿里云 容器 云原生 安全

全链路压测:影子库与影子表之争

阿里巴巴中间件

阿里云 云原生 全链路压测 影子

Nginx 主机配置文件中如何配置能够支持 IPv4 和 IPv6

HoneyMoose

iOS基础--属性(setter方法 、getter方法、点语法、@property)

NewBoy

前端 移动端 iOS 知识体系 7月月更

组织实战攻防演练的5个阶段

穿过生命散发芬芳

攻防演练 7月月更

算法入门很简单:算法题的破解之道上篇

宇宙之一粟

算法 7月月更

《HarmonyOS实战—入门到开发,浅析原子化服务》

攻城狮杰森

操作系统 HarmonyOS 7月月更

OpenSergo 即将发布 v1alpha1,丰富全链路异构架构的服务治理能力

阿里巴巴中间件

阿里云 微服务 云原生 云原生开源 OpenSergo

offer如何选择该考虑哪些因素

KEY.L

7月月更

Ubuntu22.04 源码安装Python3.10

IT蜗壳-Tango

7月月更

鸿蒙智联汽车【1.0】

坚果

HarmonyOS OpenHarmony 7月月更

async / await

Jason199

Async await 7月月更

一栈式 HTAP 数据库为 Web3 业务提供毫秒级多维查询 | 案例故事之NFTScan x TiDB _AI&大模型_TiDB技术团队_InfoQ精选文章