【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

蚂蚁金服 OceanBase 挑战 TPCC 丨 TPC-C 基准测试之链路层优化

  • 2019-10-21
  • 本文字数:3165 字

    阅读完需:约 10 分钟

蚂蚁金服OceanBase挑战TPCC丨TPC-C基准测试之链路层优化

在 TPC-C 标准定义中,测试系统分为 RTE(Remote Terminal Emulator)和 SUT 两部分。在实际的 TPC-C 测试流程中,不只是对 DB 端能力的考验,对链路中的所有组件都存在极大的资源消耗和压力。以这次 6088 万 tpmC 测试结果看,我们一共在 64 台 64C128G 的云服务器上运行了 960 个 RTE 客户端,来模拟总计 47942400 个用户 Terminal,最后还需要基于这么多 RTE 统计结果进行一致性和持久化审计验证。而 SUT 又拆分为三部分:WAS(Web Application Server) 、OceanBase Proxy(OBProxy) 和 OceanBaseServer(OBServer)。RTE 的请求到 WAS,然后 WAS 通过 OceanBase 客户端来访问 OBProxy,OBProxy 会将请求转发到后端 OceanBase 集群中最佳的 ObServer 去执行请求。WAS 和 OBProxy 是 RTE 和 OBServer 之间的桥梁,这个桥梁对于承载压力起着至关重要的作用。本次 TPC-C 基准测试中,OceanBase 访问链路上主要涉及两个组件:

ODBC 接口及驱动

TPC-C 测试中,WAS 请求 OceanBase 采用了 ODBC 接口。ODBC(Open Database Connectivity)是 Microsoft 提出的数据访问规范,ODBC 在大多数 DBMS 上都可以使用,OceanBase 也提供了 ODBC 接口访问能力。感兴趣的用户可以查阅 ODBC API 说明 快速上手使用,使用 ODBC 的用户可以直接使用该接口无缝迁移的访问 OceanBase。ODBC 接口及驱动集成到 WAS 内部,作为请求 OceanBase 的客户端。

OBProxy 代理

OceanBase 实现了 OBProxy 代理服务器来解决数据库链路上的路由及容灾问题。OBProxy 会感知数据副本地址和分区规则,不参与 SQL 引擎参与执行计划的生成调度,主要负责 SQL 路由和转发。这种架构设计中,OBProxy 承担了基础的路由和容灾功能,而数据库的功能全部交由 ObServer 实现。这样更加简单明确的分工可以各组件性能做的更加极致,OBProxy 也做到了完全无状态,只需要添加节点即可实现代理能力的水平扩容,OceanBase 整体也能做到数据库的最高性能。



TPC-C 基准 OceanBase 链路访问图


TPC-C 是一个非常严苛的基准测试模型,考验的是一个完备的关系数据库系统全链路的能力,任何一个环节有瓶颈均无法发挥数据库的最大性能,接下来本文会分别在性能、成本及服务持续三个方面来说明下是如何优化 OceanBase 链路上的组件。

链路性能优化

在 蚂蚁金服 OceanBase 挑战 TPCC | TPC-C 基准测试之 SQL 优化 已经提到,从整个链路的角度来看,SQL 所需要的执行时间是非常短暂的,大量时间花费在与客户端的交互过程中,造成资源的浪费和耗时的增加,为此 OBServer 提供 Prepared Statement、存储过程和 ARRAY BINDING 能力。客户端和 OBProxy 针对该能力进行支持以使其真正发挥作用。同时客户端本身也进行一些优化提升链路性能,接下来主要介绍链路性能部分的优化点:

提供异步接口能力

通常使用数据库访问都是同步接口,同步接口开发方便,但客户端受网络交互耗时影响大,并发能力受到限制。使用多线程的方式可以帮助提升并发能力,但机器的线程资源是宝贵的,过多的线程会增加机器线程切换的开销,限制了并发能力。为使 WAS 可以达到更高的吞吐能力,我们基于事件驱动机制在 ODBC 接口内增加异步接口的支持。使用异步接口,WAS 单个线程内可以在发送请求后无需等待执行结果继续在其他 Session 上发送请求,通过充分使用线程资源从而大幅提升吞吐能力。异步接口本身参考 ODBC 接口规范,用户调用异步接口会立即返回,如果尚未执行完成则返回 SQL_STILL_EXECUTING,用户可以轮询接口直到执行完成返回成功(SQL_SUCCESS)或者失败(SQL_ERROR),也可以基于网络事件驱动,在有结果返回时再次调用接口获取结果。使用异步接口,可以在少量线程资源下轻松支持大量的并发连接,极大的提升了 WAS 的并发能力,机器资源的利用率也得到提升,大幅降低压测成本。

提供 Prepared Statement 能力

PreparedStatement 是一种二进制的请求交互协议,一次 PSSQL 文本传输,多次执行,OBProxy SQL 引擎会缓存 PS SQL 文本以及解析结果,每条 PS SQL 只需要执行一次 Prepare 操作,后续所有 Session 上的每次执行只需要传入对应的 Statement Id,就可以从缓存中找到对应的 SQL 解析结果,结合传入的参数,可以很快的计算出 OBServer 的路由信息,转发性能更为高效。同时,作为代理层的 OBProxy 也很好的支持了 OBServer 的分布式特性,当 Client Session 需要切换 Server Session 时,无需再次发送 PS SQL 和 Execute 阶段时的类型数据,OBProxy 可以自行判断并决定是否需要同步 PS SQL 或加上类型数据。通过 Prepared Statement 能力,可以有效减低系统间的交互成本,提升性能,相比普通 SQL 文本的交互方式,省去了大量 SQL 文本的传输以及请求文本解析的 CPU 开销。

存储过程

对于存储过程,OBProxy 做了大量优化,存储过程通常包含多条 SQL,不同 SQL 通常需要路由到不同 OBServer 上执行,产生大量远程执行。远程执行不仅会增加 RT,也会占用更多的 CPU 资源,因此,OBProxy 的 SQL 引擎会解析存储过程中的 SQL,计算最优策略,将存储过程调用发往最合适的 OBServer 上执行,尽可能的减少远程执行次数。OBProxy 也会缓存存储过程的解析结果和路由信息,用以省去每次硬解析带来的 CPU 开销。

复杂类型

我们在 OceanBase 原有传输协议上重新做了扩展,使得整个链路支持复杂类型的传输。同时,OBProxy 新增了复杂数据类型的解析,能够根据复杂类型数据来计算路由和分区裁剪。通过支持复杂类型,可以提高每次传输携带的数据信息,有效减少交互次数,也能够根据复杂类型的数据计算最佳路由策略,尽可能的路由到分区更多的 OBServer 上,减少远程执行次数。正是有了 OBProxy 对于数组等复杂类型的支持,才使得客户端可以更好的使用存储过程和 ARRAY BINDING 的能力。

代理资源占用

OBProxy 代理采用多线程异步框架和透明流式转发的设计,保证了数据的高性能转发(单核 5 万 QPS、转发 RT 30~50us),以及自身对机器资源的最小消耗。在 TPC-C 基准测试中,我们也采用了本地的形式部署到 WAS 端,这样可以最大程度的的减少客户端到代理层的网络开销。在本次测试中,OBProxy 代理层部署到 64 台客户端机器上,每台机器上使用到了 10 个 Core,一共占用 640 Cores,仅占整体 CPU 测试成本的 7% 左右,几乎没有使用存储资源,资源占用比例小且支持水平扩容。

持续服务能力

OceanBase 提供了高可用的数据库服务,在出现机器不可用的场景下,不需要有任何人工干预数据库依然能够持续提供服务,在本次 TPC-C 做 Durability 测试强制断电操作中,OceanBase 就表现出无人工干预下的数据库持续服务的能力,大大超出审计员的期望。


OceanBase 针对强制断电这种单机故障场景,OBProxy 有包含黑名单和灰名单两种机制,用于处理 OBServer 错峰合并、升级、宕机、启动/停止,网络分区等状态。黑名单采取定期刷新维护,由 OBServer 反馈哪些服务器节点不能提供服务。灰名单则采取主动触发维护,当 OBProxy 转发请求给 OBServer,如果发现 OBServer 返回特定的系统错误,或者 OBServer 在一段时间内有多次连续不可用,则将该 OBServer 加入灰名单。黑名单中的 OBServer 不会被访问,灰名单中的 OBServer 每隔一段时间会重试一次,检查是否需要洗白,以避免长时间将 OBServer 降级。通过 OceanBase 这样的机制,能够保障 TPC-C Durability 测试过程中的数据库持续服务能力。

总结

OceanBase 链路层为客户提供了端到端的完整解决方案,其自研的传输协议能够非常灵活的支持 SQL 特性和交互协议,实现了标准的数据库访问接口并支持 Oracle 兼容模式,可以达到数据库的易用性、高性能、服务持续的最大平衡。后续会持续优化传输协议以达到最高的传输及交互效率,完善数据库访问标准接口,为用户提供一个更为成熟的数据库服务。


本文转载自公众号蚂蚁金服科技(ID:Ant-Techfin)。


原文链接:


https://mp.weixin.qq.com/s/cuINP3QocrQE47qSQXsCgg


2019-10-21 08:00970

评论

发布
暂无评论
发现更多内容

小令动态 | 令牌云新获上海市创新资金立项支持,此前还有......

令牌云数字身份

python常用的内置对象

乔乔

11月月更

DevOps制品管理——软件“工业革命”的里程碑式改革

嘉为蓝鲸

DevOps 制品管理

Serverless 架构下的 AI 应用开发

阿里巴巴云原生

阿里云 Serverless 云原生

涨薪跳槽利器!清华大佬总结的Java核心突击讲,一应俱全

钟奕礼

Java java程序员 java面试 java编程

小令动态 | 令牌云成功通过国家等保三级认证

令牌云数字身份

百度APP iOS端内存优化实践-内存管控方案

百度Geek说

android 后端 内存管理 企业号十月 PK 榜

热门资讯:超大规模数字产业生态正在加快构建!

优秀

数字化转型

南京等保测评公司有哪些?一共有几家?

行云管家

等保测评 等保备案 等保整改 南京等保测评

SpringBoot邮件发送demo

@下一站

编程 email Java core 11月月更

一步一图带你深入理解 Linux 物理内存管理

bin的技术小屋

内存 内存管理 Linux Kenel 内核 内核源码

LeetCode题解:938. 二叉搜索树的范围和,递归,JavaScript,详细注释

Lee Chen

JavaScript 算法 LeetCode

MySQL中支持的字符集和排序规则

@下一站

MySQL 技术 字符集 11月月更

华为云虚拟专用网络VPN,为企业铺就数据上云的安全路

路过的憨憨

JS有哪些变态语法,你知道吗?

千锋IT教育

嘉为科技彭一宽:组织度量,先做造钟人,再做报时人

嘉为蓝鲸

DevOps 度量

新力量,新希望|明道云伙伴大会2022秋圆满落幕

明道云

AI机器学习模型部署的典型策略

Baihai IDP

人工智能 AI MLOps 模型部署

源自双11混部实战,Koordinator 如何保障应用服务质量?

阿里技术

云原生 混部技术

【iOS逆向与安全】frida-trace命令大全

小陈

iOS逆向 ios安全 Frida ios 开发

双机热备与集群的区别分析-行云管家

行云管家

高可用 双机热备 双机

“天翼云杯”厦门软件开发大赛开赛 为开发者提供“沃土”

Geek_2d6073

当Kubernetes遇见Macvlan——网络互通

陆云

腾讯云大神亲码“redis深度笔记”,不讲一句废话,全是精华

钟奕礼

Java 程序员 java面试 java编程

云计算:基于互联网的超级计算

Finovy Cloud

云计算 云渲染

京东二面:MySQL 主从延迟,读写分离 7 种解决方案

钟奕礼

Java 程序员 java面试 java编程

新版阿里神级“高并发”教程《基础+实战+源码+面试+架构》

钟奕礼

Java java面试 java编程 程序员、

鲲鹏开发者创享日杭州站:你想知道的所有精彩都在这里了

Geek_2d6073

二面美团,有惊无险已拿offer,不得不说“太难了”

钟奕礼

Java 程序员 java编程 Java 面试题

HashData携手恒丰银行 入选信通院金融科技创新应用五大“最受关注案例”

酷克数据HashData

云数据仓库

行业分析| 智慧消防对讲

anyRTC开发者

人工智能 监控 消防 调度 快对讲

蚂蚁金服OceanBase挑战TPCC丨TPC-C基准测试之链路层优化_文化 & 方法_易鸿伟_InfoQ精选文章