写点什么

国产数据库登顶 TPC-DS 榜单,实现双榜第一

  • 2024-10-22
    北京
  • 本文字数:1866 字

    阅读完需:约 6 分钟

大小:1022.77K时长:05:49
国产数据库登顶TPC-DS榜单,实现双榜第一

10 月 22 日,据国际事务处理性能委员会官网信息,在数据库“决策支持类”性能测试 TPC-DS 中,腾讯云数据库 TDSQL 以 7260 万分、37.52 元同时刷新性能和性价比纪录,登顶世界第一。


TPC 针对数据库各项性能推出的基准测试,被誉为数据库界的“奥林匹克”。去年,腾讯云 TDSQL 已经在数据库“事务处理类”性能测试 TPC-C 中刷新世界纪录。这标志着在数据库最核心的两个应用场景下,腾讯云 TDSQL 都取得了世界最佳性能纪录,成为“双榜”第一。



中国工程院院士郑纬民对此表示,国产数据库多次打破性能瓶颈,体现了国内基础软件持续打磨内功的决心,以及稳定输出技术能力的底蕴。


原国家科技部秘书长、党组成员、国际欧亚科学院院士张景安表示,数据库作为信息技术的基石,其性能与稳定性直接关系到各行各业的数字化转型进程。我国软件企业在两项国际标准测试中屡破纪录,标志着中国在数据库这一核心软件技术领域正迈向国际先进水平,有助于增强我国的国际科技竞争力。

计算性能飙升 3.8 倍,刷新性能与性价比纪录


TPC-DS 是一个针对数据库管理系统分析性能的基准测试。它模拟一个大型零售商销售数据的在线数据分析(OLAP)场景,通过 99 个不同类型的分析任务,考察底层数据库的处理耗时、并发性能和导数性能等指标,是数据库产品分析处理能力和技术先进性的金标准。


腾讯云数据库研发总经理潘安群介绍,此次腾讯云参与打榜的 TPC-DS 测试数据量级达 10TB,相当于 10 亿页电子书,包含销售纪录、退货记录、时间信息等 17 项维度的 24 张表格。其中,最大的一张表高达 288 亿行数据。


在海量数据中,腾讯云 TDSQL 需要历经数据导入、单任务计算、多任务并行计算、数据变更等多项测试,关联十几个“亿级”表格,联合计算出例如“销量排名前十的商品从何时开始网店销量超过门店”等信息。在这个过程中,TPC 甚至还会在数据变更时随机销毁数据增加难度。


结果显示,腾讯云 TDSQL 项测试耗时均大幅领先榜单其他厂商,99 个复杂分析任务单任务平均耗时 4 秒以内,领先榜单第二名一倍;多任务并行计算平均耗时 8 秒以内,领先两倍,以 7260 万分的性能评分,将决策支持类榜单纪录提升 3.8 倍。


在复杂任务处理能力大幅提升的基础上,TDSQL 将每 1000 评分的价格相比同类产品减少 1/3,同时刷新 TPC-DS 性能与性价比纪录。

三大自研技术能力,突破性能瓶颈 

联机分析处理(OLAP)场景下,如何充分发挥每个算力单元的极致潜力,以及确保每个任务之间不等待和阻塞,一直是数据库领域的重点攻关方向。


潘安群介绍,腾讯云 TDSQL 在分布式交互、并行计算、单核极致性能三个方向深度自研,保障了计算从多核到多进程再到多节点,能充分并行无阻塞运行,实现了性能的大幅提升。


TDSQL 通过自研 MPP 执行框架,优化了主流 OLAP 数据库应用“pull”模型存在的数据传输“拥堵”瓶颈,保证所有计算任务全速顺畅运行,通用性能提升 40%。


而在性能无法线性跟随 CPU 核数增加的业界难题上,TDSQL 通过自研并行执行框架,彻底去除并行进程间阻塞依赖,CPU 利用率提高至 95% 以上,能充分利用多核资源。


对于单核计算效率,TDSQL 团队也有着极致追求。在以上并行框架的基础上,TDSQL 自研了列式存储和向量化执行引擎,在算法、结构、新一代 CPU 结合等方面深度优化单核任务执行效率,实现单核效率提升 1 倍以上。

双榜第一,为产业发展筑牢底座


数据库世界性能榜单第一的每次易主,都标志着数据处理技术的向前推进。


去年,腾讯云数据库 TDSQL 顺利通过 TPC-C 基准测试,性能达到每分钟 8.14 亿笔交易(tpmC),打破世界纪录。期间,TDSQL 持续稳定运行这一超大规模集群,实现 8 小时无抖动,保障了超过 8600 亿总事务、4 万亿条订单详细信息不出错。


“TPC-C 的特点是多、稳、快、高频小任务,考验的是高并发场景下数据库的极致性能和稳定性;TPC-DS 特点则是少、快、大、低频大任务,考验的是复杂任务场景下数据库的综合能力。在两个核心场景下,腾讯云 TDSQL 都实现了性能纪录的极大突破。”潘安群说。


双榜第一也为产业发展筑牢了更强的基座。据腾讯云数据库总经理王义成介绍,腾讯云数据库 TDSQL 已形成了金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系,能高效应对 OLTP、OLAP、HTAP 等多样化的计算场景,满足企业多样化的国产数据管理需求。


在腾讯云 TDSQL 的助力下,数字广东粤省事实现流程再造和决策优化,实现民众少跑路,数据多跑路;“第七次全国人口普查”以“OLTP+OLAP”技术融合架构支持了十亿级用户数据、七百万个终端和百万级峰值 TPS。


除此之外,这些优化能力还应用在了腾讯云大数据 TChouse(云数据仓库)上,与芯片、服务器、操作系统、云底座一同构建起核心领域自研产品体系,已具备软硬一体的全栈融合创新能力。

2024-10-22 21:078679
用户头像
李冬梅 加V:busulishang4668

发布了 1061 篇内容, 共 678.2 次阅读, 收获喜欢 1223 次。

关注

评论

发布
暂无评论
发现更多内容

【直播回顾】参与文档贡献,开启OpenHarmony社区贡献

OpenHarmony开发者

OpenHarmony

2022Gartner容器预测:2025年85%的企业将使用容器管理服务

York

容器 云原生 数字化转型

Python图像处理丨图像缩放、旋转、翻转与图像平移

华为云开发者联盟

Python 图像平移 图像缩放

这道静态变量题,我居然考了0分

华为云开发者联盟

Java 静态变量 Java static

JVM 线上问题定位实战(CPU 飙升)

Ayue、

JVM

阿里云云原生一体化数仓入选 2022数博会“十佳大数据案例”

阿里云大数据AI技术

数据挖掘 大数据 分布式计算 数据处理 MaxCompute

如何实现文档协作共享?

小炮

平行云CEO 李岩:CloudXR ,开启通往元宇宙的通道

阿里云弹性计算

XR 元宇宙

图分析的22种算法与图形理解

清林情报分析师

数据分析 知识图谱 图算法 图论 知识结构

直播预告 | PolarDB-X 动手实践系列——基于 Prometheus + Grafana 的 PolarDB-X 监控体系

阿里云数据库开源

数据库 阿里云 开源 PolarDB-X 教学

vue番茄钟&electron打包

空城机

Electron vue cli 5月月更

Java开发规范(一)

DC.夜猫

开发 规范 开发规范 java

Hoo联合SwapAll发布赏金活动 用户可体验“救援任务”瓜分赏金奖池

区块链前沿News

SAP Hoo

第二章 启航

Geek_古藤模根

图数据库实战 gremlin 入门 Gremlin

10分钟弄懂云原生网络功能,快来瞧瞧!

VoltDB

云原生 云原生网络 网络功能

两届获奖选手 手把手教你如何征战华为软件精英挑战赛

科技热闻

实践GoF的设计模式:工厂方法模式

华为云开发者联盟

设计模式 工厂方法模式

OpenClusterManagement 开源之夏 2022 来了

阿里巴巴云原生

阿里云 云原生 开源之夏

企业智能化转型meetup回顾|开源BI & AI助力企业转型之旅三阶段!

第四范式开发者社区

人工智能 开源 企业 大数据平台 智能化转型

中兴通讯加入龙蜥社区,共建ICT全场景开源生态

OpenAnolis小助手

开源 生态 龙蜥社区 CLA 中兴通讯

照亮旷野的,是少年开发者眼中的炬火

脑极体

一个轻量的数据库数据告警器

山河已无恙

Java 数据监控

netty系列之:在netty中使用UDP协议请求DNS服务器

程序那些事

Java Netty 程序那些事 5月月更

明源云天际PaaS平台,构建零代码、低代码在线协同开发实践

科技热闻

喜报|海泰方圆成功入选中国档案学会单位会员

电子信息发烧客

英特尔以“整合论”谋篇布局,加码数据中心

科技之家

基于信息检索和深度学习结合的单元测试用例断言自动生成

华为云开发者联盟

深度学习 单元测试 信息检索

gitlab 8.13.6添加server hook后保护分支失效

阿呆

#GitLab gitlab hook 保护分支

相较国外代码托管平台 gitlab,咱们中国自己的代码托管平台有哪些优势?

阿里云云效

云计算 阿里云 代码管理 代码托管 代码安全

漫画 | 新一代软件架构会影响到谁?

阿里巴巴云原生

阿里云 云原生 事件总线 EventBridge

一、KVM虚拟化的功能特性

穿过生命散发芬芳

kvm 5月月更

国产数据库登顶TPC-DS榜单,实现双榜第一_腾讯_李冬梅_InfoQ精选文章