写点什么

国产数据库登顶 TPC-DS 榜单,实现双榜第一

  • 2024-10-22
    北京
  • 本文字数:1866 字

    阅读完需:约 6 分钟

大小:1022.77K时长:05:49
国产数据库登顶TPC-DS榜单,实现双榜第一

10 月 22 日,据国际事务处理性能委员会官网信息,在数据库“决策支持类”性能测试 TPC-DS 中,腾讯云数据库 TDSQL 以 7260 万分、37.52 元同时刷新性能和性价比纪录,登顶世界第一。


TPC 针对数据库各项性能推出的基准测试,被誉为数据库界的“奥林匹克”。去年,腾讯云 TDSQL 已经在数据库“事务处理类”性能测试 TPC-C 中刷新世界纪录。这标志着在数据库最核心的两个应用场景下,腾讯云 TDSQL 都取得了世界最佳性能纪录,成为“双榜”第一。



中国工程院院士郑纬民对此表示,国产数据库多次打破性能瓶颈,体现了国内基础软件持续打磨内功的决心,以及稳定输出技术能力的底蕴。


原国家科技部秘书长、党组成员、国际欧亚科学院院士张景安表示,数据库作为信息技术的基石,其性能与稳定性直接关系到各行各业的数字化转型进程。我国软件企业在两项国际标准测试中屡破纪录,标志着中国在数据库这一核心软件技术领域正迈向国际先进水平,有助于增强我国的国际科技竞争力。

计算性能飙升 3.8 倍,刷新性能与性价比纪录


TPC-DS 是一个针对数据库管理系统分析性能的基准测试。它模拟一个大型零售商销售数据的在线数据分析(OLAP)场景,通过 99 个不同类型的分析任务,考察底层数据库的处理耗时、并发性能和导数性能等指标,是数据库产品分析处理能力和技术先进性的金标准。


腾讯云数据库研发总经理潘安群介绍,此次腾讯云参与打榜的 TPC-DS 测试数据量级达 10TB,相当于 10 亿页电子书,包含销售纪录、退货记录、时间信息等 17 项维度的 24 张表格。其中,最大的一张表高达 288 亿行数据。


在海量数据中,腾讯云 TDSQL 需要历经数据导入、单任务计算、多任务并行计算、数据变更等多项测试,关联十几个“亿级”表格,联合计算出例如“销量排名前十的商品从何时开始网店销量超过门店”等信息。在这个过程中,TPC 甚至还会在数据变更时随机销毁数据增加难度。


结果显示,腾讯云 TDSQL 项测试耗时均大幅领先榜单其他厂商,99 个复杂分析任务单任务平均耗时 4 秒以内,领先榜单第二名一倍;多任务并行计算平均耗时 8 秒以内,领先两倍,以 7260 万分的性能评分,将决策支持类榜单纪录提升 3.8 倍。


在复杂任务处理能力大幅提升的基础上,TDSQL 将每 1000 评分的价格相比同类产品减少 1/3,同时刷新 TPC-DS 性能与性价比纪录。

三大自研技术能力,突破性能瓶颈 

联机分析处理(OLAP)场景下,如何充分发挥每个算力单元的极致潜力,以及确保每个任务之间不等待和阻塞,一直是数据库领域的重点攻关方向。


潘安群介绍,腾讯云 TDSQL 在分布式交互、并行计算、单核极致性能三个方向深度自研,保障了计算从多核到多进程再到多节点,能充分并行无阻塞运行,实现了性能的大幅提升。


TDSQL 通过自研 MPP 执行框架,优化了主流 OLAP 数据库应用“pull”模型存在的数据传输“拥堵”瓶颈,保证所有计算任务全速顺畅运行,通用性能提升 40%。


而在性能无法线性跟随 CPU 核数增加的业界难题上,TDSQL 通过自研并行执行框架,彻底去除并行进程间阻塞依赖,CPU 利用率提高至 95% 以上,能充分利用多核资源。


对于单核计算效率,TDSQL 团队也有着极致追求。在以上并行框架的基础上,TDSQL 自研了列式存储和向量化执行引擎,在算法、结构、新一代 CPU 结合等方面深度优化单核任务执行效率,实现单核效率提升 1 倍以上。

双榜第一,为产业发展筑牢底座


数据库世界性能榜单第一的每次易主,都标志着数据处理技术的向前推进。


去年,腾讯云数据库 TDSQL 顺利通过 TPC-C 基准测试,性能达到每分钟 8.14 亿笔交易(tpmC),打破世界纪录。期间,TDSQL 持续稳定运行这一超大规模集群,实现 8 小时无抖动,保障了超过 8600 亿总事务、4 万亿条订单详细信息不出错。


“TPC-C 的特点是多、稳、快、高频小任务,考验的是高并发场景下数据库的极致性能和稳定性;TPC-DS 特点则是少、快、大、低频大任务,考验的是复杂任务场景下数据库的综合能力。在两个核心场景下,腾讯云 TDSQL 都实现了性能纪录的极大突破。”潘安群说。


双榜第一也为产业发展筑牢了更强的基座。据腾讯云数据库总经理王义成介绍,腾讯云数据库 TDSQL 已形成了金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系,能高效应对 OLTP、OLAP、HTAP 等多样化的计算场景,满足企业多样化的国产数据管理需求。


在腾讯云 TDSQL 的助力下,数字广东粤省事实现流程再造和决策优化,实现民众少跑路,数据多跑路;“第七次全国人口普查”以“OLTP+OLAP”技术融合架构支持了十亿级用户数据、七百万个终端和百万级峰值 TPS。


除此之外,这些优化能力还应用在了腾讯云大数据 TChouse(云数据仓库)上,与芯片、服务器、操作系统、云底座一同构建起核心领域自研产品体系,已具备软硬一体的全栈融合创新能力。

2024-10-22 21:078935
用户头像
李冬梅 加V:busulishang4668

发布了 1155 篇内容, 共 773.1 次阅读, 收获喜欢 1283 次。

关注

评论

发布
暂无评论
发现更多内容

云消息队列 Kafka 版生态谈第一期:无代码转储能力介绍

阿里巴巴云原生

kafka 阿里云 Serverless 云原生

软件测试/测试开发/全日制 | 人工智能的基本概念与发展趋势

测吧(北京)科技有限公司

测试

软件测试/测试开发全日制培训|Pytest跳过用例和失败重试

霍格沃兹测试开发学社

软件测试/测试开发/全日制 | 从前端到后端:Python全栈开发的入门指南

测吧(北京)科技有限公司

测试

软件测试/测试开发/全日制 | 数据交互与通信:Python全栈开发必备的HTTP知识

测吧(北京)科技有限公司

测试

构建未来:低代码在制造业的数字化转型

天津汇柏科技有限公司

低代码

软件测试/测试开发/全日制 | Python全栈开发实战:构建RESTful API

测吧(北京)科技有限公司

测试

字节跳动 Spark 支持万卡模型推理实践

字节跳动云原生计算

机器学习 spark 云原生

软件测试/测试开发/全日制 | 自然语言处理技术在人工智能时代的崛起与发展

测吧(北京)科技有限公司

测试

软件测试/测试开发/全日制 | Python全栈开发之路:HTML/CSS/JavaScript基础深度学习

测吧(北京)科技有限公司

测试

软件测试/测试开发|什么是pytest,我们为什么选择pytest?

霍格沃兹测试开发学社

如潮好评!优秀选手视角下的第二届粤港澳大湾区(黄埔)国际算法算例大赛

ModelWhale

人工智能 大数据 算法赛 粤港澳大湾区 算法开发

软件测试/测试开发/全日制 | 深度学习的崛起与在人工智能中的关键作用

测吧(北京)科技有限公司

测试

低代码:实现数据可视化的强大助手

不在线第一只蜗牛

数据库 低代码 数据可视化

软件测试开发/全日制丨软件开发流程 学习笔记

测试人

软件测试

深耕汽车检测设备领域,引领行业技术革新

极客天地

软件测试/测试开发/全日制 | Python全栈开发中的WebSocket实践:实现实时通信和互动性

测吧(北京)科技有限公司

测试

软件测试/测试开发|什么是Python,我们为什么选择Python?

霍格沃兹测试开发学社

软件测试/测试开发/全日制 | 从Ajax到WebSocket:Python全栈开发中的前后端通信技巧

测吧(北京)科技有限公司

测试

软件测试/测试开发/全日制 | 学习使用ORM简化数据库操作

测吧(北京)科技有限公司

测试

软件测试/测试开发/全日制 |前后端分离与Python全栈开发的协同工作

测吧(北京)科技有限公司

测试

2023 年最先进认证方式上线,Authing 推出 Passkey 无密码认证

Authing

身份认证 Authing 无密码认证 Passkey

OpenTiny 2023年度共建者榜单大曝光!!!

OpenTiny社区

开源 前端

摆脱自研难题,AUI Kit助力企业快速搭建专属互动课堂

阿里云CloudImagine

云计算 视频云

软件测试/测试开发/全日制 | 机器学习的原理与应用:算法驱动的智能革命

测吧(北京)科技有限公司

测试

走进龙芯中科交流会圆满结束!深入探讨未来合作规划 | 理事长走进系列

OpenAnolis小助手

合作伙伴 龙蜥社区 龙芯中科 理事

2024年区块链行业发展,项目涵盖内容

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

【第七在线】智能商品系统是否可以帮助预测新品的销售表现?

第七在线

国产数据库登顶TPC-DS榜单,实现双榜第一_腾讯_李冬梅_InfoQ精选文章