写点什么

国产数据库登顶 TPC-DS 榜单,实现双榜第一

  • 2024-10-22
    北京
  • 本文字数:1866 字

    阅读完需:约 6 分钟

大小:1022.77K时长:05:49
国产数据库登顶TPC-DS榜单,实现双榜第一

10 月 22 日,据国际事务处理性能委员会官网信息,在数据库“决策支持类”性能测试 TPC-DS 中,腾讯云数据库 TDSQL 以 7260 万分、37.52 元同时刷新性能和性价比纪录,登顶世界第一。


TPC 针对数据库各项性能推出的基准测试,被誉为数据库界的“奥林匹克”。去年,腾讯云 TDSQL 已经在数据库“事务处理类”性能测试 TPC-C 中刷新世界纪录。这标志着在数据库最核心的两个应用场景下,腾讯云 TDSQL 都取得了世界最佳性能纪录,成为“双榜”第一。



中国工程院院士郑纬民对此表示,国产数据库多次打破性能瓶颈,体现了国内基础软件持续打磨内功的决心,以及稳定输出技术能力的底蕴。


原国家科技部秘书长、党组成员、国际欧亚科学院院士张景安表示,数据库作为信息技术的基石,其性能与稳定性直接关系到各行各业的数字化转型进程。我国软件企业在两项国际标准测试中屡破纪录,标志着中国在数据库这一核心软件技术领域正迈向国际先进水平,有助于增强我国的国际科技竞争力。

计算性能飙升 3.8 倍,刷新性能与性价比纪录


TPC-DS 是一个针对数据库管理系统分析性能的基准测试。它模拟一个大型零售商销售数据的在线数据分析(OLAP)场景,通过 99 个不同类型的分析任务,考察底层数据库的处理耗时、并发性能和导数性能等指标,是数据库产品分析处理能力和技术先进性的金标准。


腾讯云数据库研发总经理潘安群介绍,此次腾讯云参与打榜的 TPC-DS 测试数据量级达 10TB,相当于 10 亿页电子书,包含销售纪录、退货记录、时间信息等 17 项维度的 24 张表格。其中,最大的一张表高达 288 亿行数据。


在海量数据中,腾讯云 TDSQL 需要历经数据导入、单任务计算、多任务并行计算、数据变更等多项测试,关联十几个“亿级”表格,联合计算出例如“销量排名前十的商品从何时开始网店销量超过门店”等信息。在这个过程中,TPC 甚至还会在数据变更时随机销毁数据增加难度。


结果显示,腾讯云 TDSQL 项测试耗时均大幅领先榜单其他厂商,99 个复杂分析任务单任务平均耗时 4 秒以内,领先榜单第二名一倍;多任务并行计算平均耗时 8 秒以内,领先两倍,以 7260 万分的性能评分,将决策支持类榜单纪录提升 3.8 倍。


在复杂任务处理能力大幅提升的基础上,TDSQL 将每 1000 评分的价格相比同类产品减少 1/3,同时刷新 TPC-DS 性能与性价比纪录。

三大自研技术能力,突破性能瓶颈 

联机分析处理(OLAP)场景下,如何充分发挥每个算力单元的极致潜力,以及确保每个任务之间不等待和阻塞,一直是数据库领域的重点攻关方向。


潘安群介绍,腾讯云 TDSQL 在分布式交互、并行计算、单核极致性能三个方向深度自研,保障了计算从多核到多进程再到多节点,能充分并行无阻塞运行,实现了性能的大幅提升。


TDSQL 通过自研 MPP 执行框架,优化了主流 OLAP 数据库应用“pull”模型存在的数据传输“拥堵”瓶颈,保证所有计算任务全速顺畅运行,通用性能提升 40%。


而在性能无法线性跟随 CPU 核数增加的业界难题上,TDSQL 通过自研并行执行框架,彻底去除并行进程间阻塞依赖,CPU 利用率提高至 95% 以上,能充分利用多核资源。


对于单核计算效率,TDSQL 团队也有着极致追求。在以上并行框架的基础上,TDSQL 自研了列式存储和向量化执行引擎,在算法、结构、新一代 CPU 结合等方面深度优化单核任务执行效率,实现单核效率提升 1 倍以上。

双榜第一,为产业发展筑牢底座


数据库世界性能榜单第一的每次易主,都标志着数据处理技术的向前推进。


去年,腾讯云数据库 TDSQL 顺利通过 TPC-C 基准测试,性能达到每分钟 8.14 亿笔交易(tpmC),打破世界纪录。期间,TDSQL 持续稳定运行这一超大规模集群,实现 8 小时无抖动,保障了超过 8600 亿总事务、4 万亿条订单详细信息不出错。


“TPC-C 的特点是多、稳、快、高频小任务,考验的是高并发场景下数据库的极致性能和稳定性;TPC-DS 特点则是少、快、大、低频大任务,考验的是复杂任务场景下数据库的综合能力。在两个核心场景下,腾讯云 TDSQL 都实现了性能纪录的极大突破。”潘安群说。


双榜第一也为产业发展筑牢了更强的基座。据腾讯云数据库总经理王义成介绍,腾讯云数据库 TDSQL 已形成了金融级分布式、云原生、分析型等多引擎融合的完整数据库产品体系,能高效应对 OLTP、OLAP、HTAP 等多样化的计算场景,满足企业多样化的国产数据管理需求。


在腾讯云 TDSQL 的助力下,数字广东粤省事实现流程再造和决策优化,实现民众少跑路,数据多跑路;“第七次全国人口普查”以“OLTP+OLAP”技术融合架构支持了十亿级用户数据、七百万个终端和百万级峰值 TPS。


除此之外,这些优化能力还应用在了腾讯云大数据 TChouse(云数据仓库)上,与芯片、服务器、操作系统、云底座一同构建起核心领域自研产品体系,已具备软硬一体的全栈融合创新能力。

2024-10-22 21:079116
用户头像
李冬梅 加V:busulishang4668

发布了 1227 篇内容, 共 842.7 次阅读, 收获喜欢 1320 次。

关注

评论

发布
暂无评论
发现更多内容

B站&华为云 | 融合虚实宇宙,开启云上视听的黄金时代

白洞计划

AI B站

数字化转型与架构-规划篇|承上启下的能力热力图

数字随行

数字化转型

区块链游戏六月月报: 市场分析,机遇与挑战

Footprint Analytics

区块链游戏 NFT gamefi

时序数据库 TDengine 与金山云两大产品完成兼容互认证

爱倒腾的程序员

数据库

Prompt Learning,In-content Learning区别| 社区征文

汀丶人工智能

人工智能 prompt learning 年中技术盘点 指示学习 instruction learning

【会议】2023 年第二十届 ChinaJoy 展前预览(同期会议篇-CGDC)正式发布!

CGDC中国游戏开发者大会

设计 开发 游戏开发 ChinaJoy

实际上手体验maven面对冲突Jar包的加载规则 | 京东云技术团队

京东科技开发者

maven pom jar 包部署 企业号 7 月 PK 榜

从零开始实现Go搜索引擎(一)

geange

搜索引擎 lucene #数据库 FST #go

演讲实录:以 AI 变革组织运营与管理

Kyligence

数据分析 数智化 企业级OLAP

一文读懂Hhybrid App开发模式

没有用户名丶

如何处理需求池?管理需求池的内容

Bonaparte

产品 产品设计 产品思维 产品需求

前端不死:新兴技术与前端未来展望 | 社区征文

维李设论

大前端 前端工程师 年中技术盘点 前端趋势 前端未来

大模型的出现及我的思考 | 社区征文

于仔学技术

人工智能 大模型 社区征文 AIGC 年中技术盘点

流程编排及可视化 | 京东云技术团队

京东科技开发者

可视化 可视化开发 流程编排 企业号 7 月 PK 榜

人工智能革命|是疯狂炒作还是大势所趋?

SEAL安全

B2C #人工智能 ChatGPT 企业号 7 月 PK 榜 趋势解读

快照隔离级别原理 | StoneDB 技术分享 #1

StoneDB

MySQL 数据库 HTAP StoneDB

实施Scrum敏捷开发必选的敏捷工具

顿顿顿

Scrum 敏捷开发 项目管理工具 Scrum Master 敏捷开发管理工具

解决直播间源码音视频不同步问题的有效方式——山东布谷科技创作

山东布谷科技

软件开发 实时音视频 源码搭建 直播源码 直播间

软件测试/测试开发丨Linux 数据处理三剑客学习笔记

测试人

Linux 程序员 软件测试 grep awk

让代码优雅起来:记一次代码微重构实践 | 京东云技术团队

京东科技开发者

代码重构 优雅 企业号 7 月 PK 榜

机器学习之PyTorch和Scikit-Learn第3章 使用Scikit-Learn的机器学习分类器之旅Part 2

Alan

人工智能 机器学习 PyTorch scikit-learn

LCD拼接屏、LED显示屏和OLED显示屏的主要区别

Dylan

LCD1602液晶显示屏 LED显示屏 led显示屏厂家 OLED

GreatSQL通过错误日志信息判断数据库实例是如何关闭的

GreatSQL

数据库 greatsql

大语言模型的预训练[5]:语境学习、上下文学习In-Context Learning设计以及ICL底层机制等原理详解| 社区征文

汀丶人工智能

人工智能 自然语言处理 nlp 年中技术盘点 ICL

JavaScript 的优雅编程技巧:Singleton Pattern

Immerse

JavaScript 设计模式 单例模式

代码随想录 Day21 - 二叉树(七)

jjn0703

Mediabox:年度最佳音视频开发工具

阿里云CloudImagine

云计算 阿里云 音视频 视频云

国产数据库登顶TPC-DS榜单,实现双榜第一_腾讯_李冬梅_InfoQ精选文章