写点什么

4 篇论文入选数据库顶会,腾讯云数据库再迎新突破

  • 2024-08-30
    北京
  • 本文字数:1304 字

    阅读完需:约 4 分钟

大小:658.80K时长:03:44
4篇论文入选数据库顶会,腾讯云数据库再迎新突破

日前,InfoQ 获悉,腾讯云数据库 4 篇论文入选国际数据库顶级会议 VLDB,多项优化创新方案突破了数据库领域的性能瓶颈数等多项难题,技术创新能力再获国际权威认可。

 

VLDB(International Conference on Very Large Data Bases)是数据库研究领域历史悠久的国际会议,与 ICDE 和 SIGMOD 并称数据库三大顶级会议,每年为数据库领域提供大量高质量的研究论文和研究成果,具有重要的学术价值和行业引导意义。

 

近些年,随着新兴技术迅猛发展,各行各业产生的数据量呈爆炸式增长分布式、云原生等多种场景数据库应运而生。与此同时,分布式场景也迎来如何权衡性能与一致性等一系列新的挑战。

 

在入选论文——《TDSQL: Tencent Distributed Database System》中,腾讯云分享了设计、开发和优化大规模分布式数据库系统 TDSQL 的经验。在分布式架构上,TDSQL 通过大量的实现和优化,包括内核优化、物理复制的实现与优化、分布式锁的优化等,使得 TDSQL 能在保持一致性的情况下有效处理大量数据和高并发。在去年 3 月的 TPC-C 基准测试中,TDSQL 性能达到每分钟 8.14 亿笔交易(tpmC),打破了世界纪录。

 

在高性能的键值存储引擎中,高性能索引结构往往需要占用过量内存以换取极高的索引性能。针对这一热门研究课题,腾讯云与华中科技大学合作的最新研究成果《FluidKV: Seamlessly Bridging the Gap between Indexing Performance and Memory-Footprint on Ultra-Fast Storage》中提出了一种兼顾高读写性能和低内存占用的索引机制。


这种基于动态多阶段的索引架构 FluidKV,可将索引项从内存占用率高的阶段,快速迁移到内存友好的持久存储阶段,利用高性能存储设备的带宽减轻内存压力。在此基础上,通过匹配 IO 传输粒度,并根据用户负载读写比例优化缓冲等方式,可以让读写性能保持在最高档位。实验结果显示,对比持久索引的相关工作,FluidKV 的读写性能均处于最高一档,同时最多可减少 90%的内存占用。

 


  (腾讯云数据库团队现场分享论文)

 

此外,腾讯云与北京大学、北京交通大学合作的最新研究成果也入选了 2024 年 VLDB 长文,文章《Efficient and Accurate SimRank-based Similarity Joins: Experiments, Analysis, and Improvement》提出了高效且准确的 SimRank 图节点相似度连接算法,实验表明,该算法较已有方法实现了查询效率近一个数量级的提升。

 

随着 CPU、大内存、高速存储设备的发展,让 CPU 更多的用于实际的计算任务是高效利用这些新硬件的关键之一。但目前,整个数据库系统中,存在大量的等待事件,会导致 CPU“卡住”,即让 CPU 处于无效的等待状态,造成 CPU 资源的浪费。

 

在入选论文《The Art of Latency Hiding in Modern Database Engines》中,腾讯云则联合西蒙·弗雷泽大学,针对高性能的 OLTP 处理难题,提出了基于双队列的流水线事务处理机制,可以进一步减少 CPU 的无效等待,让 CPU 充分应用于实际的计算任务中。实验表明,在数据量大于内存、混合负载的场景下,该系统可取得 33 倍的性能提升。

 

作为国内数据库行业先行者,腾讯云已经深耕数据库领域十余年,服务超过 50 万客户,未来,腾讯云将持续深耕实际场景需求,不断探索与攻坚数据库难题,推动数据库领域的学术进步与技术成果转化,助力更多企业实现业务创新与高质量发展。


2024-08-30 10:0410086
用户头像
李冬梅 加V:busulishang4668

发布了 1114 篇内容, 共 727.6 次阅读, 收获喜欢 1256 次。

关注

评论

发布
暂无评论
发现更多内容

KaiwuDB 资深解决方案专家周幸骏:打造核心时序引擎,释放数据新价值

KaiwuDB

时序数据 KaiwuDB

高性能、高扩展、高稳定:解读 EasyMR 大数据组件自定义可扩展能力

袋鼠云数栈

大数据 大数据组件

618技术揭秘 - 大促弹窗搭投实践 | 京东云技术团队

京东科技开发者

前端 弹窗 xview 企业号 7 月 PK 榜

源码解析Collections.sort ——从一个逃过单测的 bug 说起 | 京东云技术团队

京东科技开发者

排序算法 源码解读 企业号 7 月 PK 榜 Collections.sort

万字长文浅析配置对MySQL服务器的影响 | 京东物流技术团队

京东科技开发者

MySQL 数据库 服务器 企业号 7 月 PK 榜 MySQL服务器

自主AI代理:未来的生产力引擎

互联网工科生

人工智能 AI代理

火山引擎DataLeap的Data Catalog系统公有云实践 (上)

字节跳动数据平台

大数据 数据中台 数据治理 数据安全 企业号 7 月 PK 榜

基于因果关系知识库的因果事件图谱构建

汀丶人工智能

人工智能 自然语言处理 知识图谱

广东省《5A物理抗菌纺织品》团体标准颁布

极客天地

2023开源数据库排行榜发布,“新晋黑马”瀚高IvorySQL跻身三十强

极客天地

明晚直播:可重构计算芯片的AI创新应用分享!

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

全彩LED显示屏品质由什么决定

Dylan

媒体 广告 科技 LED LED显示屏

免费SAFe大规模敏捷管理工具

顿顿顿

Scrum #敏捷开发 敏捷开发管理工具 SAFe框架

内部Java内存模型与硬件层面内存模型的关系是什么?

java易二三

Java 编程 程序员 硬件 计算机

Java基础之IO流

java易二三

Java 编程 程序员 io 计算机

一种配置化的数据脱敏与反脱敏框架实现 | 京东云技术团队

京东科技开发者

数据安全 脱敏 数据脱敏 企业号 7 月 PK 榜

基于Hologres向量计算与大模型免费定制专属聊天机器人

阿里云大数据AI技术

人工智能 hologres

浅聊一下大模型

鲸品堂

大模型训练 大模型

中文人物关系知识图谱(含码源):中文人物关系图谱构建、数据回标、基于远程监督人物关系抽取、知识问答等应用.

汀丶人工智能

人工智能 nlp 知识图谱 智能问答

详解!视频直播源码布谷科技平台搭建开发:录制功能

山东布谷科技

软件开发 视频直播 源码搭建 短视频直播源码 视频录制

飞桨大模型分布式训练技术

Baidu AICLOUD

飞桨 百度百舸 AI 大底座

超强阵容!HarmonyOS极客马拉松2023专家评审团来袭!

HarmonyOS开发者

HarmonyOS

支付宝小程序云李铮:科技赋能,敏捷增长

TRaaS

支付宝小程序 小程序云开放 蚂蚁

科研类项目核算的“法、术、器”(二)

用友BIP

项目管理 科研项目

Java中的JDBC的使用方法有哪些?

java易二三

Java 编程 程序员 计算机

REST API 版本控制:高效管理

Apifox

程序员 RESTful API REST API API 测试

Coral Finance 将为 Zepoch 节点空投,Nautilus生态空投季开启

西柚子

Sugar BI:大模型时代的智能 BI

Baidu AICLOUD

BI 数据智能

4篇论文入选数据库顶会,腾讯云数据库再迎新突破_腾讯_李冬梅_InfoQ精选文章