聚焦大模型浪潮下软件工程的创新洞见与实践 |QCon主题演讲大咖来袭 了解详情
写点什么

zstd

收录了 zstd 频道下的 50 篇内容

亚马逊将自有服务数据的压缩从Gzip切换为Zstd
亚马逊将自有服务数据的压缩从 Gzip 切换为 Zstd

最近,亚马逊前副总裁Adrian Cockcroft在推文中特别指出了从gzip切换到Zstandard压缩所带来的好处,这在社区中引发了关于压缩算法的讨论。

善始方能善终:Amazon Redshift 表设计探秘
善始方能善终:Amazon Redshift 表设计探秘

本文希望能为读者理清Amazon Redshift表设计的一些基本原则,分享一些最佳实践,让读者能最大限度地发挥Amazon Redshift的潜力

京东 ES 支持 ZSTD 压缩算法上线了: 高性能,低成本

京东 ES 支持 ZSTD 压缩算法上线了,这是一种高性能、低成本的压缩算法,能够提高数据存储和传输的效率,同时降低存储和带宽成本。ZSTD 算法是一种快速压缩算法,可提供比其他压缩算法更高的压缩比和更快的压缩速度。这意味着,京东 ES 用户可以更高效地存储

zstd c++ string 压缩 & 解压

zstd c++ string 压缩&解压

c++
程序员
架构
5月日更
zstd
Uber是如何低成本构建开源大数据平台的?
Uber 是如何低成本构建开源大数据平台的?

当大数据成为我们最大的运维支出项目之一后,我们启动了一项降低数据平台成本的计划。

京东 ES 支持 ZSTD 压缩算法上线了: 高性能,低成本 | 京东云技术团队

在《ElasticSearch降本增效常见的方法》一文中曾提到过zstd压缩算法[1],一步一个脚印我们终于在京东ES上线支持了zstd;我觉得促使目标完成主要以下几点原因:

历史库存储成本节约至少 50% ,OceanBase数据压缩核心技术解读
历史库存储成本节约至少 50% ,OceanBase 数据压缩核心技术解读

对于大量历史数据存储的需求, OceanBase 的 SSTable 存储格式和数据编码压缩功能可以使 OceanBase 更轻松地支持超大容量的数据存储。

Kafka降本实用指南
Kafka 降本实用指南

节省的成本是非常可观的。

查询提速 11 倍、资源节省 70%,Apache Doris 在网易日志和时序场景的实践
查询提速 11 倍、资源节省 70%,Apache Doris 在网易日志和时序场景的实践

数据库 Schema 的设计对于性能至关重要,而在处理日志和时序数据时也不例外。

Easysearch压缩模式深度比较:ZSTD+source_reuse的优势分析
Easysearch 压缩模式深度比较:ZSTD+source_reuse 的优势分析

在使用 Easysearch 时,如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch 具备多种压缩模式,各有千秋。本文将重点探讨一种特别的压缩模式:zstd + source_reuse,我们最近重新优化了 source_reuse,使得它在吞吐量和存储效率方面都表现出色。

easysearch
Linux内核发展史(一):站在巨人的肩膀上
Linux 内核发展史(一):站在巨人的肩膀上

本文介绍Linux内核的发展史。

Zstandard:一种新的无损压缩算法

Zstandard(缩写为Zstd)是一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。它既不像LZMA和ZPAQ那样追求尽可能高的压缩比,也不像LZ4那样追求极致的压缩速度。

Apache IoTDB v1.1.1/v1.1.2 发布|增加 ZSTD 压缩,show variables 增加时间精度
Apache IoTDB v1.1.1/v1.1.2 发布|增加 ZSTD 压缩,show variables 增加时间精度

Apache IoTDB v1.1.1/v1.1.2 已经发布,主要增加了 ZSTD 压缩、show variables 时间精度、Python 连接池 SessionPool 等新特性,并优化多磁盘策略、时间分区集继承策略、ConfigNode 分区信息快照拉取速度等特性。同时修复 limit 下推和 order by time desc 时

IoTDB
Apache IoTDB
Linux 6.2正式发布:首次原生支持苹果M1芯片
Linux 6.2 正式发布:首次原生支持苹果 M1 芯片

Linux 现在可以在现代 Mac 上运行了。

Jellyfish:为Uber最大的存储系统提供更节省成本的数据分层
Jellyfish:为 Uber 最大的存储系统提供更节省成本的数据分层

Jellyfish 项目成功地降低了 Uber 的运营费用,并且未来可以节省更多的存储资源。

亚马逊ElastiCache支持Redis 7,新特性包括Redis函数、ACL改进和分片的Pub/Sub
亚马逊 ElastiCache 支持 Redis 7,新特性包括 Redis 函数、ACL 改进和分片的 Pub/Sub

亚马逊云科技宣布Amazon ElastiCache for Redis兼容Redis 7。

Sophia:为高负载而设计的可嵌入 K/V 数据库

Sophia是一个为高负载而设计的可嵌入K/V数据库,且基于BSD许可协议开源,代码托管在GitHub。Sophia和其架构来源于对原始算法约束的研究和重新思考,如目前日益流行的基于日志文件的数据结构(LSM-tree、B-tree等)。

蚂蚁金服亿级并发下的移动端到端网络接入架构解析
蚂蚁金服亿级并发下的移动端到端网络接入架构解析

支付宝移动端架构已完成了工具型 App、平台型 App,以及超级 App 三个阶段的迭代与逐步完善。本次分享将聚焦支付宝在移动网络接入架构的具体演进,以及应对新春红包等项目在亿级并发场景下的具体应对之道。此外,我们将延展探讨蚂蚁金服移动网络技术如何对外商业化应用和输出。

Linux内核5.3版本正式发布,支持中国兆芯x86处理器
Linux 内核 5.3 版本正式发布,支持中国兆芯 x86 处理器

当地时间 9 月 15 日,大神 Linus Torvalds 宣布 Linux 内核 5.3 稳定版本正式发布。

Canva 选择 Amazon KDS 而非 SNS+SQS,每天处理 250 亿个事件,节省了 85%的成本
Canva 选择 Amazon KDS 而非 SNS+SQS,每天处理 250 亿个事件,节省了 85% 的成本

该公司比较了这些解决方案的许多方面,比如性能、维护工作量以及成本等。

zstd专题_资料-InfoQ中文网