写点什么

zstd

收录了 zstd 频道下的 50 篇内容

亚马逊将自有服务数据的压缩从Gzip切换为Zstd
亚马逊将自有服务数据的压缩从 Gzip 切换为 Zstd

最近,亚马逊前副总裁Adrian Cockcroft在推文中特别指出了从gzip切换到Zstandard压缩所带来的好处,这在社区中引发了关于压缩算法的讨论。

善始方能善终:Amazon Redshift 表设计探秘
善始方能善终:Amazon Redshift 表设计探秘

本文希望能为读者理清Amazon Redshift表设计的一些基本原则,分享一些最佳实践,让读者能最大限度地发挥Amazon Redshift的潜力

ClickHouse发起十亿JSON文档挑战,性能完胜MongoDB、PostgreSQL、ES和DuckDB等数据库
ClickHouse 发起十亿 JSON 文档挑战,性能完胜 MongoDB、PostgreSQL、ES 和 DuckDB 等数据库

在本文中,我们将 ClickHouse 的 JSON 实现与其他支持 JSON 的数据存储方案进行对比,测试结果可能会让你大吃一惊。

京东 ES 支持 ZSTD 压缩算法上线了: 高性能,低成本

京东 ES 支持 ZSTD 压缩算法上线了,这是一种高性能、低成本的压缩算法,能够提高数据存储和传输的效率,同时降低存储和带宽成本。ZSTD 算法是一种快速压缩算法,可提供比其他压缩算法更高的压缩比和更快的压缩速度。这意味着,京东 ES 用户可以更高效地存储

zstd c++ string 压缩 & 解压

zstd c++ string 压缩&解压

c++
程序员
架构
5月日更
zstd
Uber是如何低成本构建开源大数据平台的?
Uber 是如何低成本构建开源大数据平台的?

当大数据成为我们最大的运维支出项目之一后,我们启动了一项降低数据平台成本的计划。

京东 ES 支持 ZSTD 压缩算法上线了: 高性能,低成本 | 京东云技术团队

在《ElasticSearch降本增效常见的方法》一文中曾提到过zstd压缩算法[1],一步一个脚印我们终于在京东ES上线支持了zstd;我觉得促使目标完成主要以下几点原因:

历史库存储成本节约至少 50% ,OceanBase数据压缩核心技术解读
历史库存储成本节约至少 50% ,OceanBase 数据压缩核心技术解读

对于大量历史数据存储的需求, OceanBase 的 SSTable 存储格式和数据编码压缩功能可以使 OceanBase 更轻松地支持超大容量的数据存储。

资源投入降低50%,中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的技术实践
资源投入降低 50%,中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的技术实践

构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。

Kafka降本实用指南
Kafka 降本实用指南

节省的成本是非常可观的。

查询提速 11 倍、资源节省 70%,Apache Doris 在网易日志和时序场景的实践
查询提速 11 倍、资源节省 70%,Apache Doris 在网易日志和时序场景的实践

数据库 Schema 的设计对于性能至关重要,而在处理日志和时序数据时也不例外。

Easysearch压缩模式深度比较:ZSTD+source_reuse的优势分析
Easysearch 压缩模式深度比较:ZSTD+source_reuse 的优势分析

在使用 Easysearch 时,如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch 具备多种压缩模式,各有千秋。本文将重点探讨一种特别的压缩模式:zstd + source_reuse,我们最近重新优化了 source_reuse,使得它在吞吐量和存储效率方面都表现出色。

easysearch
Linux内核发展史(一):站在巨人的肩膀上
Linux 内核发展史(一):站在巨人的肩膀上

本文介绍Linux内核的发展史。

Zstandard:一种新的无损压缩算法

Zstandard(缩写为Zstd)是一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。它既不像LZMA和ZPAQ那样追求尽可能高的压缩比,也不像LZ4那样追求极致的压缩速度。

Apache IoTDB v1.1.1/v1.1.2 发布|增加 ZSTD 压缩,show variables 增加时间精度
Apache IoTDB v1.1.1/v1.1.2 发布|增加 ZSTD 压缩,show variables 增加时间精度

Apache IoTDB v1.1.1/v1.1.2 已经发布,主要增加了 ZSTD 压缩、show variables 时间精度、Python 连接池 SessionPool 等新特性,并优化多磁盘策略、时间分区集继承策略、ConfigNode 分区信息快照拉取速度等特性。同时修复 limit 下推和 order by time desc 时

IoTDB
Apache IoTDB
Linux 6.2正式发布:首次原生支持苹果M1芯片
Linux 6.2 正式发布:首次原生支持苹果 M1 芯片

Linux 现在可以在现代 Mac 上运行了。

Jellyfish:为Uber最大的存储系统提供更节省成本的数据分层
Jellyfish:为 Uber 最大的存储系统提供更节省成本的数据分层

Jellyfish 项目成功地降低了 Uber 的运营费用,并且未来可以节省更多的存储资源。

亚马逊ElastiCache支持Redis 7,新特性包括Redis函数、ACL改进和分片的Pub/Sub
亚马逊 ElastiCache 支持 Redis 7,新特性包括 Redis 函数、ACL 改进和分片的 Pub/Sub

亚马逊云科技宣布Amazon ElastiCache for Redis兼容Redis 7。

Sophia:为高负载而设计的可嵌入 K/V 数据库

Sophia是一个为高负载而设计的可嵌入K/V数据库,且基于BSD许可协议开源,代码托管在GitHub。Sophia和其架构来源于对原始算法约束的研究和重新思考,如目前日益流行的基于日志文件的数据结构(LSM-tree、B-tree等)。

蚂蚁金服亿级并发下的移动端到端网络接入架构解析
蚂蚁金服亿级并发下的移动端到端网络接入架构解析

支付宝移动端架构已完成了工具型 App、平台型 App,以及超级 App 三个阶段的迭代与逐步完善。本次分享将聚焦支付宝在移动网络接入架构的具体演进,以及应对新春红包等项目在亿级并发场景下的具体应对之道。此外,我们将延展探讨蚂蚁金服移动网络技术如何对外商业化应用和输出。

zstd专题_资料-InfoQ中文网