硬核干货——《中小企业 AI 实战指南》免费下载! 了解详情
写点什么

谷歌开源 TCMalloc,专为 C 和 C++ 定制的内存分配器

  • 2020-03-10
  • 本文字数:902 字

    阅读完需:约 3 分钟

谷歌开源TCMalloc,专为C和C++定制的内存分配器

谷歌表示,其TCMalloc可以代替 C 和 C++默认内存分配器,提供更高的扩展效率和更好的并行性支持


为了避免误解,值得注意的是,这实际上是谷歌第二次开源其内存分配器。事实上,谷歌在 2005 年就已经提供了其内存分配器,当时是作为谷歌性能工具的一部分连同其他工具一起推出的,其中包括内存分析器、旨在确保堆一致性的堆检查器以及基于 Perl 的 ppro 配置分析器和可视化工具。尽管有这么回事,但是,谷歌使用的内部版本随着时间的推移与外部版本出现了差异,因此,现在谷歌开源了 TCMalloc 的当前版本,其包括一些改进,如每个 CPU 缓存、一定规模大小的删除、快/慢路径改进,等等。


该仓库是谷歌目前 TCMalloc 的实现,我们在生产中的所有 C++程序都在使用它。该代码仅限于内存分配器实现本身。


如前所述,TCMalloc 包括C*alloc族和针对C++::operator new以及::operator delete的实现。与 C 和 C++标准库提供的相应功能相比,它们提供了大量优化。例如,TCMalloc 利用固定大小的“页”从操作系统执行分配任务,从而简化了簿记过程。此外,其中一些页面专门用于特定大小的对象,如所有 16 字节的对象。在需要获取或释放内存的时候,这还带来了简化。最后,它还会缓存常用对象以提高操作速度。


TCMalloc 还通过 MallocExtension 支持遥测扩展,这对于收集堆探查结果和快照以调查内存行为很有用。


有一些配置选项可用来调试TCMalloc性能。特别是,我们可以定义逻辑页面大小,它们可以是 4KiB、8KiB、32KiB 或 256KiB。更大的页面将减少从操作系统请求新页面分配的可能性,从而以更大的内存消耗为代价实现更快的操作。它还可以基于每个线程或每个 CPU 来设置缓存大小,这是默认设置。最后,我们可以调整内存释放的积极程度,这也会在几个方面影响性能。


TCMalloc 架构如下图所示,在相关文档中有详细的描述:



TCMalloc 只能使用谷歌内部构建系统Bazel来构建,对于一些使用其他构建系统的开发人员来说,这可能有点让人感觉意外。但是对 macOS、Ubuntu、Fedora 和 Windows 来说都有二进制格式的 Bazel 可用,因此,这应该不会成为主要障碍。


原文链接:


TCMalloc, Google’s Customized Memory Allocator for C and C++, Now Open Source


2020-03-10 08:054327

评论

发布
暂无评论
发现更多内容

架构师训练营 2 期 - 第 7 周命题作业

Geek_no_one

极客大学架构师训练营

架构师训练营 2 期 - 第七周总结

Geek_no_one

极客大学架构师训练营

架构师训练营第十一周总结

月殇

极客大学架构师训练营

第二周学习总结

简简单单

架構師訓練營 week11 總結

ilake

安全稳定

wing

极客大学架构师训练营

Week7总结

lggl

总结

架构师训练营 3 期 第二周作业

ihiming

架構師訓練營 week11 作業

ilake

架构师训练营 - 第十一周 - 作业一

行者

架构2期-第七周作业(1)

浮生一梦

极客大学架构师训练营 第七周 2组

【第11周】安全稳定

云龙

架构词典:逻辑

lidaobing

架构 逻辑

架构师训练营 1 期第 11 周:安全稳定 - 总结

piercebn

极客大学架构师训练营

软件开发人员的软实力之一:精细度

boshi

职业 随笔

你真的理解什么是创新么?|技术人应知的创新思维模型 (1)

Alan

创新 思维模型 技术人应知的创新思维模型 28天写作

冰河开源了全网首个完全开源的分布式全局有序序列号(分布式ID)框架!

冰河

分布式架构 雪花算法 分布式ID 全局序列号 全局唯一ID

极客时间架构 1 期:第 11 周 安全稳定 - 命题作业

Null

第七周学习总结

晴空万里

十一周总结

orchid9

架构师训练营第十一周作业

月殇

极客大学架构师训练营

性能压测的时候,随着并发压力的增加,系统响应时间和吞吐量如何变化

幸福小子

性能分析

架构师训练营 2 期 - 第六周总结

Geek_no_one

极客大学架构师训练营

架构师训练营第一期第十一周总结

Leo乐

极客大学架构师训练营

极客时间架构 1 期:第 11 周 安全稳定 - 学习总结

Null

架构师 01 期,第十一周课后作业

子文

软件设计的设计模式

简简单单

架构师训练营1期 -- 第十一周作业

曾彪彪

极客大学架构师训练营

架构师训练营第一期第十一周作业

Leo乐

极客大学架构师训练营

【第十一周】课后作业

云龙

性能优化总结

幸福小子

性能优化

谷歌开源TCMalloc,专为C和C++定制的内存分配器_编程语言_Sergio De Simone_InfoQ精选文章