限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

Jane Street 构建低延迟 OCaml GC 的实践

  • 2015-04-16
  • 本文字数:1176 字

    阅读完需:约 4 分钟

Jane Street 是一家特别重视技术的贸易公司,同时也是目前世界上最大的 Caml 和 OCaml 用户。近日,该公司技术部门负责人 Yaron Minsky 撰文介绍了正在进行中的构建低延迟 OCaml GC 的工作。

在垃圾回收中,有一个众所周知的问题,就是它会导致不可预知的应用程序中断。虽然 OCaml GC 在延迟方面已经相当出色(一方面,“主堆(major heap)”回收增量进行,即可以“分片(slice)”完成;另一方面,“次堆(minor heap)”回收的速度也非常快),但它仍然存在一些问题:

  • 没有性能分析:现有的运行时无法知道不同部分回收工作所耗费的时间,难以优化。
  • 错误提升:在次堆回收时,如果对象恰巧出现短暂的不可达,那么它会被错误地提升到主堆中。
  • 触发:如果服务器需要在突发流量的情况下仍然保持低延迟,那么我们希望垃圾回收可以延后,在应用程序空闲时执行。但现有的运行时根据次堆分配触发垃圾回收,无法满足此类场景。
  • 增量回收不完善:主堆采用增量回收机制,但数组会一次性回收,所以当数组较大时会出现问题。
  • 即时计算:现有的运行时根据上次次堆回收时提升到主堆的对象的多少来确定主堆片的大小。如果提升的对象很多,那么会立即进行主堆回收。但这时,正在进行的任务可能尚未完成。而且,对于快速响应系统,我们同样希望垃圾回收可以延后执行。

为了解决上述问题,他们在 OCaml GC 作者 Damien Doligez 的帮助下做了如下工作:

  • 改进性能分析:为垃圾回收器增加了一组探针,详细记录垃圾回收过程的每个阶段。
  • “老化(Aging)”:为了减少错误提升,允许对象在次堆中停留多个次堆回收周期。
  • 完善增量回收:垃圾回收的多个阶段都改为可中断的,包括数组扫描。
  • 将主堆片回收与次堆回收分离:在现有的运行时中,主堆片回收与次堆回收总是一起完成。但在低延迟分支中,二者可以在任意时间单独执行。同时,该分支允许在应用程序层面调度垃圾回收。
  • 使工作计算更平滑:该低延迟分支由跟踪下次主堆片回收的工作量改为跟踪接下来 N 次主堆片回收的工作量,并将数值保存在一个环形缓冲区里。
  • 空闲列表分段:查找空闲块的开销占次堆回收开销的一大部分。在许多 OCaml 应用程序中,块都非常小。为了利用这一点,他们正在该低延迟分支中实现一组根据尺寸划分的空闲列表。

虽然许多工作还在进行之中,但已经取得的成果让他们觉得这项工作非常有前途。通过使用一个包含了上述大多数更改的编译器版本及应用程序驱动的垃圾回收作业,他们目前已经在一个真实的生产应用中将“尾延迟(tail latency)”降低到了原来的 1/3。不过,也有部分成果不尽人意。比如,老化机制节省了对象提升开销,但次堆回收本身的开销增加了,两者基本相互抵消了。

感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流。

2015-04-16 08:293060
用户头像

发布了 1008 篇内容, 共 424.1 次阅读, 收获喜欢 346 次。

关注

评论

发布
暂无评论
发现更多内容

进来抄作业:分布式系统中保证高可用性的常用经验

华为云开发者联盟

高可用 运维 设计 分布式系统 系统

Java 异常处理

大海

Java java异常处理

科技赋能传统产业:工业绿色可视化—核电站工艺流程组态仿真

一只数据鲸鱼

物联网 数据可视化 组态软件 绿色工业 核电站

盘点2020| 开启小马哥的新未来

小马哥

盘点2020

跨越全场景统一架构三大挑战,MindSpore亮出“四招”

华为云开发者联盟

深度学习 联邦学习 mindspore 算子 ai框架

快抛弃你错误的坚持

石君

生活随想 28天写作

2020DevOps状态报告——变更管理

禅道项目管理

DevOps 运维 开发 趋势 自动化测试

智能合约上链系统开发|智能合约上链APP软件开发

系统开发

十八般武艺玩转GaussDB(DWS)性能调优:路径干预

华为云开发者联盟

数据库 sql 性能调优 GaussDB 算子

从美国《拜杜法案》到中国供应链体系形成的内在逻辑

JiangX

供应链 28天写作 制造

高频量化交易机器人系统开发|高频量化交易机器人APP软件开发

系统开发

okhttp3 第一次使用

我就感觉到快

Android开发时的多点触控是如何实现的?

博文视点Broadview

智汇华云 | 安超OS为企业数字化转型构建坚实的云基座

华云数据

软件测试--selenium安装使用

测试人生路

软件测试

看图学NumPy:掌握n维数组基础知识点,看这一篇就够了

华为云开发者联盟

Python 机器学习 数组 Numpy

顶级!13位专家力荐Spring5为企业级开发提供一站式方案

996小迁

Java spring 编程 架构 面试

如何对AD和Exchange进行安全加固满足护网需要?

嘉为蓝鲸

安全 asm AD 邮件系统 权限

阿里P8内部架构核心学习知识笔记在各大互联网上流传,限时开放下载

Java架构之路

Java 程序员 架构 面试 编程语言

开发复杂业务系统,有哪些设计思路

邴越

林昊获中国计算机学会杰出工程师奖,阿里中间件再获高度肯定,“三位一体”推动技术普惠

阿里巴巴云原生

阿里巴巴 阿里云 开发者 云原生 中间件

新鲜出炉!阿里内部开源SpringCloud Alibaba全解(全彩版)全网首发

Java架构追梦

Java 学习 架构 面试 SpringCloud Alibaba

Socket粘包问题终极解决方案—Netty版(2W字)!

王磊

Java socket Netty

港股配资系统搭建

软件开发大鱼V15988750073

金融科技 港股交易系统开发 在线开户系统 CFD交易系统 港股多账户系统

实时媒体AI,打破内容创作天花板,加速视频创新

华为云开发者联盟

人工智能 云原生 媒体 视频

Redis 学习笔记 02:链表

架构精进之路

redis 七日更 28天写作

Serverless 在 SaaS 领域的最佳实践

Serverless Devs

Serverless 云原生 SaaS

APICloud的发展和应用

anyRTC开发者

ios android 跨平台 sdk APICloud

重学JS | 异步编程 Generator()

梁龙先森

面试 大前端 编程语言 28天写作

工业传感器:工业互联网的第一道门

工业互联网

Jane Street构建低延迟OCaml GC的实践_后端_谢丽_InfoQ精选文章