写点什么

Netflix Log4J 优化大规模日志记录

  • 2012-12-10
  • 本文字数:785 字

    阅读完需:约 3 分钟

经过 Netflix 内部优化的 log4j 版本——Blitz4j已经发布到Github 。与其他更传统的日志技术相比,Blitz4j 能够在大规模并发和流量拥挤的环境下高效生成日志,而且消耗的资源更少。这是通过重写log4j 中可能发生同步和死锁的代码部分实现的。

Netflix 对 log4J 的修改包括:

  1. 移除所有关键的同步,使用并发数据结构。
  2. 为内存缓冲区和工作线程提供强大的配置能力。
  3. 使用执行者池模型替换等待 - 通知模型,进一步隔离应用程序线程和日志线程。
  4. 通过可配置的摘要信息在日志高峰期更好地处理日志消息。

Netflix 宣称,使用 Blitz4j 时每秒钟记录 300 到 500 行日志的开销至少降低了75% ,同步相关的处理器使用峰值也完全消失了。现在,即使在高使用量和高日志量的情况下,应用程序也能在一个可接受的时间内做出响应。

随着交易量和每个实例日志需求的增加,Netflix 注意到log4j 消耗的资源越来越多,延缓了它所记录的进程的速度。因为对log4j 的大量投入,他们难以下定决心转移到像LogBack 这样不同的日志技术;相反,他们选择了重写log4j,为无阻塞和异步的日志进行了定制。 Log4j 框架并没有太大的变动;只有影响伸缩性的地方做了修改。

Netflix 的 Karthikeyan Ranganathan 认为,对于刚起步的项目而言 Blitz4j 可能并不是最好的选择。LogBack 是 log4j 团队开发的一个产品,它解决了 Netfliex 团队所关心的很多问题。在这方面,没有使用传统 log4j 框架或者基于slf4j 构建的项目应该考虑使用LogBack 而不是Blitz4j。但是对于在log4j 上有大量投入的公司而言,Blitz4j 是能够记录因特网规模日志的正确选择。

英文原文地址 Netflix Log4J Optimizations Yield Logging at Massive Scale


感谢臧秀涛对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2012-12-10 07:324547
用户头像

发布了 321 篇内容, 共 133.8 次阅读, 收获喜欢 19 次。

关注

评论

发布
暂无评论
发现更多内容

横看Dubbo-微服务治理之流量防护

M

原创 微服务 dubbo sentinel

关于未来LLM AI应用的思考,以及从0到1实现LLM资料分析。

Marvin

ChatGPT LLM 企业级应用思考

详谈数据中心网络中的四种不同类型的虚拟化技术:VXLAN、NVGRE、STT和SPBM

wljslmz

6 月 优质更文活动

2023中国高校计算机大赛 — 大数据挑战赛:论文学科分类(清华大学主办)

汀丶人工智能

人工智能 自然语言处理 深度学习 文本分类 6 月 优质更文活动

为什么中国一有创新,就被说套壳?

脑极体

套壳

【Netty】「萌新入门」(七)ByteBuf 的性能优化

sidiot

Java 后端 Netty 6 月 优质更文活动

2023-06-17:说一说redis中渐进式rehash?

福大大架构师每日一题

redis 福大大架构师每日一题

极限科技旗下软件产品 INFINI Easysearch 通过统信 UOS 认证

极限实验室

搜索引擎 UOS 统信 国产化替代 easysearch

全国大数据与计算智能挑战赛:面向低资源的命名实体识别基线方案,排名13/64

汀丶人工智能

人工智能 自然语言处理 关系抽取 命名实体识别 6 月 优质更文活动

一次性搞懂springweb服务构建轻量级Web技术体系:Spring WebMVC

互联网架构师小马

平凯星辰重磅支持 2023 开放原子全球开源峰会,开源数据库分论坛成功召开

PingCAP

数据库 开源 TiDB

JAVA实现一个工作流引擎

小小怪下士

Java 程序员 工作流

SpringWeb服务构建轻量级Web技术体系:SpringHATEOAS

互联网架构师小马

PoseiSwap IDO 即将开启,一览 $POSE 经济模型

鳄鱼视界

深入理解Spring核心容器面向切面概念和实践:AOP实战经验

互联网架构师小马

【Netty】「萌新入门」(六)ByteBuf 的基本使用

sidiot

Java 后端 Netty 6 月 优质更文活动

理论实战源码齐飞!架构师社区疯传的SpringSecurity进阶小册真香

程序员小毕

Java 程序员 架构师 springboot springsecurity

C语言编程语法—结构

芯动大师

C语言 语法 6 月 优质更文活动

在Linux中,如何列出和删除 Iptables 防火墙规则?

wljslmz

6 月 优质更文活动

基于51单片机的智能营养秤系统设计与实现

DS小龙哥

6 月 优质更文活动

绿了,又绿了,现在程序员行情已经好转了吗?华为都不刷人了!

互联网架构师小马

Java java面试 Java八股文 Java面试题 Java面试八股文

Netflix Log4J 优化大规模日志记录_Java_Harry Brumleve_InfoQ精选文章