写点什么

Netflix Log4J 优化大规模日志记录

  • 2012-12-10
  • 本文字数:785 字

    阅读完需:约 3 分钟

经过 Netflix 内部优化的 log4j 版本——Blitz4j已经发布到Github 。与其他更传统的日志技术相比,Blitz4j 能够在大规模并发和流量拥挤的环境下高效生成日志,而且消耗的资源更少。这是通过重写log4j 中可能发生同步和死锁的代码部分实现的。

Netflix 对 log4J 的修改包括:

  1. 移除所有关键的同步,使用并发数据结构。
  2. 为内存缓冲区和工作线程提供强大的配置能力。
  3. 使用执行者池模型替换等待 - 通知模型,进一步隔离应用程序线程和日志线程。
  4. 通过可配置的摘要信息在日志高峰期更好地处理日志消息。

Netflix 宣称,使用 Blitz4j 时每秒钟记录 300 到 500 行日志的开销至少降低了75% ,同步相关的处理器使用峰值也完全消失了。现在,即使在高使用量和高日志量的情况下,应用程序也能在一个可接受的时间内做出响应。

随着交易量和每个实例日志需求的增加,Netflix 注意到log4j 消耗的资源越来越多,延缓了它所记录的进程的速度。因为对log4j 的大量投入,他们难以下定决心转移到像LogBack 这样不同的日志技术;相反,他们选择了重写log4j,为无阻塞和异步的日志进行了定制。 Log4j 框架并没有太大的变动;只有影响伸缩性的地方做了修改。

Netflix 的 Karthikeyan Ranganathan 认为,对于刚起步的项目而言 Blitz4j 可能并不是最好的选择。LogBack 是 log4j 团队开发的一个产品,它解决了 Netfliex 团队所关心的很多问题。在这方面,没有使用传统 log4j 框架或者基于slf4j 构建的项目应该考虑使用LogBack 而不是Blitz4j。但是对于在log4j 上有大量投入的公司而言,Blitz4j 是能够记录因特网规模日志的正确选择。

英文原文地址 Netflix Log4J Optimizations Yield Logging at Massive Scale


感谢臧秀涛对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2012-12-10 07:324559
用户头像

发布了 321 篇内容, 共 134.3 次阅读, 收获喜欢 19 次。

关注

评论

发布
暂无评论
发现更多内容

驱动力读书笔记之二

张老蔫

28天写作

Elastic开源协议修改限制用户,星环科技自研New Search青出于蓝

星环科技

作业:游戏的利益相关者

嫉妒的耗子

极客时间产品经理训练营第 3 次作业

待注册

极客大学产品经理训练营

产品经理训练营 - 第三次作业

Jophie

产品经理训练营

第三周作业-相关方分析

Au revoir

大数据两万年

大伟

大数据 GFS

利益相关者的问题

沈弋

架构师训练营第五周作业 - 学习总结

阿德儿

产品训练营·第三周作业

产品经理训练营

给予你关注产品的利益相关者,想想他们的问题,自己设定一些前提,做个简单的排序。

戎帅

入网指南:一文读懂你身边的网络

K8S原生存储持续进化,Longhorn 1.1迎来ARM支持

Rancher

产品经理第三周作业

朱琴

作业 - 第二章 产品思维和产品意识 (二)

hao hao

🍉 别再恐惧 IP 协议(万字长文 | 多图预警)

飞天小牛肉

面试 计算机网络 IP TCP/IP 2月春节不断更

产品手记--2

曦语

速成算法笔记,Github上已收获近60K+star!力压LeetCode只为面试

程序员 面试 算法

一带一路上的中国品牌!AWS 助力中国新能源车企走向世界!

亚马逊云科技 (Amazon Web Services)

话题讨论 | 工作之外的时间怎样分配

程序员架构进阶

时间分配 自我提升 话题讨论 2月春节不断更

产品经理训练营 Week3 作业

Mai

今日姑苏佳景,俨然数字园林

脑极体

产品训练营第三周作业-利益相关者关注的问题

jpcr987i

产品经理训练营第三周作业 - 利益相关方(二)

Denny-xi

产品经理 产品经理训练营

5G专网是个大西瓜(一):价值之问

脑极体

集群迁移自由来啦!4步将Rancher迁移至任意K8S发行版

Rancher

《期权合同》常见的一个大坑,99%中招 | 视频号28天(26)

赵新龙

28天写作

产品训练营 第三周作业

万顷湖天碧

产品训练营

第三周作业

Geek_72d5ab

站出来打造真正开源的 Elasticsearch

亚马逊云科技 (Amazon Web Services)

学计算机的都是傻子?《打工人的点点思考》

谙忆

Netflix Log4J 优化大规模日志记录_Java_Harry Brumleve_InfoQ精选文章