關於log4j2的異步日志輸出方式
log4j2的異步日志輸出方式
使用log4j2的同步日志進行日志輸出,日志輸出語句與程序的業務邏輯語句將在同一個線程運行。
而使用異步日志進行輸出時,日志輸出語句與業務邏輯語句並不是在同一個線程中運行,而是有專門的線程用於進行日志輸出操作,處理業務邏輯的主線程不用等待即可執行後續業務邏輯。
Log4j2中的異步日志實現方式有AsyncAppender和AsyncLogger兩種。
其中:
AsyncAppender
采用瞭ArrayBlockingQueue來保存需要異步輸出的日志事件;AsyncLogger
則使用瞭Disruptor框架來實現高吞吐。
第一種實現異步方式AsyncAppender
AsyncAppender直接在log4j2的xml的配置文件中配置,註意下面代碼的註釋位置
<?xml version="1.0" encoding="UTF-8"?> <Configuration status="warn"> <Appenders> <!--正常的Appender配置,此處配置的RollingFile會在下面AsyncAppender被通過name引用--> <RollingFile name="RollingFileError" fileName="${Log_Home}/error.${date:yyyy-MM-dd}.log" immediateFlush="true" filePattern="${Log_Home}/$${date:yyyy-MM}/error-%d{MM-dd-yyyy}-%i.log.gz"> <PatternLayout pattern="%d{yyyy-MM-dd 'at' HH:mm:ss z} %-5level %logger{36} : %msg%xEx%n"/> <ThresholdFilter level="error" onMatch="ACCEPT" onMismatch="DENY"/> <Policies> <TimeBasedTriggeringPolicy modulate="true" interval="1"/> <SizeBasedTriggeringPolicy size="10MB"/> </Policies> </RollingFile> <!--一個Appender配置完畢--> <!--異步AsyncAppender進行配置直接引用上面的RollingFile的name--> <Async name="Async"> <AppenderRef ref="MyFile"/> </Async> <!--異步AsyncAppender配置完畢,需要幾個配置幾個--> </Appenders> <Loggers> <Root level="error"> <!--此處如果引用異步AsyncAppender的name就是異步輸出日志--> <!--此處如果引用Appenders標簽中RollingFile的name就是同步輸出日志--> <AppenderRef ref="Async"/> </Root> </Loggers> </Configuration>
重點內容全在上面代碼的註釋中,AsyncAppender的配置就在xml文件中實現,無需單獨引用包來支持.配置AsyncAppender後,日志事件寫入文件的操作將在單獨的線程中執行。
AsyncAppender的常用參數
參數名 | 類型 | 說明 |
---|---|---|
name | String | Async Appender的名字 |
AppenderRef | String | 異步調用的Appender的名字,可以配置多個 |
blocking | boolean | 默認為true。如果為true,appender將一直等待直到queue中有空閑;如果為false,當隊列滿的時候,日志事件將被丟棄。(如果配置瞭error appender,要丟棄的日志事件將由error appender處理) |
bufferSize | integer | 隊列中可存儲的日志事件的最大數量,默認為128 |
第二種實現異步方式AsyncLogger
Log4j2中的AsyncLogger的內部使用瞭Disruptor框架。
Disruptor簡介
Disruptor是英國外匯交易公司LMAX開發的一個高性能隊列,基於Disruptor開發的系統單線程能支撐每秒600萬訂單。
目前,包括Apache Strom、Log4j2在內的很多知名項目都應用瞭Disruptor來獲取高性能。
Disruptor框架內部核心數據結構為RingBuffer,其為無鎖環形隊列。
Disruptor為什麼這麼快?
- lock-free-使用瞭CAS來實現線程安全
- 使用緩存行填充解決偽共享問題
首先在pom單中應用相關的包
<dependency> <groupId>com.lmax</groupId> <artifactId>disruptor</artifactId> <version>3.4.2</version> </dependency>
第二步在log4j2的xml文件中配置AsyncLogger
log4j2.xml配置如下:
<?xml version="1.0" encoding="UTF-8"?> <Configuration status="debug" name="MyApp" packages=""> <Appenders> <Console name="Console" target="SYSTEM_OUT"> <PatternLayout pattern="%d{HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" /> </Console> <RollingFile name="RollingFile" fileName="logs/app.log" filePattern="logs/app-%d{yyyy-MM-dd HH}.log"> <PatternLayout> <Pattern>%d %p %c{1.} [%t] %m%n</Pattern> </PatternLayout> <Policies> <SizeBasedTriggeringPolicy size="500MB"/> </Policies> </RollingFile> <RollingFile name="RollingFile2" fileName="logs/app2.log" filePattern="logs/app2-%d{yyyy-MM-dd HH}.log"> <PatternLayout> <Pattern>%d %p %c{1.} [%t] %m%n</Pattern> </PatternLayout> <Policies> <SizeBasedTriggeringPolicy size="500MB"/> </Policies> </RollingFile> </Appenders> <Loggers> <!--上面的配置都和原配置一樣,就是在下方這直接定義AsyncLogger,他的name在java類中被引用即可--> <AsyncLogger name="com.meituan.Main" level="trace" additivity="false"> <appender-ref ref="RollingFile"/> </AsyncLogger> <AsyncLogger name="RollingFile2" level="trace" additivity="false"> <appender-ref ref="RollingFile2"/> </AsyncLogger> <Root level="debug"> <AppenderRef ref="Console"/> <AppenderRef ref="RollingFile"/> </Root> </Loggers> </Configuration>
java代碼如下:
public class Main { public static void main(String args[]) { //引用com.meituan.Main日志輸出器 Logger logger = LogManager.getLogger(Main.class); //引用的名為RollingFile2的異步AsyncLogger Logger logger2 = LogManager.getLogger("RollingFile2"); Person person = new Person("Li", "lei"); logger.info("hello, {}", person); logger2.info("good bye, {}", person); }
上述log4j2.xml中配置瞭兩個AsyncLogger,名字分別為com.meituan.Main和RollingFile2。
並且,在main方法中分別使用兩個logger來輸出兩條日志。
在加載log4j2.xml的啟動階段,如果檢測到配置瞭AsyncRoot或AsyncLogger,將啟動一個disruptor實例。
log4j2異步註意事項
log4j2異步類型
1) 使用<Async>標簽
示例:
<Async name="asyncKafkaLog"> <AppenderRef ref="Failover" /> </Async>
註意事項: 此類異步隊列是BockingQueue,隊列默認大小是128
2) 使用<AsyncLogger>標簽
示例:
<AsyncLogger name="kafkaLogger" level="trace" includeLocation="false"> <AppenderRef ref="Failover"/> </AsyncLogger>
註意事項: 此類異步隊列是Disruptor隊列默認大小是4096
3) 使用 JVM參數
示例:
#啟動參數方式 -DLog4jContextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector #代碼方式 System.setProperty("Log4jContextSelector", "org.apache.logging.log4j.core.async.AsyncLoggerContextSelector");
註意事項: 此類異步是全量異步,log4j配置文件裡所有logger都自動異步,使用異步隊列為Disruptor,隊列默認大小4096
小提示
① Disruptor隊列性能遠勝於BlockingQueue,這也是log4j2性能提升的重要原因之一
② 如果啟用瞭全量異步,又使用瞭<AsyncLogger>會如何?
- log4j2會新建兩個Disruptor隊列,<AsyncLogger>之流使用一個,其他的使用另外一個,所以建議將可能發生阻塞的logger歸類使用一個Disruptor,畢竟是隊列,一個阻塞瞭其他的得乖乖等著
③ 如果默認隊列長度不足咋辦?
#第一步:加大兩個Disruptor隊列的長度 -DAsyncLogger.RingBufferSize=262144 -DAsyncLoggerConfig.RingBufferSize=262144 #第二步:設置隊列滿瞭時的處理策略:丟棄,否則默認blocking,異步就與同步無異瞭 -Dlog4j2.AsyncQueueFullPolicy=Discard
以上為個人經驗,希望能給大傢一個參考,也希望大傢多多支持WalkonNet。
推薦閱讀:
- 詳談異步log4j2中的location信息打印問題
- SpringBoot整合log4j2日志的實現
- SpringBoot 2.x整合Log4j2日志的詳細步驟
- log4j2的高並發死鎖問題配置優化方式
- 使用log4j2自定義配置文件位置和文件名(附log4j2.xml配置實例)