Python 如何限制輸出日志的大小

Posted on by

限制輸出日志的大小有多種方法，最優雅的莫過於直接使用rotate機制，這種機制廣泛存在於各種編程語言，Python也不例外。其次，還可以使用mount掛載一個文件，作為日志存儲的位置，因為文件大小是有限的，所以日志的大小也被限制。還有可以用ulimit。

RotatingFileHandler

RotatingFileHandler是logging.handler的一種，在python docs中，這個類的構造函數示例用法如下

class logging.handlers.RotatingFileHandler(filename, mode=‘a', maxBytes=0, backupCount=0, encoding=None, delay=False)

參數

filename 輸出的文件名，如果使用Python 3.6或者更新版本的Python，filename可以是一個Path對象，Path對象可以讓你更優雅地操作文件路徑，它是Python新增的特性。

mode 有”w”和”a”，如果是w，那麼每次輸出日志，都會覆蓋之前已經存在的日志，從第一行開始輸出，如果是a，會保留之前的日志，在之前的日志後輸出。

maxBytes 日志最大的大小，單位是字節

backupCount 如果日志大小達到maxBytes，會將舊日志加上.1或.2這樣的後綴，與filename區分，並在新的filename文件第一行開始輸出。如果為1，則有最多有一個舊日志的備份。

encoding 字符編碼，常用的有utf-8

import logging
from logging.handlers import RotatingFileHandler
log = logging.getLogger()
handler = RotatingFileHandler("test", "a", 4096, 2, "utf-8")
log.addHandler(handler)
#更高級的logging特性
log.setLevel(logging.INFO) #設置過濾的日志等級
formatter = logging.Formatter("%(asctime)s %(levelname)s: %(message)")
log.setFormatter(formatter) #設置日志輸出的格式

Mount

先創建文件，並格式化成ext4文件系統

dd if=/dev/zero of=./logfs bs=1M count=4
mkfs.ext4 ./logfs
mkdir log
sudo mount -t ext4 ./logfs ./log
python test.py 2>./log/test.log

需要註意的是，這種方法可能有權限問題，如果python程序權限不夠，需要更改掛載後log目錄的權限，使用sudo chmod 777 -R log

補充：

python控制日志級別輸出，可進行全局限流，可控制控制臺輸出，可用於線上配置，進行日志的簡單記錄

# coding=utf-8
import logging
import datetime
import os
CONSOLE = True
LEVEL = "DEBUG"
# log/2020-09/2020-09-27_APPLICATION_NAME.log
APPLICATION_NAME = "APPLICATION_NAME"
# 隻生成GBK的日志文件
class RecordLog:
 def __init__(self):
  """
  1、控制日志是否在控制臺中打印
  2、控制日志輸出的級別
  """
  # 設置是否控制臺打印
  self._console = CONSOLE
  # 等級字典
  self._level_dict = {'DEBUG':1,'INFO':2,'WARNING':3,'ERROR':4,'CRITICAL':5}
  # 設置當前支持的日志等級
  self._current_level_num = self._level_dict[LEVEL]
 def get_log_file_name(self,):
  """
  創建日志文件夾，創建或調用日志文件,日志存儲
  :return: log/log_folder(月份)/log_file（每天的log）
  """
  now = str(datetime.datetime.now())
  log_folder = now[:7]
  log_file = now[:10] + "_" + APPLICATION_NAME + ".log"
  if os.path.exists("log/" + log_folder):
   pass
  else:
   os.makedirs("log/" + log_folder)
  return "log/" + log_folder + "/" + log_file
 def log_content(self, content='開始記錄',level="DEBUG"):
  """
  記錄日志
  :param content: 記錄的內容
  :param level: DEBUG, INFO, WARNING, ERROR, CRITICAL
  :return:
  """
  LOG_FILE_NAME = self.get_log_file_name()
  now1 = datetime.datetime.now()
  now_date = now1.strftime("%Y-%m-%d-%H:%M:%S")
  text = " %s %s -- %s" % (level, now_date, content)
  if level in ['DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL']:
   level_num = self._level_dict[level]
   # 控制臺輸出
   if self._console:
    print(text)
   logger = logging.getLogger()
   fh = logging.FileHandler(filename=LOG_FILE_NAME, encoding="utf-8", mode="a")
   # formatter = logging.Formatter("%(asctime)s - %(name)s-%(levelname)s %(message)s")
   # fh.setFormatter(formatter)
   logger.addHandler(fh)
   # 設置日志等級
   if "DEBUG" == level and level_num >= self._current_level_num:
    logger.setLevel(logging.DEBUG)
   elif "INFO" == level and level_num >= self._current_level_num:
    logger.setLevel(logging.INFO)
   elif "WARNING" == level and level_num >= self._current_level_num:
    logger.setLevel(logging.WARNING)
   elif "ERROR" == level and level_num >= self._current_level_num:
    logger.setLevel(logging.ERROR)
   else:
    logger.setLevel(logging.CRITICAL)
   logger.info(text)
  else:
   raise Exception('日志等級傳參錯誤： %s ; 正確格式為：DEBUG, INFO, WARNING, ERROR, CRITICAL'%level)
if __name__ == '__main__':
 #
 log = RecordLog()
 log.log_content(level='DEBUG')

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。如有錯誤或未考慮完全的地方，望不吝賜教。

推薦閱讀：