如何在Python項目中引入日志

Posted on 2021-05-31 by WalkonNet

Logging模塊的使用

簡單使用

Logging 模塊提供瞭一系列便利的函數

它們分別是 debug(), info(), warning(), error(), critical()

import logging

logging.debug('debug log test')
logging.info('info log test')
logging.warning('warning log test')
logging.error('error log test')
logging.critical('critical log test')

輸出結果：

WARNING:root:warning log test
ERROR:root:error log test
CRITICAL:root:critical log test

為什麼隻輸出瞭 warning， error 和 critical 的結果，因為 logging 模塊默認使用 warning 日志級別，就是隻有 warning 及以上日志等級才會顯示。

日志等級從高到低，如下所示

級別	數值	何時使用
`CRITICAL`	50	嚴重的錯誤，表明程序已不能繼續執行
`ERROR`	40	由於嚴重的問題，程序的某些功能已經不能正常執行
`WARNING`	30	表明有已經或即將發生的意外，程序仍按預期進行
`INFO`	20	確認程序按預期運行
`DEBUG`	10	細節信息，僅當診斷問題時適用。
`NOTSET`	0	無任何等級限制

我們隻要把 logging 的默認日志等級改下就好瞭

import logging

# 配置日志等級
logging.basicConfig(level=logging.DEBUG)

logging.debug('debug log test')
logging.info('info log test')
logging.warning('warning log test')
logging.error('error log test')

輸出結果如下：

DEBUG:root:debug log test
INFO:root:info log test
WARNING:root:warning log test
ERROR:root:error log test

指定日志輸出樣式

當然我們還可以指定日志輸出格式

import logging


# 日志輸出樣式
log_format = '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
logging.basicConfig(format=log_format, level=logging.DEBUG)

logging.debug('debug log test')
logging.info('info log test')
logging.warning('warning log test')
logging.error('error log test')
logging.critical('critical log test')

輸出結果如下：

DEBUG 2021-05-27 00:04:26,327 main.py 65 debug log test
INFO 2021-05-27 00:04:26,327 main.py 66 info log test
WARNING 2021-05-27 00:04:26,327 main.py 67 warning log test
ERROR 2021-05-27 00:04:26,327 main.py 68 error log test
CRITICAL 2021-05-27 00:04:26,327 main.py 69 critical log test

其中日志信息格式化輸出配置樣式說明

%(levelname)s ，日志等級
%(asctime)s ，時間
%(filename)s ，文件名
%(lineno)d ，行號
%(message)s，日志信息

這些配置都是固定，不可隨便寫，還有好多日志格式化樣式，這裡隻介紹瞭一些常用的格式配置，大傢可以去官網查看更多的格式化配置信息。docs.python.org/zh-cn/3.7/l…

日志記錄到文件中

在 logging.basicConfig 中設置 filename 屬性即可把日志信息寫入文件中

import logging


# 日志輸出樣式
log_format = '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
logging.basicConfig(
    filename='test.log',
    format=log_format,
    level=logging.DEBUG
)

logging.debug('debug log test')
logging.info('info log test')
logging.warning('warning log test')
logging.error('error log test')
logging.critical('critical log test')

運行程序後 test.log 如下內容

自定義日志配置

通常我們在項目中都是自定義一些通用日志配置，然後供項目全局使用。寫好這些配置下次要在別的項目使用之間復制粘貼過來修改修改一下即可。來康康是如何配置的。

準備日志配置信息

配置日志詳細信息，需要導入 logging.config 來進行加載日志配置信息

首先準備日志配置信息字典

log_dict = {
    'version': 1,
    'disable_existing_loggers': False,  # 是否禁用已經存在的日志器

    # 日志信息格式化輸出配置
    'formatters': {

        # 簡單的日志輸出
        'simple': {
            'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
        },

        # 詳細的日志輸出
        'verbose': {
            'format': '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
        },
    },

    # 日志信息處理器配置
    'handlers': {
        
        # 向終端中輸出日志
        'console': {
            'level': 'DEBUG',                   # 處理的日志等級，DEBUG及以上
            'class': 'logging.StreamHandler',   # 日志處理器
            'formatter': 'simple'               # 日志格式化配置
        },

        # 向文件中輸出日志
        'file': {
            'level': 'INFO',                                    # 處理的日志等級，DEBUG及以上
            'class': 'logging.handlers.RotatingFileHandler',    # 使用文件日志處理器
            'formatter': 'verbose',                             # 日志格式化配置
            'filename': './logs/test.log',                      # 日志文件存儲位置
            'maxBytes': 1024 * 1024,        # 每個日志文件最大 10MB, 單位: byte
            'backupCount': 20,              # 如果文件滿瞭, 自動擴充, 最多保留 20 個日志文件
            'encoding': 'utf8',
        },
    },

    # 默認根日志器
    'root': {
        'level': 'DEBUG',           # 允許接受的日志等級
        'handlers': ['console']     # 選擇日志處理器
    },

    # 自定義的日志器
    'loggers': {
        'server': {
            'level': 'DEBUG',
            'handlers': ['file'],
            'propagate': True       # 設為 False則禁止將日志消息傳遞給父級記錄器的處理程序中
        }
    }
}

準備日志配置信息

配置日志詳細信息，需要導入 logging.config 來進行加載日志配置信息

首先準備日志配置信息字典

log_dict = {
    'version': 1,
    'disable_existing_loggers': False,  # 是否禁用已經存在的日志器

    # 日志信息格式化輸出配置
    'formatters': {

        # 簡單的日志輸出
        'simple': {
            'format': '%(levelname)s %(module)s %(lineno)d %(message)s'
        },

        # 詳細的日志輸出
        'verbose': {
            'format': '%(levelname)s %(asctime)s %(filename)s %(lineno)d %(message)s'
        },
    },

    # 日志信息處理器配置
    'handlers': {
        
        # 向終端中輸出日志
        'console': {
            'level': 'DEBUG',                   # 處理的日志等級，DEBUG及以上
            'class': 'logging.StreamHandler',   # 日志處理器
            'formatter': 'simple'               # 日志格式化配置
        },

        # 向文件中輸出日志
        'file': {
            'level': 'INFO',                                    # 處理的日志等級，DEBUG及以上
            'class': 'logging.handlers.RotatingFileHandler',    # 使用文件日志處理器
            'formatter': 'verbose',                             # 日志格式化配置
            'filename': './logs/test.log',                      # 日志文件存儲位置
            'maxBytes': 1024 * 1024,        # 每個日志文件最大 10MB, 單位: byte
            'backupCount': 20,              # 如果文件滿瞭, 自動擴充, 最多保留 20 個日志文件
            'encoding': 'utf8',
        },
    },

    # 默認根日志器
    'root': {
        'level': 'DEBUG',           # 允許接受的日志等級
        'handlers': ['console']     # 選擇日志處理器
    },

    # 自定義的日志器
    'loggers': {
        'server': {
            'level': 'DEBUG',
            'handlers': ['file'],
            'propagate': True       # 設為 False則禁止將日志消息傳遞給父級記錄器的處理程序中
        }
    }
}

其中大字典的 key 都是固定，例如 version,formatters, handlers, root, loggers等都是固定的配置項。而有一些子選項是可以自己自定義如

formatters 下的 simple 和 verbose，是可以改成自己想要的名字。
handlers 下的 console 和 file 也是可以修改的。
loggers 下的 server 都是一樣可以修改的

具體配置的說明，在這字典中都有一一註釋我就不全介紹瞭，我就介紹一下 handlers 日志處理器的配置

在 logging 模塊中有許多日志處理器類，我們隻需要在 pycharm 中輸入 logging.Handler 就能彈出最基本的幾個日志處理類。

而上文所用到的 StreamHandler 則是流處理器，日志將隨著系統標準輸入、輸出流展示，而我們的 PyCharm終端、控制臺等顯示的信息就屬於系統標準輸出流。

而 RotatingFileHandler 日志處理器則是 FileHandler 的子類。其主要作用就是把日志寫入文件中，當文件內容達到最大限制時可以自動擴充日志文件，以達到日志文件的輪換。

加載日志配置信息

然後使用 logging.config.dictConfig() 方法加載日志配置，該方法接受一個字典參數。

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# @Author: Hui
# @Desc: { 日志模塊logging的使用 }
# @Date: 2021/05/26 23:14
import logging
import logging.config

log_dict = {
    'version': 1,
    'disable_existing_loggers': False,  # 是否禁用已經存在的日志器

    ...與上文一致故省略

    # 默認根日志器
    'root': {
        'level': 'DEBUG',  # 接受的日志等級
        'handlers': ['console']
    },
    
    # 自定義的日志器
    'loggers': {
        'server': {
            'level': 'DEBUG',
            'handlers': ['file'],
            'propagate': True       # 設為 False則禁止將日志消息傳遞給父級記錄器的處理程序中
        }
    }
}


def setup_logging():
    """
    配置日志信息
    :return:
    """
    logging.config.dictConfig(config=log_dict)
    logger = logging.getLogger()
	# logger = logging.getLogger('root')
    
    logger.debug('debug log test')
    logger.info('info log test')
    logger.warning('warning log test')
    logger.error('error log test')


def main():
    setup_logging()


if __name__ == '__main__':
    main()

使用 logging.getLogger() 即可獲取相應配置日志器，其接受一個日志器的名字，不傳則默認使用 root 根日志器，同 logging.getLogger(‘root’) 效果一致。

如果之間運行程序會出現如下錯誤

ValueError: Unable to configure handler 'file'

那是因為你在日志配置中設置瞭一個文件處理器 file ，其日志文件將存儲在 filename 配置項中，在這裡是

./logs/test.log		# 代表存儲在當前路徑下的 logs目錄下的 test.log 文件

Logging 模塊不會自動幫我們創建目錄，因此隻需在當前目錄中創建一個 logs 目錄即可。

最後程序運行結果如下

DEBUG main 74 debug log test
INFO main 75 info log test
WARNING main 76 warning log test
ERROR main 77 error log test

不用跟 root 根日志器，使用 server 日志器，代碼如下

import logging
import logging.config

log_dict = {...同上文省略...}

def setup_logging():
    """
    配置日志信息
    :return:
    """
    logging.config.dictConfig(config=log_dict)
    # logger = logging.getLogger()

    logger = logging.getLogger('server')
    logger.debug('debug log test')
    logger.info('info log test')
    logger.warning('warning log test')
    logger.error('error log test')
    
    
def main():
    setup_logging()


if __name__ == '__main__':
    main()

運行結果如下：

控制臺

DEBUG main 75 debug log test
INFO main 76 info log test
WARNING main 77 warning log test
ERROR main 78 error log test

日志文件 logs/test.log

由於 server 日志器設置瞭 ‘propagate’: True，會將日志消息傳遞給父級記錄器的處理程序中，因此不僅控制臺會顯示日志信息，文件也會記錄，但文件記錄的等級被設置成 INFO 瞭，因此 DEBUG 調試日志信息，將不會出現在文件中。

使用日志配置文件

這裡我將采用 yaml 格式的日志配置文件。具體配置內容和上文大致一樣，多瞭一個 error_file_handler 錯誤日志處理器，目的就是把錯誤日志單獨放在一個文件中，方便以後排查錯誤。

創建日志配置文件

創建 logging.yaml 文件，內容如下所示

version: 1
disable_existing_loggers: true

# 日志信息格式化輸出配置
formatters:
    simple:
        format: '%(levelname)s %(filename)s %(lineno)d %(message)s'
    verbose:
        format: '%(levelname)s %(asctime)s -Loc %(filename)s -Row %(lineno)d -%(name)s %(message)s'

# 日志信息處理器配置
handlers:
    console:
        class: logging.StreamHandler
        level: DEBUG
        formatter: simple
        stream: ext://sys.stdout

    # 錯誤日志單獨處理
    error_file_handler:
        class: logging.handlers.RotatingFileHandler
        level: ERROR
        formatter: verbose
        filename: ./logs/errors.log   # 錯誤日志文件存儲位置
        maxBytes: 10485760            # 每個日志文件最大 10MB
        backupCount: 20               # 如果文件滿瞭, 自動擴充, 最多保留 20 個日志文件
        encoding: utf8

    server_file_handler:
      class: logging.handlers.RotatingFileHandler
      level: INFO                     # 隻在文件中記錄INFO級別及以上的log
      formatter: verbose
      filename: ./logs/server.log    # 項目日志文件, 記錄所有日志信息
      maxBytes: 10485760             # 10MB
      backupCount: 30
      encoding: utf8

# 根日志器
root:
    level: DEBUG
    handlers: [console]

# 日志器
loggers:
    server:
        level: DEBUG      # 允許打印 DEBUG 及以上log
        handlers: [server_file_handler, error_file_handler]
        propagate: True   # 設為 False則禁止將日志消息傳遞給父級記錄器的處理程序中

加載日志配置函數

# log_test.py 文件

import os
import yaml
import logging
import coloredlogs
import logging.config


# 項目根路徑
BASE_DIR = os.path.dirname(os.path.abspath(__file__))

# 日志配置文件
LOG_CONF_FILE = os.path.join(BASE_DIR, 'logging.yaml')


def setup_logging(default_path=LOG_CONF_FILE, default_level=logging.DEBUG, env_key='LOG_CFG'):
    """
    配置項目日志信息
    :param default_path: 日志文件默認路徑
    :param default_level: 日志默認等級
    :param env_key: 系統環境變量名
    :return:
    """
    path = default_path

    value = os.getenv(env_key, None)  # 獲取對應的環境變量值
    if value is not None:
        path = value

    if os.path.exists(path):
        with open(path, mode='r', encoding='utf-8') as f:
            try:
                logging_yaml = yaml.safe_load(f.read())
                logging.config.dictConfig(logging_yaml)
                coloredlogs.install(level='DEBUG')
            except Exception as e:
                print(e)
                print('無法加載日志配置文件, 請檢查日志目錄是否創建, 使用默認的日志配置')
                logging.basicConfig(level=default_level)
                coloredlogs.install(level=default_level)
    else:
        logging.basicConfig(level=default_level)
        coloredlogs.install(level=default_level)
        print('日志配置文件不存在, 使用默認的日志配置')

這裡使用到第三方庫如下

PyYaml 是用於讀取 yaml 格式的日志配置文件
Coloredlogs 用於讓日志在控制臺中有顏色顯示。

然後我們在項目中隻要執行完 setup_logging() 日志配置函數

其他模塊直接使用 logging.getLogger(‘server’) 就可獲取我們配置好的日志器。

# log_demo.py 文件

import logging

logger = logging.getLogger('server')  # 維護一個全局日志對象

logger.debug('debug log test')


def log_test1():
    logger.info('info log test')


def log_test2():
    try:
        a = 1 / 0
    except Exception as e:
        logger.error(e)


class LogDemo(object):

    @staticmethod
    def log_test():
        logger.warning('warning log test')

# log_test.py

def main():
    setup_logging()

    logger = logging.getLogger('server')
    logger.debug('debug log test')
    logger.info('info log test')
    logger.warning('warning log test')
    logger.error('error log test')

    # 日志在其他模塊中使用演示
    import log_demo
    log_demo.log_test1()
    log_demo.log_test2()
    log_demo.LogDemo.log_test()
    
    
if __name__ == '__main__':
    main()

日志效果展示

運行 log_test.py 結果如下

控制臺信息

全部日志配置文件信息

錯誤日志文件信息

源代碼

源代碼已上傳到 GitHub LogSetupDemo，歡迎大傢來訪。

以上就是如何在Python項目中引入日志的詳細內容，更多關於python 項目引入日志的資料請關註WalkonNet其它相關文章！

如何在Python項目中引入日志

Logging模塊的使用

簡單使用

指定日志輸出樣式

日志記錄到文件中

自定義日志配置

準備日志配置信息

準備日志配置信息

加載日志配置信息

使用日志配置文件

創建日志配置文件

加載日志配置函數

日志效果展示

源代碼

推薦閱讀：

發佈留言取消回覆

近期文章

Logging模塊的使用

簡單使用

指定日志輸出樣式

日志記錄到文件中

自定義日志配置

準備日志配置信息

準備日志配置信息

加載日志配置信息

使用日志配置文件

創建日志配置文件

加載日志配置函數

日志效果展示

源代碼

推薦閱讀：

發佈留言 取消回覆

近期文章

標籤

發佈留言取消回覆