Python实用教程系列——Logging日志模块

2024-03-27 09:38
文章标签 python logging 模块 日志 系列 实用教程

本文主要是介绍Python实用教程系列——Logging日志模块，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

 

Python实用教程系列——Logging日志模块

 

上篇文章讲述了Python中的相关异常的知识——Python实用教程系列——异常处理，包括异常的种类以及异常的处理方式，以及使用实例的方式说明了一些常用异常的处理。这次，我们来讲述一下Python中的另一个实用的教程，日志相关的知识。

很多的小伙伴在平时写代码的时候，基本上使用的都是使用print()函数来进行一些日志的打印，使用print()来进行一些代码的调试，在较小的程序中这样做是可以的。但是在实际的工程项目中，我们需要保存程序运行的日志，以排查程序在某一个时候崩溃的具体原因，以便及时定位Bug进行抢救，而在Python中，logging就可以十分灵活的帮助我们记录程序运行的过程的中的一些信息。

那么日志的作用是什么呢？

归纳起来日志的作用有三点：

  • 进行程序(代码)的调试
  • 程序运行过程中的问题定位和分析
  • 收集程序运行的情况

接下来我们就来介绍Python中的标准库Logging的相关知识：

一、日志等级

Logging中的日志等级如下：

使用Python的小伙伴对WARNING和ERROR特别的熟悉，在一些模块版本过低的时候运行程序就会出现WARNING的警告。我们来看一些代码:

import logging
import logging
# 设置打印日志的级别，level级别以上的日志会打印出
# level=logging.DEBUG 、INFO 、WARNING、ERROR、CRITICAL
def log_testing():# 此处进行Logging.basicConfig() 设置，后面设置无效logging.basicConfig(level=logging.ERROR)logging.debug('debug，用来打印一些调试信息，级别最低')logging.info('info，用来打印一些正常的操作信息')logging.warning('waring，用来用来打印警告信息')logging.error('error，一般用来打印一些错误信息')logging.critical('critical，用来打印一些致命的错误信息，等级最高')log_testing()

当然了，上述的一些信息是输出到控制台的，下文我们将介绍日志输出到文件的方法。细心的小伙伴会发现

logging.basicConfig(level=http://logging.INFO)

这段代码主要是用来配置日志的输出的，代码会将level以上级别日志输出，比如设置

level=logging.ERROR.

稍微总结一下就是：程序在运行的过程中会记录下大于或等于这个日志级别的日志信息，如果不设置level的值则打印大于等于 WARNING 级别的日志。

二、Logging.basicConfig()

logging.basicConfig()的参数除了日志等级的这个参数可以设置以外，还可以设置其他的参数，比如：

上表提到日志的输出格式参数format,其控制着日志输出的一些格式：

我们来看看怎么使用：

import logging
# 设置打印日志的级别，level级别以上的日志会打印出
# level=logging.DEBUG 、INFO 、WARNING、ERROR、CRITICAL
def log_testing():# 此处进行Logging.basicConfig() 设置，后面设置无效logging.basicConfig(filename='log.txt',format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s-%(funcName)s',level=logging.ERROR)logging.debug('debug，用来打印一些调试信息，级别最低')logging.info('info，用来打印一些正常的操作信息')logging.warning('waring，用来用来打印警告信息')logging.error('error，一般用来打印一些错误信息')logging.critical('critical，用来打印一些致命的错误信息，等级最高')log_testing()

filemode也是一个常用的参数，不设的话默认为'a'，即追加模式；也可以设为'w'，那么每次写日志会覆盖之前的日志。

上述代码产生的日志文件截图如下：

上述日志详情中出现了一个root字眼，这是root日志器的意思，我们也可以使用logging.getLogger()函数来自定义一个日志器：

import logging
def log_testing():selflogger = logging.getLogger('THIS-LOGGING')logging.basicConfig(filename='log.txt',format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s-%(funcName)s',level=logging.ERROR)selflogger.warning('waring，用来用来打印警告信息')selflogger.error('error，一般用来打印一些错误信息')selflogger.critical('critical，用来打印一些致命的错误信息，等级最高')log_testing()

 

可以看到在日志结果文件中，THIS-LOGGING代替了原来的root日志器了

三、Logging组件

Logging中除了以上的一些设置之外，logging还提供了几个组件（类）供我们实现一些特殊的功能，它们主要是：

 

这些组件共同完成日志的配置和输出：

  • Logger需要通过handler将日志信息输出到目标位置，目标位置可以是sys.stdout和文件等。
  • 不同的Handler可以将日志输出到不同的位置(不同的日志文件)。
  • Logger可以设置多个handler将同一条日志记录输出到不同的位置。
  • 每个Handler都可以设置自己的filter从而实现日志过滤，保留实际项目中需要的日志。
  • formatter实现同一条日志以不同的格式输出到不同的地方。

简单的说就是：日志器作为入口，通过设置处理器的方式将日志输出，处理器再通过过滤器和格式器对日志进行相应的处理操作。

我们来简单的介绍一下这些组件中一些常用的方法：

1.Logger类

 

2.Handler类

3.Fliter类

看名字大家就知道这是一个过滤类，那么过滤什么呢？

Filter可以被Handler和Logger用来做比之前设置的日志等级level更为细粒度的、更复杂的相关过滤功能。

简单的说Filter是一个过滤器基类，它只允许某个logger层级下的日志事件通过过滤，保存下来。该类定义如下：

class logging.Filter(name='')filter(record)

过滤举例：

例如用 ‘A.B’ 初始化的 Filter，那么其允许Logger ‘A.B’, ‘A.B.C’, ‘A.B.C.D’, ‘A.B.D’ 等日志记录的事件，logger‘A.BB’, ‘B.A.B’ 等就不满足过滤的条件。

如果用空字符串来对Filter初始化，所有日志记录的事件都将不会被过滤。

4.Formater类

Formater类主要负责日志的格式化输出的。

可通过logging.basicConfig或logging.Formatter函数来配置日志输出内容。

如：formatter = logging.Formatter(fmt=None, datefmt=None)。

如果不指明 fmt，将默认使用 '%(message)s' ，如果不指明 datefmt，将默认使用 ISO8601 日期格式。

说了这么多，我们先看两个简单的例子：

# 例1

import logging
from logging.handlers import RotatingFileHandlerdef logging_fun():# 创建日志的记录等级设logging.basicConfig(level=logging.DEBUG)# 创建日志记录器，指明日志保存的路径，每个日志文件的最大值，保存的日志文件个数上限log_handle = RotatingFileHandler("log.txt", maxBytes=1024 * 1024, backupCount=5)# 创建日志记录的格式formatter = logging.Formatter("format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s-%(funcName)s',")# 为创建的日志记录器设置日志记录格式log_handle.setFormatter(formatter)# 为全局的日志工具对象添加日志记录器logging.getLogger().addHandler(log_handle)logging.warning('用来用来打印警告信息')logging.error('一般用来打印一些错误信息')logging.critical('用来打印一些致命的错误信息，等级最高')logging_fun()

 

# 例2

import logging
def log_file():log_file = 'testfun.log'handler_test = logging.FileHandler(log_file) # stdout to filehandler_control = logging.StreamHandler()    # stdout to consolehandler_test.setLevel('ERROR')               # 设置ERROR级别handler_control.setLevel('INFO')             # 设置INFO级别selfdef_fmt = '%(asctime)s - %(funcName)s - %(levelname)s - %(message)s'formatter = logging.Formatter(selfdef_fmt)handler_test.setFormatter(formatter)handler_control.setFormatter(formatter)logger = logging.getLogger('updateSecurity')logger.setLevel('DEBUG')           #设置了这个才会把debug以上的输出到控制台logger.addHandler(handler_test)    #添加handlerlogger.addHandler(handler_control)logger.info('info,一般的信息输出')logger.warning('waring，用来用来打印警告信息')logger.error('error，一般用来打印一些错误信息')logger.critical('critical，用来打印一些致命的错误信息，等级最高')log_file()

 

上述代码使用了四个组件中的一些简单的方法，大家可以自己看一下，很简单。

四、配置文件

1.conf形式的配置文件

我们知道在logging.basicConfig()中，是进行一些日志的配置的，如果每次都去改动代码，那将变得十分的麻烦，特别是在程序发布或者上线的时候。所以我们可以使用一个什么好的方法来规避这个问题呢？有的，那就是配置文件。

我们在文件loguser.conf中写入相关的信息，内容如下：

[loggers]
keys=root,fileLogger,rotatingFileLogger[handlers]
keys=consoleHandler,fileHandler,rotatingFileHandler[formatters]
keys=simpleFormatter[logger_root]
level=INFO
handlers=consoleHandler[logger_fileLogger]
level=INFO
handlers=fileHandler
qualname=fileLogger
propagate=0[logger_rotatingFileLogger]
level=INFO
handlers=consoleHandler,rotatingFileHandler
qualname=rotatingFileLogger
propagate=0[handler_consoleHandler]
class=StreamHandler
level=INFO
formatter=simpleFormatter
args=(sys.stdout,)[handler_fileHandler]
class=FileHandler
level=INFO
formatter=simpleFormatter
args=("logs/fileHandler_test.log", "a")[handler_rotatingFileHandler]
class=handlers.RotatingFileHandler
level=WARNING
formatter=simpleFormatter
args=("logs/rotatingFileHandler.log", "a", 10*1024*1024, 50)[formatter_simpleFormatter]
format=%(asctime)s - %(module)s - %(levelname)s -%(thread)d : %(message)s
datefmt=%Y-%m-%d %H:%M:%S

那么使用这个配置文件的代码可以如下：

import logging
import os
from logging import configdef log_config():#'读取日志配置文件'path = r'C:\Users\TEN\Desktop\ Logg\log_config.conf'if os.path.exists(path):with open(path,"r",encoding = 'utf-8') as f:logging.config.fileConfig(f)#创建一个日志器loggerlogger = logging.getLogger(name="fileLogger")rotating_logger = logging.getLogger(name="rotatingFileLogger")logger.debug('debug')logger.info('info')logger.warning('warn')logger.error('error')logger.critical('critical')rotating_logger.debug('debug')rotating_logger.info('info')rotating_logger.warning('warn')rotating_logger.error('error')rotating_logger.critical('critical')log_config()

具体的输出这里就不展开了，大家可以敲击代码试试。

细心的同学可能发现[logger_fileLogger]和[logger_rotatingFileLogger]中有一个属性值propagate，在我们的例子中propagate被设置为0的，实际上这个值默认为1，这两者有什么区别呢？

将logger_fileLogger和logger_rotatingFileLogger的属性值propagate设置为1，那么这些个logger在处理完日志记录后，把日志记录传递给了上级的logger_root再次进行一些处理，这样的话我们设置的保存日志的文件和控制台这两个地方都有相关日志记录。

基于此，我们将propagate的值设置为0，这样就可以避免日志记录向上层的日志器进行传递。

配置文件除了上述的.conf格式文件以外，我们还可以配置字典形式以及yaml形式的配置文件，接下来我们来看看yaml形式的配置文件该怎么做，个人比较喜欢这种模式：

2.yaml形式

假设我配置的logtest.yaml的文件的内容如下：

version: 1
disable_existing_loggers: False
# formatters配置了日志输出时的样式
# formatters定义了一组formatID,有不同的格式;
formatters:brief:format: "%(asctime)s - %(message)s"simple:format: "%(asctime)s - [%(name)s] - [%(levelname)s] :%(levelno)s: %(message)s"datefmt: '%F %T'
# handlers配置了需要处理的日志信息,logging模块的handler只有streamhandler和filehandler
handlers:console:class : logging.StreamHandlerformatter: brieflevel   : DEBUGstream  : ext://sys.stdoutinfo_file_handler:class : logging.FileHandlerformatter: simplelevel: ERRORfilename: ./mylog/debug_test.logerror_file_handler:class: logging.handlers.RotatingFileHandlerlevel: ERRORformatter: simplefilename: ./mylog/errors.logmaxBytes: 10485760 # 10MB #1024*1024*10backupCount: 50encoding: utf8loggers:
#fileLogger, 就是在代码中通过logger = logging.getLogger("fileLogger")来获得该类型的loggermy_testyaml:level: DEBUGhandlers: [console, info_file_handler,error_file_handler]
# root为默认情况下的输出配置, 当logging.getLogger("fileLoggername")里面的fileLoggername没有传值的时候,
# 就是用的这个默认的root,如logging.getLogger(__name__)或logging.getLogger()
root:level: DEBUGhandlers: [console]

 

disable_existing_loggers：这是一个布尔型值的参数，默认值为True（为了向后兼容）表示禁用已经存在的logger；

如果值为False则对已存在的loggers保持启动状态，这里设置为False。

那么使用这个logtest.yaml的代码的示例如下：

import logging
import os
from logging import config
import yamldef use_yaml_config(default_path='.\mylog\config.yaml', default_level=logging.INFO):path = default_pathif os.path.exists(path):with open(path, 'r', encoding = 'utf-8') as f:config = yaml.load(stream=f, Loader=yaml.FullLoader)logging.config.dictConfig(config)else:logging.basicConfig(level=default_level)if '__main__' == __name__:use_yaml_config(default_path='.\mylog\logtest.yaml')# root的loggerroot = logging.getLogger()# 子记录器的名字与配置文件中loggers字段内的保持一致# loggers:#   my_testyaml:#       level: DEBUG#       handlers: [console, info_file_handler,error_file_handler]my_testyaml = logging.getLogger("my_testyaml")print("rootlogger:", root.handlers)print("selflogger", my_testyaml.handlers)# 判断子记录器与根记录器的handler是否相同print(root.handlers[0] == my_testyaml.handlers[0])my_testyaml.info("INFO")my_testyaml.error('ERROR')my_testyaml.debug("rootDEBUG")root.info("INFO")root.error('ERROR')root.debug("rootDEBUG")

大家可以试着自己运行一下，看看最后的输出是怎样的。

五、异自定义logger日志输出文件

以上介绍的知识点，大家在平时或在实际的项目中使用基本上就足够了，下面我们简单的介绍一下怎么进行自定义logger进行日志的输出。

我们写一个sel_def_logger.py文件，文件中的定义一个类，内容如下：

import os
import sys
import logging
from time import strftime
# 输出日志路径
PATH = os.path.abspath('.') + '/logs/'
# 设置日志格式#和时间格式
FMT = '%(asctime)s %(filename)s [line:%(lineno)d] %(levelname)s: %(message)s'
DATEFMT = '%Y-%m-%d %H:%M:%S'class MyLog(object):def __init__(self):self.logger = logging.getLogger()self.formatter = logging.Formatter(fmt=FMT, datefmt=DATEFMT)self.log_filename = '{0}{1}.log'.format(PATH, strftime("%Y-%m-%d"))self.logger.addHandler(self.get_file_handler(self.log_filename))self.logger.addHandler(self.get_console_handler())# 设置日志的默认级别self.logger.setLevel(logging.DEBUG)# 输出到文件handler的函数定义def get_file_handler(self, filename):filehandler = logging.FileHandler(filename, encoding="utf-8")filehandler.setFormatter(self.formatter)return filehandler# 输出到控制台handler的函数定义def get_console_handler(self):console_handler = logging.StreamHandler(sys.stdout)console_handler.setFormatter(self.formatter)return console_handler

那么使用这个类的方法可以这样写：

import datetime
from sef_def_logger import MyLog
my_logg = MyLog().logger
my_logg.info("代码开始运行的时间{}".format(datetime.datetime.now()))
my_logg.debug('看看debug')
my_logg.error('This is a error')

生成的结果在我们预先生成的文件夹logs下，有类似的时间命名的日志文件如：2020-07-05.log，日志内容如下：

到此python的日志模块logging就介绍结束了，内容还是非常多的，大家得慢慢学习慢慢体会，最重要的还是要在实际的项目中进行实战。

最后大家可以参考官方文档的知识点进行查缺补漏：

https://docs.python.org/3.7/howto/logging-cookbook.html#logging-cookbook​docs.python.org

 

 

这篇关于Python实用教程系列——Logging日志模块的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/851668。

相关文章

基于Python实现一个图片拆分工具

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片，默认是输出到项目文件夹中，可以自己选择其他的文件夹，选择需要拆分的行数和列数，可以通过
阅读更多...
Python中反转字符串的常见方法小结

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函
阅读更多...
Python中将嵌套列表扁平化的多种实现方法

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表（即列表中包含列表）转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert
阅读更多...
使用Docker构建Python Flask程序的详细教程

使用Docker构建Python Flask程序的详细教程

《使用Docker构建PythonFlask程序的详细教程》在当今的软件开发领域,容器化技术正变得越来越流行,而Docker无疑是其中的佼佼者,本文我们就来聊聊如何使用Docker构建一个简单的Py... 目录引言一、准备工作二、创建 Flask 应用程序三、创建 dockerfile四、构建 Docker
阅读更多...
Python使用vllm处理多模态数据的预处理技巧

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核
阅读更多...
Python使用pip工具实现包自动更新的多种方法

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核
阅读更多...
Conda与Python venv虚拟环境的区别与使用方法详解

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,：本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v
阅读更多...
Python使用python-can实现合并BLF文件

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库：CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合
阅读更多...
Python使用OpenCV实现获取视频时长的小工具

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文
阅读更多...
Python中你不知道的gzip高级用法分享

Python中你不知道的gzip高级用法分享

《Python中你不知道的gzip高级用法分享》在当今大数据时代,数据存储和传输成本已成为每个开发者必须考虑的问题,Python内置的gzip模块提供了一种简单高效的解决方案,下面小编就来和大家详细讲... 目录前言：为什么数据压缩如此重要1. gzip 模块基础介绍2. 基本压缩与解压缩操作2.1 压缩文
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2