本文主要是介绍YOLOV8逐步分解（6）_模型训练初始设置之image size检测batch预设及dataloder初始化，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
yolov8逐步分解(1)--默认参数&超参配置文件加载
yolov8逐步分解(2)_DetectionTrainer类初始化过程
yolov8逐步分解(3)_trainer训练之模型加载
YOLOV8逐步分解(4)_模型的构建过程
YOLOV8逐步分解（5）_模型训练初始设置之混合精度训练AMP
接逐步分解（5），继续模型训练初始设置的讲解，本章将讲解image size检测、batch预设及dataloder初始代码。
1. image size代码
# Check imgszgs = max(int(self.model.stride.max() if hasattr(self.model, 'stride') else 32), 32) # grid size (max stride)self.args.imgsz = check_imgsz(self.args.imgsz, stride=gs, floor=gs, max_dim=1)这段代码是用来处理输入图像的尺寸(imgsz)。它的作用:
1.1 gs = max(int(self.model.stride.max() if hasattr(self.model, 'stride') else 32), 32):
计算出模型的最大 stride 值。
如果模型有 stride 属性,就取它的最大值;否则默认为 32。
这个 gs 变量代表了模型的网格大小(grid size),它是用于确定输入图像尺寸的一个重要参数。
1.2 self.args.imgsz = check_imgsz(self.args.imgsz, stride=gs, floor=gs, max_dim=1):
代码调用了 check_imgsz() 函数,用于检查和设置输入图像的尺寸。
self.args.imgsz 是用户传入的期望输入图像尺寸。
check_imgsz() 函数会根据模型的 stride 值和其他参数,对 self.args.imgsz 进行调整和验证。
具体来说:
stride=gs: 使用计算出的网格大小作为 stride 参数。
floor=gs: 确保输入图像尺寸是网格大小的倍数。
max_dim=1: 限制输入图像的最大维度为 1。
这段代码的目的是确保输入图像的尺寸与模型的特性(如 stride)匹配,以确保模型能够正确地处理输入数据。这有助于提高模型的性能和稳定性。
2. batch size设置
# Batch sizeif self.batch_size == -1: #表示批量大小需要自动估计if RANK == -1: # single-GPU only, estimate best batch sizeself.args.batch = self.batch_size = check_train_batch_size(self.model, self.args.imgsz, self.amp)#估计最佳批量大小else:SyntaxError('batch=-1 to use AutoBatch is only available in Single-GPU training. ''Please pass a valid batch size value for Multi-GPU DDP training, i.e. batch=16')处理训练时的批量大小(batch size):
2.1 if self.batch_size == -1::
这个条件检查是否需要自动估计批量大小。
如果 self.batch_size 为 -1,表示需要自动估计最佳批量大小。
2.2 if RANK == -1:
这个条件检查当前是否处于单 GPU 训练模式。
如果是单 GPU 训练,才能使用自动估计批量大小的功能。
2.3 self.args.batch = self.batch_size = check_train_batch_size(self.model, self.args.imgsz, self.amp):
在单 GPU 训练模式下,代码调用 check_train_batch_size() 函数来估计最佳批量大小。
这个函数会根据模型、输入图像尺寸和是否启用混合精度训练,来计算出最佳的批量大小。
计算结果会赋值给 self.args.batch 和 self.batch_size。
2.4 如果不是单 GPU 训练模式(即分布式训练),就会抛出一个 SyntaxError 异常。
异常信息提示用户,在分布式训练时不能使用自动批量大小估计功能,需要手动设置一个有效的批量大小。
这段代码的目的是尽可能自动地估计出最佳的批量大小,以提高训练的效率和性能。但这个功能只在单 GPU 训练模式下可用,在分布式训练中需要手动设置批量大小。
3. dataloader 初始化
# Dataloadersbatch_size = self.batch_size // max(world_size, 1)self.train_loader = self.get_dataloader(self.trainset, batch_size=batch_size, rank=RANK, mode='train')#获取训练集if RANK in (-1, 0):self.test_loader = self.get_dataloader(self.testset, batch_size=batch_size * 2, rank=-1, mode='val') #获取测试集self.validator = self.get_validator() #创建验证器（validator），用于评估模型在验证数据集上的性能。metric_keys = self.validator.metrics.keys + self.label_loss_items(prefix='val')self.metrics = dict(zip(metric_keys, [0] * len(metric_keys))) # TODO: init metrics for plot_results()?self.ema = ModelEMA(self.model)if self.args.plots and not self.args.v5loader: #如果 self.args.plots 为真且 self.args.v5loader 为假self.plot_training_labels() #绘制训练标签的图表设置和获取训练集和测试集的数据加载器(dataloader):
3.1 batch_size = self.batch_size // max(world_size, 1):
这一行代码计算出每个进程(process)使用的批量大小。
它将 self.batch_size 除以 world_size (分布式训练时的进程数)或 1(单机训练时)。
这样做是为了确保在分布式训练时,每个进程使用的批量大小是合理的。
3.2 self.train_loader = self.get_dataloader(self.trainset, batch_size=batch_size, rank=RANK, mode='train'):
这一行代码通过调用 self.get_dataloader() 函数,获取训练数据集的数据加载器。
self.trainset 是训练数据集,batch_size 是计算出的批量大小,rank 是当前进程的序号(在分布式训练时使用)。
mode='train' 表示这是用于训练的数据加载器。
3.3 if RANK in (-1, 0)::
这个条件检查当前是否处于单机训练模式或主进程(rank 为 0)。
只有在这些情况下,才会执行以下操作。
3.4 self.test_loader = self.get_dataloader(self.testset, batch_size=batch_size * 2, rank=-1, mode='val'):
这一行代码获取验证数据集的数据加载器。
self.testset 是验证数据集,批量大小是训练批量大小的两倍,rank 设置为 -1 表示不参与分布式训练。
mode='val' 表示这是用于验证的数据加载器。
3.5 self.validator = self.get_validator():
这一行代码创建了一个验证器(validator)对象,用于评估模型在验证数据集上的性能。
3.6 metric_keys = self.validator.metrics.keys + self.label_loss_items(prefix='val'):
这一行代码获取验证阶段需要的所有度量指标的键(key)。
3.7 self.validator.metrics.keys 是验证器定义的度量指标,self.label_loss_items(prefix='val') 是验证阶段的标签损失项。
3.8 self.metrics = dict(zip(metric_keys, [0] * len(metric_keys))):
这一行代码初始化了所有度量指标的值为 0。
3.9 self.ema = ModelEMA(self.model):
这一行代码创建了一个指数移动平均(EMA)模型,用于在训练过程中保存模型的滚动平均值。
3.10 if self.args.plots and not self.args.v5loader: self.plot_training_labels():
如果需要绘制训练标签的图表,并且不使用 v5 格式的数据加载器,就会调用 self.plot_training_labels() 函数。
这段代码的主要目的是设置训练集和验证集的数据加载器,创建验证器,初始化度量指标,以及设置 EMA 模型等。这些都是训练模型时的常见操作。
这篇关于YOLOV8逐步分解（6）_模型训练初始设置之image size检测batch预设及dataloder初始化的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
