浅谈一谈pytorch中模型的几种保存方式、以及如何从中止的地方继续开始训练;

本文主要是介绍浅谈一谈pytorch中模型的几种保存方式、以及如何从中止的地方继续开始训练;,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、本文总共介绍3中pytorch模型的保存方式:1.保存整个模型;2.只保存模型参数;3.保存模型参数、优化器、学习率、epoch和其它的所有命令行相关参数以方便从上次中止训练的地方重新启动训练过程。

1.保存整个模型。这种保存方式最简单,保存内容包括模型结构、模型参数以及其它相关信息。代码如下:

# 保存模型,PATH为模型的保存路径及模型命名
import torch
torch.save(model,PATH)# 加载模型
model = torch.load(PATH)

2. 只保存模型参数,不保存模型结构和其它相关信息。这种方式保存的模型,在加载模型前需要构建相同的模型结构,然后再将加载的模型参数赋值给对应的层。代码如下:

# 只保存模型参数
torch.save(model.state_dict(), PATH)# 创建相同结构的模型,然后加载模型参数
model = Model()   # 调用Model类实例化模型
model_dict = torch.load(PATH)
model.load_state_dict(model_dict) #加载模型参数

如果进行模型加载前,创建的模型结构发生了改变,和原来预训练的模型的结构不同,则需要遍历模型参数进行选择性赋值,例如下面的代码:

from collections import OrderedDictmodel = Unet()  # 实例化Unet模型
model_dict = torch.load(pretrained_pth, map_location="cpu")  # 加载模型时将参数映射到CPU上
new_state_dict = OrderedDict()  # 新建一个字典类型用来存储新的模型参数
# 改变模型结构名称,如果有,就去掉backbone.前缀
for k, v in model_dict["state_dict"].items():new_state_dict[k.replace("backbone.", "")] = vmodel.load_state_dict(new_state_dict)  # 加载模型参数

注意上述代码中,有一个参数 map_location="cpu",这个参数是指定将模型参数映射到CPU上,这个参数一般在一下情况下比较适用:1. 当你在CPU上训练了一个模型,并且想将其加载到CPU上进行推断或者继续训练时,使用map_location="cpu"可以确保模型参数被正确地映射到CPU上;2.如果你的预训练模型是在GPU上训练的,但是你在没有GPU的环境中加载模型时,使用这个参数可以避免找不到GPU而导致的错误。 而如果你的代码没有指定map_location参数,则默认情况下pytorch会尝试将模型加载到当前可用设备上(通常是GPU)

3. 保存模型必要参数,使下次训练可以从模型训练停止的地方继续训练,代码如下:

# 将需要保存的参数打包成字典类型
save_file = {"model": model.state_dict(),"optimizer": optimizer.state_dict(),"lr_scheduler": lr_scheduler.state_dict(),"epoch": epoch,"args": args}     # 保存模型和其它参数    
torch.save(save_file, "save_weights/model.pth")
# 加载模型和必要的参数
checkpoint = torch.load(args.resume, map_location='cpu')
model.load_state_dict(checkpoint['model'])  # 加载模型参数
optimizer.load_state_dict(checkpoint['optimizer'])  # 加载模型优化器
lr_scheduler.load_state_dict(checkpoint['lr_scheduler'])  # 加载模型学习策略
args.start_epoch = checkpoint['epoch'] + 1  # 加载模型训练epoch停止数

如果仅是进行模型推理,则只用加载模型参数即可,不用加载其它的东西。

这篇关于浅谈一谈pytorch中模型的几种保存方式、以及如何从中止的地方继续开始训练;的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/605788

相关文章

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

C++中零拷贝的多种实现方式

《C++中零拷贝的多种实现方式》本文主要介绍了C++中零拷贝的实现示例,旨在在减少数据在内存中的不必要复制,从而提高程序性能、降低内存使用并减少CPU消耗,零拷贝技术通过多种方式实现,下面就来了解一下... 目录一、C++中零拷贝技术的核心概念二、std::string_view 简介三、std::stri

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》:本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量:定义、赋值自定义变量:引用、修改、删

Java使用HttpClient实现图片下载与本地保存功能

《Java使用HttpClient实现图片下载与本地保存功能》在当今数字化时代,网络资源的获取与处理已成为软件开发中的常见需求,其中,图片作为网络上最常见的资源之一,其下载与保存功能在许多应用场景中都... 目录引言一、Apache HttpClient简介二、技术栈与环境准备三、实现图片下载与保存功能1.

python判断文件是否存在常用的几种方式

《python判断文件是否存在常用的几种方式》在Python中我们在读写文件之前,首先要做的事情就是判断文件是否存在,否则很容易发生错误的情况,:本文主要介绍python判断文件是否存在常用的几种... 目录1. 使用 os.path.exists()2. 使用 os.path.isfile()3. 使用

Mybatis的分页实现方式

《Mybatis的分页实现方式》MyBatis的分页实现方式主要有以下几种,每种方式适用于不同的场景,且在性能、灵活性和代码侵入性上有所差异,对Mybatis的分页实现方式感兴趣的朋友一起看看吧... 目录​1. 原生 SQL 分页(物理分页)​​2. RowBounds 分页(逻辑分页)​​3. Page

Linux链表操作方式

《Linux链表操作方式》:本文主要介绍Linux链表操作方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、链表基础概念与内核链表优势二、内核链表结构与宏解析三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势六、典型应用场景七、调试技巧与

Linux实现线程同步的多种方式汇总

《Linux实现线程同步的多种方式汇总》本文详细介绍了Linux下线程同步的多种方法,包括互斥锁、自旋锁、信号量以及它们的使用示例,通过这些同步机制,可以解决线程安全问题,防止资源竞争导致的错误,示例... 目录什么是线程同步?一、互斥锁(单人洗手间规则)适用场景:特点:二、条件变量(咖啡厅取餐系统)工作流

RedisTemplate默认序列化方式显示中文乱码的解决

《RedisTemplate默认序列化方式显示中文乱码的解决》本文主要介绍了SpringDataRedis默认使用JdkSerializationRedisSerializer导致数据乱码,文中通过示... 目录1. 问题原因2. 解决方案3. 配置类示例4. 配置说明5. 使用示例6. 验证存储结果7.

Python程序打包exe,单文件和多文件方式

《Python程序打包exe,单文件和多文件方式》:本文主要介绍Python程序打包exe,单文件和多文件方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录python 脚本打成exe文件安装Pyinstaller准备一个ico图标打包方式一(适用于文件较少的程