深度学习基础知识 使用torchsummary、netron、tensorboardX查看模参数结构

2023-10-10 02:12
文章标签 参数 学习 使用 查看 深度 结构 基础知识 netron torchsummary tensorboardx

本文主要是介绍深度学习基础知识 使用torchsummary、netron、tensorboardX查看模参数结构，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

深度学习基础知识 使用torchsummary、netron、tensorboardX查看模参数结构

  • 1、直接打印网络参数结构
  • 2、采用torchsummary检测、查看模型参数结构
  • 3、采用netron检测、查看模型参数结构
  • 3、使用tensorboardX

1、直接打印网络参数结构

import torch.nn as nn
from torchsummary import summary
import torchclass Alexnet(nn.Module):def __init__(self):super().__init__()self.net = nn.Sequential(nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Flatten(), nn.Linear(256 * 5 * 5, 4096), nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096, 4096), nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096, 10))def forward(self, X):return self.net(X)if __name__=="__main__":device=torch.device("cuda:0" if torch.cuda.is_available() else "cpu")model=Alexnet().to(device)print(model)# summary(model,(3,224,224),16)

结果输出：

Alexnet((net): Sequential((0): Conv2d(3, 96, kernel_size=(11, 11), stride=(4, 4), padding=(1, 1))(1): ReLU()(2): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)(3): Conv2d(96, 256, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))(4): ReLU()(5): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)(6): Conv2d(256, 384, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(7): ReLU()(8): Conv2d(384, 384, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(9): ReLU()(10): Conv2d(384, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))(11): ReLU()(12): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False)(13): Flatten(start_dim=1, end_dim=-1)(14): Linear(in_features=6400, out_features=4096, bias=True)(15): ReLU()(16): Dropout(p=0.5, inplace=False)(17): Linear(in_features=4096, out_features=4096, bias=True)(18): ReLU()(19): Dropout(p=0.5, inplace=False)(20): Linear(in_features=4096, out_features=10, bias=True))
)

上述方案存在的问题是：当网络参数设置存在错误时，无法检测出来

2、采用torchsummary检测、查看模型参数结构

安装torchsummary

pip install torchsummary

通常采用torchsummary打印网络结构参数时，会出现以下问题
代码：

import torch.nn as nn
from torchsummary import summaryclass Alexnet(nn.Module):def __init__(self):super().__init__()self.net = nn.Sequential(nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Flatten(), nn.Linear(256 * 5 * 5, 4096), nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096, 4096), nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096, 10))def forward(self, X):return self.net(X)net = Alexnet()
print(summary(net, (3, 224, 224), 8))

报错内容如下：

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same

报错原因分析：

在使用torchsummary可视化模型时候报错，报这个错误是因为类型不匹配，根据报错内容可以看出Input type为torch.FloatTensor（CPU数据类型），而weight type（即网络权重参数这些）为torch.cuda.FloatTensor（GPU数据类型）

解决方案：

将model传到GPU上便可。将代码如下修改便可正常运行

if __name__ == "__main__":from torchsummary import summarydevice = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")model = UNet().to(device)	# modifyprint(model)summary(model, input_size=(3, 224, 224))

整体代码：

import torch.nn as nn
from torchsummary import summary
import torchclass Alexnet(nn.Module):def __init__(self):super().__init__()self.net = nn.Sequential(nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Flatten(), nn.Linear(256 * 5 * 5, 4096), nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096, 4096), nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096, 10))def forward(self, X):return self.net(X)if __name__=="__main__":device=torch.device("cuda:0" if torch.cuda.is_available() else "cpu")model=Alexnet().to(device)# print(model)summary(model,(3,224,224),16)  # 16:表示传入的数据批次

打印结果：

----------------------------------------------------------------Layer (type)               Output Shape         Param #
================================================================Conv2d-1           [16, 96, 54, 54]          34,944ReLU-2           [16, 96, 54, 54]               0MaxPool2d-3           [16, 96, 26, 26]               0Conv2d-4          [16, 256, 26, 26]         614,656ReLU-5          [16, 256, 26, 26]               0MaxPool2d-6          [16, 256, 12, 12]               0Conv2d-7          [16, 384, 12, 12]         885,120ReLU-8          [16, 384, 12, 12]               0Conv2d-9          [16, 384, 12, 12]       1,327,488ReLU-10          [16, 384, 12, 12]               0Conv2d-11          [16, 256, 12, 12]         884,992ReLU-12          [16, 256, 12, 12]               0MaxPool2d-13            [16, 256, 5, 5]               0Flatten-14                 [16, 6400]               0Linear-15                 [16, 4096]      26,218,496ReLU-16                 [16, 4096]               0Dropout-17                 [16, 4096]               0Linear-18                 [16, 4096]      16,781,312ReLU-19                 [16, 4096]               0Dropout-20                 [16, 4096]               0Linear-21                   [16, 10]          40,970
================================================================
Total params: 46,787,978
Trainable params: 46,787,978
Non-trainable params: 0
----------------------------------------------------------------
Input size (MB): 9.19
Forward/backward pass size (MB): 163.58
Params size (MB): 178.48
Estimated Total Size (MB): 351.25
----------------------------------------------------------------

3、采用netron检测、查看模型参数结构

安装netron与onnx

pip install netron onnx

代码实现：

import torch.nn as nn
import netron
import torch
from onnx import shape_inference
import onnxclass Alexnet(nn.Module):def __init__(self):super().__init__()self.net = nn.Sequential(nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Flatten(), nn.Linear(256 * 5 * 5, 4096), nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096, 4096), nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096, 10))def forward(self, X):return self.net(X)if __name__=="__main__":device=torch.device("cuda:0" if torch.cuda.is_available() else "cpu")model=Alexnet()temp_image=torch.rand((1,3,224,224))# 1、利用torch.onnx.export，先将模型导出为onnx格式的文件，保存到本地./model.onnxtorch.onnx.export(model=model,args=temp_image,f='model.onnx',input_names=['image'],output_names=['feature_map'])# 2、加载进onxx模型，并推理,然后再保存覆盖原先模型onnx.save(onnx.shape_inference.infer_shapes(onnx.load("model.onnx")),"model.onnx")netron.start('model.onnx')

运行后，显示结构：
在这里插入图片描述
在这里插入图片描述

3、使用tensorboardX

在这里插入图片描述
代码实现：

import torch
import torch.nn as nn
from tensorboardX import SummaryWriter as SummaryWriterclass Alexnet(nn.Module):def __init__(self):super().__init__()self.net = nn.Sequential(nn.Conv2d(3, 96, kernel_size=11, stride=4, padding=1), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(96, 256, kernel_size=5, padding=2), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Conv2d(256, 384, kernel_size=3, padding=1), nn.ReLU(),nn.Conv2d(384, 384, kernel_size=3, padding=1), nn.ReLU(),nn.Conv2d(384, 256, kernel_size=3, padding=1), nn.ReLU(),nn.MaxPool2d(kernel_size=3, stride=2),nn.Flatten(), nn.Linear(256 * 5 * 5, 4096), nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096, 4096), nn.ReLU(),nn.Dropout(0.5),nn.Linear(4096, 10))def forward(self, X):return self.net(X)net = Alexnet()
img = torch.rand((1, 3, 224, 224))
with SummaryWriter(log_dir='logs') as w:w.add_graph(net, img)

运行后，会在本地生成一个log日志文件
在命令行运行以下指令：

tensorboard --logdir ./logs --port 6006

这篇关于深度学习基础知识 使用torchsummary、netron、tensorboardX查看模参数结构的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/177206。

相关文章

Spring Boot整合Redis注解实现增删改查功能(Redis注解使用)

Spring Boot整合Redis注解实现增删改查功能(Redis注解使用)

《SpringBoot整合Redis注解实现增删改查功能(Redis注解使用)》文章介绍了如何使用SpringBoot整合Redis注解实现增删改查功能,包括配置、实体类、Repository、Se... 目录配置Redis连接定义实体类创建Repository接口增删改查操作示例插入数据查询数据删除数据更
阅读更多...
使用python生成固定格式序号的方法详解

使用python生成固定格式序号的方法详解

《使用python生成固定格式序号的方法详解》这篇文章主要为大家详细介绍了如何使用python生成固定格式序号,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以参考一下... 目录生成结果验证完整生成代码扩展说明1. 保存到文本文件2. 转换为jsON格式3. 处理特殊序号格式（如带圈数字）4
阅读更多...
Java使用Swing生成一个最大公约数计算器

Java使用Swing生成一个最大公约数计算器

《Java使用Swing生成一个最大公约数计算器》这篇文章主要为大家详细介绍了Java使用Swing生成一个最大公约数计算器的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下... 目录第一步：利用欧几里得算法计算最大公约数欧几里得算法的证明情形 1：b=0情形 2：b>0完成相关代码第二步：加
阅读更多...
Java中流式并行操作parallelStream的原理和使用方法

Java中流式并行操作parallelStream的原理和使用方法

《Java中流式并行操作parallelStream的原理和使用方法》本文详细介绍了Java中的并行流（parallelStream）的原理、正确使用方法以及在实际业务中的应用案例,并指出在使用并行流... 目录Java中流式并行操作parallelStream0. 问题的产生1. 什么是parallelS
阅读更多...
Linux join命令的使用及说明

Linux join命令的使用及说明

《Linuxjoin命令的使用及说明》`join`命令用于在Linux中按字段将两个文件进行连接,类似于SQL的JOIN,它需要两个文件按用于匹配的字段排序,并且第一个文件的换行符必须是LF,`jo... 目录一. 基本语法二. 数据准备三. 指定文件的连接key四.-a输出指定文件的所有行五.-o指定输出
阅读更多...
Java中Redisson 的原理深度解析

Java中Redisson 的原理深度解析

《Java中Redisson的原理深度解析》Redisson是一个高性能的Redis客户端,它通过将Redis数据结构映射为Java对象和分布式对象,实现了在Java应用中方便地使用Redis,本文... 目录前言一、核心设计理念二、核心架构与通信层1. 基于 Netty 的异步非阻塞通信2. 编解码器三、
阅读更多...
Linux jq命令的使用解读

Linux jq命令的使用解读

《Linuxjq命令的使用解读》jq是一个强大的命令行工具,用于处理JSON数据,它可以用来查看、过滤、修改、格式化JSON数据,通过使用各种选项和过滤器,可以实现复杂的JSON处理任务... 目录一. 简介二. 选项2.1.2.2-c2.3-r2.4-R三. 字段提取3.1 普通字段3.2 数组字段四.
阅读更多...
Linux kill正在执行的后台任务 kill进程组使用详解

Linux kill正在执行的后台任务 kill进程组使用详解

《Linuxkill正在执行的后台任务kill进程组使用详解》文章介绍了两个脚本的功能和区别,以及执行这些脚本时遇到的进程管理问题,通过查看进程树、使用`kill`命令和`lsof`命令,分析了子... 目录零. 用到的命令一. 待执行的脚本二. 执行含子进程的脚本，并kill2.1 进程查看2.2 遇到的
阅读更多...
Java HashMap的底层实现原理深度解析

Java HashMap的底层实现原理深度解析

《JavaHashMap的底层实现原理深度解析》HashMap基于数组+链表+红黑树结构,通过哈希算法和扩容机制优化性能,负载因子与树化阈值平衡效率,是Java开发必备的高效数据结构,本文给大家介绍... 目录一、概述：HashMap的宏观结构二、核心数据结构解析1. 数组（桶数组）2. 链表节点（Node
阅读更多...
详解SpringBoot+Ehcache使用示例

详解SpringBoot+Ehcache使用示例

《详解SpringBoot+Ehcache使用示例》本文介绍了SpringBoot中配置Ehcache、自定义get/set方式,并实际使用缓存的过程,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录摘要概念内存与磁盘持久化存储：配置灵活性：编码示例引入依赖：配置ehcache.XML文件：配置
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2