练习5-丢弃法(包含部分丢弃法理解)

本文主要是介绍练习5-丢弃法(包含部分丢弃法理解)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

util为练习3的解决办法导致的,如果d2l可以正常执行,可无视

代码简解

import torch
from torch import nn
import util as d2l### 定义模型参数与数据
num_epochs, lr, batch_size = 10, 0.5, 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
dropout1, dropout2 = 0.2, 0.5### 定义模型
net=nn.Sequential(nn.Flatten(),nn.Linear(784,256),nn.ReLU(),nn.Dropout(dropout1),nn.Linear(256,256),nn.Dropout(dropout2),nn.Linear(256,10))### 初始化权重与参数
def init_weights(m):if type(m)==nn.Linear:nn.init.normal_(m.weight,std=0.01)net.apply(init_weights);### 定义损失函数
loss = nn.CrossEntropyLoss(reduction='none')
### 训练模型trainer=torch.optim.SGD(net.parameters(),lr=lr)
d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, trainer)

陌生代码

net=nn.Sequential(nn.Flatten(),nn.Linear(784,256),nn.ReLU(),
nn.Dropout(dropout1),nn.Linear(256,256),nn.Dropout(dropout2)
,nn.Linear(256,10))

丢弃法理解

丢弃法目的是:
通过减少数据量,来减少过拟合

怎么减少数据量:
通过为每层的输入设置概率即第一层 dropout设置为0.2,第一层的输入的每个数据有0.2的概率被丢弃,0.8的概率正常使用

为什么在多层设置dropout:
因为不同层的w对数据的要求是不一样的,也许上一层不在过拟合,但下一层仍旧过拟合

这篇关于练习5-丢弃法(包含部分丢弃法理解)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---