本文主要是介绍转载的 损失函数MSE L1 优化函数ADAM SGD 优化算法等，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
如有侵权，请联系删除！
pytorch框架中损失函数与优化器介绍：
目录
1. 损失函数：
1.1 nn.L1Loss
1.2 nn.SmoothL1Loss
1.3 nn.MSELoss
1.4 nn.BCELoss
1.5 nn.CrossEntropyLoss
1.6 nn.NLLLoss
1.7 nn.NLLLoss2d
2.优化器Optim
2.1 使用
2.2 基类 Optimizer
2.3 方法
3. 优化算法
3.1 随机梯度下降算法 SGD算法
3-2 平均随机梯度下降算法 ASGD算法
3-3 Adagrad算法
3-4 自适应学习率调整 Adadelta算法
3-5 RMSprop算法
3-6 自适应矩估计 Adam算法
3-7 Adamax算法（Adamd的无穷范数变种）
3-8 SparseAdam算法
3-9 L-BFGS算法
3-10 弹性反向传播算法 Rprop算法
1.1 nn.L1Loss的主要形式
1.2 nn.SmoothL1Loss
1.3 nn.MSELoss
1.4 nn.BCELoss
1.5 nn.CrossEntropyLoss
1.6 nn.NLLLoss
1.7 nn.NLLLoss2d
这些参数都比较的经典，需要认真的学习
根据主要梯度下降的方向进行优化，
比如爬山，如果找到最低点，那么肯定朝着最陡峭（梯度最大）的反方向去下坡，会最快的走到最低点
那么沿着梯度反方向，随机更新一下梯度，然后可以找到一个最值，进而慢慢的找到最值
处理随机更新梯度，还有很多的方法 比如随机小批量 小批量等等
图 一个求解过程
提取找寻的过程
import numpy as np
from mpl_toolkits.mplot3d import Axes3D
import numpy as np
from matplotlib import pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
%matplotlib inline
# 二元一次函数图像
fig = plt.figure()
ax = Axes3D(fig)
x = np.arange(-10, 10, 1)
y = np.arange(-10, 10, 1)
X, Y = np.meshgrid(x, y) # 网格的创建，生成二维数组，这个是关键
Z = (1 - X) ** 2 + 100 * (Y - X ** 2) ** 2
Z=Z
plt.xlabel('x')
plt.ylabel('y')
# 将函数显示为3d,rstride和cstride代表row(行)和column(列)的跨度cmap为色图分类
ax.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap='rainbow')
plt.show()
def cal_rosenbrock(x1, x2):
"""
计算rosenbrock函数的值
:param x1:
:param x2:
:return:
"""
return (1 - x1) ** 2 + 100 * (x2 - x1 ** 2) ** 2+3
def cal_rosenbrock_prax(x1, x2):
"""
对x1求偏导
"""
return -2 + 2 * x1 - 400 * (x2 - x1 ** 2) * x1
def cal_rosenbrock_pray(x1, x2):
"""
对x2求偏导
"""
return 200 * (x2 - x1 ** 2)
def for_rosenbrock_func(max_iter_count=100000, step_size=0.001):
pre_x = [1.5,1.5]#np.zeros((2,), dtype=np.float32)
loss = 10
iter_count = 0
x1=[]
y1=[]
z1=[]
while loss > 0.0001 and iter_count < max_iter_count:
error = np.zeros((2,), dtype=np.float32)
error[0] = cal_rosenbrock_prax(pre_x[0], pre_x[1])
error[1] = cal_rosenbrock_pray(pre_x[0], pre_x[1])
for j in range(2):
pre_x[j] -= step_size * error[j]
ww1=cal_rosenbrock(pre_x[0], pre_x[1])
loss = cal_rosenbrock(pre_x[0], pre_x[1])-3 # 最小值为0
if iter_count%400==0:
#print("iter_count: ", iter_count, "the loss:", loss, "SHUZHI:", ww1)
# 二元一次函数图像
#fig = plt.figure()
#ax = Axes3D(fig)
x = np.arange(-10, 10, 1)
y = np.arange(-10, 10, 1)
X, Y = np.meshgrid(x, y) # 网格的创建，生成二维数组，这个是关键
Z = (1 - X) ** 2 + 100 * (Y - X ** 2) ** 2
Z=Z
#plt.xlabel('x')
#plt.ylabel('y')
x1.append(pre_x[0])
y1.append(pre_x[1])
z1.append(0+loss)
# 将函数显示为3d,rstride和cstride代表row(行)和column(列)的跨度cmap为色图分类
#ax.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap='rainbow')
#ax.scatter(pre_x[0], pre_x[1],loss, c='red',s=250, label='sss')#, c=None, depthshade=True, *args, *kwargs)
#plt.show()
#plt.plot(pre_x[0], pre_x[1],loss, s=100)#, label='acc')
iter_count += 1
#print(x1,y1,z1)
print('ok1')
return pre_x,x1,y1,z1
if __name__ == '__main__':
%matplotlib inline
w,x1,y1,z1 = for_rosenbrock_func()
#print(w,x1,y1,z1)
fig = plt.figure()
#ax = Axes3D(fig)
ax= plt.axes(projection='3d')
#ax.set_xlim(1, 1.5) # X轴，横向向右方向
#ax.set_ylim(1, 1.5) # Y轴,左向与X,Z轴互为垂直
#ax.set_zlim(1, 35) # 竖向为Z轴
x = np.arange(-10, 10, 1)
y = np.arange(-10, 10, 1)
X, Y = np.meshgrid(x, y) # 网格的创建，生成二维数组，这个是关键
Z = (1 - X) ** 2 + 100 * (Y - X ** 2) ** 2
Z=Z
plt.xlabel('x')
plt.ylabel('y')
# 将函数显示为3d,rstride和cstride代表row(行)和column(列)的跨度cmap为色图分类
ax.plot_surface(X, Y, Z, rstride=1, cstride=1, cmap='rainbow')
ax.scatter(x1,y1,z1, c='red',s=150)#, c=None, depthshade=True, *args, *kwargs)
#plt.xlim(1, 1.5)
#plt.ylim(1, 1.5)
#plt.zlim(1, 31.5)
plt.show()
fig = plt.figure()
ax = Axes3D(fig)
ax.scatter(x1,y1,z1, c='red',s=150)#, c=None, depthshade=True, *args, *kwargs)
plt.show()
#ax.scatter(x1, y1, z1, s=20, c=None, depthshade=True, *args, *kwargs)
plt.show()
这篇关于转载的 损失函数MSE L1 优化函数ADAM SGD 优化算法等的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
