深度学习常见概念解释（四）——损失函数定义，作用与种类（附公式和代码）

2024-06-23 20:44
文章标签 代码 作用 公式 函数 学习 常见 深度 定义 概念 解释 损失 种类

本文主要是介绍深度学习常见概念解释（四）——损失函数定义，作用与种类（附公式和代码），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

损失函数

  • 前言
  • 定义
  • 作用
  • 种类
    • 1. 均方误差损失（Mean Squared Error Loss，MSE）
      • 公式
      • 特点和优点
      • 缺点
      • 使用场景
      • 示例代码
      • 在机器学习框架中的使用
      • 总结
    • 2. 交叉熵损失（Cross-Entropy Loss）
      • 公式
      • 特点和优点
      • 使用场景
      • 示例代码
      • 在机器学习框架中的使用
      • 总结
  • 总结

前言

在机器学习和深度学习中，损失函数（Loss Function）起着至关重要的作用。它是模型优化过程中不可或缺的一部分，用于衡量模型预测值与真实值之间的差异。选择合适的损失函数不仅可以帮助模型更好地拟合数据，还能反映任务的特性，提高模型的性能和鲁棒性。本文将详细介绍损失函数的定义、作用及常见种类，并通过具体的示例代码展示如何在实际应用中使用这些损失函数。

定义

损失函数（loss function）是在机器学习和深度学习中用来衡量模型预测值与真实值之间差异的函数。它通常表示为一个标量值，用来评估模型在训练数据上的表现。

作用

  1. 衡量预测值与真实值之间的差异： 损失函数衡量了模型在给定数据上的表现，即模型对于输入数据的预测与实际标签之间的差异程度。通过最小化损失函数，模型可以更好地拟合训练数据，提高预测的准确性。

  2. 指导模型优化： 在训练过程中，损失函数是优化算法的目标函数，模型的参数通过最小化损失函数来调整，使得模型能够更好地拟合训练数据。常见的优化算法包括梯度下降（Gradient Descent）及其变种，它们通过计算损失函数的梯度来更新模型参数。

  3. 反映任务的特性： 不同任务和模型需要选择不同的损失函数。例如，分类任务常用的损失函数包括交叉熵损失（Cross-Entropy Loss），回归任务常用的损失函数包括均方误差损失（Mean Squared Error Loss）。选择合适的损失函数能够更好地反映任务的特性，有助于提高模型的性能。

  4. 处理不平衡数据： 在某些情况下，数据可能存在类别不平衡或者噪声，选择合适的损失函数可以帮助模型更好地处理这些情况，提高模型的鲁棒性。

总的来说，损失函数在机器学习和深度学习中扮演着至关重要的角色，它不仅指导模型的训练过程，还反映了模型对于任务的表现和适应能力。

种类

在机器学习和深度学习中，常见的损失函数包括以下几种：

1. 均方误差损失（Mean Squared Error Loss，MSE）

均方误差损失（Mean Squared Error Loss，简称 MSE）是一种常用的回归模型损失函数，用于衡量预测值与真实值之间的差异。MSE 的计算方式是将每个预测值与真实值之间的差值平方，然后求这些差值平方的平均值。

公式

MSE = 1 2 n ∑ i = 1 n ( y i − y ^ i ) 2 \text{MSE} = \frac{1}{2n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 MSE=2n1​i=1∑n​(yi​−y^​i​)2
其中：

  • n n n 是数据点的数量。
  • y i y_i yi​ 是第 i i i 个真实值。
  • y ^ i \hat{y}_i y^​i​ 是第 i i i 个预测值。

特点和优点

  1. 平滑性：MSE 损失函数是连续和可微的，这使得它非常适合用于梯度下降等优化算法。
  2. 凸性：MSE 是一个凸函数，这意味着在大多数情况下，它只有一个全局最小值，这对优化问题非常重要。
  3. 简单性：MSE 的公式简单，计算方便，容易实现。

缺点

  1. 对异常值敏感：由于误差被平方，MSE 对异常值（outliers）特别敏感。如果数据集中存在极端值，这些值会对整体误差有很大影响，导致模型不稳定。
  2. 不适用于分类问题：MSE 主要用于回归问题，对于分类问题，通常使用交叉熵损失等其他损失函数。

使用场景

MSE 广泛用于各种回归问题中，例如：

  • 预测房价
  • 股票价格预测
  • 气温预测
  • 机器学习模型中的损失计算

示例代码

import numpy as np# 定义真实值和预测值
y_true = np.array([1.5, 2.0, 3.5, 4.0, 5.5])
y_pred = np.array([1.4, 2.1, 3.6, 3.9, 5.8])# 计算均方误差
mse = np.mean((y_true - y_pred) ** 2)
print(f"Mean Squared Error: {mse}")

在机器学习框架中的使用

在流行的机器学习框架中，如 TensorFlow 和 PyTorch，均方误差损失通常作为内置函数提供，使用非常方便。

import torch
import torch.nn as nn# 定义真实值和预测值
y_true = torch.tensor([1.5, 2.0, 3.5, 4.0, 5.5])
y_pred = torch.tensor([1.4, 2.1, 3.6, 3.9, 5.8])# 定义 MSE 损失函数
mse_loss = nn.MSELoss()# 计算损失
loss = mse_loss(y_pred, y_true)
print(f"Mean Squared Error Loss: {loss.item()}")

总结

均方误差损失（MSE）是衡量回归模型性能的一种标准方法，通过计算预测值与真实值之间的平方误差平均值来评估模型的准确性。尽管它对异常值敏感，但其简单性和计算效率使其在各种回归任务中广泛应用。

2. 交叉熵损失（Cross-Entropy Loss）

交叉熵损失（Cross-Entropy Loss）是一种常用于分类任务中的损失函数，特别适用于多类别分类问题。交叉熵损失用于衡量预测的概率分布与真实分布之间的差异。它通过计算真实标签和预测概率之间的不确定性来衡量模型的性能。

公式

  1. 对于二分类问题，二分类交叉熵损失（Binary Cross-Entropy Loss, BCE）的公式如下：
    CE = − ( y log ⁡ ( p ) + ( 1 − y ) log ⁡ ( 1 − p ) ) \text{CE} = - \left( y \log(p) + (1 - y) \log(1 - p) \right) CE=−(ylog(p)+(1−y)log(1−p))
    其中：

    • y y y 是真实标签，取值为 0 或 1。
    • p p p 是预测为类别 1 的概率。

  2. 对于多分类问题，多分类交叉熵损失（Categorical Cross-Entropy Loss, CCE）的公式为：
    CE = − ∑ i = 1 n y i log ⁡ ( p i ) \text{CE} = - \sum_{i=1}^{n} y_i \log(p_i) CE=−i=1∑n​yi​log(pi​)
    其中：

    • n n n 是类别的数量。
    • y i y_i yi​ 是真实标签，如果样本属于第 i i i类，则 y i = 1 y_i = 1 yi​=1 ，否则 y i = 0 y_i = 0 yi​=0。
    • p i p_i pi​ 是模型预测样本属于第 i i i类的概率。

PS.：二分类交叉熵损失（Binary Cross-Entropy Loss）也被称为对数损失（Log Loss）。
PPS. 注意在正式计算的时候需要把所有的误差值加起来取平均值（具体步骤见下面的示例代码）。

特点和优点

  1. 概率输出：交叉熵损失函数使用预测的概率分布，这使得它特别适用于分类问题。
  2. 敏感性：它对错误分类的惩罚较大，尤其是在预测概率较高但实际类别不匹配的情况下。
  3. 凸性：交叉熵损失通常是凸的，这有助于优化算法找到全局最优解。

使用场景

交叉熵损失广泛用于各种分类问题中，例如：

  • 图像分类
  • 文本分类
  • 语音识别
  • 机器翻译

示例代码

import numpy as np# 二分类问题
def binary_cross_entropy(y_true, y_pred):y_true = np.array(y_true)y_pred = np.array(y_pred)return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))# 示例数据
y_true = [1, 0, 1, 1, 0]
y_pred = [0.9, 0.1, 0.8, 0.7, 0.2]# 计算二分类交叉熵损失
loss = binary_cross_entropy(y_true, y_pred)
print(f"Binary Cross-Entropy Loss: {loss}")# 多分类问题
def categorical_cross_entropy(y_true, y_pred):y_true = np.array(y_true)y_pred = np.array(y_pred)return -np.sum(y_true * np.log(y_pred)) / y_true.shape[0]# 示例数据
y_true = [[1, 0, 0], [0, 1, 0], [0, 0, 1]]
y_pred = [[0.7, 0.2, 0.1], [0.1, 0.8, 0.1], [0.2, 0.2, 0.6]]# 计算多分类交叉熵损失
loss = categorical_cross_entropy(y_true, y_pred)
print(f"Categorical Cross-Entropy Loss: {loss}")

在机器学习框架中的使用

在流行的机器学习框架中，如 TensorFlow 和 PyTorch，交叉熵损失通常作为内置函数提供，使用非常方便。

import torch
import torch.nn as nn# 定义真实标签和预测概率
y_true = torch.tensor([2, 0, 1])
y_pred = torch.tensor([[0.1, 0.2, 0.7], [0.8, 0.1, 0.1], [0.2, 0.6, 0.2]])# 定义交叉熵损失函数
criterion = nn.CrossEntropyLoss()# 计算损失
loss = criterion(y_pred, y_true)
print(f"Cross-Entropy Loss: {loss.item()}")

总结

交叉熵损失（Cross-Entropy Loss）是分类问题中常用的损失函数，通过衡量预测的概率分布与真实分布之间的差异来评估模型性能。它对错误分类的惩罚较大，并且使用概率输出，非常适合分类任务。流行的深度学习框架通常提供了内置的交叉熵损失函数，方便用户使用。

总结

损失函数在机器学习和深度学习中扮演着至关重要的角色。它不仅指导模型的训练过程，还反映了模型对于任务的表现和适应能力。选择合适的损失函数是模型优化的重要一步，能够显著提高模型的性能和鲁棒性。希望通过本文的介绍，读者能够对损失函数有一个全面的了解，并在实际项目中选择和应用合适的损失函数，这对于模型的训练和性能至关重要。

这篇关于深度学习常见概念解释（四）——损失函数定义，作用与种类（附公式和代码）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

原文地址:
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.chinasem.cn/article/1088229。

相关文章

MySQL中REPLACE函数与语句举例详解

MySQL中REPLACE函数与语句举例详解

《MySQL中REPLACE函数与语句举例详解》在MySQL中REPLACE函数是一个用于处理字符串的强大工具,它的主要功能是替换字符串中的某些子字符串,：本文主要介绍MySQL中REPLACE函... 目录一、REPLACE()函数语法：参数说明：功能说明：示例：二、REPLACE INTO语句语法：参数
阅读更多...
IDEA与MyEclipse代码量统计方式

IDEA与MyEclipse代码量统计方式

《IDEA与MyEclipse代码量统计方式》文章介绍在项目中不安装第三方工具统计代码行数的方法,分别说明MyEclipse通过正则搜索（排除空行和注释）及IDEA使用Statistic插件或调整搜索... 目录项目场景MyEclipse代码量统计IDEA代码量统计总结项目场景在项目中，有时候我们需要统计
阅读更多...
MySQL设置密码复杂度策略的完整步骤(附代码示例)

MySQL设置密码复杂度策略的完整步骤(附代码示例)

《MySQL设置密码复杂度策略的完整步骤(附代码示例)》MySQL密码策略还可能包括密码复杂度的检查,如是否要求密码包含大写字母、小写字母、数字和特殊字符等,：本文主要介绍MySQL设置密码复杂度... 目录前言1. 使用 validate_password 插件1.1 启用 validate_passwo
阅读更多...
MySQL实现多源复制的示例代码

MySQL实现多源复制的示例代码

《MySQL实现多源复制的示例代码》MySQL的多源复制允许一个从服务器从多个主服务器复制数据,这在需要将多个数据源汇聚到一个数据库实例时非常有用,下面就来详细的介绍一下,感兴趣的可以了解一下... 目录一、多源复制原理二、多源复制配置步骤2.1 主服务器配置Master1配置Master2配置2.2 从服
阅读更多...
python中update()函数的用法和一些例子

python中update()函数的用法和一些例子

《python中update()函数的用法和一些例子》update()方法是字典对象的方法,用于将一个字典中的键值对更新到另一个字典中,：本文主要介绍python中update()函数的用法和一些... 目录前言用法注意事项示例示例 1: 使用另一个字典来更新示例 2: 使用可迭代对象来更新示例 3: 使用
阅读更多...
一文带你迅速搞懂路由器/交换机/光猫三者概念区别

一文带你迅速搞懂路由器/交换机/光猫三者概念区别

《一文带你迅速搞懂路由器/交换机/光猫三者概念区别》讨论网络设备时，常提及路由器、交换机及光猫等词汇，日常生活、工作中，这些设备至关重要，居家上网、企业内部沟通乃至互联网冲浪皆无法脱离其影响力，本文将... 当谈论网络设备时，我们常常会听到路由器、交换机和光猫这几个名词。它们是构建现代网络基础设施的关键组成
阅读更多...
Python学习笔记之getattr和hasattr用法示例详解

Python学习笔记之getattr和hasattr用法示例详解

《Python学习笔记之getattr和hasattr用法示例详解》在Python中,hasattr()、getattr()和setattr()是一组内置函数,用于对对象的属性进行操作和查询,这篇文章... 目录1.getattr用法详解1.1 基本作用1.2 示例1.3 原理2.hasattr用法详解2.
阅读更多...
Go语言使用net/http构建一个RESTful API的示例代码

Go语言使用net/http构建一个RESTful API的示例代码

《Go语言使用net/http构建一个RESTfulAPI的示例代码》Go的标准库net/http提供了构建Web服务所需的强大功能,虽然众多第三方框架（如Gin、Echo）已经封装了很多功能,但... 目录引言一、什么是 RESTful API？二、实战目标：用户信息管理 API三、代码实现1. 用户数据
阅读更多...
Java对接MQTT协议的完整实现示例代码

Java对接MQTT协议的完整实现示例代码

《Java对接MQTT协议的完整实现示例代码》MQTT是一个基于客户端-服务器的消息发布/订阅传输协议,MQTT协议是轻量、简单、开放和易于实现的,这些特点使它适用范围非常广泛,：本文主要介绍Ja... 目录前言前置依赖1. MQTT配置类代码解析1.1 MQTT客户端工厂1.2 MQTT消息订阅适配器1.
阅读更多...
C++归并排序代码实现示例代码

C++归并排序代码实现示例代码

《C++归并排序代码实现示例代码》归并排序将待排序数组分成两个子数组,分别对这两个子数组进行排序,然后将排序好的子数组合并,得到排序后的数组,：本文主要介绍C++归并排序代码实现的相关资料,需要的... 目录1 算法核心思想2 代码实现3 算法时间复杂度1 算法核心思想归并排序是一种高效的排序方式，需要用
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2