【机器学习】广义线性模型和一般线性模型的联系和区别以及如何选择合适的链接函数

本文主要是介绍【机器学习】广义线性模型和一般线性模型的联系和区别以及如何选择合适的链接函数，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

引言

广义线性模型（Generalized Linear Models，简称GLM）和一般线性模型（通常指的是线性回归模型）都是统计建模中常用的工具，但它们在假设、适用范围和模型结构上有所不同

一、广义线性模型和一般线性模型的联系和区别

1.1 联系

1.1.1 线性预测器

在两种模型中，预测变量（解释变量）的线性组合都是模型的核心部分。这个线性组合被称为线性预测器

1.1.2 参数估计

GLM和一般线性模型通常都使用最大似然估计（MLE）或其他优化方法来估计模型参数

1.1.3 统计推断

两者都提供了一系列统计推断工具，如参数估计、假设检验和置信区间

1.2 区别

1.2.1 响应变量的分布

• 一般线性模型：假设响应变量是连续的，并且遵循正态分布
• 广义线性模型：允许响应变量遵循不同的分布，如二项分布、泊松分布、伽马分布等

1.2.2 链接函数

• 一般线性模型：使用恒等函数作为链接函数，即直接将线性预测器作为响应变量的期望值
• 广义线性模型：引入了链接函数，它将线性预测器与响应变量的期望值联系起来。链接函数可以是恒等函数、logit函数、log函数等，取决于响应变量的分布

1.2.3 方差结构

• 一般线性模型：假设响应变量的方差是恒定的
• 广义线性模型：允许响应变量的方差依赖于其均值，这是通过方差函数来实现的

1.2.4 应用范围

• 一般线性模型：主要用于连续响应变量的回归分析
• 广义线性模型：更灵活，可以用于连续、二元、计数和多分类数据的建模

1.2.5 模型形式

• 一般线性模型：形式较为简单，通常表示为 $$Y={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots +ϵ$$其中$ϵ$ 是误差项
• 广义线性模型：形式更为复杂，通常表示为$$g(E[Y])={\beta }_0+{\beta }_1{X}_1+{\beta }_2{X}_2+\cdots$$其中$g(\cdot )$是链接函数，$E[Y]$是响应变量的期望值

1.2.6 假设检验

• 一般线性模型：通常使用t检验和F检验
• 广义线性模型：使用似然比检验、沃尔德检验等

1.2.7 总结

总结来说，广义线性模型是线性模型的推广，它通过引入链接函数和允许不同类型的响应变量分布，扩展了线性模型的应用范围和灵活性。一般线性模型可以看作是广义线性模型在特定条件下的特例，即当响应变量是连续且正态分布，链接函数是恒等函数时

二、广义线性模型的常见链接函数

广义线性模型（GLM）中的链接函数（link function）是将线性预测器（线性组合的预测变量）与响应变量的期望值联系起来的函数

以下是一些在广义线性模型中常见的链接函数：

2.1 恒等链接函数（Identity Link）

• 公式：$g(\mu )=\mu$
• 使用场景：当响应变量是连续且正态分布时，即传统线性回归模型

2.2 对数链接函数（Log Link）

• 公式：$g(\mu )=\log (\mu )$
• 使用场景：响应变量是正的连续数据，并且其分布的均值和方差有关系，如泊松回归

2.3 逆链接函数（Inverse Link）

• 公式：$g(\mu )=\frac{1}{\mu }$
• 使用场景：适用于均值和方差的倒数有关系的数据，如伽马分布

2.4 平方根链接函数（Square Root Link）

• 公式：$g(\mu )=\sqrt{\mu }$
• 使用场景：当响应变量的方差随均值的增加而增加时，如负二项回归

2.5 logit链接函数（Logit Link）

• 公式：$g(\mu )=\log \left(\frac{\mu }{1-\mu }\right)$
• 使用场景：响应变量是二进制（0-1）数据，用于逻辑回归

2.6 probit链接函数（Probit Link）

• 公式：$g(\mu )={\Phi }^{-1}(\mu )$
• 使用场景：与logit类似，但使用标准正态分布的累积分布函数的逆，适用于二进制数据

2.7 互补双曲正切链接函数（Complementary Log-Log Link）

• 公式：$g(\mu )=\log (-\log (1-\mu ))$
• 使用场景：用于二元响应变量，特别是当事件发生的概率非常低时

2.8 幂链接函数（Power Link）

• 公式：$g(\mu )={\mu }^k$
• 使用场景：通过选择不同的k值，可以适应不同的数据结构

2.9 总结

这些链接函数的选择取决于响应变量的分布类型和数据的特性。不同的链接函数会导致不同的模型行为，因此选择合适的链接函数对于广义线性模型的正确拟合和应用至关重要

三、如何选择合适的链接函数

选择合适的链接函数是建立广义线性模型（GLM）的关键步骤之一

3.1 理解响应变量的分布

• 类型：首先确定响应变量的类型（连续、二元、计数或多分类）
• 分布：了解响应变量的分布特性，例如是否正态分布、二项分布、泊松分布等

3.2 考虑数据的特点

• 均值-方差关系：检查响应变量的均值和方差之间的关系。如果方差随着均值的增加而增加，可能需要选择能够反映这种关系的链接函数
• 数据范围：确保链接函数适用于响应变量的数据范围，例如，对于非负的计数数据，不能使用恒等链接函数

3.3 选择标准

3.3.1 对于连续响应变量

• 恒等链接：如果响应变量是正态分布的，可以使用恒等链接

3.3.2 对于二元响应变量（0-1数据）

• Logit链接：当事件发生的概率不是极端值（既不太接近0也不太接近1）时，logit链接是常用的选择
• Probit链接：如果假设响应变量遵循标准正态分布，可以使用probit链接
• Complementary log-log链接：当事件发生的概率非常低时，这个链接函数可能更合适

3.3.3 对于计数数据

• Log链接：如果响应变量是泊松分布的，log链接是标准选择
• Identity链接：如果数据是过度分散的泊松数据，可以考虑使用恒等链接

3.3.4 对于多分类响应变量

• 多项式logit：对于无序的多分类响应变量，可以使用多项式logit（也称为softmax）链接
• 有序logit：对于有序的多分类响应变量，可以使用有序logit链接

3.4 模型拟合和诊断

• 拟合优度：使用不同的链接函数拟合模型，并比较它们的拟合优度统计量，如AIC、BIC等
• 残差分析：检查模型的残差是否满足假设，如是否独立、同方差等

3.5. 实践经验

• 领域知识：考虑领域内的经验和惯例，某些领域可能有常用的链接函数
• 文献回顾：查阅相关文献，了解在类似研究中使用的链接函数

3.6 总结

选择合适的链接函数需要综合考虑响应变量的分布、数据的特点、模型的拟合优度以及领域知识。通常，这需要通过尝试不同的链接函数并评估其性能来完成

四、判断哪个链接函数更适合数据

4.1 理论依据

• 响应变量分布：首先，根据响应变量的类型和分布选择理论上合适的链接函数。例如，对于二元数据通常使用logit或probit链接，对于计数数据通常使用log链接
• 均值-方差关系：考虑响应变量的均值和方差之间的关系，选择能够正确描述这种关系的链接函数

4.2 模型拟合

• 拟合统计量：使用不同的链接函数拟合模型，并比较它们的拟合统计量，如AIC（赤池信息量准则）、BIC（贝叶斯信息量准则）等。通常，AIC和BIC值较低的模型更优
• 残差分析：检查模型的残差是否满足假设，如是否独立、同方差等。残差分析可以帮助识别模型的不当之处

4.3 诊断检验

• 似然比检验：可以通过似然比检验来比较不同链接函数模型的拟合优度
• 链接函数假设检验：某些统计软件允许对链接函数的假设进行检验，例如检验log链接函数是否适用于泊松数据

4.4 实际表现

• 预测准确性：使用交叉验证等方法评估不同模型的预测准确性。一个好的模型应该能够准确地预测未知数据
• 模型解释性：考虑模型的解释性。有时一个稍微不那么精确但更容易解释的模型可能更受欢迎

4.5 实践经验

• 领域知识：考虑领域内的经验和惯例。某些领域可能有常用的链接函数
• 文献回顾：查阅相关文献，了解在类似研究中使用的链接函数

4.6 具体步骤

1. 数据探索：分析响应变量的分布和均值-方差关系
2. 初步模型：基于理论依据选择几个可能的链接函数，拟合初步模型
3. 模型比较：使用拟合统计量和残差分析比较这些模型
4. 选择模型：基于上述比较，选择表现最好的模型
5. 验证模型：使用独立的测试集或交叉验证来验证所选模型的预测能力

总结

通过这些步骤，可以系统地评估和选择最适合数据的链接函数。需要注意的是，没有绝对的规则来决定哪个链接函数最好，这通常取决于数据的具体情况和建模目的

这篇关于【机器学习】广义线性模型和一般线性模型的联系和区别以及如何选择合适的链接函数的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---