概率基础——极大似然估计

2024-03-05 15:52

本文主要是介绍概率基础——极大似然估计,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

概率基础——极大似然估计

引言

极大似然估计(Maximum Likelihood Estimation,简称MLE)是统计学中最常用的参数估计方法之一,它通过最大化样本的似然函数来估计参数值,以使得样本出现的概率最大化。极大似然估计在各个领域都有着广泛的应用,例如机器学习、生物统计学、金融等。本文将介绍极大似然估计的理论基础、公式推导过程,并通过案例和Python代码进行实现和模拟,以帮助读者更好地理解这一重要的概率基础知识。

理论及公式

极大似然估计的基本思想

极大似然估计的基本思想是:在给定样本的情况下,找到一个参数值,使得观察到这个样本的概率最大。假设我们有一个参数为 θ \theta θ的模型,记为 P ( X ∣ θ ) P(X|\theta) P(Xθ),其中 X X X是样本, θ \theta θ是参数。那么, θ \theta θ的极大似然估计 θ ^ \hat{\theta} θ^可以通过最大化似然函数 L ( θ ) L(\theta) L(θ)来求得,即:

θ ^ = arg ⁡ max ⁡ θ L ( θ ) \hat{\theta} = \underset{\theta}{\arg \max} \, L(\theta) θ^=θargmaxL(θ)

似然函数

似然函数 L ( θ ) L(\theta) L(θ)表示在给定参数 θ \theta θ 下观察到样本 X X X的概率密度函数(或概率质量函数)的乘积。对于连续型随机变量,似然函数通常表示为概率密度函数的连乘积;对于离散型随机变量,似然函数通常表示为概率质量函数的连乘积。

对数似然函数

在实际应用中,通常使用对数似然函数(Log-Likelihood Function)来简化计算,因为连乘积的求导相对繁琐,而连加的求导更加简单。对数似然函数 ℓ ( θ ) \ell(\theta) (θ) 定义为似然函数的自然对数:

ℓ ( θ ) = log ⁡ L ( θ ) \ell(\theta) = \log L(\theta) (θ)=logL(θ)

极大似然估计的求解

要找到极大似然估计 θ ^ \hat{\theta} θ^,我们需要对对数似然函数 ℓ ( θ ) \ell(\theta) (θ)求导,并令导数等于零,求解得到的解即为估计值。

d ℓ ( θ ) d θ = 0 \frac{d\ell(\theta)}{d\theta} = 0 dθd(θ)=0

例子

下面我们通过一个简单的例子来说明极大似然估计的应用。假设我们有一个硬币,想要估计出正面朝上的概率 p p p。我们连续地抛掷这个硬币,观察到正面朝上 k k k次,总共抛掷了 n n n 次。我们希望通过这些观察结果来估计正面朝上的概率 p p p

案例

极大似然估计硬币的正面朝上概率

假设我们连续抛掷一个硬币10次,观察到有7次正面朝上和3次反面朝上。我们想要估计出正面朝上的概率 ( p )。根据二项分布的概率密度函数,我们可以得到似然函数:

L ( p ) = ( 10 7 ) p 7 ( 1 − p ) 3 L(p) = \binom{10}{7} p^7 (1-p)^3 L(p)=(710)p7(1p)3

我们可以求得对数似然函数:

ℓ ( p ) = log ⁡ L ( p ) = log ⁡ ( 10 7 ) + 7 log ⁡ p + 3 log ⁡ ( 1 − p ) \ell(p) = \log L(p) = \log \binom{10}{7} + 7 \log p + 3 \log (1-p) (p)=logL(p)=log(710)+7logp+3log(1p)

接下来,我们对对数似然函数求导,并令导数等于零,求解得到的解即为估计值 p ^ \hat{p} p^

Python模拟与绘图

import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import minimize_scalar# 定义对数似然函数
def log_likelihood(p, n, k):return np.log(np.math.comb(n, k)) + k * np.log(p) + (n - k) * np.log(1 - p)# 定义负对数似然函数(因为 minimize_scalar 函数寻找最小值)
def neg_log_likelihood(p, n, k):return -log_likelihood(p, n, k)# 模拟抛硬币实验
n_trials = 10  # 抛硬币的总次数
k_heads = 7  # 正面朝上的次数# 最大化对数似然函数来估计正面朝上的概率
result = minimize_scalar(neg_log_likelihood, args=(n_trials, k_heads), bounds=(0, 1), method='bounded')
estimated_p = result.x# 绘制结果
p_values = np.linspace(0, 1, 100)
likelihoods = [np.exp(log_likelihood(p, n_trials, k_heads)) for p in p_values]plt.plot(p_values, likelihoods)
plt.axvline(x=estimated_p, color='r', linestyle='--', label='Estimated p: {:.3f}'.format(estimated_p))
plt.xlabel('p')
plt.ylabel('Likelihood')
plt.title('Likelihood Function')
plt.legend()
plt.show()

在这里插入图片描述

以上代码首先定义了对数似然函数和负对数似然函数,然后利用 minimize_scalar 函数来最大化对数似然函数,并求解得到正面朝上概率 p ^ = 0.7 \hat{p}=0.7 p^=0.7。根据图像可以看出,估计的概率密度函数与观测数据的分布情况较为吻合。

结论

通过本文的介绍,我们了解了极大似然估计的基本理论、推导过程,并通过一个案例演示了如何使用Python实现对极大似然估计的模拟,并绘制出相应的图像进行说明。

这篇关于概率基础——极大似然估计的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/777028

相关文章

从基础到进阶详解Pandas时间数据处理指南

《从基础到进阶详解Pandas时间数据处理指南》Pandas构建了完整的时间数据处理生态,核心由四个基础类构成,Timestamp,DatetimeIndex,Period和Timedelta,下面我... 目录1. 时间数据类型与基础操作1.1 核心时间对象体系1.2 时间数据生成技巧2. 时间索引与数据

安装centos8设置基础软件仓库时出错的解决方案

《安装centos8设置基础软件仓库时出错的解决方案》:本文主要介绍安装centos8设置基础软件仓库时出错的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录安装Centos8设置基础软件仓库时出错版本 8版本 8.2.200android4版本 javas

Linux基础命令@grep、wc、管道符的使用详解

《Linux基础命令@grep、wc、管道符的使用详解》:本文主要介绍Linux基础命令@grep、wc、管道符的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录grep概念语法作用演示一演示二演示三,带选项 -nwc概念语法作用wc,不带选项-c,统计字节数-

python操作redis基础

《python操作redis基础》Redis(RemoteDictionaryServer)是一个开源的、基于内存的键值对(Key-Value)存储系统,它通常用作数据库、缓存和消息代理,这篇文章... 目录1. Redis 简介2. 前提条件3. 安装 python Redis 客户端库4. 连接到 Re

SpringBoot基础框架详解

《SpringBoot基础框架详解》SpringBoot开发目的是为了简化Spring应用的创建、运行、调试和部署等,使用SpringBoot可以不用或者只需要很少的Spring配置就可以让企业项目快... 目录SpringBoot基础 – 框架介绍1.SpringBoot介绍1.1 概述1.2 核心功能2

Spring Boot集成SLF4j从基础到高级实践(最新推荐)

《SpringBoot集成SLF4j从基础到高级实践(最新推荐)》SLF4j(SimpleLoggingFacadeforJava)是一个日志门面(Facade),不是具体的日志实现,这篇文章主要介... 目录一、日志框架概述与SLF4j简介1.1 为什么需要日志框架1.2 主流日志框架对比1.3 SLF4

Spring Boot集成Logback终极指南之从基础到高级配置实战指南

《SpringBoot集成Logback终极指南之从基础到高级配置实战指南》Logback是一个可靠、通用且快速的Java日志框架,作为Log4j的继承者,由Log4j创始人设计,:本文主要介绍... 目录一、Logback简介与Spring Boot集成基础1.1 Logback是什么?1.2 Sprin

MySQL复合查询从基础到多表关联与高级技巧全解析

《MySQL复合查询从基础到多表关联与高级技巧全解析》本文主要讲解了在MySQL中的复合查询,下面是关于本文章所需要数据的建表语句,感兴趣的朋友跟随小编一起看看吧... 目录前言:1.基本查询回顾:1.1.查询工资高于500或岗位为MANAGER的雇员,同时还要满足他们的姓名首字母为大写的J1.2.按照部门

Android Mainline基础简介

《AndroidMainline基础简介》AndroidMainline是通过模块化更新Android核心组件的框架,可能提高安全性,本文给大家介绍AndroidMainline基础简介,感兴趣的朋... 目录关键要点什么是 android Mainline?Android Mainline 的工作原理关键

mysql的基础语句和外键查询及其语句详解(推荐)

《mysql的基础语句和外键查询及其语句详解(推荐)》:本文主要介绍mysql的基础语句和外键查询及其语句详解(推荐),本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋... 目录一、mysql 基础语句1. 数据库操作 创建数据库2. 表操作 创建表3. CRUD 操作二、外键