【机器学习基础】概率分布之指数族分布

本文主要是介绍【机器学习基础】概率分布之指数族分布，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本系列为《模式识别与机器学习》的读书笔记。

一，指数族分布

1，指数族分布基本概念

参数为 $\mathbf{\eta }$ 的变量 $\mathbf{x}$ 的指数族分布定义为具有下⾯形式的概率分布的集合：
p ( x ∣ η ) = h ( x ) g ( η ) exp ⁡ { η T μ ( x ) } (2.106) p(\boldsymbol{x|\eta}) = h(\boldsymbol{x})g(\boldsymbol{\eta})\exp \{\boldsymbol{\eta}^{T}\boldsymbol{\mu}(\boldsymbol{x})\}\tag{2.106} p(x∣η)=h(x)g(η)exp{ηTμ(x)}(2.106)
其中 $\mathbf{x}$ 可能是标量或者向量， 可能是离散的或者是连续的。 这⾥ $\mathbf{\eta }$ 被称为概率分布的 ⾃然参数 （natural parameters），$\mathbf{\mu }(\mathbf{x})$ 是 $\mathbf{x}$ 的某个函数。函数 $g(\mathbf{\eta })$ 可以被看成系数，它确保了概率分布是归⼀化的，因此满⾜：
g ( η ) ∫ h ( x ) exp ⁡ { η T μ ( x ) } d x = 1 (2.107) g(\boldsymbol{\eta})\int h(\boldsymbol{x})\exp \{\boldsymbol{\eta}^{T}\boldsymbol{\mu}(\boldsymbol{x})\}\mathrm{d}\boldsymbol{x}=1\tag{2.107} g(η)∫h(x)exp{ηTμ(x)}dx=1(2.107)
如果 $\mathbf{x}$ 是离散变量，那么上式中的积分就要替换为求和。

考虑伯努利分布：
$$p(x|\mu )=\text{Bern}(x|\mu )={\mu }^x(1-\mu {)}^{1-x}\text{\hspace{1em}(2.108)}$$

变形，有：

p ( x ∣ μ ) = exp ⁡ { x ln ⁡ μ + ( 1 − x ) ln ⁡ ( 1 − μ ) } = ( 1 − μ ) exp ⁡ { ln ⁡ ( μ 1 − μ ) x } (2.109) \begin{aligned} p(x|\mu) &= \exp \{x\ln \mu +(1-x) \ln (1-\mu)\} \\ &= (1-\mu)\exp \left\{\ln \left(\frac{\mu}{1-\mu}\right)x\right\}\end{aligned}\tag{2.109} p(x∣μ)​=exp{xlnμ+(1−x)ln(1−μ)}=(1−μ)exp{ln(1−μμ​)x}​(2.109)

对比公式(2.106)，可得：
$$\eta =\ln \left(\frac{\mu }{1-\mu }\right)$$

从而，有：
$$\begin{array}{rl}\mu & =\sigma (\eta )\\ & =\frac{1}{1+\exp (-\eta )}\end{array}\text{\hspace{1em}(2.110)}$$

被称为 logistic sigmoid函数。
因此，伯努利分布的指数族分布标准形式：
$$p(x|\mu )=\sigma (-\eta )\exp (\eta x)\text{\hspace{1em}(2.111)}$$
其中，
$$\begin{gathered} \mu (x)=x \\ h(x)=1 \\ g(\eta )=\sigma (-\eta ) \end{gathered}$$

考虑单⼀观测 $\mathbf{x}$ 的多项式分布，形式为：
$$p(\mathbf{x}|\mathbf{\mu })=\prod _{k=1}^K{\mu }_k^{x_k}=\exp \left\{\sum _{k=1}^K{x}_k\ln {\mu }_k\right\}\text{\hspace{1em}(2.112)}$$

其中 $\mathbf{x}=({\mathbf{x}}_1,\dots ,{\mathbf{x}}_M{)}^T$ 。把它写成公式(2.106)的标准形式，即：
$$p(\mathbf{x}|\mathbf{\mu })=\exp ({\mathbf{\eta }}^T\mathbf{x})\text{\hspace{1em}(2.113)}$$

其中，${\eta }_k=\ln {\mu }_k$ ，$\mathbf{\eta }=({\eta }_1,\dots ,{\eta }_M{)}^T$，并且
$$\begin{gathered} \mathbf{\mu }(\mathbf{x})=\mathbf{x} \\ h(\mathbf{x})=1 \\ g(\mathbf{\eta })=1 \\ \sum _{k=1}^K{\mu }_k=1 \end{gathered}$$

考虑只⽤ $M-1$ 个参数来表⽰这个分布，把 ${\mu }_M$ ⽤剩余的 { μ k } \{\mu_k\} {μk​} 表⽰，其中 $k=1,\dots ,M-1$，这样就只剩下了 $M-1$ 个参数，公式(2.112)变为：
p ( x ∣ μ ) = exp ⁡ { ∑ k = 1 K x k ln ⁡ μ k } = exp ⁡ { ∑ k = 1 M − 1 x k ln ⁡ ( μ k 1 − ∑ j = 1 M − 1 μ j ) + ln ⁡ ( 1 − ∑ k = 1 M − 1 μ k ) } (2.114) \begin{aligned}p(\boldsymbol{x|\mu}) &= \exp\left\{\sum_{k=1}^K x_{k}\ln \mu_{k}\right\} \\ &= \exp \left\{\sum_{k=1}^{M-1}x_{k}\ln\left(\frac{\mu_{k}}{1-\sum_{j=1}^{M-1}\mu_{j}}\right) + \ln \left(1-\sum_{k=1}^{M-1}\mu_{k}\right)\right\} \end{aligned}\tag{2.114} p(x∣μ)​=exp{k=1∑K​xk​lnμk​}=exp{k=1∑M−1​xk<

这篇关于【机器学习基础】概率分布之指数族分布的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---