关于算法:算法工程狮三指数分布族

1.定义

指数分布族是指一类具备特定模式的散布函数，具体如下：
$$P(y|\eta)=b(y)e^{\eta^TT(y)-a(\eta)}=\dfrac{b(y)e^{\eta^TT(y)}}{e^{a(\eta)}} \begin{cases} \eta:参数向量/天然参数，通常为实数 \\\ a:对数配分函数/对数规则化 \\\ T(y):充沛统计量，通常T(y)=y \\\ b:底层观测值 \end{cases}$$
指数分布族此模式就是给定a,b,T定义了一个以为参数的概率分布汇合

2.对数规则化

将上式变形得:
$$P(y|\eta)e^{a(\eta)}=b(y)e^{\eta^TT(y)}$$
对两边同时对y积分:
$$\int P(y|\eta)e^{a(\eta)}dy=\int b(y)e^{\eta^TT(y)}dy$$
右边刚好条件概率的积分为1，化简为:
$$e^{a(\eta)}=\int b(y)e^{\eta^TT(y)}dy$$
对数化:
$$a(\eta)=\ln\int b(y)e^{\eta^TT(y)}dy$$
当初高深莫测，还就是对数规则化

3.指数分布族举例

高斯分布

高斯分布:$P(y|\eta)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\dfrac{x^2}{2\sigma^2}}$，将其进行如下变形：
$$P(y|\eta)=\dfrac{1}{\sqrt{2\pi}}e^{-\log\sigma}\cdot e^{-\dfrac{x^2}{2\sigma^2}}=\dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{1}{2\sigma^2}x^2-\log\sigma}$$
这不就是指数分布族的模式嘛

二项分布

$$ \begin{align} P(y|\eta)= \end{align} $$