1. 定义
指数分布族是指一类具备特定模式的散布函数，具体如下：
$$P(y|\eta)=b(y)e^{\eta^TT(y)-a(\eta)}=\dfrac{b(y)e^{\eta^TT(y)}}{e^{a(\eta)}} \begin{cases} \eta: 参数向量 / 天然参数，通常为实数 \\\ a: 对数配分函数 / 对数规则化 \\\ T(y): 充沛统计量，通常 T(y)=y \\\ b: 底层观测值 \end{cases}$$
指数分布族此模式就是给定 a,b,T 定义了一个以 η 为参数的概率分布汇合
2. 对数规则化
将上式变形得:
$$P(y|\eta)e^{a(\eta)}=b(y)e^{\eta^TT(y)}$$
对两边同时对 y 积分:
$$\int P(y|\eta)e^{a(\eta)}dy=\int b(y)e^{\eta^TT(y)}dy$$
右边刚好条件概率的积分为 1，化简为:
$$e^{a(\eta)}=\int b(y)e^{\eta^TT(y)}dy$$
对数化:
$$a(\eta)=\ln\int b(y)e^{\eta^TT(y)}dy$$
当初高深莫测，还就是对数规则化
3. 指数分布族举例
高斯分布
高斯分布:$P(y|\eta)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\dfrac{x^2}{2\sigma^2}}$，将其进行如下变形：
$$P(y|\eta)=\dfrac{1}{\sqrt{2\pi}}e^{-\log\sigma}\cdot e^{-\dfrac{x^2}{2\sigma^2}}=\dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{1}{2\sigma^2}x^2-\log\sigma}$$
这不就是指数分布族的模式嘛
二项分布
$$ \begin{align} P(y|\eta)= \end{align} $$