Bernoulli Distribution |伯努利分布

伯努利分布是关于布尔变量$x \in {0,1}$的概率分布，其连续参数$\phi \in [0,1]$表示变量$x=1$的概率。

$$ P(x|\phi)=Bern(x|\phi)=\phi^x(1-x)^{(1-x)} \ E[x] = \phi \ Var[x] = \phi(1-\phi) $$

Binomial Distribution |二项分布

二项分布用以描述$n$次独立的伯努利实验中有$x$次成功的概率，其中每次伯努利实验成功的概率为$\phi \in [0,1]$:

$$ p(X=x)=\frac{n !}{x !(n-x) !} \phi^{x}(1-\phi)^{n-x}, x \in{0,1, \cdots, n} $$

当$n=1$时，二项分布退化为伯努利分布。二项分布的典型例子是扔硬币，硬币正面朝上概率为$p$,重复扔$n$次硬币，$k$次为正面的概率即为一个二项分布概率。

二项分布的期望$\mathbb{E}[X]=n \phi$，方差则是$\operatorname{Var}[X]=n \phi(1-\phi)$。

Categorical/Multinomial Distribution |多项分布

比如扔骰子，不同于扔硬币，骰子有6个面对应6个不同的点数，这样单次每个点数朝上的概率都是$1/6$，即对应p1~p6，它们的值不一定都是1/6，只要和为1且互斥即可，比如一个形状不规则的骰子；重复扔n次，如果问有$x$次都是点数6朝上的概率就是：

$$ P = C(n,x)p^x(1-p)^{n-x} $$

严格定义来说，将伯努利分布由单变量扩展到$d$维向量$x$，其中$x_i \in {0,1}$，且$\sum_{i=1}^{d} x_i = 1$，并假设$x_i$取1的概率为$\mu_i \in [0,1]，\sum_{i=1}^d \mu_i = 1$，则将得到离散概率分布为:

$$ P(x|\mu) = \prod_{i=1}^d \mu_i^{x_i} \ E[x_i] = \mu_i \ Var[x_i] = \mu_i(1 - \mu_i) \ Cov[x_j,x_i] = \prod[j=i] \mu_i $$

在此基础上扩展二项分布则得到多项分布，它描述了在$N$次独立实验中有$m_i$次$x_i = 1$的概率:

$$ P(m_1,m_2,…,m_d|N,\mu)=Mult(m_1,m_2,…,m_d | N,\mu) \ = \frac{N!}{m_1!m_2!…m_d!}\prod_{i=1}^d \mu_i^{m_i} \ E[m_i] = N_{\mu_i} \ Var[m_i] = N_{\mu_i}(1-\mu_i) \ Cov[m_j,m_i] = -N_{\mu_j \mu_i} $$

狄里克雷分布

多项式分布的质量密度函数：

$$ \operatorname{Mult}\left(m_{1}, m_{2}, \cdots, m_{K} ; \vec{\mu}, N\right)=\frac{N !}{m_{1} ! m_{2} ! \cdots m_{K} !} \prod_{k=1}^{K} \mu_{k}^{m_{k}} $$

它是$\left(\mu_{1}+\mu_{2}+\cdots+\mu_{K}\right)^{m_{1}+m_{2}+\cdots+m_{K}}$的多项式展开的形式。

狄利克雷分布的概率密度函数：

$$ \operatorname{Dir}(\vec{\mu} ; \vec{\alpha})=\frac{\Gamma\left(\sum_{k=1}^{K} \alpha_{k}\right)}{\sum_{k=1}^{K} \Gamma\left(\alpha_{k}\right)} \prod_{k=1}^{K} \mu_{k}^{\alpha_{k}-1} $$

可以看到，多项式分布与狄里克雷分布的概率密度函数非常相似，区别仅仅在于前面的归一化项：

• 多项式分布是针对离散型随机变量，通过求和获取概率。
• 狄里克雷分布时针对连续型随机变量，通过求积分来获取概率。