brezezee

  潜在狄利克雷分配

1. 先验分布、共轭分布与后验分布

  先验分布即假定某随机变量服从某一分布，共轭分布指先验与后验通过似然函数有

对于需要采样的$p(\vec z|\vec w)$，$p(w_i)$是已知的

$$p(z_i=k|\vec z_{-i},\vec w)\cdot p(w_i) = p(z_i=k,w_i=t|\vec z_{-i}, \vec w_{-i})$$

于是

$$p(z_i=k|\vec z_{-i},\vec w) \propto p(z_i=k,w_i = t|\vec z_{-i},\vec w_{-i})$$ $$\begin{aligned} p(z_i=k|\vec z_{-i},\vec w)&\propto p(z_i=k,w_i=t|\vec z_{-i},\vec w_{-i})\\ 将隐变量积分掉&=\int p(z_i=k,w_i=t,\vec \theta_m,\vec \varphi_k|\vec z_{-i},\vec w_{-i})d\vec \theta_md\vec \varphi_k \\ & = \int p(z_i=k, \vec \theta_d | \vec w_{\neg i},\vec z_{\neg i})\cdot p(w_i=t, \vec \beta_k | \vec w_{\neg i},\vec z_{\neg i}) d\vec \theta_d d\vec \beta_k \\ & = \int p(z_i=k|\vec \theta_d )p( \vec \theta_d | \vec w_{\neg i},\vec z_{\neg i})p(w_i=t|\vec \beta_k)p(\vec \beta_k | \vec w_{\neg i},\vec z_{\neg i}) d\vec \theta_d d\vec \beta_k \\ & = \int p(z_i=k|\vec \theta_d ) Dirichlet(\vec \theta_d | \vec n_{d, \neg i} + \vec \alpha) d\vec \theta_d \\ & \cdot \int p(w_i=t|\vec \beta_k) Dirichlet(\vec \beta_k | \vec n_{k, \neg i} + \vec \eta) d\vec \beta_k \\ & = \int \theta_{dk} Dirichlet(\vec \theta_d | \vec n_{d, \neg i} + \vec \alpha) d\vec \theta_d \int \beta_{kt} Dirichlet(\vec \beta_k | \vec n_{k, \neg i} + \vec \eta) d\vec \beta_k \\ & = E_{Dirichlet(\theta_d)}(\theta_{dk})E_{Dirichlet(\beta_k)} \end{aligned}$$

  其中