概率论与图论基础

PGM

概率图模型

发布日期: 2019-08-30

文章字数: 731

阅读时长: 3 分

阅读次数:

一、概要

概率图模型理论的三大部分，分别是概率图模型的表示，推理和学习。概率图模型的表示，解决的核心问题是如何在图上定义一个联合概率分布。

图1. 概率图模型框架

二、概率

条件概率的定义，对于事件A和B，若 $P(B)>0$，则称 $P(A|B) = P(AB) / P(B)$ 为在 $B$ 出现的条件下，$A$出现的条件概率。

2.1 条件概率公式

乘法公式
- 若$P(B)>0$，则$P(AB)=P(B)P(A|B)$
- 若$P(A)>0$，则$P(AB)=P(A)P(B|A)$
- 若$P(A_1A_2…A_{n-1})>0$，则$P(A_1A_2…A_n)=P(A_1)P(A_2|A_1)…P(A_n|A_1A_2…A_{n-1})$
全概率公式
- 若事件$B_1,B_2,…,B_n$是样本空间$\Omega$ 的一组分割，且$P(B_i)>0$，则$P(A)=\sum_ {i=1}^{n} P(B_i)P(A|B_i)$。
- 当直接计算$P(A)$较为困难，将事件$A$分解成几个小事件，通过求小事件的概率，然后相加从而求得事件$A$的概率。找事件$B$的样本空间的一组分割，将事件$A$ 表示为$A=AB_1+AB_2+…+AB_i+…+AB_n$。
贝叶斯公式
- 若事件$B_1, B_2,…,B_n$是样本空间$\Omega$ 的一组分割，且$P(A)>0$, $P(B_i)>0$，则
  \begin{equation}
  P(B_i|A)=\frac{P(AB_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{P(A)}
  = \frac{P(B_i)P(A|B_i)}{\sum_ {i=1}^{n} P(B_i)P(A|B_i)}，\qquad i=1,2,…,n
  \end{equation}其中，$P(B_i)$表示$B_i$的先验概率，$P(B_i|A)$表示在$A$发生的情况下$B_i$发生的可能性，也称$B_i$的后验概率。同理，$P(A)$表示$A$的先验概率，$P(A|B_i)$表示$A$的后验概率。

2.2 独立性

对于两事件，若其中任何一个事件的发生不影响另一个事件的发生，则这两事件是独立的。例如事件A和B，只要满足下列任何一个关系，都可以认为A和B独立。
$\qquad \Leftrightarrow P(A|B) = P(A)$
$\qquad \Leftrightarrow P(AB)/P(B) = P(A)$
$\qquad \Leftrightarrow P(AB) = P(A)P(B)$
这个独立性延展出条件独立性，即原本可能有关联的事件A和B，在给定条件C后，可能变为相互独立，表达式为 $P(AB|C)=P(A|C)P(B|C)$，这个性质在后续的马尔可夫假设的核心。