概率图模型常用于解决需要利用上下文的问题。如NLP领域的分词,词性标注等。
Probabilistic Graphical Models Tutorial - Part 1
Probabilistic Graphical Models Tutorial - Part 2
概率图
概率图中的每个结点代表一个随机变量,边代表随机变量的关系。
有向无环图(又称贝叶斯网络)
- 贝叶斯网络中的节点A指向节点B,表示节点B依赖于节点A(B depend on A)

无环图(又称马尔科夫网络)

条件独立性(Conditional Independence)
概率图定义了其中变量之间的条件独立性。何为条件独立性?如果A是已知的(Observed),则称B与C相互独立。
对于上图的学生网络,我们有:
- If Intelligence is observed, then SAT and Grade are independent
- If Grade is unobserved, then Intelligence and Difficulty are independent
总结来说:
- 如果两个随机变量同时指向一个随机变量,那么当被指向的随机变量是unobserved的时候,这两个随机变量相互条件独立。
- 如果一个随机变量A同时指向两个随机变量B,C,那么当这个随机变量是observed的时候,这两个随机变量相互条件独立。这个比较好理解,因为B,C都依赖于A,A已知,那B已知时,C更多的取决于A。