贝叶斯网络
贝叶斯网络的定义
贝叶斯网络(Bayesian network)，又称信念网络(Belief Network),或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出，它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓扑结构是一个有向无环图(DAG)。
贝叶斯网络的有向无环图中的节点表示随机变量
，他们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系(或非条件独立)的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是"因(parents)"，另一个是"果(children)"，两节点就会产生一个条件概率值。
总而言之，连接两个节点的箭头代表此两个随机变量是具有因果关系，或非条件独立。
例如，假设节点E直接影响到节点H，即E->H,则用从E指向H的箭头建立节点E到节点H的有向弧(E,H),权值(即连接强度)用条件概率
来表示，如下图所示：
简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。
令G=(I,E)表示一个有向无环图(DAG)，其中I代表图形中所有的节点的集合，而E代表有向连接线段的集合，且令
为其有向无环图中的某一节点i所代表的随机变量，若节点X的联合概率可以表示成：
则称X为相对于一有向无环图G的贝叶斯网络，其中
表示节点i之"因
，或称
是i的父母parents。此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出：
如下图，便是一个简单的贝叶斯网络：
由上图
，
等于所有随机变量
的条件概率的乘积，即上边所说，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出。上式
，其中
的条件概率为
，
的条件概率为
，
的条件概率为
。
贝叶斯网络的3中结构形式
给定如下图的一个贝叶斯网络：
从图中可以比较直观的看出：
❶
的联合分布为：
❷
相互独立(对应head-to-head)，无相互依赖关系
❸
在
给定的条件下，是相互独立的。
形式1：head-to-head
贝叶斯网络的第一种结构形式如下图所示：
所以有
，化简后可得：
所以最后可得：
即在c未知得条件下，a，b被阻断(blocked)，是独立得，称之为head-to-head条件独立。
形式2：tail-to-tail
贝叶斯网络得第二种结构如下图所示：
①在c未知得条件下，有：
此时，无法得出
，即c未知时，a，b不独立。
②在c已知得条件下，有：
，然后将
带入式子中，得到
，即c已知时，a，b独立。
所以在c给定得条件下，a，b时被阻断(blocked)的，是独立的，称之为tail-to-tail条件独立。
形式3：head-to-tail
贝叶斯网络的第三种结构形式如下图所示：
还是分c未知和c已知两种情况:
①、c未知时，有：
，但无法推出
，即c未知时，a，b不独立
②c已知时，有：
所以在c给定的条件下，a，b被阻断(blocked)，是独立的，称之为head-to-tail条件独立。
实心圆圈表示已知
根据之前对head-to-tail的讲解，我们已经知道，在xi给定的条件下，xi+1的分布和x1,x2…xi-1条件独立。意味着啥呢？意味着：xi+1的分布状态只和xi有关，和其他变量条件独立。通俗点说，当前状态只跟上一状态有关，跟上上或上上之前的状态无关。这种顺次演变的随机过程，就叫做马尔科夫链(Markov chain)。且有：
接着，将上述结点推广到结点集，则是：对于任意的结点集A，B，C，考察所有通过A中任意结点到B中任意结点的路径，若要求A，B条件独立，则需要所有的路径都被阻断(blocked)，即满足下列两个前提之一：
A和B的"head-to-tail型"和"tail-to-tail型"路径都通过C；
A和B的"head-to-head型"路径不通过C以及C的子孙；
贝叶斯网络实例：
