贝叶斯网络

首先，我们再想一下，相对熵和互信息

相对熵是表示两个随机分布之间的距离，也是最大期望算法（EM）的损失函数，是一个大于等于 0 的值。

互信息是设两个随机变量的联合分布为，边际分布分别为，互信息是联合分布与乘积分布的相对熵。

概率公式：

具体应用例子：/blog-82650-255141.html参考邱士利的博客