文档介绍：
EM(最大期望算法)
Expectation-maximization algorithm
电子商务101 樊开兰
极大似然估计
EM算法
极大似然估计方法是一种参数估计方法
是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值
原理:一个随机试验如果有若干个可能的结果A,B,C,…。若在一次试验中,结果A出现,则一般认为试验条件对A出现有利,也即A出现的概率很大
思想:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值
极大似然估计
极大似然估计
设总体X是离散型随机变量,其分布中含有未知参数θ,设x (x1,x2.....xn)是取自总体X的一个样本,(x1,x2.....xn)是其观察值。则取到这组样本观察值的概率是:
定义似然函数为:
这里x1,x2.....xn是观测值,且独立同分布,L(θ)看做参数θ的函数,它可作为θ已多大可能性产生样本值X1,X2,....Xn的一种度量
极大似然估计
最大似然估计法就是使用L(θ)达到最大值的去估计θ
称为θ的最大似然估计值。而相应的统计量θ(X1,X2,....Xn)称为θ的最大似然估计量。
同理,设总体X是连续型随机变量,密度函数为f(x;θ),其中θ为未知参数,则定义似然函数为:
极大似然估计
上式,其中x1,x2.....xn是样本观察值,
称为θ的最大似然估计值。而相应的统计量θ(X1,X2,....Xn)称为θ的最大似然估计量。
EM算法Expectation-maximization algorithm
设一次实验可能有四个结果,其发生的概率分别为
其中θ€(0,1) ,现进行了197次试验,四种结果的发生次数分别为75,18,70,34,求MLE(极大似然估计)
解:以y1,y2,y3,y4表示四种类结果发生的次数,此时总体分布为多项分布,故其似然函数:
EM算法Expectation-maximization algorithm
要求解的MLE,由于其对数似然方程是一个三次多项式,就引入两个变量z1,z2后使得求解要变得容易。现在假设第一种结果可分成两部分,其发生的概率分别为令z1和y1-z1分别表示落入这两部分的次数;再假设第三种结果分成两部分,其发生的概率分别为令z2和y3-z2分别表示落入这两部分的次数。显然z1,z2是我们认为引入的,它是不可观测的,数据(y , z)为完全数据,而观测到的数据称之为不完全数据,此时完全数据的似然函数为:
EM算法Expectation-maximization algorithm
其对数似然为:
如果(y,z)均已知,则上式很容易求得MLE,但遗憾的是我们知道y,不知道Z,但当y以及已知时,
于是分两步进行迭代求解,即E步,M步。
E步:在已有观测数据y以及第i步估计值θ=θ(i)的条件下,求基于完全数据的对数似然函数的期望(即把其中的与z有关的部分积分掉):Q(θ|y,(i))=Ezl(θ;y , z)
内容来自淘豆网转载请标明出处.
