一.朴素贝叶斯
1.概述
(1)概念:
"贝叶斯分类"(Bayes Classification)是以贝叶斯定理为基础的分类算法的总称.而"朴素贝叶斯"(Naive Bayes)则是其中最简单,最常见的1种分类方法,常用于文本分类/欺诈检测/人脸识别."朴素"是指该算法的2个假设:①特征独立性:每个特征的概率分布都与其他特征独立②特征均衡性:每个特征都同等重要
(2)步骤:
设全部类别为c1,c2...cm,特征向量为x=(x1,x2...xn)①计算P(x|ci),P(c),P(x)②根据贝叶斯公式计算P(ci|x)③如果P(ci|x)=max{P(c1|x),P(c2|x)...P(cm|x)},则x∈ci
(3)实例:
假设已经有1000封被标记好了( c 1 c_1 c1表示垃圾邮件, c 2 c_2 c2表示非垃圾邮件)的邮件,要求识别第1001封邮件是否为垃圾邮件.首先构建词汇表,设其中的单词数为 N = n N=n N=n.将邮件 m m m映射到 n n n维向量 x x x m → x = ( x 1 , x 2 . . . x n ) x i = { 1 i f 单 词 w i 在 m 中 出 现 过 0 o t h e r w i s e m→x=(x_{1},x_{2}...x_{n})\\x_{i}=\begin{cases}1\:if\:单词w_i在m中出现过\\0\:otherwise\end{cases} m→x=(x1,x2...xn)xi={1if单词wi在m中出现过0otherwise根据贝叶斯公式,有 P ( c j ∣ x ) = P ( x ∣ c j ) P ( c j ) P ( x ) P(c_j\,|\,x)=\frac{P(x\,|\,c_j)P(c_j)}{P(x)} P(cj∣x)=P(x)P(x∣cj)P(cj)由于特征独立性,有 P ( x ∣ c j ) = ∏ i = 1 n P ( x i ∣ c j ) P ( x ) = ∏ i = 1 n P ( x i ) P(x\,|\,c_j)=\prod_{i=1}^nP(x_i\,|\,c_j)\\P(x)=\prod_{i=1}^nP(x_i) P(x∣cj)=i=1∏nP(xi∣cj)P(x)=i=1∏nP(xi)从而有 P ( c j ∣ x ) = P ( c j ) ∏ i = 1 n P ( x i ∣ c j ) ∏ i = 1 n P ( x i ) P(c_j\,|\,x)=\frac{P(c_j)\prod_{i=1}^nP(x_i\,|\,c_j)}{\prod_{i=1}^nP(x_i)} P(cj∣x)=∏i=1nP(xi)P(cj)∏i=1nP(xi∣cj)
2.拉普拉斯平滑
(1)功能:
参见:/p/26329951
用于处理出现新特征值的情况
(2)形式:
设 n j n_j nj为属于 c j c_j cj的所有邮件的单词总数, n i j n_{ij} nij为属于 c j c_j cj的所有邮件中单词 w i w_i wi出现的次数,则有 P ( x i ∣ c j ) = n i j n j P(x_i\,|\,c_j)=\frac{n_{ij}}{n_j} P(xi∣cj)=njnij经过拉普拉斯平滑后,有 P ( x i ∣ c j ) = n i j + λ n j + N λ P(x_i\,|\,c_j)=\frac{n_{ij}+λ}{n_j+Nλ} P(xi∣cj)=nj+Nλnij+λ其中 0 ≤ λ ≤ 1 0≤λ≤1 0≤λ≤1.另外,对 P ( x i ) P(x_i) P(xi)也需要进行类似的处理
3.优缺点
(1)优点:
①数学基础稳固②逻辑简单,易于实现③时间和空间开销小,尤其是用于大数据时有优势④对缺失数据不太敏感⑤可解释性好⑥适合增量式训练(可实时对新增样本进行训练)
(2)缺点:
①特征往往并非互相独立,因而在特征数较多或特征间相关性较大时,效果不好②对输入数据的表达形式很敏感
二.贝叶斯网络
1.概述
(1)概念:
