【文章內(nèi)容簡(jiǎn)介】 g(P(X|C0)) + log(P(C0)) = log(P(X0|C0)) + log(P(X1|C0)) + log(P(X2|C0)) + …+ log(P(Xn|C0)) + log(P(C0)),同理可得 log(P(X|C1) *P(C1) ) = log(P(X|C1)) + log(P(C1)) = log(P(X0|C1)) + log(P(X1|C1)) + log(P(X2|C1)) + …+ log(P(Xn|C1)) + log(P(C1))。. 用樸素貝葉斯進(jìn)行文本分類利用樸素貝葉斯模型進(jìn)行文本分類，首先需要將文本表示成詞向量，再?gòu)脑~向量中計(jì)算得到條件概率 P(X|C)和先驗(yàn)概率 P(C)，然后利用條件概率 P(X|C)與先驗(yàn)概率 P(C)計(jì)算后驗(yàn)概率 P(C0|X)、P(C1|X)。最終比較 P(C0|X)、P(C1|X)大小得到 X 屬于 C0 類還是 C1 類。下面用表格 4所示訓(xùn)練數(shù)據(jù)和表格 5所示測(cè)試數(shù)據(jù)展開介紹。表格 4 示例訓(xùn)練數(shù)據(jù)集類別訓(xùn)練文本139。book39。, 39。student39。, 39。campus39。, 39。study39。039。others39。, 39。game39。, 39。sky39。139。campus39。, 39。 book 39。039。others39。, 39。yes39。表格 5 示例測(cè)試數(shù)據(jù)集類別訓(xùn)練文本？39。book39。, 39。campus39。, 39。study39。. 從文本到詞向量首先需要將文本表示成詞向量，去掉重復(fù)的詞。將表 1 中示例數(shù)據(jù)集表示成詞向量如下：[ 39。book39。, 39。student39。, 39。campus39。, 39。study39。, 39。others39。, 39。game39。, 39。sky39。, 39。yes39。 ]可以看出，重復(fù)的39。campus39。, 39。book39。, 39。others39。都只出現(xiàn)了一次。然后，需要將文本列表轉(zhuǎn)換成詞向量列表，文本中的詞在詞向量中出現(xiàn)為 1，未出現(xiàn)為 0, 如表格 表格 7所示：表格 6 訓(xùn)練文本詞向量列表類別訓(xùn)練文本1[1, 1, 1, 1, 0, 0, 0, 0]0[0, 0, 0, 0, 1, 1, 1, 0]1[1, 0, 1, 0, 0, 0, 0, 0]0[0, 0, 0, 0, 1, 0, 0, 1]表格 7 測(cè)試文本詞向量列表類別訓(xùn)練文本？[1, 0, 1, 1, 0, 0, 0, 0]. 從詞向量到條件概率和先驗(yàn)概率由上一章知，條件概率 P(X|C) =P(X0|C) *P(X1|C) *P(X2|C) *P(X3|C) *… *P(Xn|C),為防止概率為 0 影響結(jié)果，加入拉普拉斯平滑后 P(Xi|C) = (|Dc,xi| + 1) / (|Dc,x| + 2),先驗(yàn)概率 P(C) = |Dc| / |D|。為防止小數(shù)連乘造成結(jié)果幾乎為 0，引入 log 函數(shù)，由于測(cè)試文本只包含 X0, X2, X3, 得:log(P(X|C0) *P(C0) ) = log(P(X0|C0)) + log(P(X2|C0)) + log(P(X3|C0)) + log(P(C0))log(P(X|C1) *P(C1) ) = log(P(X0|C1)) + log(P(X2|C1)) + log(P(X3|C1)) + log(P(C1))代入數(shù)據(jù)，得P(X0|C0) =P(X2|C0) =P(X3|C0) = (0 + 1) / (5 + 2) = 1/7,P(C0) =P(C1) = 2 / 4,P(X0|C1) =P(X2|C1) = (2 + 1) / (6 + 2) = 3/8,P(X3|C1) = (1 + 1) / (6 + 2) = 2/8,故可得:log(P(X|C0) *P(C0) ) = log(1/7) + log(1/7) + log(1/7) + log(2/4) = log(P(X|C1) *P(C1) ) = log(3/8) + log(3/8) + log(2/8) + log(2/4) = . 根據(jù)后驗(yàn)概率分類由上一章知，因此后驗(yàn)概率 P(C0|X)只需考慮 P(X|C0) *P(C0) ，同理后驗(yàn)概率 P(C1|X)只需考慮 P(X|C1) *P(C1)。已知：如果 log(P(X|C0) *P(C0) ) log(P(X|C1) *P(C1) )，則 P(C0|X) P(C1|X)，可得 X 屬于 C0 類；如果 log(P(X|C0) *P(C0) ) log(P(X|C1) *P(C1) )，則 P(C0|X) P(C1|X)，可得 X 屬于 C1 類。 , 所以 log(P(X|C1) *P(C1) ) log(P(X|C0) *P(C0) ), 即 P(C1|X) P(C0|X)，可得測(cè)試文本{39。book39。, 39。campus39。, 39。study39。}屬于類別 1。6. 決策樹基本原理決策樹算法又分很多種，常用的有ID3， 和 CART 決策樹。，對(duì)于連續(xù)型屬性值，則需要額外利用連續(xù)屬性離散化技術(shù)將其劃分成離散型屬性值。而CART決策樹，即分類回歸樹，直接支持連續(xù)型屬性值。由于篇幅限制CART樹會(huì)放在下一篇文章進(jìn)行介紹，本文主要詳細(xì)介紹 ID3 和 決策樹。決策樹利用了樹型結(jié)構(gòu)進(jìn)行決策，是經(jīng)典的 ifthen 結(jié)構(gòu)。葉節(jié)點(diǎn)存儲(chǔ)類別，內(nèi)部節(jié)點(diǎn)代表特征或?qū)傩?。注意本文中提到的特征和屬性是同一個(gè)概念。為了讓讀者有一個(gè)感性的認(rèn)識(shí)，請(qǐng)看圖 12所示決策樹。圖 12 決策樹示例圖1所示決策樹用來將數(shù)據(jù)分為兩類，是蘋果和非蘋果。如圖中所示，圓的和紅的，就是蘋果。不圓的不是蘋果。圓的但不紅的不是蘋果。決策樹需要選擇最優(yōu)特征劃分?jǐn)?shù)據(jù)集。這兩種決策樹的不同之處是劃分?jǐn)?shù)據(jù)集的最優(yōu)特征選擇方法不同。用最優(yōu)特征劃分?jǐn)?shù)據(jù)會(huì)使得數(shù)據(jù)集趨于更純，即數(shù)據(jù)集的類別數(shù)更單一，這樣的數(shù)據(jù)會(huì)更有序。衡量數(shù)據(jù)的混亂程度就必須提到信息和信息熵的概念。待分類的事物可能劃分在多個(gè)類別中，則符號(hào) Xi 的信息是:可知P(Xi) 越大，則 I(Xi) 越小，即Xi的概率越大，則Xi包含的信息越少。我們都知道物理中的熵用來衡量混亂程度，熵越大說明越混亂，熵越小說明越單一。同樣，信息熵用來衡量信息中的混亂程度。用所有類別所有可能值包含的信息期望值表示信息熵，計(jì)算方法如下：ID3 決策樹利用了信息增益來選擇最優(yōu)特征，用這種方法選擇的特征是使得信息熵增益最大的特征。而 。用這種方法選擇的特征是使得信息增益比最大的特征。為什么要提出信息增益比呢？這是因?yàn)橹豢紤]信息增益來劃分?jǐn)?shù)據(jù)集是有缺陷的。這種缺陷體現(xiàn)在信息增益對(duì)選擇屬性取值多的特征更有利。因?yàn)榘磳傩匀≈刀嗟奶卣鲃澐謹(jǐn)?shù)據(jù)集后，劃分后的各個(gè)子數(shù)據(jù)集的類別更單一，即更趨于有序，這就使得劃分后的信息熵更小，那么信息增益就會(huì)更大。信息增益比可以很好的解決這個(gè)問題。信息增益比通過引入類似懲罰因子的概念，對(duì)屬性取值多的特征會(huì)有一定懲罰。. 決策樹原理. 選擇最優(yōu)特征決策樹通過不斷選擇最優(yōu)特征劃分?jǐn)?shù)據(jù)集，對(duì)劃分后的子數(shù)據(jù)集不斷迭代得選擇最優(yōu)特征劃分，直到所有的數(shù)據(jù)集屬于同一個(gè)類別，或者沒有特征可以選擇為止。選擇最優(yōu)特征的算法有很多種，ID3 決策樹用信息增益選擇最優(yōu)特征， 決策樹用信息增益比選擇最優(yōu)特征。. 信息增益用于ID3決策樹信息增益，顧名思義就是原數(shù)據(jù)集的信息熵比劃分后數(shù)據(jù)集的信息熵大的程度。信息增益越大，說明劃分后的數(shù)據(jù)集信息熵更小，即該數(shù)據(jù)集類別更趨于一致。特征 A 對(duì)數(shù)據(jù)集 D 的信息增益 g(D,A)為 D 的信息熵與按特征 A 進(jìn)行劃分后 D 的信息熵之差，即其中， . 信息增益比 – 用于 決策樹信息增益比為了避免傾向于選擇屬性值多的特征作為最優(yōu)特征這個(gè)問題，在信息增益的基礎(chǔ)上引入了類似懲罰因子的概念。特征 A 對(duì)數(shù)據(jù)集 D 的信息增益比gg(D,A)為信息增益 g(D,A) 與數(shù)據(jù)集 D 關(guān)于特征 A 的取值的熵 HA(D) 的比值，即其中,其中，n 是特征 A 取值的個(gè)數(shù)。HA(D) 就類似懲罰因子，對(duì)于屬性值多的特征，雖然信息增益 g(D,A) 會(huì)比較大，但是數(shù)據(jù)集 D 關(guān)于特征 A 的取值的熵 HA(D) 會(huì)比較大，因而兩者的比值信息增益比 gg(D,A) 會(huì)比較小。除了可以使用信息增益和信息增益比來選擇最優(yōu)劃分特征之外，基尼指數(shù)也可以用來實(shí)現(xiàn)這個(gè)目的?；嶂笖?shù)主要用于 CART 樹(即分類回歸樹)的分類樹中的特征選擇。關(guān)于基尼指數(shù)的詳細(xì)內(nèi)容會(huì)在下一篇文章介紹。. 用 ID3 決策樹進(jìn)行分類本節(jié)主要介紹用 ID3 決策樹進(jìn)行分類。為了便于理解，用表1所示數(shù)據(jù)集進(jìn)行詳細(xì)說明。利用 決策樹進(jìn)行分類的過程會(huì)在下節(jié)介紹。表格 8 示例數(shù)據(jù)集圓的紅的分類111100010000100. ID3決策樹選擇最優(yōu)特征表格 8數(shù)據(jù)集的信息熵為:1/5 * log(1/5) 4/5 * log(4/5) = 1. 按特征圓的劃分?jǐn)?shù)據(jù)集，則信息熵為：3/5 * H(D1) + 2/5 * H(D0)= 3/5 * [1/3 * log(1/3) – 2/3 * log(2/3)] + 2/5 * [2/2 * log(2/2)]= 則信息增益為： – = 2. 按特征紅的劃分?jǐn)?shù)據(jù)集，則信息熵為：2/5 * H(D1) + 3/5 * H(D0)= 2/5 * [1/2 * log(1/2) – 1/2 * log(1/2)] + 3/5 * [3/3 * log(3/3)]= 則信息增益為： – =綜上所述，由于按特征紅的比按特征圓的劃分的信息增益大，所以特征紅的為最優(yōu)劃分特征。. 按最優(yōu)特征劃分?jǐn)?shù)據(jù)集按特征紅的劃分?jǐn)?shù)據(jù)集后，有兩種情況，第一種為如果是紅的:0,則分類:0。 第二種為如果是紅的:1, 則得到如下數(shù)據(jù)子集 {圓的:1,分類：1。 圓的:0, 分類:0}接下來需要對(duì)數(shù)據(jù)子集{圓的:1,分類：1。 圓的:0, 分類:0}繼續(xù)劃分。由于剩下一個(gè)特征，故按特征圓的劃分?jǐn)?shù)據(jù)子集。劃分后，如果是圓的:1，則分類:1；如果是圓的:0, 則分類:0。返回的決策樹用字典表示為：{39。紅的39。: {0: 39。類別039。, 1: {39。圓的39。: {0: 39。類別039。, 1: 39。類別139。}}}}. 用 決策樹進(jìn)行分類為了讓讀者對(duì) ID3 和 決策樹的不同之處有更好的理解，本節(jié)介紹用 決策樹進(jìn)行分類。為了便于理解，仍然使用表格 8所示數(shù)據(jù)集進(jìn)行說明。. 決策樹選擇最優(yōu)特征表格 8數(shù)據(jù)集的信息熵為:1/5 * log(1/5) 4/5 * log(4/5) = 1. 按特征圓的劃分?jǐn)?shù)據(jù)集，則信息熵為：3/5 * H(D1) + 2/5 * H(D0)= 3/5 * [1/3 * log(1/3) – 2/3 * log(2/3)] + 2/5 *