【文章內容簡介】 (,2)= ? I(S12,S22)==1*LOG(1,2)0overcast ? I(S13,S23)==*LOG(,2)*LOG(,2)= ? E(Outlook)=(5/14)**2= ? Gain(Outlook)== ? Splite(Outlook)=5/14*LOG(5/14,2)*24/14*LOG(4/14,2)= ? Gainratio(Outlook)=Gain(Outlook)/Splite(Outlook)=06= 2022年 3月 13日星期日 DMKD Sides By MAO 28 ? S11=4,S21=1 ? S12=5,S22=4 ? I(S1,S2)=I(s1,S2)=(9/14)*log(9/14,2)(5/14)*log(5/14,2)= ? I(S11,S21)=*LOG(,2)*LOG(,2)= ? I(S12,S22)=(5/9)*LOG(5/9,2)(4/9)*LOG(4/9,2)= ? E(Humidity)=(5/14)*+(9/14)*= ? Gain(Humidity)== ? Splite(Humidity)=(5/14)*LOG(5/14,2)(9/14)*LOG(9/14,2)= ? Gainratio(Humidity)=Gain(Humidity)/Splite(Humidity)=2022年 3月 13日星期日 DMKD Sides By MAO 29 2022年 3月 13日星期日 DMKD Sides By MAO 30 貝葉斯分類 ? 定義 42 設 X是類標號未知的數據樣本 。 設 H為某種假定 ，如數據樣本 X屬于某特定的類 C。 對于分類問題 ， 我們希望確定 P(H|X)， 即給定觀測數據樣本 X， 假定 H成立的概率 。貝葉斯定理給出了如下計算 P(H|X)的簡單有效的方法 : ? P(H)是先驗概率 ， 或稱 H的先驗概率 。 P(X |H)代表假設 H成立的情況下 ， 觀察到 X的概率 。 P(H| X )是后驗概率 ， 或稱條件 X下 H的后驗概率 。 ? 例如 ， 假定數據樣本域由水果組成 ， 用它們的顏色和形狀來描述 。 假定 X表示紅色和圓的 ， H表示假定 X是蘋果 ， 則P(H|X)反映當我們看到 X是紅色并是圓的時 ， 我們對 X是蘋果的確信程度 。 ? 貝葉斯分類器對兩種數據具有較好的分類效果：一種是完全獨立的數據 ， 另一種是函數依賴的數據 。 )( )()|()|( XP HPHXPXHP ?2022年 3月 13日星期日 DMKD Sides By MAO 31 樸素貝葉斯分類 ? 樸素貝葉斯分類的工作過程如下： ? (1) 每個數據樣本用一個 n維特征向量 X= {x1， x2， …… ，xn}表示 ， 分別描述對 n個屬性 A1， A2， …… ， An樣本的 n個度量 。 ? (2) 假定有 m個類 C1， C2， … ， Cm， 給定一個未知的數據樣本 X（ 即沒有類標號 ） ， 分類器將預測 X屬于具有最高后驗概率 （ 條件 X下 ） 的類 。 也就是說 ， 樸素貝葉斯分類將未知的樣本分配給類 Ci（ 1≤ i≤ m） 當且僅當 P(Ci|X) P(Cj|X)， 對任意的 j=1， 2， … ， m， j≠ i。 這樣 ， 最大化P(Ci|X)。 其 P(Ci|X)最大的類 Ci稱為最大后驗假定 。 根據貝葉斯定理 )()()|()|(XPCPCXPXCP iii ?2022年 3月 13日星期日 DMKD Sides By MAO 32 樸素貝葉斯分類 (續(xù) ) ? (3) 由于 P(X)對于所有類為 常數 ， 只需要 P(X|Ci)*P(Ci)最大即可 。 如果 Ci類的先驗概率未知 ， 則通常假定這些類是等概率的 ， 即 P(C1)=P(C2)=… =P(Cm)， 因此問題就轉換為對 P(X|Ci)的最大化 （ P(X|Ci)常被稱為給定 Ci時數據 X的似然度 ， 而使 P(X|Ci)最大的假設 Ci稱為 最大似然假設 ） 。 否則 ， 需要最大化 P(X|Ci)*P(Ci)。 注意 ， 類的先驗概率可以用 P(Ci)=si/s計算 ， 其中 si是類 Ci中的訓練樣本數 ， 而 s是訓練樣本總數 。 ? (4) 給定具有許多屬性的數據集 ， 計算 P(X|Ci)的開銷可能非常大 。 為降低計算 P(X|Ci)的開銷 ， 可以做 類條件獨立的樸素假定 。 給定樣本的類標號 ， 假定屬性值相互條件獨立 ，即在屬性間 ， 不存在依賴關系 。 這樣 )|()|(1 ink kiCxPCXP ???2022年 3月 13日星期日 DMKD Sides By MAO 33 樸素貝葉斯分類 (續(xù) ) 其中概率 P(x1|Ci)， P(x2|Ci)， …… ， P(xn|Ci)可以由訓練樣本估值 。 ? 如果 Ak是離散屬性，則 P(xk|Ci)=sik|si， 其中 sik是在屬性 Ak上具有值 xk的類 Ci的訓練樣本數，而 si是 Ci中的訓練樣本數。 ? 如果 Ak是連續(xù)值屬性，則通常假定該屬性服從高斯分布。因而， 是高斯分布函數 ， 而分別為平均值和標準差 。 ? ( 5 ) 對未知樣本 X分類 ， 也就是對每個類 Ci， 計算P(X|Ci)*P(Ci)。 樣本 X被指派到類 Ci， 當且僅當 P(Ci|X) P(Cj|X)， 1≤ j≤ m， j≠ i， 換言之 ， X 被指派到其P(X|Ci)*P(Ci)最大的類 。 22)(21),()|(iiiii cckccckikxexgCxP?????????),( ii cckxg ?? ii cc ?? ,2022年 3月 13日星期日 DMKD Sides By MAO 34 樸素貝葉斯分類舉例 樣本數據 Age ine student credit_rating buy_puter =30 High No Fair No =30 High No Excellent No 31…40 High No Fair Yes 40 Medium No Fair Yes 40 Low Yes Fair Yes 40 Low Yes Excellent No 31…40 Low Yes Excellent Yes =30 Medium No Fair No =30 Low Yes Fair Yes 40 Medium Yes Fair Yes =30 Medium Yes Excellent Yes 31…40 Medium No Excellent Yes 31…40 High Yes Fair Yes 40 Medium No Excellent No (1) 我們需要最大化 P(X|Ci)*P(Ci)， i=1， 2。 每個類的先驗概率P(Ci)可以根據訓練樣本計算： P(buys_puter=”yes”)=9/14=， P(buys_puter=”no”)=5/14=。 (2) 為計算 P(X|Ci)， i=1， 2， 我們計算下面的條件概率： P(age=30|buys_puter=”yes” )=2/9=， P(age=30”|buys_puter=”no” )=3/5=， P(ine=”medium”|buys_puter=”yes” )=4/9=， P(ine=”medium”|buys_puter=”no” )=2/5=， P(student=”yes”|buys_puter=”yes” )=6/9=， P(student=”yes”|buys_puter=”no” )=1/5=， P(credit_rating=”fair”|buys_puter=”yes” )=6/9=， P(credit_rating=”fair”|buys_puter=”no” )=2/5=。 (3) 假設條件獨立性 ， 使用以上概率 ， 我們得到： P(X|buys_puter=”yes” )=***=， P(X|buys_puter=”no” )=***=， P(X|buys_puter=”yes” )*P(buys_puter=”yes” )= *= P(X|buys_puter=”no” )*P(buys_puter=”no” )= *=。 因此 ， 對于樣本 X， 樸素貝葉斯分類預測buys_puter=”yes”。 數據樣本用屬性 age， ine， student和credit_rating描述。類標號屬性 buys_puter具有兩個不同值（即 {yes， no}）。 設 C1對應于類buys_puter=”yes”， 而 C2對應于類buys_puter=”no”。 我們希望分類的未知樣本為 : X=（ age=”=30”， ine=”medium”，student=”yes”， credit_rating=”fair”）。 2022年 3月 13日星期日 DMKD Sides By MAO 35 第三章 分類方法 內容提要 ? 分類的基本概念與步驟 ? 基于距離的分類算法 ? 決策樹分類方法 ? 貝葉斯分類 ? 神經網絡學習方法 ? 與分類有關的問題 2022年 3月 13日星期日 DMKD Sides By MAO 36 2022年 3月 13日星期日 DMKD Sides By MAO 37 2022年 3月 13日星期日 DMKD Sides By MAO 38 2022年 3月 13日星期日 DMKD Sides By MAO 39 2022年 3月 13日星期日 DMKD Sides By MAO 40 2022年 3月 13日星期日 DMKD Sides By MAO 41 2022年 3月 13日星期日 DMKD Sides By MAO 42 2022年 3月 13日星期日 DMKD Sides By MAO 43 2022年 3月 13日星期日 DMKD Sides By MAO 44 第三章 分類方法 內容提要 ? 分類的基本概念與步驟 ? 基于距離的分類算法 ? 決策樹分類方法 ? 貝葉斯分類 ? 神經網絡學習方法 ? 與分類有關的問題 2022年 3月 13日星期日 DMKD Sides By MAO 45 46 2022年 3月 13日星期日 DMKD Sides By MAO 47 2022年 3月 13日星期日 DMKD Sides By MAO 48 2022年 3月 13日星期日 DMKD Sides By MAO 49 2022年 3月 13日星期日 DMKD Sides By MAO 50 2022年 3月 13日星期日 DMKD Sides By MAO 51 2022年 3月 13日星期日 DMKD Sides By MAO 52 2022年 3月 13日星期日 DMKD Sides By MAO 53 2022年 3月 13日星期日 DMKD Sides By MAO 54 2022年 3月 13日星期日 DMKD Sides By MAO 55 2022年 3月 13日星期日 DMKD Sides By MAO 56 2022年 3月 13日星期日 DMKD Sides By MAO 57 2022年 3月 13日星期日 DMKD Sides By MAO 58 2022年 3月 13日星期日 DMKD Sides By MAO 59 2022年 3月 13日星