【文章內(nèi)容簡介】 (,2)= ? I(S12,S22)==1*LOG(1,2)0overcast ? I(S13,S23)==*LOG(,2)*LOG(,2)= ? E(Outlook)=(5/14)**2= ? Gain(Outlook)== ? Splite(Outlook)=5/14*LOG(5/14,2)*24/14*LOG(4/14,2)= ? Gainratio(Outlook)=Gain(Outlook)/Splite(Outlook)=06= 2022年 3月 13日星期日 DMKD Sides By MAO 28 ? S11=4,S21=1 ? S12=5,S22=4 ? I(S1,S2)=I(s1,S2)=(9/14)*log(9/14,2)(5/14)*log(5/14,2)= ? I(S11,S21)=*LOG(,2)*LOG(,2)= ? I(S12,S22)=(5/9)*LOG(5/9,2)(4/9)*LOG(4/9,2)= ? E(Humidity)=(5/14)*+(9/14)*= ? Gain(Humidity)== ? Splite(Humidity)=(5/14)*LOG(5/14,2)(9/14)*LOG(9/14,2)= ? Gainratio(Humidity)=Gain(Humidity)/Splite(Humidity)=2022年 3月 13日星期日 DMKD Sides By MAO 29 2022年 3月 13日星期日 DMKD Sides By MAO 30 貝葉斯分類 ? 定義 42 設(shè) X是類標(biāo)號未知的數(shù)據(jù)樣本 。 設(shè) H為某種假定 ，如數(shù)據(jù)樣本 X屬于某特定的類 C。 對于分類問題 ， 我們希望確定 P(H|X)， 即給定觀測數(shù)據(jù)樣本 X， 假定 H成立的概率 。貝葉斯定理給出了如下計算 P(H|X)的簡單有效的方法 : ? P(H)是先驗概率 ， 或稱 H的先驗概率 。 P(X |H)代表假設(shè) H成立的情況下 ， 觀察到 X的概率 。 P(H| X )是后驗概率 ， 或稱條件 X下 H的后驗概率 。 ? 例如 ， 假定數(shù)據(jù)樣本域由水果組成 ， 用它們的顏色和形狀來描述 。 假定 X表示紅色和圓的 ， H表示假定 X是蘋果 ， 則P(H|X)反映當(dāng)我們看到 X是紅色并是圓的時 ， 我們對 X是蘋果的確信程度 。 ? 貝葉斯分類器對兩種數(shù)據(jù)具有較好的分類效果：一種是完全獨立的數(shù)據(jù) ， 另一種是函數(shù)依賴的數(shù)據(jù) 。 )( )()|()|( XP HPHXPXHP ?2022年 3月 13日星期日 DMKD Sides By MAO 31 樸素貝葉斯分類 ? 樸素貝葉斯分類的工作過程如下： ? (1) 每個數(shù)據(jù)樣本用一個 n維特征向量 X= {x1， x2， …… ，xn}表示 ， 分別描述對 n個屬性 A1， A2， …… ， An樣本的 n個度量 。 ? (2) 假定有 m個類 C1， C2， … ， Cm， 給定一個未知的數(shù)據(jù)樣本 X（ 即沒有類標(biāo)號 ） ， 分類器將預(yù)測 X屬于具有最高后驗概率 （ 條件 X下 ） 的類 。 也就是說 ， 樸素貝葉斯分類將未知的樣本分配給類 Ci（ 1≤ i≤ m） 當(dāng)且僅當(dāng) P(Ci|X) P(Cj|X)， 對任意的 j=1， 2， … ， m， j≠ i。 這樣 ， 最大化P(Ci|X)。 其 P(Ci|X)最大的類 Ci稱為最大后驗假定 。 根據(jù)貝葉斯定理 )()()|()|(XPCPCXPXCP iii ?2022年 3月 13日星期日 DMKD Sides By MAO 32 樸素貝葉斯分類 (續(xù) ) ? (3) 由于 P(X)對于所有類為 常數(shù) ， 只需要 P(X|Ci)*P(Ci)最大即可 。 如果 Ci類的先驗概率未知 ， 則通常假定這些類是等概率的 ， 即 P(C1)=P(C2)=… =P(Cm)， 因此問題就轉(zhuǎn)換為對 P(X|Ci)的最大化 （ P(X|Ci)常被稱為給定 Ci時數(shù)據(jù) X的似然度 ， 而使 P(X|Ci)最大的假設(shè) Ci稱為 最大似然假設(shè) ） 。 否則 ， 需要最大化 P(X|Ci)*P(Ci)。 注意 ， 類的先驗概率可以用 P(Ci)=si/s計算 ， 其中 si是類 Ci中的訓(xùn)練樣本數(shù) ， 而 s是訓(xùn)練樣本總數(shù) 。 ? (4) 給定具有許多屬性的數(shù)據(jù)集 ， 計算 P(X|Ci)的開銷可能非常大 。 為降低計算 P(X|Ci)的開銷 ， 可以做 類條件獨立的樸素假定 。 給定樣本的類標(biāo)號 ， 假定屬性值相互條件獨立 ，即在屬性間 ， 不存在依賴關(guān)系 。 這樣 )|()|(1 ink kiCxPCXP ???2022年 3月 13日星期日 DMKD Sides By MAO 33 樸素貝葉斯分類 (續(xù) ) 其中概率 P(x1|Ci)， P(x2|Ci)， …… ， P(xn|Ci)可以由訓(xùn)練樣本估值 。 ? 如果 Ak是離散屬性，則 P(xk|Ci)=sik|si， 其中 sik是在屬性 Ak上具有值 xk的類 Ci的訓(xùn)練樣本數(shù)，而 si是 Ci中的訓(xùn)練樣本數(shù)。 ? 如果 Ak是連續(xù)值屬性，則通常假定該屬性服從高斯分布。因而， 是高斯分布函數(shù) ， 而分別為平均值和標(biāo)準(zhǔn)差 。 ? ( 5 ) 對未知樣本 X分類 ， 也就是對每個類 Ci， 計算P(X|Ci)*P(Ci)。 樣本 X被指派到類 Ci， 當(dāng)且僅當(dāng) P(Ci|X) P(Cj|X)， 1≤ j≤ m， j≠ i， 換言之 ， X 被指派到其P(X|Ci)*P(Ci)最大的類 。 22)(21),()|(iiiii cckccckikxexgCxP?????????),( ii cckxg ?? ii cc ?? ,2022年 3月 13日星期日 DMKD Sides By MAO 34 樸素貝葉斯分類舉例 樣本數(shù)據(jù) Age ine student credit_rating buy_puter =30 High No Fair No =30 High No Excellent No 31…40 High No Fair Yes 40 Medium No Fair Yes 40 Low Yes Fair Yes 40 Low Yes Excellent No 31…40 Low Yes Excellent Yes =30 Medium No Fair No =30 Low Yes Fair Yes 40 Medium Yes Fair Yes =30 Medium Yes Excellent Yes 31…40 Medium No Excellent Yes 31…40 High Yes Fair Yes 40 Medium No Excellent No (1) 我們需要最大化 P(X|Ci)*P(Ci)， i=1， 2。 每個類的先驗概率P(Ci)可以根據(jù)訓(xùn)練樣本計算： P(buys_puter=”yes”)=9/14=， P(buys_puter=”no”)=5/14=。 (2) 為計算 P(X|Ci)， i=1， 2， 我們計算下面的條件概率： P(age=30|buys_puter=”yes” )=2/9=， P(age=30”|buys_puter=”no” )=3/5=， P(ine=”medium”|buys_puter=”yes” )=4/9=， P(ine=”medium”|buys_puter=”no” )=2/5=， P(student=”yes”|buys_puter=”yes” )=6/9=， P(student=”yes”|buys_puter=”no” )=1/5=， P(credit_rating=”fair”|buys_puter=”yes” )=6/9=， P(credit_rating=”fair”|buys_puter=”no” )=2/5=。 (3) 假設(shè)條件獨立性 ， 使用以上概率 ， 我們得到： P(X|buys_puter=”yes” )=***=， P(X|buys_puter=”no” )=***=， P(X|buys_puter=”yes” )*P(buys_puter=”yes” )= *= P(X|buys_puter=”no” )*P(buys_puter=”no” )= *=。 因此 ， 對于樣本 X， 樸素貝葉斯分類預(yù)測buys_puter=”yes”。 數(shù)據(jù)樣本用屬性 age， ine， student和credit_rating描述。類標(biāo)號屬性 buys_puter具有兩個不同值（即 {yes， no}）。 設(shè) C1對應(yīng)于類buys_puter=”yes”， 而 C2對應(yīng)于類buys_puter=”no”。 我們希望分類的未知樣本為 : X=（ age=”=30”， ine=”medium”，student=”yes”， credit_rating=”fair”）。 2022年 3月 13日星期日 DMKD Sides By MAO 35 第三章 分類方法 內(nèi)容提要 ? 分類的基本概念與步驟 ? 基于距離的分類算法 ? 決策樹分類方法 ? 貝葉斯分類 ? 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法 ? 與分類有關(guān)的問題 2022年 3月 13日星期日 DMKD Sides By MAO 36 2022年 3月 13日星期日 DMKD Sides By MAO 37 2022年 3月 13日星期日 DMKD Sides By MAO 38 2022年 3月 13日星期日 DMKD Sides By MAO 39 2022年 3月 13日星期日 DMKD Sides By MAO 40 2022年 3月 13日星期日 DMKD Sides By MAO 41 2022年 3月 13日星期日 DMKD Sides By MAO 42 2022年 3月 13日星期日 DMKD Sides By MAO 43 2022年 3月 13日星期日 DMKD Sides By MAO 44 第三章 分類方法 內(nèi)容提要 ? 分類的基本概念與步驟 ? 基于距離的分類算法 ? 決策樹分類方法 ? 貝葉斯分類 ? 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法 ? 與分類有關(guān)的問題 2022年 3月 13日星期日 DMKD Sides By MAO 45 46 2022年 3月 13日星期日 DMKD Sides By MAO 47 2022年 3月 13日星期日 DMKD Sides By MAO 48 2022年 3月 13日星期日 DMKD Sides By MAO 49 2022年 3月 13日星期日 DMKD Sides By MAO 50 2022年 3月 13日星期日 DMKD Sides By MAO 51 2022年 3月 13日星期日 DMKD Sides By MAO 52 2022年 3月 13日星期日 DMKD Sides By MAO 53 2022年 3月 13日星期日 DMKD Sides By MAO 54 2022年 3月 13日星期日 DMKD Sides By MAO 55 2022年 3月 13日星期日 DMKD Sides By MAO 56 2022年 3月 13日星期日 DMKD Sides By MAO 57 2022年 3月 13日星期日 DMKD Sides By MAO 58 2022年 3月 13日星期日 DMKD Sides By MAO 59 2022年 3月 13日星