周志華-機(jī)器學(xué)習(xí)-西瓜書-全書16章-ppt-chap07貝葉斯分類器-全文預(yù)覽
【正文】 隱變量 的期 望 ,記為 。 小結(jié) ?貝葉斯決策論 ?極大似然估計 ?樸素貝葉斯分類器 ?半樸素貝葉斯分類器 ?貝葉斯網(wǎng) ?EM算法 。 ?這就是 EM算法的 原 型。此時我們可以通過對 計算期望 ，來最大化已觀測數(shù)據(jù)的對數(shù)“邊際似然” (marginal likelihood) EM算法 EM (ExpectationMaximization)算法 [Dempster et al., 1977] 是常用的估計 參數(shù)隱變量 的利器。采樣 概率 由貝葉斯網(wǎng) B決定。 ?最理想的是根據(jù)貝葉斯網(wǎng)絡(luò)定義的 聯(lián)合概率分布 來精確計算后驗概率，在現(xiàn)實應(yīng)用中，貝葉斯網(wǎng)的近似推斷常使用 吉布斯 采樣 (Gibbs sampling)來完成 。 貝葉斯網(wǎng)：學(xué)習(xí) ?貝葉斯網(wǎng)絡(luò)首要任務(wù)：根據(jù)訓(xùn)練集找出結(jié)構(gòu)最“恰當(dāng)”的貝葉斯網(wǎng)。貝葉斯網(wǎng)：結(jié)構(gòu) ?貝葉斯網(wǎng)中三個變量之間的 典型 依賴關(guān)系： V型結(jié)構(gòu) 順序結(jié)構(gòu) 同父結(jié)構(gòu) 2x貝葉斯網(wǎng)：結(jié)構(gòu) ?貝葉斯網(wǎng)中三個變量之間的 典型 依賴關(guān)系： 12 3 2 3 xx x x x?和 條 件 獨(dú) 立 。 ? 將屬性 的聯(lián)合概率分布定義為 圖 聯(lián)合概率分布 定義為： 顯然， 和 在 給定 的取值時 獨(dú)立， 和 在給定 的取值時獨(dú)立，記為 和 。 ? 嘗試將 每個 屬性 作為 超父 構(gòu)建 SPODE共 d個 ? 將具有足夠訓(xùn)練數(shù)據(jù)支撐的 SPODE集群起來作為 最終結(jié)果 其中， 是在第 個屬性上取值 的樣本的集合， 為閾值常數(shù) 其中， 是在第 個屬性上取值數(shù)， 是類別為 且在第 個屬性上取 值為 的樣本集合， 是類別為 且在第 i 個屬性上取 值，第 j 個屬性上取 值為的樣本集合 , ijcxxDjx章節(jié)目錄 ? 貝葉斯決策論 ? 極大似然估計 ? 樸素貝葉斯分類器 ? 半樸素貝葉斯分類器 ? 貝葉斯網(wǎng) ? EM算法 貝葉斯網(wǎng) ?貝葉斯網(wǎng) (Bayesian work)亦稱“信念網(wǎng)” (brief work)，它借助 有向無環(huán)圖 (Directed Acyclic Graph, DAG)來刻畫屬性間的依賴關(guān)系，并使用條件概率表 (Conditional Probability Table, CPT)來表述 屬性的聯(lián)合概率分布 。在這里把 最先 出現(xiàn)的屬性設(shè)置為 根 節(jié)點(diǎn)，再由根節(jié)點(diǎn) 出發(fā) 來確定邊的方向 TAN ?TAN (Tree augmented Na239。ve Bayes) [Friedman et al., 1997] 則在最大帶權(quán)生成樹 (Maximum weighted spanning tree) 算法 [Chow and Liu, 1968] 的基礎(chǔ)上，通過以下步驟將屬性間依賴關(guān)系簡約為圖 (c)。ve Bayes classifiers) 半樸素貝葉斯分類器 ?為了降低貝葉斯公式中估計后驗概率的困難，樸素貝葉斯分類器采用的屬性條件獨(dú)立性假設(shè)；對屬性條件獨(dú)立假設(shè)記性一定程度的放松，由此產(chǎn)生了一類稱為“半樸素貝葉斯分類器 ” (semina239。 ? 令 表示訓(xùn)練集 中第 類樣本組合的集合，若有充足的獨(dú)立同分布樣本，則可容易地 估計出 類先驗概率 ? 對離散屬性而言，令 表示 中在第 個屬性上取值為 的樣本組成的集合，則條件概率 可估計 為 ? 對連續(xù)屬性而言可考慮概率密度函數(shù)，假定 ，其中 和 分別是第 類樣本在第 個屬性上取值的均值和方差，則有 樸素貝葉斯分類器 ?例子：用西瓜數(shù)據(jù)集 ，對測試?yán)皽y 1”進(jìn)行分類 (p151, 西瓜數(shù)據(jù)集 p84 表 ) 拉普拉斯 修正 ?若某個屬性值在訓(xùn)練集中沒有與某個類同時出現(xiàn)過，則直接計算會出現(xiàn)問題， . 比如“敲聲 =清脆”測試?yán)?，?xùn)練集中沒有該樣例，因此連乘式計算的概率值為 0，無論其他屬性上明顯像好瓜，分類結(jié)果都是“好瓜 =否”，這顯然不合理。 ?樸素貝葉斯分類器 (Na239。 ? ? ? ? ? ?? ?? ? ? ?1212 12 ,P Y = | Y =( Y = | ) 7 ., , , ,() , 7miii m mc P X cP c X P x x xx x x x x xX ??? ?? ?? ? ? ?? ?1 2 1 2,m a x Y ,= | m a x | Y, =,iii mimx x xP c X P X x x x c? ? ?? ? ? ? ? ?1 2 1 2 1A A = A A AP P P ? ? ? ? ? ? ? ?1 2 3 1 2 1 3 2 1A A A = A A A A A AP P P? ? ? ? ? ? ? ? ? ?1 2 3 1 2 1 3 2 1 1 2 1A A A A = A A A A A A A A A Am m mP P P P P ?? ?? ? ? ? ? ? ? ?? ?1 2 1 2 1 31 2 1 3 2 211 2 111 2 1| Y = | Y = | Y = | Y =|, , , , , , =, Ymmmi i i im m ix x xPX x x x x x xx x x xc P X c P X X c P X X X
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1