【正文】 mum weighted spanning tree) 算法 [Chow and Liu, 1968] 的基礎(chǔ)上，通過以下步驟將屬性間依賴關(guān)系簡約為圖 (c)。ve Bayes Classifier)采用了“屬性 條件獨(dú)立性 假設(shè)” (attribute conditional independence assumption)：每個屬性 獨(dú)立地 對分類結(jié)果發(fā)生影響。 ? 在分類問題情況下，在 所有 相關(guān)概率都已知 的理想情形下，貝葉斯決策考慮如何基于這些概率和誤判損失來選擇最優(yōu)的類別標(biāo)記。 ?主要有兩種策略： ? 判別式模型（ discriminative models） ? 給定 ，通過直接建模 , 來預(yù)測 ? 決策樹， BP神經(jīng)網(wǎng)絡(luò)，支持向量機(jī) ? 生成式模型（ generative models） ? 先對 聯(lián)合 概率分布 建模，再由此獲得 ? 生成式模型考慮 ? ? ? ?? ? ? ?121212,( , Y = )( Y = , , ,| ) 7 7, .()iimmmx x xx x xxxP X cP c XPX x????貝葉斯決策論 ?生成式模型 貝葉斯決策論 ?生成式模型 ? 基于 貝葉斯 定理， 可寫成 ? ? ? ?? ? ? ?121212,( , Y = )( Y = , , ,| ) 7 7, .()iimmmx x xx x xxxP X cP c XPX x????? ? ? ? ? ?? ?? ? ? ?121212,P Y = | Y =( Y = | ) 7 ., , ,() , 7miii mmc P X cP c XPx x xx x xx x xX????貝葉斯決策論 ?生成式模型 ? 基于貝葉斯定理， 可寫成 先驗(yàn)概率 樣本空間中各類樣本所占的比例，可通過各類樣本出現(xiàn)的頻率估計（大數(shù)定理） 貝葉斯決策論 ?生成式模型 ? 基于貝葉斯定理， 可寫成 先驗(yàn)概率 樣本空間中各類樣本所占的比例，可通過各類樣本出現(xiàn)的頻率估計（大數(shù)定理） “證據(jù)” （ evidence）因子，與類標(biāo)記無關(guān) 貝葉斯決策論 ?生成式模型 ? 基于貝葉斯定理， 可寫成 先驗(yàn)概率 樣本空間中各類樣本所占的比例，可通過各類樣本出現(xiàn)的頻率估計（大數(shù)定理） “證據(jù)” （ evidence）因子，與類標(biāo)記無關(guān) 類標(biāo)記 相對于樣本 的“類條件概率 ” ( classconditional probability), 或稱“似然”。 圖 樸素貝葉斯分類器與兩種半樸素分類器所考慮的屬性依賴關(guān)系 ? 在圖 (b)中， 是超父屬性。 給定 父結(jié)點(diǎn)集，貝葉斯網(wǎng) 假設(shè) 每個 屬性與他的 非后裔 屬性獨(dú)立 。令 表示已觀測變量集， 表示隱變量集，若預(yù)對模型參數(shù) 做極大似然估計，則應(yīng)最大化 對數(shù)似然 函數(shù) EM算法 ?“不完整 ”的樣本：西瓜已經(jīng)脫落的根蒂，無法看出是 “蜷縮 ”還是 “堅挺 ”,則訓(xùn)練樣本的 “根蒂 ”屬性變量值未知，如何計算？ ?未觀測的變量稱為“隱變量” (latent variable)。此時我們可以通過對 計算期望 ，來最大化已觀測數(shù)據(jù)的對數(shù)“邊際似然” (marginal likelihood) EM算法 EM (ExpectationMaximization)算法 [Dempster et al., 1977] 是常用的估計 參數(shù)隱變量 的利器。貝葉斯網(wǎng)：結(jié)構(gòu) ?貝葉斯網(wǎng)中三個變量之間的 典型 依賴關(guān)系： V型結(jié)構(gòu) 順序結(jié)構(gòu) 同父結(jié)構(gòu) 2x貝葉斯網(wǎng)：結(jié)構(gòu) ?貝葉斯網(wǎng)中三個變量之間的 典型 依賴關(guān)系： 12 3 2 3 xx x x x?和 條 件 獨(dú) 立 。ve Bayes) [Friedman et al., 1997] 則在最大帶權(quán)生成樹 (Maximum weighted spanning tree) 算法 [Chow and Liu, 1968] 的基礎(chǔ)上，通過以下步驟將屬性間依賴關(guān)系簡約為圖 (c)。 ? ? ? ? ? ?? ?? ? ? ?1212 12 ,P Y = | Y =( Y = | ) 7 ., , , ,() , 7miii m mc P X cP c X P x x xx x x x x xX ??? ?? ?? ? ? ?? ?1 2 1 2,m a x Y ,= | m a x | Y, =,iii mimx x xP c X P X x x x c? ? ?? ? ? ? ? ?1 2 1 2 1A A = A A AP P P ? ? ? ? ? ? ? ?1 2 3 1 2 1 3 2 1A A A = A A A A A AP P P? ? ? ? ? ? ? ? ? ?1 2 3 1 2 1 3 2 1 1 2 1A A A A = A A A A A A A A A Am m mP P P P P ?? ?? ? ? ? ? ? ? ?? ?1 2 1 2 1 31 2 1 3 2 211 2 111 2 1| Y = | Y = | Y = | Y =|, , , , , , =, Ymmmi i i im m ix x xPX x x x x x xx x x xc P X c P X X c P X X X cP X