【正文】 N 2 1 N 1 i i N 2 1 Dirichlet N 2 1 ? ? ? ? G G G G ? ? ? ? ? ? ? ? ? ? ? ? ? 2022/2/9 數(shù)據(jù)處理與智能決策 67 不完全數(shù)據(jù)的密度估計 ?期望最大化方法（ Expectation Maximization EM） ?Gibbs抽樣（ Gibbs Sampling GS） ?Bound and Collapse (BC) 2022/2/9 數(shù)據(jù)處理與智能決策 68 期望最大化方法 分為以下幾個步驟： （ 1）含有不完全數(shù)據(jù)的樣本的缺項用該項的最大似然估計代替； （ 2）把第一步中的缺項值作為先驗信息，計算每一缺項的最大后驗概率，并根據(jù)最大后驗概率計算它的理想值。將未知參數(shù)看成隨機變量（或隨機向量），記為 θ。 3 貝葉斯問題的求解 定義 9 設(shè)隨機變量 x是離散的，它取 a1,a2,… ,ak,… 可列個值，且 p(x=ai)=pi(i=1,2,…) ， 則 H(x)= Σpilnpi 稱為 x的熵 。常用的選取先驗分布的方法有 主觀 和 客觀 兩種。 ? 樣本 (X,Y)的 margin: margin(x,y)= ? αt=1/2 ln ( (1 Εt)/ Εt ) ? 較大的正邊界表示可信度高的正確的預(yù)測 ? 較大的負(fù)邊界表示可信度高的錯誤的預(yù)測 ? ?xhy ttt? ?2022/2/9 數(shù)據(jù)處理與智能決策 52 AdaBoost Generalization Error(4) ? 解釋 : 當(dāng)訓(xùn)練誤差降低后 ,Boosting繼續(xù)提高邊界 ,從而增大了最小邊界 ,使分類的可靠性增加 ,降低總誤差 . ? 總誤差的上界 : ? 該公式與 T無關(guān) )()),(a rg(2??mdOyxinmP r????2022/2/9 數(shù)據(jù)處理與智能決策 53 Boosting其它應(yīng)用 ? Boosting易受到噪音的影響 。尤其是在學(xué)習(xí)完分類器 Hk之后，增加了由 Hk導(dǎo)致分類錯誤的訓(xùn)練例子的權(quán)值，并且通過重新對訓(xùn)練例子計算權(quán)值，再學(xué)習(xí)下一個分類器 Hk+1。ve Bayes或 simple Bayes） 學(xué)習(xí)模型將訓(xùn)練實例 I分解成特征向量 X和決策類別變量 C。 (5)貝葉斯公式 。 聯(lián)合概率也叫 乘法公式 ，是指兩個任意事件的乘積的概率 ，或稱之為交事件的概率 。P(B|A) 或 P(A 若事件 A與 B中的任一個出現(xiàn)，并不影響另一事件出現(xiàn)的概率，即當(dāng) P(A)＝ P(A 隨機性實驗 是指對隨機現(xiàn)象的觀察。 ⑵ 根據(jù)以往對參數(shù) θ的知識，確定先驗分布 π(θ) ， 它是 貝 葉斯方法容易引起爭議的一步，因此而受到經(jīng)典統(tǒng)計界的攻擊。近年來，貝葉斯學(xué)習(xí)理論方面的文章更是層出不窮，內(nèi)容涵蓋了人工智能的大部分領(lǐng)域，包括因果推理、不確定性知識表達(dá)、模式識別和聚類分析等。著名的數(shù)學(xué)家拉普拉斯 （ Laplace P. S.） 用貝葉斯的方法導(dǎo)出了重要的“ 相繼律 ”，貝葉斯的方法和理論逐漸被人理解和重視起來。 ? 貝葉斯方法以其獨特的 不確定性 知識表達(dá)形式、豐富的 概率表達(dá) 能力、綜合先驗知識的增量學(xué)習(xí) 特性等成為當(dāng)前數(shù)據(jù)挖掘眾多方法中最為引人注目的焦點之一。 2022/2/9 數(shù)據(jù)處理與智能決策 8 1 概 述 貝葉斯網(wǎng)絡(luò)的發(fā)展歷史 ? 隨著人工智能的發(fā)展，尤其是機器學(xué)習(xí)、數(shù)據(jù)挖掘等興起，為貝葉斯理論的發(fā)展和應(yīng)用提供了更為廣闊的空間。 ? 貝葉斯定理將事件的 先驗概率 與 后驗概率 聯(lián)系起來 。隨機現(xiàn)象 又可分為 個別隨機現(xiàn)象 和 大量的隨機現(xiàn)象。任何事件 A的概率為不大于 1的非負(fù)實數(shù)，即 0＜ P(A)＜ 1 2022/2/9 數(shù)據(jù)處理與智能決策 15 2 貝葉斯 概率基礎(chǔ) 定義 2 古典概率 我們設(shè)一種次試驗有且僅有有限的 N個可能結(jié)果，即 N個基本事件，而 A事件包含著 K個可能結(jié)果，則稱 K/N為事件 A的概率，記為 P(A)。 若 A、 B為兩任意事件，則 P(A+B)＝ P(A)＋ P(B)－ P(AB) 2022/2/9 數(shù)據(jù)處理與智能決策 18 2 貝葉斯 概率基礎(chǔ) 定理 2 乘法定理 設(shè) A、 B為兩個 不相容(互斥 )非零事件，則其乘積的概率等于 A和 B概率的乘積，即 P(AB)＝ P(A)P(B) 或 P(AB)＝ P(B) P(A) 設(shè) A、 B為兩個任意的非零事件，則其乘積的概率等于 A(或 B)的概率與在 A(或 B)出現(xiàn)的條件下 B(或 A)出現(xiàn)的條件概率的乘積。 2022/2/9 數(shù)據(jù)處理與智能決策 20 2 貝葉斯 概率基礎(chǔ) (2) 后驗概率。 全概率公式表達(dá)了它們之間的關(guān)系 。 ? 網(wǎng)絡(luò)中變量間獨立性的指定是實現(xiàn)緊湊表示的關(guān)鍵。ve Bayesian ?結(jié)構(gòu)簡單－只有兩層結(jié)構(gòu) ?推理復(fù)雜性與網(wǎng)絡(luò)節(jié)點個數(shù)呈線性關(guān)系 2022/2/9 數(shù)據(jù)處理與智能決策 28 設(shè)樣本 A表示成屬性向量，如果屬性對于給定的類別獨立，那么 P(A|Ci)可以分解成幾個分量的積： )|(*)|(*)|( 21 imii CaPCaPCaP ? ai是樣本 A的第 i個屬性 4 簡單貝葉斯學(xué)習(xí)模型 2022/2/9 數(shù)據(jù)處理與智能決策 29 簡單貝葉斯分類模型 )|()( )()|(1???mjijii CaPAPCPACP)|( ij CaP)( iCP這個過程稱之為 簡單貝葉斯分類 (SBC: Simple Bayesian Classifier)。 ? 弱學(xué)習(xí)機的權(quán)重 ? 準(zhǔn)確率越高的弱學(xué)習(xí)機權(quán)重越高 ? 循環(huán)控制：損失函數(shù)達(dá)到最小 ? 在強學(xué)習(xí)機的組合中增加一個加權(quán)的弱學(xué)習(xí)機，使準(zhǔn)確率提高，損失函數(shù)值減小。它有 兩個過程 ： 一是 確定未知變量的先驗分布； 二是獲得相應(yīng)分布的參數(shù)估計。 3 貝葉斯問題的求解 熵是信息論中描述事物不確定性的程度的一個概念。 3 貝葉斯問題的求解 計算學(xué)習(xí)機制 任何系統(tǒng)經(jīng)過運行能改善其行為，都是 學(xué)習(xí) 。如果對先驗分布沒有任何信息，就采用無信息先驗分布的貝葉斯假設(shè)。 2022/2/9 數(shù)據(jù)處理與智能決策 70 貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí) ? 基于搜索評分的方法 : ? 初始化貝葉斯網(wǎng)絡(luò)為孤立節(jié)點 ? 使用啟發(fā)式方法為網(wǎng)絡(luò)加邊 ? 使用評分函數(shù)評測新的結(jié)構(gòu)是否為更好 ? 貝葉斯評分（ Bayesian Score Metric） ? 基于墑的評分 ? 最小描述長度 MDL(Minimal Description Length) ? 重復(fù)這個過程，直到找不到更好的結(jié)構(gòu) ? 基于依賴分析的方法 : ? 通過使用條件獨立性檢驗 conditional independence (CI) 找到網(wǎng)絡(luò)的依賴結(jié)構(gòu) 2022/2/9 數(shù)據(jù)處理與智能決策 71 基于 MDL的貝葉斯網(wǎng)結(jié)構(gòu)學(xué)習(xí) ? 計算每一點對之間的互信息： ? 建立完全的無向圖，圖中的頂點是變量，邊是變量之間的互信息 ? 建立最大權(quán)張成樹 ? 根據(jù)一定的節(jié)點序關(guān)系，設(shè)置邊的方向 ??yx,P p(x )p(y )y)p(x ,y )l ogP (x ,Y)(X 。(l og)|。 2022/2/9 數(shù)據(jù)處理與智能決策 77 主動貝葉斯網(wǎng)絡(luò)分類器 ?基于最大最小熵的主動學(xué)習(xí) 首先從測試樣本中選擇出類條件熵最大和最小的候選樣本（ MinExample, MaxExample），然后將這兩個樣本同時加入到訓(xùn)練集中。然而這些聚類算法大部分是一種無監(jiān)督學(xué)習(xí)，它對解空間的搜索帶有一定的盲目性，因而聚類的結(jié)果一定程度上缺乏語義特征；同時，在高維情況下，選擇合適的距離度量標(biāo)準(zhǔn)變得相當(dāng)困難。這種處理方法一方面克服了非監(jiān)督學(xué)習(xí)中對求解空間搜索的盲目性；另一方面它不需要對大量訓(xùn)練樣本的類別標(biāo)注，只需提供相應(yīng)的類主題變量，把網(wǎng)站管理人員從繁瑣的訓(xùn)練樣本的標(biāo)注中解脫出來，提高了網(wǎng)頁分類的自動性。它交替地執(zhí)行 E步和 M步，以達(dá)到使似然函數(shù)值增加的目的。,|(39。,|(),()。,|(),()|( ???7 半監(jiān)督文本挖掘算法 對含有潛在類別主題詞文檔的類別標(biāo)注 (52) (53a) (53b) (53c) 2022/2/9 數(shù)據(jù)處理與智能決策 93 圖 4是我們在實驗過程中得到的 E M迭代次數(shù)與似然函數(shù)的值的關(guān)系。 Bel(B) = ? ?(B) ?(B) ?(B) Bel(B) ?(B。|()|(l og)( )(l og)|(DiCjjjijji cdpcpzDppDl ????)},|({m a x),|( ]1[ ?? kjkjki dcpdcp ???)(0。39。39。 7 半監(jiān)督文本挖掘算法 對含有潛在類別主題詞文檔的類別標(biāo)注 2022/2/9 數(shù)據(jù)處理與智能決策 92 ?? 39。 2022/2/9 數(shù)據(jù)處理與智能決策 83 6 貝葉斯?jié)撛谡Z義模型 潛在語義分析 （ Latent Semantic Analysis, LSA ）的基本觀點是：把高維的向量空間模型（ VSM）表示中的文檔映射到低維的潛在語義空間中。目前已有很多有效的算法來實現(xiàn)網(wǎng)頁的分類，如 Naive Bayesian、 SVM等。 2022/2/9 數(shù)據(jù)處理與智能決策 79 主動貝葉斯網(wǎng)絡(luò)分類器 A B C D E F 精度評定 (%) 精度 召回率 A 645 6 5 0 0 0 B 140 132 0 0 0 0 C 25 2 50 0 0 0 D 5 0 2 33 1 0 E 9 0 0 3 51 0 F 17 0 2 0 1 64 A B C D E F 精度評定 (%) 精度 召回率 A 641 11 4 0 0 0 B 81 191 0 0 0 0 C 8 21 48 0 0 D 6 0 2 32 1 0 E 9 0 0 3 51 0 F 17 0 2 0 1 64 初始標(biāo)注 樣本數(shù)： 96 未標(biāo) 注訓(xùn)練 樣本數(shù)： 500 測試集 樣本數(shù)： 1193 ALearnerByMaxMinEntropy測試結(jié)果 ALearnerByUSandCL測試結(jié)果 2022/2/9 數(shù)據(jù)處理與智能決策 80 6 貝葉斯?jié)撛谡Z義模型 隨著互聯(lián)網(wǎng)的普及，網(wǎng)上信息正在呈指數(shù)級增長趨勢。 ?選擇策略 抽樣選擇 投票選擇 隨機抽樣 相關(guān)抽樣 不確定性抽樣 2022/2/9 數(shù)據(jù)處理與智能決策 76 主動貝葉斯網(wǎng)絡(luò)分類器 ?學(xué)習(xí)過程 輸入：帶有類別標(biāo)注的樣本集 L，未帶類別標(biāo)注的候選樣本集 UL,選擇停止標(biāo)準(zhǔn) e，每次從候選集中選擇的樣本個數(shù) M 輸出：分類器 C. 過程： While not e { TrainClassifer(L,C) //從 L中學(xué)習(xí)分類器 C； For each x計算 ES； SelectExampleByES(S,UL,M,ES) //根據(jù) ES從 UL中選擇 M個例子的子集 S. LabeledAndAdd(S,L)。 ? 第三階段 (Thinning) ? 檢查邊集中的每個點對，如果兩個節(jié)點是 d可分的，那么移走這條邊。 (4)利用計算得到的后驗分布密度對所求問題做出判斷。（ P170） 3 貝葉斯問題的求解 貝葉斯問題的求解步驟 貝葉斯問題求解的基本步驟可以概括為： (1)定義隨機變量。 很明顯 ， (1)的不確定性要比 (2)的不確定性小得多 ， 而且從直覺上也