【正文】 N 2 1 N 1 i i N 2 1 Dirichlet N 2 1 ? ? ? ? G G G G ? ? ? ? ? ? ? ? ? ? ? ? ? 2022/2/9 數(shù)據(jù)處理與智能決策 67 不完全數(shù)據(jù)的密度估計(jì) ?期望最大化方法（ Expectation Maximization EM） ?Gibbs抽樣（ Gibbs Sampling GS） ?Bound and Collapse (BC) 2022/2/9 數(shù)據(jù)處理與智能決策 68 期望最大化方法 分為以下幾個(gè)步驟： （ 1）含有不完全數(shù)據(jù)的樣本的缺項(xiàng)用該項(xiàng)的最大似然估計(jì)代替； （ 2）把第一步中的缺項(xiàng)值作為先驗(yàn)信息，計(jì)算每一缺項(xiàng)的最大后驗(yàn)概率，并根據(jù)最大后驗(yàn)概率計(jì)算它的理想值。將未知參數(shù)看成隨機(jī)變量（或隨機(jī)向量），記為 θ。 3 貝葉斯問題的求解 定義 9 設(shè)隨機(jī)變量 x是離散的，它取 a1,a2,… ,ak,… 可列個(gè)值，且 p(x=ai)=pi(i=1,2,…) ， 則 H(x)= Σpilnpi 稱為 x的熵 。常用的選取先驗(yàn)分布的方法有 主觀 和 客觀 兩種。 ? 樣本 (X,Y)的 margin: margin(x,y)= ? αt=1/2 ln ( (1 Εt)/ Εt ) ? 較大的正邊界表示可信度高的正確的預(yù)測(cè) ? 較大的負(fù)邊界表示可信度高的錯(cuò)誤的預(yù)測(cè) ? ?xhy ttt? ?2022/2/9 數(shù)據(jù)處理與智能決策 52 AdaBoost Generalization Error(4) ? 解釋 : 當(dāng)訓(xùn)練誤差降低后 ,Boosting繼續(xù)提高邊界 ,從而增大了最小邊界 ,使分類的可靠性增加 ,降低總誤差 . ? 總誤差的上界 : ? 該公式與 T無關(guān) )()),(a rg(2??mdOyxinmP r????2022/2/9 數(shù)據(jù)處理與智能決策 53 Boosting其它應(yīng)用 ? Boosting易受到噪音的影響 。尤其是在學(xué)習(xí)完分類器 Hk之后，增加了由 Hk導(dǎo)致分類錯(cuò)誤的訓(xùn)練例子的權(quán)值，并且通過重新對(duì)訓(xùn)練例子計(jì)算權(quán)值，再學(xué)習(xí)下一個(gè)分類器 Hk+1。ve Bayes或 simple Bayes） 學(xué)習(xí)模型將訓(xùn)練實(shí)例 I分解成特征向量 X和決策類別變量 C。 (5)貝葉斯公式 。 聯(lián)合概率也叫 乘法公式 ，是指兩個(gè)任意事件的乘積的概率 ，或稱之為交事件的概率 。P(B|A) 或 P(A 若事件 A與 B中的任一個(gè)出現(xiàn)，并不影響另一事件出現(xiàn)的概率，即當(dāng) P(A)＝ P(A 隨機(jī)性實(shí)驗(yàn) 是指對(duì)隨機(jī)現(xiàn)象的觀察。 ⑵ 根據(jù)以往對(duì)參數(shù) θ的知識(shí)，確定先驗(yàn)分布 π(θ) ， 它是 貝 葉斯方法容易引起爭(zhēng)議的一步，因此而受到經(jīng)典統(tǒng)計(jì)界的攻擊。近年來，貝葉斯學(xué)習(xí)理論方面的文章更是層出不窮，內(nèi)容涵蓋了人工智能的大部分領(lǐng)域，包括因果推理、不確定性知識(shí)表達(dá)、模式識(shí)別和聚類分析等。著名的數(shù)學(xué)家拉普拉斯 （ Laplace P. S.） 用貝葉斯的方法導(dǎo)出了重要的“ 相繼律 ”，貝葉斯的方法和理論逐漸被人理解和重視起來。 ? 貝葉斯方法以其獨(dú)特的 不確定性 知識(shí)表達(dá)形式、豐富的 概率表達(dá) 能力、綜合先驗(yàn)知識(shí)的增量學(xué)習(xí) 特性等成為當(dāng)前數(shù)據(jù)挖掘眾多方法中最為引人注目的焦點(diǎn)之一。 2022/2/9 數(shù)據(jù)處理與智能決策 8 1 概 述 貝葉斯網(wǎng)絡(luò)的發(fā)展歷史 ? 隨著人工智能的發(fā)展，尤其是機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等興起，為貝葉斯理論的發(fā)展和應(yīng)用提供了更為廣闊的空間。 ? 貝葉斯定理將事件的 先驗(yàn)概率 與 后驗(yàn)概率 聯(lián)系起來 。隨機(jī)現(xiàn)象 又可分為 個(gè)別隨機(jī)現(xiàn)象 和 大量的隨機(jī)現(xiàn)象。任何事件 A的概率為不大于 1的非負(fù)實(shí)數(shù)，即 0＜ P(A)＜ 1 2022/2/9 數(shù)據(jù)處理與智能決策 15 2 貝葉斯 概率基礎(chǔ) 定義 2 古典概率 我們?cè)O(shè)一種次試驗(yàn)有且僅有有限的 N個(gè)可能結(jié)果，即 N個(gè)基本事件，而 A事件包含著 K個(gè)可能結(jié)果，則稱 K/N為事件 A的概率，記為 P(A)。 若 A、 B為兩任意事件，則 P(A+B)＝ P(A)＋ P(B)－ P(AB) 2022/2/9 數(shù)據(jù)處理與智能決策 18 2 貝葉斯 概率基礎(chǔ) 定理 2 乘法定理 設(shè) A、 B為兩個(gè) 不相容(互斥 )非零事件，則其乘積的概率等于 A和 B概率的乘積，即 P(AB)＝ P(A)P(B) 或 P(AB)＝ P(B) P(A) 設(shè) A、 B為兩個(gè)任意的非零事件，則其乘積的概率等于 A(或 B)的概率與在 A(或 B)出現(xiàn)的條件下 B(或 A)出現(xiàn)的條件概率的乘積。 2022/2/9 數(shù)據(jù)處理與智能決策 20 2 貝葉斯 概率基礎(chǔ) (2) 后驗(yàn)概率。 全概率公式表達(dá)了它們之間的關(guān)系 。 ? 網(wǎng)絡(luò)中變量間獨(dú)立性的指定是實(shí)現(xiàn)緊湊表示的關(guān)鍵。ve Bayesian ?結(jié)構(gòu)簡(jiǎn)單－只有兩層結(jié)構(gòu) ?推理復(fù)雜性與網(wǎng)絡(luò)節(jié)點(diǎn)個(gè)數(shù)呈線性關(guān)系 2022/2/9 數(shù)據(jù)處理與智能決策 28 設(shè)樣本 A表示成屬性向量，如果屬性對(duì)于給定的類別獨(dú)立，那么 P(A|Ci)可以分解成幾個(gè)分量的積： )|(*)|(*)|( 21 imii CaPCaPCaP ? ai是樣本 A的第 i個(gè)屬性 4 簡(jiǎn)單貝葉斯學(xué)習(xí)模型 2022/2/9 數(shù)據(jù)處理與智能決策 29 簡(jiǎn)單貝葉斯分類模型 )|()( )()|(1???mjijii CaPAPCPACP)|( ij CaP)( iCP這個(gè)過程稱之為 簡(jiǎn)單貝葉斯分類 (SBC: Simple Bayesian Classifier)。 ? 弱學(xué)習(xí)機(jī)的權(quán)重 ? 準(zhǔn)確率越高的弱學(xué)習(xí)機(jī)權(quán)重越高 ? 循環(huán)控制：損失函數(shù)達(dá)到最小 ? 在強(qiáng)學(xué)習(xí)機(jī)的組合中增加一個(gè)加權(quán)的弱學(xué)習(xí)機(jī)，使準(zhǔn)確率提高，損失函數(shù)值減小。它有 兩個(gè)過程 ： 一是 確定未知變量的先驗(yàn)分布； 二是獲得相應(yīng)分布的參數(shù)估計(jì)。 3 貝葉斯問題的求解 熵是信息論中描述事物不確定性的程度的一個(gè)概念。 3 貝葉斯問題的求解 計(jì)算學(xué)習(xí)機(jī)制 任何系統(tǒng)經(jīng)過運(yùn)行能改善其行為，都是 學(xué)習(xí) 。如果對(duì)先驗(yàn)分布沒有任何信息，就采用無信息先驗(yàn)分布的貝葉斯假設(shè)。 2022/2/9 數(shù)據(jù)處理與智能決策 70 貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)學(xué)習(xí) ? 基于搜索評(píng)分的方法 : ? 初始化貝葉斯網(wǎng)絡(luò)為孤立節(jié)點(diǎn) ? 使用啟發(fā)式方法為網(wǎng)絡(luò)加邊 ? 使用評(píng)分函數(shù)評(píng)測(cè)新的結(jié)構(gòu)是否為更好 ? 貝葉斯評(píng)分（ Bayesian Score Metric） ? 基于墑的評(píng)分 ? 最小描述長(zhǎng)度 MDL(Minimal Description Length) ? 重復(fù)這個(gè)過程，直到找不到更好的結(jié)構(gòu) ? 基于依賴分析的方法 : ? 通過使用條件獨(dú)立性檢驗(yàn) conditional independence (CI) 找到網(wǎng)絡(luò)的依賴結(jié)構(gòu) 2022/2/9 數(shù)據(jù)處理與智能決策 71 基于 MDL的貝葉斯網(wǎng)結(jié)構(gòu)學(xué)習(xí) ? 計(jì)算每一點(diǎn)對(duì)之間的互信息： ? 建立完全的無向圖，圖中的頂點(diǎn)是變量，邊是變量之間的互信息 ? 建立最大權(quán)張成樹 ? 根據(jù)一定的節(jié)點(diǎn)序關(guān)系，設(shè)置邊的方向 ??yx,P p(x )p(y )y)p(x ,y )l ogP (x ,Y)(X 。(l og)|。 2022/2/9 數(shù)據(jù)處理與智能決策 77 主動(dòng)貝葉斯網(wǎng)絡(luò)分類器 ?基于最大最小熵的主動(dòng)學(xué)習(xí) 首先從測(cè)試樣本中選擇出類條件熵最大和最小的候選樣本（ MinExample, MaxExample），然后將這兩個(gè)樣本同時(shí)加入到訓(xùn)練集中。然而這些聚類算法大部分是一種無監(jiān)督學(xué)習(xí)，它對(duì)解空間的搜索帶有一定的盲目性，因而聚類的結(jié)果一定程度上缺乏語(yǔ)義特征；同時(shí)，在高維情況下，選擇合適的距離度量標(biāo)準(zhǔn)變得相當(dāng)困難。這種處理方法一方面克服了非監(jiān)督學(xué)習(xí)中對(duì)求解空間搜索的盲目性；另一方面它不需要對(duì)大量訓(xùn)練樣本的類別標(biāo)注，只需提供相應(yīng)的類主題變量，把網(wǎng)站管理人員從繁瑣的訓(xùn)練樣本的標(biāo)注中解脫出來，提高了網(wǎng)頁(yè)分類的自動(dòng)性。它交替地執(zhí)行 E步和 M步，以達(dá)到使似然函數(shù)值增加的目的。,|(39。,|(),()。,|(),()|( ???7 半監(jiān)督文本挖掘算法 對(duì)含有潛在類別主題詞文檔的類別標(biāo)注 (52) (53a) (53b) (53c) 2022/2/9 數(shù)據(jù)處理與智能決策 93 圖 4是我們?cè)趯?shí)驗(yàn)過程中得到的 E M迭代次數(shù)與似然函數(shù)的值的關(guān)系。 Bel(B) = ? ?(B) ?(B) ?(B) Bel(B) ?(B。|()|(l og)( )(l og)|(DiCjjjijji cdpcpzDppDl ????)},|({m a x),|( ]1[ ?? kjkjki dcpdcp ???)(0。39。39。 7 半監(jiān)督文本挖掘算法 對(duì)含有潛在類別主題詞文檔的類別標(biāo)注 2022/2/9 數(shù)據(jù)處理與智能決策 92 ?? 39。 2022/2/9 數(shù)據(jù)處理與智能決策 83 6 貝葉斯?jié)撛谡Z(yǔ)義模型 潛在語(yǔ)義分析 （ Latent Semantic Analysis, LSA ）的基本觀點(diǎn)是：把高維的向量空間模型（ VSM）表示中的文檔映射到低維的潛在語(yǔ)義空間中。目前已有很多有效的算法來實(shí)現(xiàn)網(wǎng)頁(yè)的分類，如 Naive Bayesian、 SVM等。 2022/2/9 數(shù)據(jù)處理與智能決策 79 主動(dòng)貝葉斯網(wǎng)絡(luò)分類器 A B C D E F 精度評(píng)定 (%) 精度 召回率 A 645 6 5 0 0 0 B 140 132 0 0 0 0 C 25 2 50 0 0 0 D 5 0 2 33 1 0 E 9 0 0 3 51 0 F 17 0 2 0 1 64 A B C D E F 精度評(píng)定 (%) 精度 召回率 A 641 11 4 0 0 0 B 81 191 0 0 0 0 C 8 21 48 0 0 D 6 0 2 32 1 0 E 9 0 0 3 51 0 F 17 0 2 0 1 64 初始標(biāo)注 樣本數(shù)： 96 未標(biāo) 注訓(xùn)練 樣本數(shù)： 500 測(cè)試集 樣本數(shù)： 1193 ALearnerByMaxMinEntropy測(cè)試結(jié)果 ALearnerByUSandCL測(cè)試結(jié)果 2022/2/9 數(shù)據(jù)處理與智能決策 80 6 貝葉斯?jié)撛谡Z(yǔ)義模型 隨著互聯(lián)網(wǎng)的普及，網(wǎng)上信息正在呈指數(shù)級(jí)增長(zhǎng)趨勢(shì)。 ?選擇策略 抽樣選擇 投票選擇 隨機(jī)抽樣 相關(guān)抽樣 不確定性抽樣 2022/2/9 數(shù)據(jù)處理與智能決策 76 主動(dòng)貝葉斯網(wǎng)絡(luò)分類器 ?學(xué)習(xí)過程 輸入：帶有類別標(biāo)注的樣本集 L，未帶類別標(biāo)注的候選樣本集 UL,選擇停止標(biāo)準(zhǔn) e，每次從候選集中選擇的樣本個(gè)數(shù) M 輸出：分類器 C. 過程： While not e { TrainClassifer(L,C) //從 L中學(xué)習(xí)分類器 C； For each x計(jì)算 ES； SelectExampleByES(S,UL,M,ES) //根據(jù) ES從 UL中選擇 M個(gè)例子的子集 S. LabeledAndAdd(S,L)。 ? 第三階段 (Thinning) ? 檢查邊集中的每個(gè)點(diǎn)對(duì)，如果兩個(gè)節(jié)點(diǎn)是 d可分的，那么移走這條邊。 (4)利用計(jì)算得到的后驗(yàn)分布密度對(duì)所求問題做出判斷。（ P170） 3 貝葉斯問題的求解 貝葉斯問題的求解步驟 貝葉斯問題求解的基本步驟可以概括為： (1)定義隨機(jī)變量。 很明顯 ， (1)的不確定性要比 (2)的不確定性小得多 ， 而且從直覺上也