【正文】 表 (CPT) ， 指明了該變量與父節(jié)點(diǎn)之間概率依賴的數(shù)量關(guān)系。如何獲得這些概率（也稱之為 密度估計(jì) ）是貝葉斯學(xué)習(xí)理論爭(zhēng)議較多的地方。 2022/2/9 數(shù)據(jù)處理與智能決策 58 3 貝葉斯問題的求解 ? 共軛分布族 ? 先驗(yàn)與后驗(yàn)屬于同一分布族 ? 預(yù)先給定一個(gè)似然分布形式 ? 對(duì)于變量定義在 01之間的概率分布，存在一個(gè)離散的樣本空間 ? Beta 對(duì)應(yīng)著 2 個(gè)似然狀態(tài) ? 多變量 Dirichlet 分布對(duì)應(yīng) 2個(gè)以上的狀態(tài) 從數(shù)據(jù)中學(xué)習(xí) 3 貝葉斯問題的求解 Raiffa和 Schaifeer提出先驗(yàn)分布應(yīng)選取共軛分布，即要求后驗(yàn)分布與先驗(yàn)分布屬于同一分布類型。 3 貝葉斯問題的求解 杰弗萊對(duì)于先驗(yàn)分布的選取做出了重大的貢獻(xiàn)，它提出一個(gè)不變?cè)?，較好地解決了貝葉斯假設(shè)中的一個(gè)矛盾，并且給出了一個(gè)尋求先驗(yàn)密度的方法。 (2)確定先驗(yàn)分布密度 p(θ) 。 2022/2/9 數(shù)據(jù)處理與智能決策 69 Gibbs抽樣 ? Gibbs抽樣（ Gibbs Sampling GS） GS是最為流行的馬爾科夫、蒙特卡羅方法之一。 2 ） 以屬性變量為節(jié)點(diǎn)，以條件互信息為節(jié)點(diǎn)之間的連接權(quán)，構(gòu)造無向完全圖； 3 ） 生成最大權(quán)張成樹； 4 ） 轉(zhuǎn)換無向的最大權(quán)張成樹為有向樹； 5 ） 從類別變量向各屬性節(jié)點(diǎn)引一條有向變，生成 T AN模型。e)。 它的主要作用是： 1）通過對(duì)檢索結(jié)果的聚類，將檢索到的大量網(wǎng)頁(yè)以一定的類別提供給用戶，使用戶能快速定位期望的目標(biāo)； 2）自動(dòng)生成分類目錄； 3）通過相似網(wǎng)頁(yè)的歸并，便于分析這些網(wǎng)頁(yè)的共性。接著利用簡(jiǎn)單貝葉斯模型，結(jié)合前一階段的知識(shí)，完成對(duì)未含類主題變量的文檔作標(biāo)注。 2022/2/9 數(shù)據(jù)處理與智能決策 87 最大化似然函數(shù) 目的在于估計(jì)下面的分布參數(shù) 6 貝葉斯?jié)撛谡Z義模型 (50) 2022/2/9 數(shù)據(jù)處理與智能決策 88 算法描述： 已知：文檔集 求劃分： )(。|()。 )。,|(),()。 x 表示隨機(jī)向量可能的取值 e 表示 m維向量的一個(gè)取值 My|x 是條件概率p(y|x)的似然矩陣 p(y1|x1) p(y2|x1) . . . p(yn|x1) p(y1|x2) p(y2|x2) . . . p(yn|x2) . . . . . . . . . p(y1|xm) p(y2|xm) . . . p(yn|xm) y = x Bel (x) = p(x|e) 表示隨機(jī)向量的后驗(yàn)； f(x) g(x) 表示向量的叉積 f(x) ? g(x)表示向量的點(diǎn)積 ? 是標(biāo)準(zhǔn)化常量 2022/2/9 數(shù)據(jù)處理與智能決策 111 概率的雙向傳播 e+ e X Y Z ?(e+) ?(x) ?(y) ?(y) ?(z) ?(e) 每個(gè)節(jié)點(diǎn)向兒子節(jié)點(diǎn)發(fā)送 pi 消息 向父節(jié)點(diǎn)發(fā)送 lambda消息 Bel(Y) = p(y|e+, e) = ? ?(y)T ?(y) 其中 ?(y) = p(y|e+), 先驗(yàn)證據(jù) ?(y) = p(e|y), 似然證據(jù) ?(y) = ?x p(y|x, e+) p(x| e+) = ?x p(y|x) ?(x) = ?(x) ? My|x ?(y) = ?z p(e|y, z) p(z| y) = ?z p(e|z) p(z| y) = ?z ?(z) p(z| y) = Mz|y ? ?(z) 2022/2/9 數(shù)據(jù)處理與智能決策 112 傳播算法 ? 對(duì)每個(gè)節(jié)點(diǎn)引入證據(jù)時(shí)，產(chǎn)生 : ? 沿著弧的方向傳播一組 “?” 消息 ? 逆著弧的方向傳播一組 “?” 消息 ? 對(duì)接收 “ ?” or “?” 消息的每個(gè)節(jié)點(diǎn) : ? 節(jié)點(diǎn)修正它的 “?”或 “ ?”， 并發(fā)送到網(wǎng)絡(luò)中 ? 使用修正的 “?”或 “ ?” ，更改結(jié)點(diǎn)的信任函數(shù) BEL T BEL(t) ?(t) ?(t) U BEL(t) ?(t) ?(t) X BEL(t) ?(t) ?(t) Y BEL(t) ?(t) ?(t) Z BEL(t) ?(t) ?(t) Mu|t Mx|u My|x Mz|y 2022/2/9 數(shù)據(jù)處理與智能決策 113 實(shí)例－描述 p(A1) = p(A2) = M B|A = M C|B = A1 A2 B1 B2 C1 C2 C3 A B C .8 .2 .1 .9 [ ] .5 .4 .1 .1 .3 .6 [ ] Ch Di A1 A2 C1 C2 C3 B1 B2 2022/2/9 數(shù)據(jù)處理與智能決策 114 實(shí)例－算子設(shè)定 A B C (1) 初始化 lambda 算子為單位向量 。 E )|( EAP網(wǎng)絡(luò) 證據(jù) 查詢 推理 )|( EAP貝葉斯推理可以在反復(fù)使用貝葉斯規(guī)則而獲得 ? ? p(B) A)p(A) | p(B p(B) B) p(A, B) | p(A 2022/2/9 數(shù)據(jù)處理與智能決策 97 推理方法概述 ? 精確推理 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是推理復(fù)雜性的主要原因； 當(dāng)前的一些精確算法是有效地，能夠解決現(xiàn)實(shí)中的大部分問題 由于對(duì)知識(shí)的認(rèn)知程度，精確推理還存在一些問題 ? 近似推理 證據(jù)的低似然性和函數(shù)關(guān)系 是近似推理中復(fù)雜性的主要原因 NP Hard 2022/2/9 數(shù)據(jù)處理與智能決策 98 影響推理的因素 ? 網(wǎng)絡(luò)結(jié)構(gòu)的特征 ? 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) ? 網(wǎng)絡(luò)的大小 ? 網(wǎng)絡(luò)中變量的類型（離散、連續(xù)） ? 變量的分布?jí)? ? 相關(guān)查詢的特征 ? 任務(wù) ? 查詢類型 （批處理、異步執(zhí)行） ? 可用的計(jì)算資源（嵌入式系統(tǒng)、并行處理） ? 相關(guān)證據(jù)的特征 ? 證據(jù)的特征 2022/2/9 數(shù)據(jù)處理與智能決策 99 查詢的任務(wù)類型 ? 預(yù)測(cè) 對(duì)給定的模型，將要發(fā)生什么 ? 給定證據(jù)下的后驗(yàn)計(jì)算 ? 所有的邊界后驗(yàn) ? 指定的邊界后驗(yàn) ? 指定的聯(lián)合條件查詢 ? 最可能的假設(shè) 一個(gè)最可能的 n 個(gè)最可能的 ? 決策策略 2022/2/9 數(shù)據(jù)處理與智能決策 100 醫(yī)療診斷例子 T u b e r c u l o s i sP r e s e n tA b s e n t1 . 0 49 9 . 0X R a y R e s u l tA b n o r m a lN o r m a l1 1 . 08 9 . 0T u b e r c u l o s i s o r C a n c e rT r u eF a l s e6 . 4 89 3 . 5L u n g C a n c e rP r e s e n tA b s e n t5 . 5 09 4 . 5D y s p n e aP r e s e n tA b s e n t4 3 . 65 6 . 4B r o n c h i t i sP r e s e n tA b s e n t4 5 . 05 5 . 0V i s i t T o A s i aV i s i tN o V i s i t1 . 0 09 9 . 0S m o k i n gS m o k e rN o n S m o k e r5 0 . 05 0 . 0? 貝葉斯推理中非條件分布和邊界分布是常見的查詢模式 ? 一個(gè)節(jié)點(diǎn)的邊界分布也稱為該節(jié)點(diǎn)的信任函數(shù) 2022/2/9 數(shù)據(jù)處理與智能決策 101 推理過程中的信任傳播 T u b e r c u l o s i sP r e s e n tA b s e n t5 . 0 09 5 . 0X R a y R e s u l tA b n o r m a lN o r m a l1 4 . 58 5 . 5T u b e r c u l o s i s o r C a n c e rT r u eF a l s e1 0 . 28 9 . 8L u n g C a n c e rP r e s e n tA b s e n t5 . 5 09 4 . 5D y s p n e aP r e s e n tA b s e n t4 5 . 05 5 . 0B r o n c h i t i sP r e s e n tA b s e n t4 5 . 05 5 . 0V i s i t T o A s i aV i s i tN o V i s i t 1 0 0 0S m o k i n gS m o k e rN o n S m o k e r5 0 . 05 0 . 02022/2/9 數(shù)據(jù)處理與智能決策 102 推理算法 ? 精確推理 ? 聯(lián)合概率計(jì)算 ? Na239。 )。, 39。|()。具體地說，對(duì)任意矩陣 Nm n，由線性代數(shù)的知識(shí)可知，它可分解為下面的形式： ?? TVUN其中， U、 V是正交陣 (UUT=VVT=I )； ?= diag(a1,a2,…,ak,…,av) (a1,a2,…,a k為 N的奇異值 )是對(duì)角陣。 2022/2/9 數(shù)據(jù)處理與智能決策 82 6 貝葉斯?jié)撛谡Z義模型 Kamal Nigam 等人提出從帶有類別標(biāo)注和不帶有類別標(biāo)注的混合文檔中分類 Web網(wǎng)頁(yè)，它只需要部分帶有類別標(biāo)注的訓(xùn)練樣本，結(jié)合未標(biāo)注樣本含有的知識(shí)來學(xué)習(xí)貝葉斯分類器。網(wǎng)上信息的分類目錄組織是提高檢索效率和檢索精度的有效途徑，如在利用搜索引擎對(duì)網(wǎng)頁(yè)數(shù)據(jù)進(jìn)行檢索時(shí)，如能提供查詢的類別信息，必然會(huì)縮小與限制檢索范圍，從而提高查準(zhǔn)率，同時(shí)，分類可以提供信息的良好組織結(jié)構(gòu)，便于用戶進(jìn)行瀏覽和過濾信息。 Remove(S,UL)。 2）對(duì)每一節(jié)點(diǎn)對(duì)，計(jì)算它們的互信息，并將互信息大于某一域值的節(jié)點(diǎn)對(duì)按互信息值的大小順序加入到 S中； 3）從 S中取出第一個(gè)點(diǎn)對(duì)，并從 S中刪除這個(gè)元素，把該點(diǎn)對(duì)加入到邊集A中； 4） 從 S中剩余的點(diǎn)對(duì)中，取出第一個(gè)點(diǎn)對(duì)，如果這兩各界點(diǎn)之間不存在開放路徑，再把該點(diǎn)對(duì)加入 A到中，否則加入到 R中； 5）重復(fù) 4),直到 S為空； 6）從 R中取出第一個(gè)點(diǎn)對(duì)； 7）找出該點(diǎn)對(duì)的某一塊集，在該子集上做獨(dú)立性檢驗(yàn)，如果該點(diǎn)對(duì)的兩個(gè)節(jié)點(diǎn)，仍然相互依賴，則加入到 A中； 8） 重復(fù) 6),直到 R為空； 9） 對(duì) A中的每一條邊，如果除這條邊外，仍舊含有開放路徑，則從 A中臨時(shí)移出，并在相應(yīng)的塊集上作獨(dú)立性測(cè)試，如果仍然相關(guān)，則將其返回到 A中，否則從 A中刪除這條邊。 （ 3）用理想值替換（ 1）中的缺項(xiàng)。 將樣本 x1,x2,…, xn的聯(lián)合分布密度p(x1,x2,…, xn 。 對(duì)連續(xù)型隨機(jī)變量 x， 它的概率密度函數(shù)為 p(x)， 若積分 H(x)= ∫p(x)lnp(x)dx 有意義，稱它為 連續(xù)型隨機(jī)變量的熵 。 主觀的方法 是 借助人的經(jīng)驗(yàn)、專家的知識(shí)等來指定其先驗(yàn)概率 。 ? AdaBoost 可以用來鑒別異常 。 這個(gè)過程重復(fù) T次。 簡(jiǎn)單貝葉斯模型假定特征向量的各分量間相對(duì)于決策變量是相對(duì)獨(dú)立的，也就是說 各分量獨(dú)立地作用于決策變量 。 貝葉斯公式也叫 后驗(yàn)概率公式 ， 亦叫 逆概率公式 ， 其用途很廣 。 2022/2/9 數(shù)據(jù)處理與智能決策 21 2 貝葉斯 概率基礎(chǔ) (4)全概率公式 。B)＝ P(B)B)或 P(B)＝ P(B 隨機(jī)試驗(yàn)在完全 相同的條件 下，可能出現(xiàn) 不同的結(jié)果 ，但所有可能結(jié)果的范圍是 可以估計(jì) 的，即隨機(jī)試驗(yàn)的結(jié)果具有 不確定性和 可預(yù)計(jì)性 。 ⑶計(jì)算后驗(yàn)分布密度，做出對(duì) 未知參數(shù)的推斷。并且出現(xiàn)了專門研究貝葉斯理論的組織和學(xué)術(shù)刊物International Society Bayesian Analysis。但由于當(dāng)時(shí)貝葉斯方法在