【正文】 ???)(0。1 ijzz kjki ???M步： ||||1))((|| 1ZDcdcIDi iic j ???? ? ??? ??? ???????mkDi jikiDi jitijcw cdcIwdncdcIwdnjt1||10||1| ))((),())((),(???E步 : 似然 函數(shù) 7 半監(jiān)督 文本 挖掘算法 (61a) 2022/2/9 數(shù)據(jù)處理與智能決策 95 試驗結果 1000 足球類文檔 876 特征詞 050100150200250300350AodongBeijingg...TaishanXiamenxi...HaishiWuhaiTsingdaoShenzhen...JiaANational...JiaBYijiaYingchaoDejiaWorldcup14 Latent variables7 Latent variables 7 半監(jiān)督 文本 挖掘算法 2022/2/9 數(shù)據(jù)處理與智能決策 96 貝葉斯網(wǎng)中的證據(jù)推理 目的：通過聯(lián)合概率分布公式，在給定的網(wǎng)絡結構 和已知證據(jù)下，計算某一事件的發(fā)生的概率。 E )|( EAP網(wǎng)絡 證據(jù) 查詢 推理 )|( EAP貝葉斯推理可以在反復使用貝葉斯規(guī)則而獲得 ? ? p(B) A)p(A) | p(B p(B) B) p(A, B) | p(A 2022/2/9 數(shù)據(jù)處理與智能決策 97 推理方法概述 ? 精確推理 網(wǎng)絡的拓撲結構是推理復雜性的主要原因； 當前的一些精確算法是有效地，能夠解決現(xiàn)實中的大部分問題 由于對知識的認知程度，精確推理還存在一些問題 ? 近似推理 證據(jù)的低似然性和函數(shù)關系 是近似推理中復雜性的主要原因 NP Hard 2022/2/9 數(shù)據(jù)處理與智能決策 98 影響推理的因素 ? 網(wǎng)絡結構的特征 ? 網(wǎng)絡的拓撲結構 ? 網(wǎng)絡的大小 ? 網(wǎng)絡中變量的類型（離散、連續(xù)） ? 變量的分布墑 ? 相關查詢的特征 ? 任務 ? 查詢類型 （批處理、異步執(zhí)行） ? 可用的計算資源（嵌入式系統(tǒng)、并行處理） ? 相關證據(jù)的特征 ? 證據(jù)的特征 2022/2/9 數(shù)據(jù)處理與智能決策 99 查詢的任務類型 ? 預測 對給定的模型，將要發(fā)生什么 ? 給定證據(jù)下的后驗計算 ? 所有的邊界后驗 ? 指定的邊界后驗 ? 指定的聯(lián)合條件查詢 ? 最可能的假設 一個最可能的 n 個最可能的 ? 決策策略 2022/2/9 數(shù)據(jù)處理與智能決策 100 醫(yī)療診斷例子 T u b e r c u l o s i sP r e s e n tA b s e n t1 . 0 49 9 . 0X R a y R e s u l tA b n o r m a lN o r m a l1 1 . 08 9 . 0T u b e r c u l o s i s o r C a n c e rT r u eF a l s e6 . 4 89 3 . 5L u n g C a n c e rP r e s e n tA b s e n t5 . 5 09 4 . 5D y s p n e aP r e s e n tA b s e n t4 3 . 65 6 . 4B r o n c h i t i sP r e s e n tA b s e n t4 5 . 05 5 . 0V i s i t T o A s i aV i s i tN o V i s i t1 . 0 09 9 . 0S m o k i n gS m o k e rN o n S m o k e r5 0 . 05 0 . 0? 貝葉斯推理中非條件分布和邊界分布是常見的查詢模式 ? 一個節(jié)點的邊界分布也稱為該節(jié)點的信任函數(shù) 2022/2/9 數(shù)據(jù)處理與智能決策 101 推理過程中的信任傳播 T u b e r c u l o s i sP r e s e n tA b s e n t5 . 0 09 5 . 0X R a y R e s u l tA b n o r m a lN o r m a l1 4 . 58 5 . 5T u b e r c u l o s i s o r C a n c e rT r u eF a l s e1 0 . 28 9 . 8L u n g C a n c e rP r e s e n tA b s e n t5 . 5 09 4 . 5D y s p n e aP r e s e n tA b s e n t4 5 . 05 5 . 0B r o n c h i t i sP r e s e n tA b s e n t4 5 . 05 5 . 0V i s i t T o A s i aV i s i tN o V i s i t 1 0 0 0S m o k i n gS m o k e rN o n S m o k e r5 0 . 05 0 . 02022/2/9 數(shù)據(jù)處理與智能決策 102 推理算法 ? 精確推理 ? 聯(lián)合概率計算 ? Na239。ve Bayesian ? 圖約簡算法 ? Polytree算法 ? 近似推理 ? 前向模擬推理 ? 隨機模擬推理 The algorithm’s purpose is “… fusing and propagating the impact of new evidence and beliefs through Bayesian works so that each proposition eventually will be assigned a certainty measure consistent with the axioms of probability theory.” (Pearl, 1988, p 143) 2022/2/9 數(shù)據(jù)處理與智能決策 103 精確推理－計算聯(lián)合概率 任何查詢都可以通過聯(lián)合概率回答 步驟： ?計算聯(lián)合概率 P(AB)=P(A)*P(B|A) ?邊界化不在查詢中的變量 P(B)=ΣAP(AB) ?效率低 A B 2022/2/9 數(shù)據(jù)處理與智能決策 104 圖約簡算法－一般原理 ? 基本觀點 任何概率查詢可以表示成網(wǎng)絡的子網(wǎng)，推理的目的是把網(wǎng)絡分解成幾個子網(wǎng) ? 三個基本操作 ? 擬轉(zhuǎn)弧操作（ Arc Reversal）－ 貝葉斯公式 ? 孤寡點移出 (Barren node removal)－ 求和公式 ? 值節(jié)點歸并 (Merge with Value node)－ 期望最大化 2022/2/9 數(shù)據(jù)處理與智能決策 105 約簡算法－擬轉(zhuǎn)弧操作 X1 X3 X2 X1 X3 X2 X1 X3 X2 X1 X3 X2 p(x1, x2, x3) = p(x3 | x1) p(x2 | x1) p(x1) p(x1, x2, x3) = p(x3 | x2, x1) p(x2) p( x1) p(x1, x2, x3) = p(x3 | x1) p(x2 , x1) = p(x3 | x1) p(x1 | x2) p( x2) p(x1, x2, x3) = p(x3, x2 | x1) p( x1) = p(x2 | x3, x1) p(x3 | x1) p( x1) 2022/2/9 數(shù)據(jù)處理與智能決策 106 約簡算法－孤寡點移出 孤寡點－沒有孩子的節(jié)點 2022/2/9 數(shù)據(jù)處理與智能決策 107 約簡算法－值節(jié)點歸并 值節(jié)點－證據(jù)節(jié)點或賦值節(jié)點 2022/2/9 數(shù)據(jù)處理與智能決策 108 Polytree算法－介紹 ? 該算法由 Pearl 于 1982年首次提出 ? 基本觀點 計算邊界后驗的消息傳遞機制 Lambda 算子：消息向上傳向父親 pi 算子：消息向下傳向孩子 2022/2/9 數(shù)據(jù)處理與智能決策 109 Polytree算法－單連通網(wǎng) 定義： 在任何兩個節(jié)點之間存在且僅存在一條路徑（忽略方向） X Multiple parents and/or multiple children 2022/2/9 數(shù)據(jù)處理與智能決策 110 單連通網(wǎng)的表示 X 表示 m維隨機向量 。 x 表示隨機向量可能的取值 e 表示 m維向量的一個取值 My|x 是條件概率p(y|x)的似然矩陣 p(y1|x1) p(y2|x1) . . . p(yn|x1) p(y1|x2) p(y2|x2) . . . p(yn|x2) . . . . . . . . . p(y1|xm) p(y2|xm) . . . p(yn|xm) y = x Bel (x) = p(x|e) 表示隨機向量的后驗； f(x) g(x) 表示向量的叉積 f(x) ? g(x)表示向量的點積 ? 是標準化常量 2022/2/9 數(shù)據(jù)處理與智能決策 111 概率的雙向傳播 e+ e X Y Z ?(e+) ?(x) ?(y) ?(y) ?(z) ?(e) 每個節(jié)點向兒子節(jié)點發(fā)送 pi 消息 向父節(jié)點發(fā)送 lambda消息 Bel(Y) = p(y|e+, e) = ? ?(y)T ?(y) 其中 ?(y) = p(y|e+), 先驗證據(jù) ?(y) = p(e|y), 似然證據(jù) ?(y) = ?x p(y|x, e+) p(x| e+) = ?x p(y|x) ?(x) = ?(x) ? My|x ?(y) = ?z p(e|y, z) p(z| y) = ?z p(e|z) p(z| y) = ?z ?(z) p(z| y) = Mz|y ? ?(z) 2022/2/9 數(shù)據(jù)處理與智能決策 112 傳播算法 ? 對每個節(jié)點引入證據(jù)時，產(chǎn)生 : ? 沿著弧的方向傳播一組 “?” 消息 ? 逆著弧的方向傳播一組 “?” 消息 ? 對接收 “ ?” or “?” 消息的每個節(jié)點 : ? 節(jié)點修正它的 “?”或 “ ?”， 并發(fā)送到網(wǎng)絡中 ? 使用修正的 “?”或 “ ?” ，更改結點的信任函數(shù) BEL T BEL(t) ?(t) ?(t) U BEL(t) ?(t) ?(t) X BEL(t) ?(t) ?(t) Y BEL(t) ?(t) ?(t) Z BEL(t) ?(t) ?(t) Mu|t Mx|u My|x Mz|y 2022/2/9 數(shù)據(jù)處理與智能決策 113 實例－描述 p(A1) = p(A2) = M B|A = M C|B = A1 A2 B1 B2 C1 C2 C3 A B C .8 .2 .1 .9 [ ] .5 .4 .1 .1 .3 .6 [ ] Ch Di A1 A2 C1 C2 C3 B1 B2 2022/2/9 數(shù)據(jù)處理與智能決策 114 實例－算子設定 A B C (1) 初始化 lambda 算子為單位向量 。 Bel(A) = ? ?(A) ?(A) ?(A) Bel(A) ?(A) A1 A2 (2) ?(B) = ?(A) MB|A。 Bel(B) = ? ?(B) ?(B) ?(B) Bel(B)