【正文】
Bel(B) = ? ?(B) ?(B) ?(B) Bel(B) ?(B。 x 表示隨機(jī)向量可能的取值 e 表示 m維向量的一個(gè)取值 My|x 是條件概率p(y|x)的似然矩陣 p(y1|x1) p(y2|x1) . . . p(yn|x1) p(y1|x2) p(y2|x2) . . . p(yn|x2) . . . . . . . . . p(y1|xm) p(y2|xm) . . . p(yn|xm) y = x Bel (x) = p(x|e) 表示隨機(jī)向量的后驗(yàn); f(x) g(x) 表示向量的叉積 f(x) ? g(x)表示向量的點(diǎn)積 ? 是標(biāo)準(zhǔn)化常量 2022/2/9 數(shù)據(jù)處理與智能決策 111 概率的雙向傳播 e+ e X Y Z ?(e+) ?(x) ?(y) ?(y) ?(z) ?(e) 每個(gè)節(jié)點(diǎn)向兒子節(jié)點(diǎn)發(fā)送 pi 消息 向父節(jié)點(diǎn)發(fā)送 lambda消息 Bel(Y) = p(y|e+, e) = ? ?(y)T ?(y) 其中 ?(y) = p(y|e+), 先驗(yàn)證據(jù) ?(y) = p(e|y), 似然證據(jù) ?(y) = ?x p(y|x, e+) p(x| e+) = ?x p(y|x) ?(x) = ?(x) ? My|x ?(y) = ?z p(e|y, z) p(z| y) = ?z p(e|z) p(z| y) = ?z ?(z) p(z| y) = Mz|y ? ?(z) 2022/2/9 數(shù)據(jù)處理與智能決策 112 傳播算法 ? 對(duì)每個(gè)節(jié)點(diǎn)引入證據(jù)時(shí),產(chǎn)生 : ? 沿著弧的方向傳播一組 “?” 消息 ? 逆著弧的方向傳播一組 “?” 消息 ? 對(duì)接收 “ ?” or “?” 消息的每個(gè)節(jié)點(diǎn) : ? 節(jié)點(diǎn)修正它的 “?”或 “ ?”, 并發(fā)送到網(wǎng)絡(luò)中 ? 使用修正的 “?”或 “ ?” ,更改結(jié)點(diǎn)的信任函數(shù) BEL T BEL(t) ?(t) ?(t) U BEL(t) ?(t) ?(t) X BEL(t) ?(t) ?(t) Y BEL(t) ?(t) ?(t) Z BEL(t) ?(t) ?(t) Mu|t Mx|u My|x Mz|y 2022/2/9 數(shù)據(jù)處理與智能決策 113 實(shí)例-描述 p(A1) = p(A2) = M B|A = M C|B = A1 A2 B1 B2 C1 C2 C3 A B C .8 .2 .1 .9 [ ] .5 .4 .1 .1 .3 .6 [ ] Ch Di A1 A2 C1 C2 C3 B1 B2 2022/2/9 數(shù)據(jù)處理與智能決策 114 實(shí)例-算子設(shè)定 A B C (1) 初始化 lambda 算子為單位向量 。 E )|( EAP網(wǎng)絡(luò) 證據(jù) 查詢 推理 )|( EAP貝葉斯推理可以在反復(fù)使用貝葉斯規(guī)則而獲得 ? ? p(B) A)p(A) | p(B p(B) B) p(A, B) | p(A 2022/2/9 數(shù)據(jù)處理與智能決策 97 推理方法概述 ? 精確推理 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是推理復(fù)雜性的主要原因; 當(dāng)前的一些精確算法是有效地,能夠解決現(xiàn)實(shí)中的大部分問題 由于對(duì)知識(shí)的認(rèn)知程度,精確推理還存在一些問題 ? 近似推理 證據(jù)的低似然性和函數(shù)關(guān)系 是近似推理中復(fù)雜性的主要原因 NP Hard 2022/2/9 數(shù)據(jù)處理與智能決策 98 影響推理的因素 ? 網(wǎng)絡(luò)結(jié)構(gòu)的特征 ? 網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) ? 網(wǎng)絡(luò)的大小 ? 網(wǎng)絡(luò)中變量的類型(離散、連續(xù)) ? 變量的分布?jí)? ? 相關(guān)查詢的特征 ? 任務(wù) ? 查詢類型 (批處理、異步執(zhí)行) ? 可用的計(jì)算資源(嵌入式系統(tǒng)、并行處理) ? 相關(guān)證據(jù)的特征 ? 證據(jù)的特征 2022/2/9 數(shù)據(jù)處理與智能決策 99 查詢的任務(wù)類型 ? 預(yù)測 對(duì)給定的模型,將要發(fā)生什么 ? 給定證據(jù)下的后驗(yàn)計(jì)算 ? 所有的邊界后驗(yàn) ? 指定的邊界后驗(yàn) ? 指定的聯(lián)合條件查詢 ? 最可能的假設(shè) 一個(gè)最可能的 n 個(gè)最可能的 ? 決策策略 2022/2/9 數(shù)據(jù)處理與智能決策 100 醫(yī)療診斷例子 T u b e r c u l o s i sP r e s e n tA b s e n t1 . 0 49 9 . 0X R a y R e s u l tA b n o r m a lN o r m a l1 1 . 08 9 . 0T u b e r c u l o s i s o r C a n c e rT r u eF a l s e6 . 4 89 3 . 5L u n g C a n c e rP r e s e n tA b s e n t5 . 5 09 4 . 5D y s p n e aP r e s e n tA b s e n t4 3 . 65 6 . 4B r o n c h i t i sP r e s e n tA b s e n t4 5 . 05 5 . 0V i s i t T o A s i aV i s i tN o V i s i t1 . 0 09 9 . 0S m o k i n gS m o k e rN o n S m o k e r5 0 . 05 0 . 0? 貝葉斯推理中非條件分布和邊界分布是常見的查詢模式 ? 一個(gè)節(jié)點(diǎn)的邊界分布也稱為該節(jié)點(diǎn)的信任函數(shù) 2022/2/9 數(shù)據(jù)處理與智能決策 101 推理過程中的信任傳播 T u b e r c u l o s i sP r e s e n tA b s e n t5 . 0 09 5 . 0X R a y R e s u l tA b n o r m a lN o r m a l1 4 . 58 5 . 5T u b e r c u l o s i s o r C a n c e rT r u eF a l s e1 0 . 28 9 . 8L u n g C a n c e rP r e s e n tA b s e n t5 . 5 09 4 . 5D y s p n e aP r e s e n tA b s e n t4 5 . 05 5 . 0B r o n c h i t i sP r e s e n tA b s e n t4 5 . 05 5 . 0V i s i t T o A s i aV i s i tN o V i s i t 1 0 0 0S m o k i n gS m o k e rN o n S m o k e r5 0 . 05 0 . 02022/2/9 數(shù)據(jù)處理與智能決策 102 推理算法 ? 精確推理 ? 聯(lián)合概率計(jì)算 ? Na239。|()|(l og)( )(l og)|(DiCjjjijji cdpcpzDppDl ????)},|({m a x),|( ]1[ ?? kjkjki dcpdcp ???)(0。,|(),()|( ???7 半監(jiān)督文本挖掘算法 對(duì)含有潛在類別主題詞文檔的類別標(biāo)注 (52) (53a) (53b) (53c) 2022/2/9 數(shù)據(jù)處理與智能決策 93 圖 4是我們?cè)趯?shí)驗(yàn)過程中得到的 E M迭代次數(shù)與似然函數(shù)的值的關(guān)系。,|(),()。 )。39。,|(),()。 )。, 39。39。,|(39。|()。|()。 7 半監(jiān)督文本挖掘算法 對(duì)含有潛在類別主題詞文檔的類別標(biāo)注 2022/2/9 數(shù)據(jù)處理與智能決策 92 ?? 39。它交替地執(zhí)行 E步和 M步,以達(dá)到使似然函數(shù)值增加的目的。 2022/2/9 數(shù)據(jù)處理與智能決策 87 最大化似然函數(shù) 目的在于估計(jì)下面的分布參數(shù) 6 貝葉斯?jié)撛谡Z義模型 (50) 2022/2/9 數(shù)據(jù)處理與智能決策 88 算法描述: 已知:文檔集 求劃分: )(。具體地說,對(duì)任意矩陣 Nm n,由線性代數(shù)的知識(shí)可知,它可分解為下面的形式: ?? TVUN其中, U、 V是正交陣 (UUT=VVT=I ); ?= diag(a1,a2,…,ak,…,av) (a1,a2,…,a k為 N的奇異值 )是對(duì)角陣。 2022/2/9 數(shù)據(jù)處理與智能決策 83 6 貝葉斯?jié)撛谡Z義模型 潛在語義分析 ( Latent Semantic Analysis, LSA )的基本觀點(diǎn)是:把高維的向量空間模型( VSM)表示中的文檔映射到低維的潛在語義空間中。這種處理方法一方面克服了非監(jiān)督學(xué)習(xí)中對(duì)求解空間搜索的盲目性;另一方面它不需要對(duì)大量訓(xùn)練樣本的類別標(biāo)注,只需提供相應(yīng)的類主題變量,把網(wǎng)站管理人員從繁瑣的訓(xùn)練樣本的標(biāo)注中解脫出來,提高了網(wǎng)頁分類的自動(dòng)性。接著利用簡單貝葉斯模型,結(jié)合前一階段的知識(shí),完成對(duì)未含類主題變量的文檔作標(biāo)注。 2022/2/9 數(shù)據(jù)處理與智能決策 82 6 貝葉斯?jié)撛谡Z義模型 Kamal Nigam 等人提出從帶有類別標(biāo)注和不帶有類別標(biāo)注的混合文檔中分類 Web網(wǎng)頁,它只需要部分帶有類別標(biāo)注的訓(xùn)練樣本,結(jié)合未標(biāo)注樣本含有的知識(shí)來學(xué)習(xí)貝葉斯分類器。目前已有很多有效的算法來實(shí)現(xiàn)網(wǎng)頁的分類,如 Naive Bayesian、 SVM等。然而這些聚類算法大部分是一種無監(jiān)督學(xué)習(xí),它對(duì)解空間的搜索帶有一定的盲目性,因而聚類的結(jié)果一定程度上缺乏語義特征;同時(shí),在高維情況下,選擇合適的距離度量標(biāo)準(zhǔn)變得相當(dāng)困難。 它的主要作用是: 1)通過對(duì)檢索結(jié)果的聚類,將檢索到的大量網(wǎng)頁以一定的類別提供給用戶,使用戶能快速定位期望的目標(biāo); 2)自動(dòng)生成分類目錄; 3)通過相似網(wǎng)頁的歸并,便于分析這些網(wǎng)頁的共性。網(wǎng)上信息的分類目錄組織是提高檢索效率和檢索精度的有效途徑,如在利用搜索引擎對(duì)網(wǎng)頁數(shù)據(jù)進(jìn)行檢索時(shí),如能提供查詢的類別信息,必然會(huì)縮小與限制檢索范圍,從而提高查準(zhǔn)率,同時(shí),分類可以提供信息的良好組織結(jié)構(gòu),便于用戶進(jìn)行瀏覽和過濾信息。 2022/2/9 數(shù)據(jù)處理與智能決策 79 主動(dòng)貝葉斯網(wǎng)絡(luò)分類器 A B C D E F 精度評(píng)定 (%) 精度 召回率 A 645 6 5 0 0 0 B 140 132 0 0 0 0 C 25 2 50 0 0 0 D 5 0 2 33 1 0 E 9 0 0 3 51 0 F 17 0 2 0 1 64 A B C D E F 精度評(píng)定 (%) 精度 召回率 A 641 11 4 0 0 0 B 81 191 0 0 0 0 C 8 21 48 0 0 D 6 0 2 32 1 0 E 9 0 0 3 51 0 F 17 0 2 0 1 64 初始標(biāo)注 樣本數(shù): 96 未標(biāo) 注訓(xùn)練 樣本數(shù): 500 測試集 樣本數(shù): 1193 ALearnerByMaxMinEntropy測試結(jié)果 ALearnerByUSandCL測試結(jié)果 2022/2/9 數(shù)據(jù)處理與智能決策 80 6 貝葉斯?jié)撛谡Z義模型 隨著互聯(lián)網(wǎng)的普及,網(wǎng)上信息正在呈指數(shù)級(jí)增長趨勢。 2022/2/9 數(shù)據(jù)處理與智能決策 77