【正文】 E與 L在 S條件下獨(dú)立 ， 所以 P(E|S,C,L) ＝ P(E|S,C), L與 C在 S, E條件下獨(dú)立 ， 所以 P(L|S,C)= P(L|S) C與 S在 E條件下獨(dú)立 ， 所以 P(C|S)=P(C) ? 以上三條等式的正確性 ， 可以從貝葉斯網(wǎng)的條件獨(dú)立屬性：每個(gè)變量與它在圖中的非繼承節(jié)點(diǎn)在概率上是獨(dú)立的推出 。 ? 條件概率的引入使得計(jì)算較之全連接網(wǎng)絡(luò)有了大大的簡化。 – 節(jié)點(diǎn)和節(jié)點(diǎn)之間的條件概率表 （ Conditional Probability Table, CPT） ， 也就是一系列的概率值 ， 表示了局部條件概率分布 。 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ 因果關(guān)系圖例 ） 其中， 節(jié)點(diǎn) S， C是節(jié)點(diǎn)L和 E的父節(jié)點(diǎn)或稱雙親節(jié)點(diǎn)，同時(shí)， L， E也稱為是 S和 C的子節(jié)點(diǎn)或稱后代節(jié)點(diǎn)。 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ 因果關(guān)系網(wǎng)絡(luò) ） 假設(shè)： ? 命題 S(smoker)：該患者是一個(gè)吸煙者 ? 命題 C(coal Miner)：該患者是一個(gè)煤礦礦井工人 ? 命題 L(lung Cancer)：他患了肺癌 ? 命題 E(emphysema)：他患了肺氣腫 ? 由專家給定的假設(shè)可知，命題 S對命題 L和命題 E有因果影響，而 C對 E也有因果影響。 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ 事件的 獨(dú) 立性 ） ? 獨(dú)立：如果 X與 Y相互獨(dú)立，則 P(X,Y) = P(X)P(Y) P(X|Y) = P(X) ? 條件獨(dú)立：如果在給定 Z的條件下， X與Y相互獨(dú)立，則 P(X|Y, Z) = P(X|Z) 實(shí)際中，條件獨(dú)立比完全獨(dú)立更重要 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ 聯(lián)合概率 ） ? 聯(lián)合概率： P(X1, X2, …, X N) – 二值，則有 2N可能的值，其中 2N1個(gè)獨(dú)立。 ? 貝葉斯網(wǎng)絡(luò)方法的不確定性表示基本上是保持了概率的表示方式，可信度計(jì)算也是概率計(jì)算方法，只是在實(shí)現(xiàn)時(shí)，各具體系統(tǒng)根據(jù)應(yīng)用背景的需要采用各種各樣的近似計(jì)算方法。 基于 貝葉斯 方法的 貝葉斯網(wǎng)絡(luò) 是一種適應(yīng)性很廣的手段和工具 ， 具有堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ) 。P(AB)稱為 A與 B的聯(lián)合概率 。 ABBA ?? ?BAAB ? )()( CBACBA ???? ?)()( BCACAB ? )()()( BCACCB? ? ))(() CBCACAB ??? ?iniini AA ~)(~ 11 ?? ? ?? iniini AA ~)(~ 11 ?? ? ?? 《 人工智能原理 》 第五章 不確定性推理 概率論基礎(chǔ) （ 概率定義 ） ? 定義： 設(shè) Ω 為一個(gè)隨機(jī)實(shí)驗(yàn)的樣本空間 ，對 Ω 上的任意事件 A， 規(guī)定一個(gè)實(shí)數(shù)與之對應(yīng) ， 記為 P(A)， 滿足以下三條基本性質(zhì) ， 稱為事件 A發(fā)生的概率： – 若二事件 AB互斥 ， 即 ， 則 ? 以上三條基本規(guī)定是符合常識的 。 – 并 ：記 C=―A與 B中至少有一個(gè)發(fā)生 ” ， 稱為事件 A與 B的并 ， C={ω|ω∈ A或 ω∈ B}， 記作 。 – 互斥 ：若 A與 B不能同時(shí)發(fā)生 ， 則稱 A與 B互斥 ， 記作AB=φ – 對立： 若 A與 B互斥 ， 且必有一個(gè)發(fā)生 ， 則稱 A與 B對立 ，記作或 ， 又稱 A為 B的 余事件 ， 或 B為 A的 余事件 。 ? 隨機(jī)事件 ：隨機(jī)事件是一個(gè)隨機(jī)實(shí)驗(yàn)的一些可能結(jié)果的集合，是樣本空間的一個(gè)子集。人工智能所討論的不確定性現(xiàn)象，雖然不完全是隨機(jī)的過程，但是實(shí)踐證明，采用概率論的思想方法考慮能夠得到較好的結(jié)果。 前一過程決定信任什么 ，后一過程決定對它的信任程度 。 《 人工智能原理 》 第五章 不確定性推理 概述 分類（ 2） 不確定推理方法：工程方法 、 控制方法和并行確定性法 。 傳統(tǒng)的有基于概率理論的貝葉斯網(wǎng)絡(luò)等 。 如： f（ B， A） 可理解為當(dāng)前提 A為真時(shí)結(jié)論 B為真的一種影響程度 ， C（ A） 可理解為 A為真的程度 。 – 計(jì)算問題： 不確定性的傳播和更新 。 – 很多原因?qū)е峦唤Y(jié)果 – 推理所需的信息不完備 – 背景知識不足 – 信息描述模糊 – 信息中含有噪聲 – 規(guī)劃是模糊的 – 推理能力不足 – 解題方案不唯一 在人類的知識和思維行為中，精確性只是相對的，不精確性才是絕對的。知識工程需要各種適應(yīng)不同類的不精確性特點(diǎn)的不精確性知識描述方法和推理方法 。 也是獲取新信息的過程 。 特別關(guān)心的是 f（ B， A） 的值： 1） A(T) → B(T), f（ B， A） =? 2） A(T) → B(F), f（ B， A） =? 3） B 獨(dú)立于 A， f（ B， A） =? 對 C（ A） 關(guān)心的是： 1） A為 TRUE， C（ A） ＝ ？ 2） A為 FALSE, C（ A） ＝ ？ T： True， F： False 《 人工智能原理 》 第五章 不確定性推理 概述 分類（ 1） 不確定性推理方法可分為形式化方法和非形式化方法 。 新計(jì)算法認(rèn)為概率法不足以描述不確定性 ， 從而出現(xiàn)了證據(jù)理論 （ 也叫 Dempster－Shafter， DS方法 ） ， 確定性方法 （ CF法 ） 以及模糊邏輯方法 。 ? 工程法是將問題簡化為忽略哪些不確定性因素 。 《 人工智能原理 》 第五章 不確定性推理 第五章 不確定性推理 ? 概述 ? 概率論基礎(chǔ) ? Bayes網(wǎng)絡(luò) ? 主觀 Bayes方法 ? 確定性方法 ? 證據(jù)理論 《 人工智能原理 》 第五章 不確定性推理 第五章 不確定性推理 ? 概述 ? 概率論基礎(chǔ) ? Bayes網(wǎng)絡(luò) ? 主觀 Bayes方法 ? 確定性方法 ? 證據(jù)理論 《 人工智能原理 》 第五章 不確定性推理 概率論基礎(chǔ) ? 概率論是研究隨機(jī)現(xiàn)象中數(shù)量規(guī)律的科學(xué)。在這節(jié)中我們簡單給出概率論的基本概念和貝葉斯定理。常用大寫字母 A,B,C,… 表示。 ? 任意兩個(gè)事件不一定會是上述幾種關(guān)系中的一種。 類似地用表示事件 “ n個(gè)事件 A1, A2, … An中至少有一個(gè)發(fā)生 ” 。 1)(0 ?? AP， 1)( ??P 0)( ??P )()()( BPAPBAP ??? 《 人工智能原理 》 第五章 不確定性推理 概率論基礎(chǔ) （ 概率性質(zhì) ） ? 定義 ：設(shè) {An, n=1, 2, … }為一組有限或可列無窮多個(gè)事件 ， 兩兩不相交 ， 且 ， 則稱事件族 {An, n=1, 2, … }為樣本空間 Ω的一個(gè) 完備事件族 ， 又若對任意事件 B有 BAn=An或 φ , n=1, 2, … ， 則稱 {An, n=1, 2, … }為 基本事件族 。 有聯(lián)合概率公式： ， )()()|(APABPABP ?)()|()( APABPABP ? 《 人工智能原理 》 第五章 不確定性推理 概率論基礎(chǔ) （條件 概率性質(zhì) ） ? ， ? 若 ， 則 ? 乘法公式： ? 全概率公式：設(shè) A1， A2， … An互不相交 ， ， 且 ， 則對于任意事件 A有 ， 1)|(0 ?? ABP 1)|( ?? AP 0(P ? ??21 BB )|()|()|( 2121 ABPABPABBP ??? )|()()( BPAPAB ? )...|()...|()|()()...(12121312121 ?? nnn AAAAPAAAPAAPAPAAAP ???i iA niAP i ,...,2,1,0)( ?? ?? i ii AAPAPA )|()()( 《 人工智能原理 》 第五章 不確定性推理 概率論基礎(chǔ) （ 貝葉斯定理 ） ， ? 設(shè) A， B1， B2， … ， Bn為一些事件 ，P(A)0， B1， B2， … ， Bn互不相交 ，P(Bi)0, i=1, 2, … , n， 且 ， 則對于 k=1, 2, … , n， ? 貝葉斯公式容易由條件概率的定義，乘法公式和全概率公式得到。 在綜合先驗(yàn)信息 （ 領(lǐng)域知識 ） 和數(shù)據(jù)樣本信息的前提下 ， 還可避免只使用先驗(yàn)信息可能帶來的主觀偏見 。推理過程稱為概率推理。 不是二值哪？ ? 如果相互獨(dú)立： P(X1, X2, …, X N) = P(X1) P(X2) …P(X N) ? 條件概率： P(X1, X2, …, X N) = P(X1|X2, …, X N) P(X2, …, X N) 迭代表示： P(X1, X2, …, X N) = P(X1) P(X2| X1) P(X3| X2X1)…P(X N|XN1, …, X 1) = P(XN) P(XN1| XN) P(XN2| XN1XN)…P(X 1|X2, …, X N) 實(shí)際應(yīng)用中就是利用條件獨(dú)立性的性質(zhì)簡化網(wǎng)絡(luò)復(fù)雜性的。命題之間的關(guān)系可以描繪成因果關(guān)系網(wǎng)。 S C E L 因果關(guān)系圖例 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ 貝葉斯網(wǎng)絡(luò) ） ? 貝葉斯網(wǎng)就是一個(gè)在弧的連接關(guān)系上加入連接強(qiáng)度的因果關(guān)系網(wǎng)絡(luò) 。P(node|parents) 。 ? CPT表相對比較容易得到。 同樣 ， 從后面給出的 D分離的定義的特性中也可以得到相同的結(jié)論 。 ? 如果給定原因 S后， L并不能告訴我們有關(guān) E的更多事情。 S C E L P(S)= P(C)= P(E|S,C)= 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ D分離 串行 ） ? Linear 串行連接中，事件 X通過事件 Z影響事件 Y，反之事件 Y也是通過事件 Z影響事件 X。 X Z Y 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ D分離 (分叉連接 )） Diverging ? 如果，父節(jié)點(diǎn) Z是已知的，沒有更多的信息能夠通過 Z影響到所有子節(jié)點(diǎn)。 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ D分離 (匯集連接 )） 匯集 (Converging)略有不同 ? 如果不從父節(jié)點(diǎn)得到推斷，子節(jié)點(diǎn) Z就一無所知，那么，父節(jié)點(diǎn)是相互獨(dú)立的，它們之間沒有相互影響?？傊绻庸?jié)點(diǎn)有了變化，或子節(jié)點(diǎn)的后代節(jié)點(diǎn)發(fā)生變化，信息是可以通過匯集連接傳播的。 L M e 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ D分離 (定義 )） ? 對于給定的結(jié)點(diǎn)集 ε ， 如果對貝葉斯網(wǎng)中的結(jié)點(diǎn) Vi和 Vj之間的每個(gè)無向路徑 （ 即不考慮 DAG圖中弧的方向性的路徑 ） ， 在路徑上都有某個(gè)結(jié)點(diǎn) Vb， 如果有屬性： – Vb在 ε 中 ， 且路徑上的兩條弧都以 Vb為尾 （ 即弧在 Vb處開始 （ 出發(fā) ） ，分叉連接 ） – Vb在 ε 中 ， 路徑上的一條弧以 Vb為頭 ， 一條以 Vb為尾 （ 串行連接 ） – Vb和它的任何后繼都不在 ε 中 ， 路徑上的兩條弧都以 Vb為頭 （ 即弧在Vb處結(jié)束 ， 匯集連接 ， 但沒有后代節(jié)點(diǎn) ） 則稱 Vi和 Vj 被 Vb結(jié)點(diǎn)阻塞 ?？梢蕴岢鰡栴}： ? P(問題 |證據(jù) )， 如： P(吸煙 |肺癌） – 進(jìn)行概率推理 – 與謂詞邏輯有相似之處 。 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ 推理續(xù) ） ? 貝葉斯網(wǎng)絡(luò)通常使用因果或診斷規(guī)則與推理 – 因果規(guī)則： X Cause Y with some probability – 診斷規(guī)則 ： Y is evidence of X with some probability – 因果推理： Given cause C, determine P(Query|C) – 診斷推理： Given evidence E, determine P(Query|E) 《 人工智能原理 》 第五章 不確定性推理 貝葉斯網(wǎng)絡(luò) （ 推理續(xù) ） ? 推理需求：