【正文】
貝葉斯網(wǎng)絡(luò)初步 內(nèi)容提綱 ?何謂貝葉斯網(wǎng)絡(luò)? ?貝葉斯網(wǎng)絡(luò)的語義 ?條件分布的有效表達(dá) ?貝葉斯網(wǎng)絡(luò)中的精確推理 ?貝葉斯網(wǎng)絡(luò)中的近似推理 ?課后習(xí)題、編程實現(xiàn)及研讀論文 何謂貝葉斯網(wǎng)絡(luò)? A. 貝葉斯網(wǎng)絡(luò)的由來 B. 貝葉斯網(wǎng)絡(luò)的定義 C. 貝葉斯網(wǎng)絡(luò)的別名 D. 獨立和條件獨立 E. 貝葉斯網(wǎng)絡(luò)示例 ―Above all else, guard your heart, for it is the wellspring of life.‖ from Proverbs 4:23 NIV A. 貝葉斯網(wǎng)絡(luò)的由來 ?全聯(lián)合概率計算復(fù)雜性十分巨大 ?樸素貝葉斯太過簡單 ?現(xiàn)實需要一種自然 、 有效的方式來捕捉和推理 —— 不確定性知識 ?變量之間的獨立性和條件獨立性可大大減少為了定義全聯(lián)合概率分布所需的概率數(shù)目 B. 貝葉斯網(wǎng)絡(luò)的定義 ? 是一個有向無環(huán)圖 (DAG) ? 隨機(jī)變量集組成網(wǎng)絡(luò)節(jié)點,變量可離散或連續(xù) ? 一個連接節(jié)點對的有向邊或箭頭集合 ? 每節(jié)點 Xi 都 有一 個 條件 概率 分布 表 :P(Xi|Parents(Xi)), 量化其父節(jié)點對該節(jié)點的影響 C. 貝葉斯網(wǎng)絡(luò)的別名 ?信念網(wǎng) (Belief Network) ?概率網(wǎng)絡(luò) (Probability Network) ?因果網(wǎng)絡(luò) (Causal Network) ?知識圖 (Knowledge Map) ?圖模型 (Graphical Model)或概率圖模型 (PGM) ?決策網(wǎng)絡(luò) (Decision Network) ?影響圖 (Influence Diagram) D. 獨立和條件獨立 Weather Cavity Catch Toothache ? Weather和其它 3個變量相互獨立 ? 給定 Cavity后, Toothache和 Catch條件獨立 E. 貝葉斯網(wǎng)絡(luò)示例 Burglary Earthquake MaryCalls JohnCalls Alarm B E P(A) t t t f f t f f A P(J) t f A P(M) t f P(B) P(E) 貝葉斯網(wǎng)絡(luò)的語義 ?貝葉斯網(wǎng)絡(luò)的兩種含義 ?對聯(lián)合概率分布的表示 — 構(gòu)造網(wǎng)絡(luò) ?對條件依賴性語句集合的編碼 — 設(shè)計推理過程 ?貝葉斯網(wǎng)絡(luò)的語義 P(x1,..., xn) = P(x1|parent(x1)) ... P(xn|parent(xn)) 貝葉斯網(wǎng)絡(luò)的語義公式計算示例: ?試計算:報警器響了,但既沒有盜賊闖入,也沒有發(fā)生地震,同時 John和 Mary都給你打電話的概率。 ?解: P(j,m,a,~b,~e) = P(j|a)P(m|a)P(a|~b,~e) P(~b) P(~e) = = = % 貝葉斯網(wǎng)絡(luò)的特性: ?作為對域的一種完備而無冗余的表示,貝葉斯網(wǎng)絡(luò)比全聯(lián)合概率分布緊湊得多 ? BN的緊湊性是 局部結(jié)構(gòu)化 (Locally structured, 也稱 稀疏 , Sparse)系統(tǒng)一個非常普遍特性的實例 ? BN中每個節(jié)點只與數(shù)量有限的其它節(jié)點發(fā)生 直接的 相互作用 ?假設(shè)節(jié)點數(shù) n=30, 每節(jié)點有 5個父節(jié)點,則BN需 30x25=960個數(shù)據(jù),而全聯(lián)合概率分布需要 230= 10億個! 貝葉斯網(wǎng)絡(luò)的構(gòu)造原則: ?首先,添加“ 根本原因 ”節(jié)點 ?然后,加入受它們 直接影響的變量 ?依次類推,直到 葉節(jié)點 ,即對其它變量沒有直接因果影響的節(jié)點 ?兩節(jié)點間的有向邊的取舍原則:更高精度概率的重要性與指定額外信息的代價的折衷 ?“因果模型”比“診斷模型”需要更少的數(shù)據(jù),且這些數(shù)據(jù)也更容易得到 貝葉斯網(wǎng)絡(luò)中的條件獨立關(guān)系: ?給定父節(jié)點,一個節(jié)點與它的 非后代節(jié)點 是條件獨立的 ?給定一個節(jié)點的父節(jié)點、子節(jié)點以及子節(jié)點的父節(jié)點 —— 馬爾可夫覆蓋 (Markov blanket),這個節(jié)點和網(wǎng)絡(luò)中 的所有其它節(jié)點是條件獨立的 ―But his delight is in the law of the LORD, and on