【正文】 物聯(lián)網(wǎng)系 數(shù)據(jù)處理與智能決策 解 迎 剛 物聯(lián)網(wǎng)系 Tel:13691117939 2 智慧 知識 信息 數(shù)據(jù) 智能決策 數(shù)據(jù)處理 物聯(lián)網(wǎng) 感知 為什么要進(jìn)行數(shù)據(jù)預(yù)處理、如何對數(shù)據(jù)進(jìn)行預(yù)處理 數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理的要求和方法 物聯(lián)網(wǎng)技術(shù) 物聯(lián)網(wǎng)技術(shù)推動了 智能決策的發(fā)展 專家系統(tǒng) 數(shù)據(jù)挖掘 機(jī)器學(xué)習(xí) 數(shù)據(jù)分析 數(shù)據(jù)模型 可視化 算法：統(tǒng)計方法（聚類分析）、貝葉斯判別、粗糙集、決策樹、人工神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、時間序列分析等等 數(shù)據(jù)處理與智能決策 —— 貝葉斯網(wǎng)絡(luò)（概 率 推 理） 2022/2/9 數(shù)據(jù)處理與智能決策 4 內(nèi)容提要 1 概述 2 貝葉斯概率 基礎(chǔ) 3 貝葉斯 問題的求解 4 簡單貝葉斯 學(xué)習(xí)模型 5 貝葉斯 網(wǎng)絡(luò)的建造 6 貝葉斯 潛在語義模型 7 半監(jiān)督 文本挖掘 算法 2022/2/9 數(shù)據(jù)處理與智能決策 5 1 概 述 ? 貝葉斯網(wǎng)絡(luò)是用來表示 變量間連接概率 的 圖形模式 ，它提供了一種自然的表示 因果信息的方法，用來發(fā)現(xiàn)數(shù)據(jù)間的潛在關(guān)系。在這個網(wǎng)絡(luò)中，用 節(jié)點(diǎn) 表示 變量 ， 有向邊 表示 變量間 的依賴 關(guān)系 。 ? 貝葉斯方法以其獨(dú)特的 不確定性 知識表達(dá)形式、豐富的 概率表達(dá) 能力、綜合先驗(yàn)知識的增量學(xué)習(xí) 特性等成為當(dāng)前數(shù)據(jù)挖掘眾多方法中最為引人注目的焦點(diǎn)之一。 2022/2/9 數(shù)據(jù)處理與智能決策 6 1 概 述 貝葉斯網(wǎng)絡(luò)的發(fā)展歷史 ? 貝葉斯 （ Reverend Thomas Bayes, 17021761） 學(xué)派奠基性的工作是貝葉斯的論文“ 關(guān)于幾率性問題求解的評論 ”?；蛟S是他自己感覺到它的學(xué)說還有不完善的地方，這一論文在他生前并沒有發(fā)表，而是在他死后，由他的朋友發(fā)表的。著名的數(shù)學(xué)家拉普拉斯 （ Laplace P. S.） 用貝葉斯的方法導(dǎo)出了重要的“ 相繼律 ”，貝葉斯的方法和理論逐漸被人理解和重視起來。但由于當(dāng)時貝葉斯方法在理論和實(shí)際應(yīng)用中還存在很多不完善的地方，因而在十九世紀(jì)并未被普遍接受。 2022/2/9 數(shù)據(jù)處理與智能決策 7 1 概 述 貝葉斯網(wǎng)絡(luò)的發(fā)展歷史 ? 二十世紀(jì)初，意大利的菲納特（ B. de Fiti） 以及英國的杰弗萊（ Jeffreys H.） 都對貝葉斯學(xué)派的理論作出重要的貢獻(xiàn)。第二次世界大戰(zhàn)后，瓦爾德（ Wald A.）提出了 統(tǒng)計的決策 理論，在這一理論中，貝葉斯解占有重要的地位；信息論的發(fā)展也對貝葉斯學(xué)派做出了新的貢獻(xiàn)。 1958年英國最悠久的統(tǒng)計雜志 Biometrika全文重新刊登了貝葉斯的論文， 20世紀(jì) 50年代，以羅賓斯（ Robbins H.） 為代表，提出了經(jīng)驗(yàn)貝葉斯方法和經(jīng)典方法相結(jié)合，引起統(tǒng)計界的廣泛注意，這一方法很快就顯示出它的優(yōu)點(diǎn)，成為很活躍的一個方向。 2022/2/9 數(shù)據(jù)處理與智能決策 8 1 概 述 貝葉斯網(wǎng)絡(luò)的發(fā)展歷史 ? 隨著人工智能的發(fā)展，尤其是機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等興起，為貝葉斯理論的發(fā)展和應(yīng)用提供了更為廣闊的空間。貝葉斯理論的內(nèi)涵也比以前有了很大的變化。80年代 貝葉斯網(wǎng)絡(luò) 用于專家系統(tǒng)的知識表示， 90年代進(jìn)一步研究 可學(xué)習(xí)的貝葉斯網(wǎng)絡(luò) ，用于數(shù)據(jù)采掘和機(jī)器學(xué)習(xí)。近年來，貝葉斯學(xué)習(xí)理論方面的文章更是層出不窮，內(nèi)容涵蓋了人工智能的大部分領(lǐng)域，包括因果推理、不確定性知識表達(dá)、模式識別和聚類分析等。并且出現(xiàn)了專門研究貝葉斯理論的組織和學(xué)術(shù)刊物International Society Bayesian Analysis。 2022/2/9 數(shù)據(jù)處理與智能決策 9 1 概 述 貝葉斯方法的基本觀點(diǎn) ? 貝葉斯分析方法的 特點(diǎn) 是 用概率去表示所有形式的不確定性，學(xué)習(xí)或其它形式的推理都用概率規(guī)則來實(shí)現(xiàn) 。 ? 貝葉斯 學(xué)習(xí)的結(jié)果 表示為隨機(jī)變量的概率分布，它可以解釋為我們對不同可能性的信任程度。 ? 貝葉斯學(xué)派的起點(diǎn)是貝葉斯的兩項(xiàng)工作： 貝葉斯定理 和 貝葉斯假設(shè) 。 ? 貝葉斯定理將事件的 先驗(yàn)概率 與 后驗(yàn)概率 聯(lián)系起來 。 2022/2/9 數(shù)據(jù)處理與智能決策 10 1 概 述 貝葉斯方法的基本觀點(diǎn) 假定 隨機(jī)向量 x， θ的 聯(lián)合分布密度 是 p(x, θ)， 它們的 邊際密度 分別為 p(x)、 p(θ)。 一般情況下設(shè) x是 觀測向量 ， θ是 未知參數(shù)向量 ，通過觀測向量獲得未知參數(shù)向量的估計， 貝 葉斯定理 記作： ??? ???????????dxpxpxpxpxp)|()()|()()()|()()|(π(θ) 是 θ的先驗(yàn)分布 (1) 2022/2/9 數(shù)據(jù)處理與智能決策 11 1 概 述 貝葉斯方法的基本觀點(diǎn) 貝 葉斯方法 對未知參數(shù)向量估計的一般過程 為： ⑴將 未知參數(shù)看成 隨機(jī)向量，這是 貝 葉斯方法與傳統(tǒng)的參數(shù)估計方法的最大區(qū)別。 ⑵ 根據(jù)以往對參數(shù) θ的知識，確定先驗(yàn)分布 π(θ) ， 它是 貝 葉斯方法容易引起爭議的一步，因此而受到經(jīng)典統(tǒng)計界的攻擊。 ⑶計算后驗(yàn)分布密度，做出對 未知參數(shù)的推斷。 在第 ⑵步， 如果沒有任何以往的知識來幫助確定 π(θ) ，貝 葉斯提出可以采用均勻分布作為其分布，即參數(shù)在它的變化范圍內(nèi)，取到各個值的機(jī)會是相同的， 稱這個 假定 為 貝 葉斯假設(shè) 。 2022/2/9 數(shù)據(jù)處理與智能決策 12 1 概 述 貝葉斯網(wǎng)絡(luò)的應(yīng)用領(lǐng)域 ? 輔助智能決策 ? 數(shù)據(jù)融合 ? 模式識別 ? 醫(yī)療診斷 ? 文本理解 ? 數(shù)據(jù)挖掘 1. 貝葉斯方法用于分類及回歸分析 2. 用于因果推理和不確定知識表達(dá) 3. 用于聚類模式發(fā)現(xiàn) 2022/2/9 數(shù)據(jù)處理與智能決策 13 2 貝葉斯 概率基礎(chǔ) 概率論基礎(chǔ) 概率論 是研究 隨機(jī)現(xiàn)象規(guī)律性 的數(shù)學(xué) 。 隨機(jī)現(xiàn)象 是指在相同的條件下，其出現(xiàn)的結(jié)果是不確定的現(xiàn)象。隨機(jī)現(xiàn)象 又可分為 個別隨機(jī)現(xiàn)象 和 大量的隨機(jī)現(xiàn)象。對大量的隨機(jī)現(xiàn)象進(jìn)行觀察所得到的規(guī)律性，被人們稱為 統(tǒng)計規(guī)律性 。 在統(tǒng)計上，我們習(xí)慣 把一次對現(xiàn)象的觀察、登記或?qū)嶒?yàn)叫做 一次試驗(yàn) 。 隨機(jī)性實(shí)驗(yàn) 是指對隨機(jī)現(xiàn)象的觀察。 隨機(jī)試驗(yàn)在完全 相同的條件 下，可能出現(xiàn) 不同的結(jié)果 ，但所有可能結(jié)果的范圍是 可以估計 的，即隨機(jī)試驗(yàn)的結(jié)果具有 不確定性和 可預(yù)計性 。在統(tǒng)計上，一般把 隨機(jī)實(shí)驗(yàn)的結(jié)果 ，即 隨機(jī)現(xiàn)象的具體表現(xiàn) 稱為 隨機(jī)事件 ，簡稱 事件 。 隨機(jī)事件是指試驗(yàn)中 可能出現(xiàn) ， 也 可能不出現(xiàn) 的結(jié)果。 2022/2/9 數(shù)據(jù)處理與智能決策 14 2 貝葉斯 概率基礎(chǔ) 概率論基礎(chǔ) 定義 1 統(tǒng)計概率 若在大量重復(fù)試驗(yàn)中，事件A發(fā)生的頻率穩(wěn)定地接近于一個固定的常數(shù) p， 它表明事件 A出現(xiàn)的可能性大小，則稱此常數(shù) p為事件 A發(fā)生的概率，記為 P(A), 即 p＝ P(A) (2) 可見概率就是頻率的穩(wěn)定中心。任何事件 A的概率為不大于 1的非負(fù)實(shí)數(shù)，即 0＜ P(A)＜ 1 2022/2/9 數(shù)據(jù)處理與智能決策 15 2 貝葉斯 概率基礎(chǔ) 定義 2 古典概率 我們設(shè)一種次試驗(yàn)有且僅有有限的 N個可能結(jié)果，即 N個基本事件，而 A事件包含著 K個可能結(jié)果，則稱 K/N為事件 A的概率，記為 P(A)。即 P(A)＝ K/N 定義 3 幾何概率 假設(shè) Ω是幾何型隨機(jī)試驗(yàn)的基本事件空間， F是 Ω中一切可測集的集合，則對于 F中的任意事件 A的 概率 P(A)為 A與 Ω的體積之比，即 P(A)＝ V(A)/V(Ω) (3) 2022/2/9 數(shù)據(jù)處理與智能決策 16 2 貝葉斯 概率基礎(chǔ) 定義 4 條件概率 我們把事件 B已經(jīng)出現(xiàn)的條件下，事件 A發(fā)生的概率記做為 P(A|B)。并稱為在 B出現(xiàn)的條件下 A出現(xiàn)的 條件概率 ，而稱 P(A)為 無條件概率 。 若事件 A與 B中的任一個出現(xiàn)，并不影響另一事件出現(xiàn)的概率，即當(dāng) P(A)＝ P(AB)或 P(B)＝ P(BA)時， 則稱 A與 B是相互獨(dú)立的事件 。 2022/2/9 數(shù)據(jù)處理與智能決策 17 2 貝葉斯 概率基礎(chǔ) 定理 1 加法定理 兩個不相容 (互斥 )事件之和的概率，等于兩個事件概率之和，即 P(A+B)＝ P(A)＋ P(B) 兩個互逆事件 A和 A1的概率之和為 1。即當(dāng)A+A1＝ Ω， 且 A與 A1互斥，則 P(A)＋ P(A1) ＝ 1，或常有 P(A) ＝ 1－ P(A1) 。 若 A、 B為兩任意事件，則 P(A+B)＝ P(A)＋ P(B)－ P(AB) 2022/2/9 數(shù)據(jù)處理與智能決策 18 2 貝葉斯 概率基礎(chǔ) 定理 2 乘法定理 設(shè) A、 B為兩個 不相容(互斥 )非零事件，則其乘積的概率等于 A和 B概率的乘積，即 P(AB)＝ P(A)P(B) 或 P(AB)＝ P(B) P(A) 設(shè) A、 B為兩個任意的非零事件，則其乘積的概率等于 A(或 B)的概率與在 A(或 B)出現(xiàn)的條件下 B(或 A)出現(xiàn)的條件概率的乘積。 P(AB)＝ P(A)P(B|A) 或 P(AB)＝ P(B)P(A|B) 2022/2/9 數(shù)據(jù)處理與智能決策 19 2 貝葉斯 概率基礎(chǔ) 貝葉斯概率 (1) 先驗(yàn)概率。 先驗(yàn)概率是指根據(jù)歷史的資料或主觀判斷所確定的各事件發(fā)生的概率，該類概率 沒能經(jīng)過實(shí)驗(yàn)證實(shí) ，屬于檢驗(yàn)前的概率，所以稱之為 先驗(yàn)概率 。先驗(yàn)概率一般分為兩類，一是 客觀先驗(yàn)概率 ，是指利用過去的歷史資料計算得到的概率 ；二是 主觀先驗(yàn)概率 ，是指在無歷史資料或歷史資料不全的時候，只能憑借人們的主觀經(jīng)驗(yàn)來判斷取得的概率 。 2022/2/9 數(shù)據(jù)處理與智能決策 20 2 貝葉斯 概率基礎(chǔ) (2) 后驗(yàn)概率。 后驗(yàn)概率一般是指 利用貝葉斯公式 ， 結(jié)合調(diào)查等方式 獲取了新的附加信息，對先驗(yàn)概率進(jìn)行修正后得到的更符合實(shí)際的概率。 (3) 聯(lián)合概率。 聯(lián)合概率也叫 乘法公式 ，是指兩個任意事件的乘積的概率 ，或稱之為交事件的概率 。 2022/2/9 數(shù)據(jù)處理與智能決策 21 2 貝葉斯 概率基礎(chǔ) (4)全概率公式 。 設(shè) B1,B2,…, Bn是兩兩互斥的事件，且 P(Bi)0， i =1,2,…, n， B1+B2+…,+ Bn=Ω。 另有一事件 A= AB1+AB2+…,+AB n ???niii BAPBPAP1)()()( ｜稱滿足上述條件的 B1,B2,…,B n為 完備事件組 。 B1 B2 B3 Bn A 2 貝葉斯 概率基礎(chǔ) 由此可以形象地把全概率公式看成為“ 由原因推結(jié)果 ” ，每個原因?qū)Y(jié)果的發(fā)生有一定的 “ 作用 ”， 即結(jié)果發(fā)生的可能性與各種原因的 “ 作用 ” 大小有關(guān) 。 全概率公式表達(dá)了它們之間的關(guān)系 。 諸 Bi是 原因 A是 結(jié)果 B1 B2 B3 B4 B5 B6 B7 B8 A 2 貝葉斯 概率基礎(chǔ) ???mkikiijiji BAPBPBAPBPABP1)()()()()|( ｜｜ 該公式于 1763年由貝葉斯 (Bayes)給出。它是在觀察到事件 A已發(fā)生的條件下，尋找導(dǎo)致 A發(fā)生的每個原因的概率。 (5)貝葉斯公式 。 貝葉斯公式也叫 后驗(yàn)概率公式 ， 亦叫 逆概率公式 ， 其用途很廣 。 設(shè)先驗(yàn)概率為P(Bi)， 調(diào)查所獲的新附加信息為 P(Aj|Bi) (i=1,2,… ,n。 j=1,2,… ,m), 則貝葉斯公式計算的后驗(yàn)概率為 (5) 2022/2/9 數(shù)據(jù)處理與智能決策 24 貝葉斯規(guī)則 ? 基于條件概率的定義 ? p(Ai|E) 是在給定證據(jù)下的后驗(yàn)概率 ? p(Ai) 是先驗(yàn)概率 ? P(E|Ai) 是在給定 Ai下的證據(jù)似然 ? p(E) 是證據(jù)的預(yù)定義后驗(yàn)概率 ? ? ? i i i i i i i i ) )p(A A | p(E ) )p(A A | p(E p(E) ) )p(A A