【正文】 物聯(lián)網系 數(shù)據處理與智能決策 解 迎 剛 物聯(lián)網系 Tel:13691117939 2 智慧 知識 信息 數(shù)據 智能決策 數(shù)據處理 物聯(lián)網 感知 為什么要進行數(shù)據預處理、如何對數(shù)據進行預處理 數(shù)據準備：數(shù)據處理的要求和方法 物聯(lián)網技術 物聯(lián)網技術推動了 智能決策的發(fā)展 專家系統(tǒng) 數(shù)據挖掘 機器學習 數(shù)據分析 數(shù)據模型 可視化 算法：統(tǒng)計方法（聚類分析）、貝葉斯判別、粗糙集、決策樹、人工神經網絡、支持向量機、時間序列分析等等 數(shù)據處理與智能決策 —— 貝葉斯網絡（概 率 推 理） 2022/2/9 數(shù)據處理與智能決策 4 內容提要 1 概述 2 貝葉斯概率 基礎 3 貝葉斯 問題的求解 4 簡單貝葉斯 學習模型 5 貝葉斯 網絡的建造 6 貝葉斯 潛在語義模型 7 半監(jiān)督 文本挖掘 算法 2022/2/9 數(shù)據處理與智能決策 5 1 概 述 ? 貝葉斯網絡是用來表示 變量間連接概率 的 圖形模式 ，它提供了一種自然的表示 因果信息的方法，用來發(fā)現(xiàn)數(shù)據間的潛在關系。在這個網絡中，用 節(jié)點 表示 變量 ， 有向邊 表示 變量間 的依賴 關系 。 ? 貝葉斯方法以其獨特的 不確定性 知識表達形式、豐富的 概率表達 能力、綜合先驗知識的增量學習 特性等成為當前數(shù)據挖掘眾多方法中最為引人注目的焦點之一。 2022/2/9 數(shù)據處理與智能決策 6 1 概 述 貝葉斯網絡的發(fā)展歷史 ? 貝葉斯 （ Reverend Thomas Bayes, 17021761） 學派奠基性的工作是貝葉斯的論文“ 關于幾率性問題求解的評論 ”?；蛟S是他自己感覺到它的學說還有不完善的地方，這一論文在他生前并沒有發(fā)表，而是在他死后，由他的朋友發(fā)表的。著名的數(shù)學家拉普拉斯 （ Laplace P. S.） 用貝葉斯的方法導出了重要的“ 相繼律 ”，貝葉斯的方法和理論逐漸被人理解和重視起來。但由于當時貝葉斯方法在理論和實際應用中還存在很多不完善的地方，因而在十九世紀并未被普遍接受。 2022/2/9 數(shù)據處理與智能決策 7 1 概 述 貝葉斯網絡的發(fā)展歷史 ? 二十世紀初，意大利的菲納特（ B. de Fiti） 以及英國的杰弗萊（ Jeffreys H.） 都對貝葉斯學派的理論作出重要的貢獻。第二次世界大戰(zhàn)后，瓦爾德（ Wald A.）提出了 統(tǒng)計的決策 理論，在這一理論中，貝葉斯解占有重要的地位；信息論的發(fā)展也對貝葉斯學派做出了新的貢獻。 1958年英國最悠久的統(tǒng)計雜志 Biometrika全文重新刊登了貝葉斯的論文， 20世紀 50年代，以羅賓斯（ Robbins H.） 為代表，提出了經驗貝葉斯方法和經典方法相結合，引起統(tǒng)計界的廣泛注意，這一方法很快就顯示出它的優(yōu)點，成為很活躍的一個方向。 2022/2/9 數(shù)據處理與智能決策 8 1 概 述 貝葉斯網絡的發(fā)展歷史 ? 隨著人工智能的發(fā)展，尤其是機器學習、數(shù)據挖掘等興起，為貝葉斯理論的發(fā)展和應用提供了更為廣闊的空間。貝葉斯理論的內涵也比以前有了很大的變化。80年代 貝葉斯網絡 用于專家系統(tǒng)的知識表示， 90年代進一步研究 可學習的貝葉斯網絡 ，用于數(shù)據采掘和機器學習。近年來，貝葉斯學習理論方面的文章更是層出不窮，內容涵蓋了人工智能的大部分領域，包括因果推理、不確定性知識表達、模式識別和聚類分析等。并且出現(xiàn)了專門研究貝葉斯理論的組織和學術刊物International Society Bayesian Analysis。 2022/2/9 數(shù)據處理與智能決策 9 1 概 述 貝葉斯方法的基本觀點 ? 貝葉斯分析方法的 特點 是 用概率去表示所有形式的不確定性，學習或其它形式的推理都用概率規(guī)則來實現(xiàn) 。 ? 貝葉斯 學習的結果 表示為隨機變量的概率分布，它可以解釋為我們對不同可能性的信任程度。 ? 貝葉斯學派的起點是貝葉斯的兩項工作： 貝葉斯定理 和 貝葉斯假設 。 ? 貝葉斯定理將事件的 先驗概率 與 后驗概率 聯(lián)系起來 。 2022/2/9 數(shù)據處理與智能決策 10 1 概 述 貝葉斯方法的基本觀點 假定 隨機向量 x， θ的 聯(lián)合分布密度 是 p(x, θ)， 它們的 邊際密度 分別為 p(x)、 p(θ)。 一般情況下設 x是 觀測向量 ， θ是 未知參數(shù)向量 ，通過觀測向量獲得未知參數(shù)向量的估計， 貝 葉斯定理 記作： ??? ???????????dxpxpxpxpxp)|()()|()()()|()()|(π(θ) 是 θ的先驗分布 (1) 2022/2/9 數(shù)據處理與智能決策 11 1 概 述 貝葉斯方法的基本觀點 貝 葉斯方法 對未知參數(shù)向量估計的一般過程 為： ⑴將 未知參數(shù)看成 隨機向量，這是 貝 葉斯方法與傳統(tǒng)的參數(shù)估計方法的最大區(qū)別。 ⑵ 根據以往對參數(shù) θ的知識，確定先驗分布 π(θ) ， 它是 貝 葉斯方法容易引起爭議的一步，因此而受到經典統(tǒng)計界的攻擊。 ⑶計算后驗分布密度，做出對 未知參數(shù)的推斷。 在第 ⑵步， 如果沒有任何以往的知識來幫助確定 π(θ) ，貝 葉斯提出可以采用均勻分布作為其分布，即參數(shù)在它的變化范圍內，取到各個值的機會是相同的， 稱這個 假定 為 貝 葉斯假設 。 2022/2/9 數(shù)據處理與智能決策 12 1 概 述 貝葉斯網絡的應用領域 ? 輔助智能決策 ? 數(shù)據融合 ? 模式識別 ? 醫(yī)療診斷 ? 文本理解 ? 數(shù)據挖掘 1. 貝葉斯方法用于分類及回歸分析 2. 用于因果推理和不確定知識表達 3. 用于聚類模式發(fā)現(xiàn) 2022/2/9 數(shù)據處理與智能決策 13 2 貝葉斯 概率基礎 概率論基礎 概率論 是研究 隨機現(xiàn)象規(guī)律性 的數(shù)學 。 隨機現(xiàn)象 是指在相同的條件下，其出現(xiàn)的結果是不確定的現(xiàn)象。隨機現(xiàn)象 又可分為 個別隨機現(xiàn)象 和 大量的隨機現(xiàn)象。對大量的隨機現(xiàn)象進行觀察所得到的規(guī)律性，被人們稱為 統(tǒng)計規(guī)律性 。 在統(tǒng)計上，我們習慣 把一次對現(xiàn)象的觀察、登記或實驗叫做 一次試驗 。 隨機性實驗 是指對隨機現(xiàn)象的觀察。 隨機試驗在完全 相同的條件 下，可能出現(xiàn) 不同的結果 ，但所有可能結果的范圍是 可以估計 的，即隨機試驗的結果具有 不確定性和 可預計性 。在統(tǒng)計上，一般把 隨機實驗的結果 ，即 隨機現(xiàn)象的具體表現(xiàn) 稱為 隨機事件 ，簡稱 事件 。 隨機事件是指試驗中 可能出現(xiàn) ， 也 可能不出現(xiàn) 的結果。 2022/2/9 數(shù)據處理與智能決策 14 2 貝葉斯 概率基礎 概率論基礎 定義 1 統(tǒng)計概率 若在大量重復試驗中，事件A發(fā)生的頻率穩(wěn)定地接近于一個固定的常數(shù) p， 它表明事件 A出現(xiàn)的可能性大小，則稱此常數(shù) p為事件 A發(fā)生的概率，記為 P(A), 即 p＝ P(A) (2) 可見概率就是頻率的穩(wěn)定中心。任何事件 A的概率為不大于 1的非負實數(shù)，即 0＜ P(A)＜ 1 2022/2/9 數(shù)據處理與智能決策 15 2 貝葉斯 概率基礎 定義 2 古典概率 我們設一種次試驗有且僅有有限的 N個可能結果，即 N個基本事件，而 A事件包含著 K個可能結果，則稱 K/N為事件 A的概率，記為 P(A)。即 P(A)＝ K/N 定義 3 幾何概率 假設 Ω是幾何型隨機試驗的基本事件空間， F是 Ω中一切可測集的集合，則對于 F中的任意事件 A的 概率 P(A)為 A與 Ω的體積之比，即 P(A)＝ V(A)/V(Ω) (3) 2022/2/9 數(shù)據處理與智能決策 16 2 貝葉斯 概率基礎 定義 4 條件概率 我們把事件 B已經出現(xiàn)的條件下，事件 A發(fā)生的概率記做為 P(A|B)。并稱為在 B出現(xiàn)的條件下 A出現(xiàn)的 條件概率 ，而稱 P(A)為 無條件概率 。 若事件 A與 B中的任一個出現(xiàn)，并不影響另一事件出現(xiàn)的概率，即當 P(A)＝ P(AB)或 P(B)＝ P(BA)時， 則稱 A與 B是相互獨立的事件 。 2022/2/9 數(shù)據處理與智能決策 17 2 貝葉斯 概率基礎 定理 1 加法定理 兩個不相容 (互斥 )事件之和的概率，等于兩個事件概率之和，即 P(A+B)＝ P(A)＋ P(B) 兩個互逆事件 A和 A1的概率之和為 1。即當A+A1＝ Ω， 且 A與 A1互斥，則 P(A)＋ P(A1) ＝ 1，或常有 P(A) ＝ 1－ P(A1) 。 若 A、 B為兩任意事件，則 P(A+B)＝ P(A)＋ P(B)－ P(AB) 2022/2/9 數(shù)據處理與智能決策 18 2 貝葉斯 概率基礎 定理 2 乘法定理 設 A、 B為兩個 不相容(互斥 )非零事件，則其乘積的概率等于 A和 B概率的乘積，即 P(AB)＝ P(A)P(B) 或 P(AB)＝ P(B) P(A) 設 A、 B為兩個任意的非零事件，則其乘積的概率等于 A(或 B)的概率與在 A(或 B)出現(xiàn)的條件下 B(或 A)出現(xiàn)的條件概率的乘積。 P(AB)＝ P(A)P(B|A) 或 P(AB)＝ P(B)P(A|B) 2022/2/9 數(shù)據處理與智能決策 19 2 貝葉斯 概率基礎 貝葉斯概率 (1) 先驗概率。 先驗概率是指根據歷史的資料或主觀判斷所確定的各事件發(fā)生的概率，該類概率 沒能經過實驗證實 ，屬于檢驗前的概率，所以稱之為 先驗概率 。先驗概率一般分為兩類，一是 客觀先驗概率 ，是指利用過去的歷史資料計算得到的概率 ；二是 主觀先驗概率 ，是指在無歷史資料或歷史資料不全的時候，只能憑借人們的主觀經驗來判斷取得的概率 。 2022/2/9 數(shù)據處理與智能決策 20 2 貝葉斯 概率基礎 (2) 后驗概率。 后驗概率一般是指 利用貝葉斯公式 ， 結合調查等方式 獲取了新的附加信息，對先驗概率進行修正后得到的更符合實際的概率。 (3) 聯(lián)合概率。 聯(lián)合概率也叫 乘法公式 ，是指兩個任意事件的乘積的概率 ，或稱之為交事件的概率 。 2022/2/9 數(shù)據處理與智能決策 21 2 貝葉斯 概率基礎 (4)全概率公式 。 設 B1,B2,…, Bn是兩兩互斥的事件，且 P(Bi)0， i =1,2,…, n， B1+B2+…,+ Bn=Ω。 另有一事件 A= AB1+AB2+…,+AB n ???niii BAPBPAP1)()()( ｜稱滿足上述條件的 B1,B2,…,B n為 完備事件組 。 B1 B2 B3 Bn A 2 貝葉斯 概率基礎 由此可以形象地把全概率公式看成為“ 由原因推結果 ” ，每個原因對結果的發(fā)生有一定的 “ 作用 ”， 即結果發(fā)生的可能性與各種原因的 “ 作用 ” 大小有關 。 全概率公式表達了它們之間的關系 。 諸 Bi是 原因 A是 結果 B1 B2 B3 B4 B5 B6 B7 B8 A 2 貝葉斯 概率基礎 ???mkikiijiji BAPBPBAPBPABP1)()()()()|( ｜｜ 該公式于 1763年由貝葉斯 (Bayes)給出。它是在觀察到事件 A已發(fā)生的條件下，尋找導致 A發(fā)生的每個原因的概率。 (5)貝葉斯公式 。 貝葉斯公式也叫 后驗概率公式 ， 亦叫 逆概率公式 ， 其用途很廣 。 設先驗概率為P(Bi)， 調查所獲的新附加信息為 P(Aj|Bi) (i=1,2,… ,n。 j=1,2,… ,m), 則貝葉斯公式計算的后驗概率為 (5) 2022/2/9 數(shù)據處理與智能決策 24 貝葉斯規(guī)則 ? 基于條件概率的定義 ? p(Ai|E) 是在給定證據下的后驗概率 ? p(Ai) 是先驗概率 ? P(E|Ai) 是在給定 Ai下的證據似然 ? p(E) 是證據的預定義后驗概率 ? ? ? i i i i i i i i ) )p(A A | p(E ) )p(A A | p(E p(E) ) )p(A A