浙江大學研究生人工智能引論課件-powerpointp(編輯修改稿)
2025-01-26 21:17 本頁面
【文章內(nèi)容簡介】 反關系，我們 可用外延補集作為信息，用外延補集的測度作為信息量 。于是就得到如下信息量的概念。定義 (信息量 )設 X是有限集，包含 n個元素。 P是X上的概率分布，稱是 [X,P]的信息量。其中，在不確定性推理過程中，經(jīng)常遇到兩類問題： (1) 匹配（檢索）問題，需要 相似度 的概念； (2) 推理規(guī)則的條件與結論之間的蘊涵關系，就需要 蘊涵度 的概念。 經(jīng)專家研究發(fā)現(xiàn)，相似度與蘊涵度的共性即為 包含度 。 【注】：本課件只簡要介紹上述三個概念的定義，有關包含度理論的詳細論述請參見文獻： 張文修、梁怡《不確定性推理原理》，西安交通大學出版社， 1996。補充說明：包含度設 X是一個普通集合， ?(X)表示 X中所有子集的全體，?(X)表示 X中模糊集合的全體。定義 (包含度 )：設 ?0(X)??(X)， 對 ?A,B??0(X)有數(shù) D(B/A)對應，且滿足：(1)0=D(B/A)=1(2)對 ?A,B??0(X),A?B時，有 D(B/A)=1(3)對 A,B,C??0(X),A?B?C時，有D(A/C)?D(A/B)稱 D為 ?0(X)上的 包含度 ?！咀ⅰ浚宏P于包含度的數(shù)學原理請詳見張文修《不確定性推理原理》。B ACXShannon信息論? 信息論的創(chuàng)立n 1948年 Shannon首次提出n 以數(shù)學方法度量并研究通信信號? 信息論對不確定性推理的作用n 為不確定性知識的度量提供理論依據(jù)n 用信息熵來衡量不確定性程度的高低n 在決策樹等方法中發(fā)揮重要作用信息論及其在決策樹中的應用信息論中的基本概念定義 （ 自信息量 ） 在收到 ai之前，收信者對信源發(fā)出 ai的不確定性定義為信息符號 ai的自信息量 I(ai)。 即其中， p(ai)為信源發(fā)出 ai的概率，為表達簡便起見，本課件的對數(shù) lg均以 2為底 。 【說明】 : （ 1）自信息量只能反映符號的不確定性。 （ 2）有的文獻采用以 10 或 e為底的對數(shù)，但是在某個具體的信息系統(tǒng)中，一旦確定并保持某個底數(shù)，對不確定性信息的度量和計算不會有任何影響。定義 （ 信息熵 ） 設 r為信源 X所有可能的符號數(shù)， p(ai)為信源發(fā)出 ai的概率，則信源每發(fā)一個符號所提供的平均自信息量 即為信息熵?！菊f明】： （ 1）信息熵也稱 香農(nóng)信息量 ，或稱 不確定度 。 （ 2）信息熵可用來度量整個信源 X整體的不確定性。Shannon信息熵定義 （ 條件熵 ） 如果信源 X與隨機變量 Y不是相互獨立的，那么用條件熵 H(X|Y)來度量收信者在收到隨機變量 Y之后，對隨機變量 X仍然存在的不確定性。設 X對應信源符號 ai， Y對應信源符號 bj， p(ai|bj)為當 Y為 bj時X為 ai的概率，則有可得由于定義 （ 平均互信息量 ， 也稱 信息論測度值 ） 表示信號 Y所能提供的關于 X的信息量的大小，用 I(X,Y)表示【說明】： 信息論在 決策樹學習 中具有非常重要的意義。在決策樹學習方法中，最關鍵的問題就是如何根據(jù)每個屬性提供的信息量構造出一棵決策樹，以此對整個實例空間進行合理的分類（劃分）。平均互信息量 信息論在決策樹中的應用設訓練實例集為 X， 目的是將訓練實例分為 n類。設屬于第 i類的訓練實例個數(shù)是 Ci， X中總的訓練實例個數(shù)為 |X|， 若記一個實例屬于第 i類的概率為 P(Ci)， 則此時，決策樹對劃分 C的不確定程度為：【注意】：在無混淆的情況下，習慣將 H(X,C)簡記為 H(X)。決策樹學習過程就是使得決策樹對劃分的不確定程度逐漸減小的過程。大致過程如下： （ 1）選擇測試屬性 a進行測試，在得知 a=aj的情況下，屬于第 i類的實例個數(shù)為 Cij個。記p(Ci。a=aj)=Cij/|X|p(Ci。a=aj)為在測試屬性 a的取值為 aj時它屬于第 i類的概率 。 此時決策樹對分類的不確定程度就是訓練實例集對屬性 X的條件熵。決策樹的學習過程訓練實例集對屬性 X的條件熵的計算公式即可知 屬性 a對于分類提供的信息量 I(X。a)為： （ 2） 信息量 I(X。a)的值越大，說明選擇測試屬性 a對于分類提供的信息量越大，選擇屬性 a之后對分類的不確定程度越小。（ 3）依次類推，不斷地計算剩余樣本的條件熵及信息量，直至構造出完整的決策樹。決策樹的學習過程（續(xù)） 信息熵在決策樹中的應用實例 — ID3算法屬性 Outlook TemperatureHumidity Windy類1 Overcast Hot HighNotN2 Overcast Hot HighVeryN3 OvercastHot High MediumN4 Sunny Hot HighNotP5 Sunny Hot High MediumP6 Rain Mild High NotN7 Rain Mild High MediumN8 Rain Hot NormalNotP9 1
化學相關推薦
鄂ICP備17016276號-1