教育信息處理ppt課件(編輯修改稿)
2025-02-15 21:52 本頁面
【文章內容簡介】 0… ， 0） 它表示，該系統中某一事件產生的概率為 1，其他事件產生的概率為 0，這是一個確定系統，不確定度為 0。計算該系統的信息熵，有 H=0。 例 2 設某一概率系統中，其概率分布是均勻的，它表示系統中每一事件產生的概率相等。對于這樣的系統，我們很難預測某一事件的產生，這種系統的不確定性最大。該系統的信息熵具有最大值（在相同事件數的情況下）。 以上討論的是兩種極端的情況，我們來考察兩個中間狀態(tài)。 例：兩個中間狀態(tài) 設概率系統 A、 B得分布為： P(A)=( , ,0 ,0 ,0 ) P(B)=( , , , , ) 試比較它們哪一個系統的不確定程度大。 分析 通過 A、 B系統信息熵的計算，有 由此可以判定系統 B的不確定程度是系統 A的兩倍。 四、信息熵的基本性質 例 設某一系統包含兩個事件 A、 B，其產生的概率分別為 p和 1p。該系統的熵為 當 p為 0時， H=0。這是一種 A產生的概率為 0， B產生的概率為 1的確定系統。同樣，若 p為 1， H=0。這是一種 A產生的概率為 1， B產生的概率為 0的確定系統。 若 ,則 它表示 A、 B事件產生的概率相同，H具有極大值，這是一種不可預測的不確定系統。 對這樣的系統予以擴張，設系統中具有 n個事件，其中某一事件產生的概率為 1，其他事件產生的概率為 0，該系統的熵 H=0。若系統中每一事件產生的概率相同，均為 1/n，這種系統的 H為最大值。 五、相對熵 英語這樣的自然語言中，包括空格在內，總共使用了 27種字符。若每個字符出現的概率相同，且都是 1/27，這樣的英語系統具有最大熵，其 熵值 為： 實際系統中，字符的使用并非相互獨立地、等概率的隨機排列的，字符的使用受著各種規(guī)則，條件所制約。在這種英語系統中，每一種字符出現的概率是不同的，某一些字符出現的頻度高，例如空格和 E；某一些字符出現的平度低，例如 Q和 Z。 以 相對信息熵 h來表示熵減少的程度。 信息熵的計算與系統中事件數的多少有關，它不利于我們對不同系統的熵進行比較。相對信息熵的計算有利于我們對不同系統的信息熵進行比較。 六、冗余度 基于相對信息熵，我們稱： 為 冗余度 。冗余度表示了由于每種字符出現的概率不同而使信息熵減少的程度。顯然，由于信息熵的減少，為了表示相同的內容，相同的信息量，文章的字符數要多一點，這就是文章的冗余性。 一、測試問題信息熵的計算 學習者對多重選擇問題的應答概率分布可能有多種不同的情況： （ 1）（ 0， 0， 0， 0） 計算相應的應答信息熵 H： （ 2）（ ， ， ， ， ） 計算相應的應答信息熵： （ 3）（ ， ， 0， 0， 0） 計算相應的應答信息熵： （ 4）（ ， ， ， ， ） 計算相應的應答信息熵： 對于應答情況⑴，學習者對預選答案 1的選擇概率為 1，對其他預選答案的選擇概率為 0，表示學習者在選擇應答時，一定是預選答案 1，這是一種完全確定的選擇應答，表明該問題過于簡單，學習者可以毫不費勁地予以正確應答。 對于應答情況⑷，學習者的應答選擇分布是等概率的，它表明這種問題的應答選
教學課件相關推薦
鄂ICP備17016276號-1