信源的相關性和剩余度(編輯修改稿)
2025-06-17 05:55 本頁面
【文章內(nèi)容簡介】 依賴關系越弱 ， 即 符號之間的記憶長度越短。 當冗余度等于零時，信源的熵就等于極大熵H0， 表明信源符號之間不但統(tǒng)計獨立無記憶，而且各符號還是等概分布。因此， 冗余度可以用來衡量信源輸出的符號序列中各符號之間的依賴程度。 例： 以符號是英文字母的信源為例，英文字母加上空格共有 27個，則最大熵為 符號/ g)( 20 b i tXH ?? 但實際上，用英文字母組成單詞，再由單詞組成句子時，英文字母并不是等概率出現(xiàn)，比如我們知道在英語中 E出現(xiàn)的概率大于 Q出現(xiàn)的概率。對在英文書中各符號的概率加以統(tǒng)計，可以得出各個字母出現(xiàn)的概率，由此得出第一級近似為無記憶信源的熵 ： 27111l o g 4 . 0 3 /ii iH p b itp???? 符 號 再考察英語的結(jié)構(gòu)得知，要組成有意義的單詞，英文字母的前后出現(xiàn)是有依賴關系的，當前面某個字母出現(xiàn)后，后面將出現(xiàn)什么字母，并不是完全不確定的，而是有一定的概率分布。例如字母
研究報告相關推薦
鄂ICP備17016276號-1