【正文】 農編碼的實用價值不大，但卻有深遠的理論意義，因 為按香農的方法對信源序列編碼，當序列長度趨于無 窮時，平均碼長會趨于信源的熵。 無失真變長信源編碼定理（ 香農第一定理 ） 對于平均符號熵為 HL(X) 的離散平穩(wěn)無記憶信源（離散 無記憶信源 X 的 L 次擴展信源 對其進行 m 元編碼，必存在一種無失真編碼方法，構 成唯一可譯碼，使信源 X 中每個信源符號所需的平均碼 長 滿足： 用變長編碼可達到相當高的編碼效率，一般所要求 的符號長度 L 可以比定長編碼小得多。即： ?當信源序列長度 L 滿足 能達到差錯率要求： ?? 編碼效率 編碼效率總 定義編碼效率為： ?是小于 1 信源的平均符號熵為 HL (X) ，采用平均符號碼長 為 K 來編碼后所得的效率。 例 : 英文電報符號， n =27 ， L =1 ， m =2( 二元編碼 ) log 2 n ????? = log 2 27 ≈ 5 每個英文電報符號至少 log 2 m 要用 5位二元符號編碼 ? 實際英文電報符號信源，平均每個英文電報符號所 提供的信息量約等于 比特，大大小于 5 比特。 中間節(jié)點 如果將各碼字長度改成： 存在唯一可譯碼 K1 =1 ， K2 =2 ， K3 =2 ， K4 =3 。 碼樹上任一節(jié)點都對應一個碼字，組成該碼字的 碼元就是從樹根開始到該節(jié)點所經過的樹枝 ( 碼元 ) 。 任意一串有限長碼序列，如 100111000 ，只能被分割 成 0、 1 10 、 0、 0 。 定長碼 固定長度的碼，碼中所 有碼字的長度都相同。 信源編碼的基本途徑 使序列中的各個符號盡可能地互相獨立，即解 除相關性，去冗余； 使編碼中各個符號出現的概率盡可能地相等， 即概率均勻化。 無失真編碼 無失真信源編碼定理 信源編碼 限失真編碼 限失真信源編碼定理 無失真 ( 冗余度壓縮編碼 ) ：僅對信源的冗余度進行 壓縮，不改變信源的熵。同樣多的信息用較少的碼率來 傳送，使單位時間內傳送的平均信息量增加，從 而提高通信的有效性。 按不同的編碼目的，編碼分為三類： 信源編碼 信道編碼 安全編碼 /密碼 信源編碼 信源編碼是以提高通信的有效性為目的編碼。 在信道受干擾的情況下增加信號的抗干 擾能力，同時又使得信息傳輸率最大。 離散信源 無失真信源編碼定理稱為第一極限定理 離散和連續(xù)信道 信道編碼定理稱為第二極限定理 限失真信源編碼定理稱為第三極限定理 連續(xù)信源 信源編碼的主要任務 符號變換：使信源輸出符號與信道輸入符號匹配。 分組碼 將信源消息分成若干組，即符號序列，每個符號 序列依照固定碼表映射成一個碼字，這樣的碼稱 為分組碼，有時也叫塊碼。反之為奇異碼 。 經過 r 個樹枝才能到達的節(jié)點稱為 r 階節(jié)點。 該碼樹從根到終端節(jié)點所經路徑上， 每一個中間節(jié)點皆為碼字，因此碼 3 不是即時碼，但它是唯一可譯碼。 無失真信源編碼 要求能夠無失真或無差錯地譯碼，同時希望所 得編碼的平均碼長最小。 當 時，不可能構成無失真的編碼，也 就是不可能做一種編碼器，能使收端譯碼時差 錯概率趨于零。 根據信源各個符號的統(tǒng)計特性，如概率大的符號用 短碼，概率小的用較長的碼，使得編碼后平均碼長 降低，從而提高編碼效率。 最佳變長編碼 凡是能載荷一定的信息量，且碼字的平均長度最 短，可分離的變長碼的碼字集合稱為最佳變長碼。 不應先規(guī)定碼長，而是由碼樹來規(guī)定碼 字，可得更好的結果。因此 平均碼長一般不會最小。 費諾碼是從樹根開始，把各節(jié)點分給某子集，若子 集已是單點集，它就是一片樹葉而作為碼字。 m 進制哈夫曼編碼 在編 m 進制哈夫曼碼時，為了使短碼得到充分利用， 使平均碼長最短，必須使最后一步的縮減信源有 m 個 信源符號。 游程變換：是一種一一對應的變換，也是可逆變換。 ? 算術碼主要的編碼方法是計算輸入信源符號序列所 對應的區(qū)間。 游程變換將二元序列變換成了多元序列；這樣 就適合于用其他方法，如哈夫曼編碼，進一步 壓縮信源，提高通信效率。以后每次取 m 個符號，分別配以 0,1,…, m 1；如此下去，直至所有 概率相加得 1 為止，即得到各符號的 m 進制碼字。 哈夫曼的編法并不惟一。 例： 對該信源進行二 進制費諾編碼。如編二進制碼就分成兩組，編 m 進制 碼就分