計(jì)算機(jī)信息與編碼第三章-展示頁
2025-08-10 15:20本頁面
【正文】 對(duì)應(yīng)的碼字。 自信息量兩種含義的由來 (一 )、 I(ai,bj)=I(ai) (二 )、 I(ai,bj)=I(bj) 自信息量只不過是交互信息量在后驗(yàn)概率 P(ai|bj)或 P(bj|ai)=1這一特定情況下的特例。 信源符號(hào) ai的自信息量，在數(shù)量上等于信源發(fā)符號(hào) ai的不確定性。 這表明，收到 bj后推測信源發(fā) ai的概率大于收到 bj前推測信源發(fā) ai的概率。 3．互信息量可正也可為負(fù) 問題：信源發(fā)出某一符號(hào) ai（ I=1,2,…… ， r）后，它提供多少信息量？ P(ai|bj)=1 I(ai,bj)=I(ai)。 后驗(yàn)概率與交互信息量的關(guān)系 幾個(gè)概念 先驗(yàn)概率：信源 X的概率空間 P(xi) 后驗(yàn)概率：通過信宿可以計(jì)算各消息的條件概率 P(xi|yi) 互信息量：后驗(yàn)概率與先驗(yàn)概率的比值的對(duì)數(shù)。因此，交互信息量實(shí)際上取決于由信道統(tǒng)計(jì)特性決定的后驗(yàn)概率。 I(ai,bj)=I(bj,ai) 由信息理論的基本假設(shè)導(dǎo)出的交互信息量的計(jì)算公式 :交互信息量等于后驗(yàn)概率與先驗(yàn)概率的比值的對(duì)數(shù) ,即 : I(ai,bj)=logP(ai|bj)/P(ai)。不會(huì)將錯(cuò)誤地將 “ 0” 當(dāng)作“ 1”或“ 1” 當(dāng)作“ 0” “輸入符號(hào) ai，輸出符號(hào) bj”的聯(lián)合概率 加深概念 P{X=ai,Y=bj}=p(ai,bj)=p(ai)*p(bj|ai)=p(bj)*p(ai|bj) 先驗(yàn)概率 后驗(yàn)概率 前向概率 ２、“輸入符號(hào) bj”的概率 P{Y=bj}=p(bj) ∑P(ai,bj) I=1 r 輸出（信宿收到）符號(hào) bj合，推測輸入（信源發(fā)送）符號(hào) ai“的合驗(yàn)概率P(X=ai|Y=bj)=P(ai|bj)=p(aibj)/p(bj) 第二節(jié) 交互信息量 信息流通的根本問題，計(jì)算信宿收到信道輸出的某一符號(hào) bj后，從 bj中獲取關(guān)于信源某一符號(hào) ai的信息量。當(dāng)輸出端出現(xiàn)？，說明信道傳輸出錯(cuò)。將“ 1” →“0” 或“ 0” →“1” 兩種絕對(duì)錯(cuò)誤刪除。如果 I是正值，且大于某一限平值，則判斷發(fā)送的是“ 0”，若小于某一限平值，則判斷發(fā)送的是“ 1”，若 I的絕對(duì)值很小，不能作出是“ 0”還是“ 1”的確切判斷，便認(rèn)為接受的是特殊符號(hào)？ 如果 p(1/0)=p(0/1)=0,即表明此信產(chǎn)的干擾不很嚴(yán)重。由于受信道中隨機(jī)噪聲的干擾，信道的輸出端，是受干擾后的方波信號(hào)。 [p]= 0 1 0 1 1p p p 1p 例二：二時(shí)制刪除信道 此信道的輸入符號(hào)集 X： {0,1}，輸出符號(hào)集 Y:{0,?,1},傳遞概率為： [p]= 0 1 0 1 0 1p 1p 0 p p ？ 這是通信工程中的一種實(shí)際使用的信道。 [P]稱為：信道矩陣”，有時(shí)也稱為“隨機(jī)干擾矩陣”。這個(gè)概率用“出現(xiàn) ai的前提下，出現(xiàn) bj”的條件概率 P(bj∣ ai)來表示。 X： {a1,a2,……,ar} ， Y： {b1,b2……,bs} ， P（ Y∣ X）
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1