信息論與編碼第一講-免費(fèi)閱讀
【正文】 上述定理說明，連續(xù)信源在不同的限制條件下有不同的最大熵，在無限制條件時(shí)，最大熵不存在。一般情況，在不同約束條件下，求連續(xù)信源的差熵的最大值，就是在下述若干約束條件。 同理，可以定義兩個(gè)連續(xù)變量 X、 Y的聯(lián)合熵和條件熵，即 ????????????RRRd x d yyxpyxpypYXhd x d yxypxypxpXYhd x d yxypxypXYh)/(l o g)/()()/()/(l o g)/()()/()(l o g)()( 它們之間也有與離散信源一樣的相互關(guān)系，并且可以得到有信息特征的互信息： 這樣定義的熵雖然形式上和離散信源的熵相似，但在概念上不能把它作為信息熵來理解。連續(xù)信源 X被量化為離散信源： 且 ????????????????)(,)(,)(,2211nnnxpxxpxxpxPX??1)()()(1 )1(1???? ?? ?????????baniiaianii dxxpdxxpxp 這時(shí)離散信源 xn 的熵： 當(dāng) 時(shí)，離散隨機(jī)變量 xn 趨于連續(xù)隨機(jī)變量 X，而離散信源 xn 的熵 H(xn)的極限值就是連續(xù)信源的信息熵。 ? 設(shè)信道的輸入和輸出信號(hào)是隨機(jī)過程 x(t) 和 y(t) y(t) = x(t) + n(t) – n(t)：信道的加性高斯白噪聲 ? 一個(gè)受加性高斯白噪聲干擾的帶限波形信道的容量，由香農(nóng) (1948)正式定義： )},({m a x)(YXICxp?信 道 n(t) x(t) y(t) ? 高斯白噪聲加性信道單位時(shí)間的信道容量 )1l o g ()。 ?)(1 pHC ??? BSC信道容量 I(XY) ω 1H(p) ? I (X,Y) 對(duì)ω存在一個(gè)極大值。Y)=0 無損無噪 信道 P(x/y)=0 or 1 且 P(y/x)=0 or 1 H(X/Y)= H(Y/X)=0 I(X。X Y X YI X Y P x y I x y P x y I x y I Y X? ? ???與熵和條件熵的關(guān)系 ? ? ? ? ? ?。 | 。 l o g ijijiP x yI x yPx 通信熵 ?無記憶信源 ? 信源往往包含著多個(gè)符號(hào)，且各個(gè)符號(hào)的出現(xiàn)概率按信源的概率空間分布。 三、信息的度量 自信息量 隨機(jī)事件 ix 出現(xiàn)概率 ? ?iPx自信息量定義 ? ? ? ?l o giiI x P x??隨機(jī)事件的不確定性 ? 出現(xiàn)概率小的隨機(jī)事件所包含的不確定性大，它的自信息量大。 該論文給出了信息傳輸問題的一系列重要結(jié)果 ， 建立了比較系統(tǒng)的信息理論 —— 香農(nóng)信息論 。 ? 編碼的理論和實(shí)現(xiàn)原理 – 近世代數(shù)基礎(chǔ) ；信道編碼定理；線性分組碼 、循環(huán)碼、 卷積碼 、 Turbo碼的 編、譯碼方法 。 研究信息的目的 ：為了準(zhǔn)確地把握信息本質(zhì)和特點(diǎn)，以便有效地利用信息。信息論向各門學(xué)科沖擊，研究規(guī)模像滾雪球一樣越來越大。 ?后驗(yàn)概率 ? 當(dāng)信宿 Y收到集合中的一個(gè)符號(hào) yj后，接收者重新估計(jì)的關(guān)于信源各個(gè)符號(hào)的概率分布就變成條件概率。 H(X)是 P(x)的函數(shù)。 。|I X Y H X H X Y??? ? ? ? ? ?。 ? 若輸入符號(hào)和輸出符號(hào)個(gè)數(shù)相同 ,都等于 n,且信道矩陣為 ????????????????????????????pnpnpnppnpnpnppP111111111???? 此信道稱為 強(qiáng)對(duì)稱信道 (均勻信道 ) – 信道矩陣中各列之和也等于 1 ? 對(duì)稱離散信道的平均互信息為 )|()()|()(),( XYHYHYXHXHYXI ????niaYHabpabpabpabpapXYHiijjijiji jiji?,2,1)|()|(l o g)|()|(l o g)|()()|(???????? ?),()|()|( 21 mi
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1