信息論與編碼序論1講-閱讀頁
2025-06-02 14:27本頁面
【正文】 源壓縮編碼的研究奠定了理論基礎(chǔ) 。 1961年 ， 香農(nóng)的重要論文 “ 雙路通信信道 ” 開拓了 多用戶信息理論 的研究 。 后來 ， 隨著通信規(guī)模的不斷擴(kuò)大 ，人們逐漸意識(shí)到信息安全是通信系統(tǒng)正常運(yùn)行的必要條件 。 如今 信息安全 已是網(wǎng)絡(luò)通信和電子商務(wù)系統(tǒng)中不可缺少的重要環(huán)節(jié) 。 信息論不僅在通信 、 廣播 、 電視 、雷達(dá) 、 導(dǎo)航 、 計(jì)算機(jī) 、 自動(dòng)控制 、 電子對(duì)抗等電子學(xué)領(lǐng)域得到了直接應(yīng)用 ， 還 廣泛地滲透到諸如醫(yī)學(xué) 、 生物學(xué) 、 心理學(xué) 、 神經(jīng)生理學(xué)等自然科學(xué)的各個(gè)方面 ， 甚至滲透到語言學(xué) 、 美學(xué)等領(lǐng)域 。 網(wǎng)絡(luò) 工程系 Information Theory and Coding 1977年 ， 美國經(jīng)濟(jì)學(xué)家 馬克 信息論迅速發(fā)展成為涉及范圍極廣的廣義信息論 —— 即信息科學(xué) 。 不僅電子的 、 光學(xué)的信號(hào)傳遞系統(tǒng) ， 任何系統(tǒng) ， 只要能夠抽象成通信系統(tǒng)模型 ， 都可以用信息論研究 ， 如神經(jīng)傳導(dǎo)系統(tǒng) 、 市場銷售系統(tǒng)等等 。 信息論基礎(chǔ) 亦稱香農(nóng)信息論或狹義信息論 。 網(wǎng)絡(luò) 工程系 Information Theory and Coding 香農(nóng)信息論 信源熵 無失真信源編碼定理 信源編碼 信道編碼 密碼 網(wǎng)絡(luò) 工程系 Information Theory and Coding 主要是研究信息傳輸和處理問題 。 后一部分內(nèi)容以美國科學(xué)家維納 （ N 一般信息論 2 網(wǎng)絡(luò) 工程系 Information Theory and Coding 一般信息論 香農(nóng) 信息論 噪聲理論 調(diào)制 理論 信號(hào)濾波預(yù)測理論 統(tǒng)計(jì)檢測估計(jì)理論 網(wǎng)絡(luò) 工程系 Information Theory and Coding 雖然維納和香農(nóng)等人都是運(yùn)用概率和統(tǒng)計(jì)數(shù)學(xué)的方法研究準(zhǔn)確或近似再現(xiàn)消息的問題 ， 都是通信系統(tǒng)的最優(yōu)化問題 。 網(wǎng)絡(luò) 工程系 Information Theory and Coding 維納研究的重點(diǎn)是在接收端 。 發(fā)送 接收 網(wǎng)絡(luò) 工程系 Information Theory and Coding 香農(nóng)研究的對(duì)象是從信源到信宿的全過程 ， 是收 、 發(fā)端聯(lián)合最優(yōu)化問題 ，重點(diǎn)是編碼 。 發(fā)送 接收 網(wǎng)絡(luò) 工程系 Information Theory and Coding 反過來 ， 所有研究信息的識(shí)別 、 控制 、 提取 、 變換 、 傳輸 、 處理 、 存貯 、顯示 、 價(jià)值 、 作用 、 安全以及信息量的大小的一般規(guī)律以及實(shí)現(xiàn)這些原理的技術(shù)手段的工程學(xué)科 ， 信息論的完備和延伸 ， 也都屬于廣義信息論的范疇 。 廣義信息論 3 網(wǎng)絡(luò) 工程系 Information Theory and Coding 總之，人們研究信息論的目的是為了高效、可靠、安全并且隨心所欲地交換和利用各種各樣的信息。 P(A|B)表示在事件 B發(fā)生的條件下，事件 A發(fā)生的條件概率。 離散型隨機(jī)變量 離散型隨機(jī)變量 X的所有事件為 {a1, a2, …, a N}，對(duì)應(yīng)的概率為P(X=ai)=p(ai), i=1, 2, …, N。又 X的分布列（分布矩陣）記為： 12112~ , ( ) 1( ) ( ) ( )NNiiNa a aX p ap a p a p a ??? ????? ?其 中網(wǎng)絡(luò) 工程系 Information Theory and Coding 四、概率復(fù)習(xí)內(nèi)容 另一個(gè)離散型隨機(jī)變量 Y的所有事件為 {b1, b2, …, b M}，對(duì)應(yīng)的概率為 P(Y=bj)=p(bj) ， j=1, 2, …, M 。又 Y的分布列（分布矩陣）記為： 12112~ , ( ) 1( ) ( ) ( )MMjjMb b bY p bp b p b p b ??? ??????其 中網(wǎng)絡(luò) 工程系 Information Theory and Coding 四、概率復(fù)習(xí)內(nèi)容 兩個(gè)離散型隨機(jī)變量 X與 Y聯(lián)立，得到了二維離散型隨機(jī)變量 (X, Y)。 j=1, 2, …, M} 。 j=1, 2, …, M 。 j=1~M}。 如果 X與 Y相互獨(dú)立，則對(duì)任何 i=1~N， j=1~M ，都成立 p(aibj)=p(ai) p(bj) 。 P(X=ai| Y=bj)= p(ai) 。通常將此隨機(jī)變量記為 {X, fX(x)}。通常將此隨機(jī)變量記為 {Y, fY(y)}。 (X, Y)的所有事件為 {(x, y)}。其中 1}),({}),({),(),(),(),(),(2??? ? ?? ????????????????????yxd x fdyyxd y fdxd x d yyxfYXYXRyxYX網(wǎng)絡(luò) 工程系 Information Theory and Coding 四、概率復(fù)習(xí)內(nèi)容 聯(lián)合密度與邊際密度的關(guān)系： 如果 X與 Y相互獨(dú)立，則對(duì)任何 (x, y) ，都成立 f(X,Y)(x, y)= fX(x) fY
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1