信息論復(fù)習(xí)知識(shí)點(diǎn)-展示頁(yè)
2025-04-25 22:59本頁(yè)面
【正文】 率的限定值P和信源的熵功率 之比 。2對(duì)于限峰值功率的N維連續(xù)信源，當(dāng)概率密度 均勻分布 時(shí)連續(xù)信源熵具有最大值。一維連續(xù)隨即變量X在[a，b]區(qū)間內(nèi)均勻分布時(shí)，其信源熵為 log2（ba） 。 1離散平穩(wěn)有記憶信源的極限熵。1數(shù)據(jù)處理定理：當(dāng)消息經(jīng)過多級(jí)處理后，隨著處理器數(shù)目的增多，輸入消息與輸出消息之間的平均互信息量 趨于變小 。1不可能事件的自信息量是 ∞ 。1自信息量的單位一般有 比特、奈特和哈特 。單符號(hào)離散信源一般用隨機(jī)變量描述，而多符號(hào)離散信源一般用 隨機(jī)矢量 描述。熵 是香農(nóng)信息論最基本最重要的概念。信息的 可度量性 是建立信息論的基礎(chǔ)。按照信息的地位，可以把信息分成 客觀信息和主觀信息 。1948年，美國(guó)數(shù)學(xué)家 香農(nóng) 發(fā)表了題為“通信的數(shù)學(xué)理論”的長(zhǎng)篇論文，從而創(chuàng)立了信息論。當(dāng)R＜C時(shí)，只要碼長(zhǎng)足夠長(zhǎng)，一定能找到一種編碼方法和譯碼規(guī)則，使譯碼錯(cuò)誤概率無窮小。通信系統(tǒng)模型如下： 香農(nóng)公式為為保證足夠大的信道容量，可采用（1）用頻帶換信噪比；（2）用信噪比換頻帶。最大離散熵定理為：離散無記憶信源，等概率分布時(shí)熵最大。平均自信息為表示信源的平均不確定度，也表示平均每個(gè)信源消息所提供的信息量。平均互信息表示從Y獲得的關(guān)于每個(gè)X的平均信息量，也表示發(fā)X前后Y的平均不確定性減少的量，還表示通信前后整個(gè)系統(tǒng)不確定性減少的量。最大熵值為。只要，當(dāng)N足夠長(zhǎng)時(shí)，一定存在一種無失真編碼。在認(rèn)識(shí)論層次上研究信息的時(shí)候，必須同時(shí)考慮到 形式、含義和效用 三個(gè)方面的因素。按照信息的性質(zhì)，可以把信息分成 語(yǔ)法信息、語(yǔ)義信息和語(yǔ)用信息 。人們研究信息論的目的是為了 高效、可靠、安全 地交換和利用各種各樣的信息。統(tǒng)計(jì)度量 是信息度量最常用的方法。事物的不確定度是用時(shí)間統(tǒng)計(jì)發(fā)生 概率的對(duì)數(shù) 來描述的。1一個(gè)隨機(jī)事件發(fā)生某一結(jié)果后所帶來的信息量稱為自信息量，定義為 其發(fā)生概率對(duì)數(shù)的負(fù)值 。1必然事件的自信息是 0 。 1兩個(gè)相互獨(dú)立的隨機(jī)變量的聯(lián)合自信息量等于 兩個(gè)自信息量之和 。1離散平穩(wěn)無記憶信源X的N次擴(kuò)展信源的熵等于離散信源X的熵的 N倍 。1對(duì)于n元m階馬爾可夫信源，其狀態(tài)空間共有 nm 個(gè)不同的狀態(tài)。2平均功率為P的高斯分布的連續(xù)信源，其信源熵，Hc（X）=。2對(duì)于限平均功率的一維連續(xù)信源，當(dāng)概率密度 高斯分布 時(shí)，信源熵有最大值。2若一離散無記憶信源的信源熵H（X），對(duì)信源進(jìn)行等長(zhǎng)的無失真二進(jìn)制編碼，則編碼長(zhǎng)度至少為 3 。n的異前置碼存在的充要條件是：。2同時(shí)擲兩個(gè)正常的骰子，各面呈現(xiàn)的概率都為1/6，則“3和5同時(shí)出現(xiàn)”這件事的自信息量是 log218（1+2 log23）。一副充分洗亂的撲克牌（52張），從中任意抽取1張，然后放回，若把這一過程看作離散無記憶信源，則其信源熵為 。3信道的輸出僅與信道當(dāng)前輸入有關(guān)，而與過去輸入無關(guān)的信道稱為 無記憶 信道。3強(qiáng)對(duì)稱信道的信道容量C= log2nHni 。3對(duì)于離散無記憶信道和信源的N次擴(kuò)展，其信道容量CN= NC 。3多用戶信道的信道容量用 多維空間的一個(gè)區(qū)域的界限 來表示。廣播信道是只有 一個(gè)輸入端和多個(gè)輸出端 的信道。4高斯加性信道的信道容量C=
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號(hào)-1