信息論期末總結(jié)(存儲版)
【正文】 時(即 )，熵最大，即 隨機變量X和Y的聯(lián)合分布為p(xiyj)，則這兩個隨機變量的聯(lián)合熵定義為： 聯(lián)合熵表示對于二維隨機變量的平均不確定性。l 熵的相對率l 信道的數(shù)學(xué)模型為{X, P(Y|X),Y}二元對稱信道輸入符號集A={0,1}, 輸出符號集B={0,1}，r＝s＝2．傳遞概率： 二元刪除信道輸入符號集A={0,1}，符號輸出集B={0,?,1}，r=2, s=3 l 平均互信息：例3：求二元刪除信道的 已知信道容量例4 以二元對稱信道。H(X)+H(Y) 若X與Y統(tǒng)計獨立，則H(XY)=H(X)+H(Y)l 平均互信息的概念平均互信息和各類熵的關(guān)系: I(X。 1)計算H(X)。當(dāng)后驗概率小于先驗概率時，互信息為負。l 先驗概率：信源發(fā)出消息 的概率 。l 調(diào)制器：功能：將信道編碼后的符號變成適合信道傳輸?shù)男盘柲康模?提高傳輸效率l 信道的統(tǒng)計特性無噪聲信道、有噪聲信道離散信道、連續(xù)信道、波形信道有記憶信道和無記憶信道恒參信道（平穩(wěn)信道）和隨參信道（非平穩(wěn)信道）單用戶信道和多用
公司管理相關(guān)推薦
鄂ICP備17016276號-1