信息與編碼理論課后習(xí)題答案(編輯修改稿)
2025-07-16 04:32 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 ) (b) (c) 定義S(X，Y)=1－ρ(X，Y)=I(X；Y)/H(XY)為X和Y之間的信息相似度，證明：0≤S(X，Y)≤1 S(X，X)=1 S(X，Y)=0，X和Y獨(dú)立時(shí)。 解:(a) 又由互信息的非負(fù)性，即，有，所以 (b) (c) 當(dāng)且僅當(dāng)X和Y獨(dú)立時(shí)，I（X；Y）=0，所以，當(dāng)且僅當(dāng)X和Y獨(dú)立時(shí)。 令X→Y→Z為馬爾可夫鏈，證明：I(X；Z|Y)=0 I(XY；Z)=I(Y；Z) I(Y；Z|X)=I(Y|Z)－I(X；Z) I(Y；Z|X)≤I(Y；Z)解: X→Y→Z為馬爾可夫鏈，有p(z/xy)=p(z/y),對(duì)所有x,y,z。 若三個(gè)隨機(jī)變量有如下關(guān)系：x＋y=z，其中x和y獨(dú)立。試證明：H(X)≤H (Z) H(Y)≤H(Z) H(XY)≥H(Z)I(X；Z)=H(Z)－H(Y) I(XY；Z)=H(Z) I(X；YZ)=H(X) I(Y；Z|X)=H(Y) I(X；Y|Z)=H(X|Z)=H(Y|Z)解: (a) H(X)≤H (Z) (b) H(Y)≤H(Z)(c) H(XY)≥H(Z)(d) I(X；Z)=H(Z)－H(Y) I(X。Z)=H(Z)H(Z/X)=H(Z)H(Y)(e) I(XY；Z)=H(Z)(f) I(X；YZ)=H(X)(g) I(Y；Z|X)=H(Y)H(Y/XZ)=0I(Y。Z/X)=H(Y/X)H(Y/XZ)=H(Y/X)=H(Y)(h) I(X；Y|Z)=H(X|Z)=H(Y|Z)I(X。Y/Z)=H(X/Z)H(X/YZ)=H(Y/Z)H(Y/XZ)而 H(X/YZ)=0,H(Y/XZ)=0所以 I（X；Y/Z）=H(X/Z）=H(Y/Z) 證明是概率矢量的上凸函數(shù)，即對(duì)，01和矢量P1和P2有 證明： 用拉格朗日乘因子法求解下述泛函的極值。 Hn(pl, p2, …, pn)， 。解： 令U是非負(fù)整數(shù)集合，事件k∈U的概率為p(k)，且(常數(shù))。試求使H(U)為最大的分布p(k)。解： 設(shè)X是在[－1，1]上為均勻分布的隨機(jī)變量。試求Hc(X)，Hc(X 2)和Hc(X 3)。 解: (a) (b) 令(c)令．設(shè)連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為試求Hc(X)，Hc(Y)，Hc(XY)及I(X；Y)。解： 設(shè)X和Y為連續(xù)隨機(jī)變量，且X的概率密度為 ，條件概率密度為其中－∞x，y∞。試求Hc(X)，Hc(Y/X)，Hc(X/Y)和I(X；Y)。解： 設(shè)x為[0，∞]上分布的連續(xù)隨機(jī)變量，且滿足=S，求實(shí)現(xiàn)最大微分熵的分布及相應(yīng)的熵值。解： 令概率空間，令Y是連續(xù)隨機(jī)變量。已知條件概率率密度為試求(a) Y的概率密度ω(y) (b) I(X；Y) (c) 若對(duì)Y作如下的硬判決： 求I(X；Y)，并對(duì)結(jié)果進(jìn)行解釋。 解:(a) 由已知，
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1