第二章信息量和熵-資料下載頁
2025-08-01 13:01本頁面
【正文】 2， … ， K。 記 X的概率分布為 P(X=k)=qk， k=1~K。 記離散型隨機變量 Y的事件為 1， 2， … ， J。 記條件概率 P(Y=j|X=k)=p(j|k)。則 rkj=P((X, Y)=(k,j))=qkp(j|k)，（概率論中的乘法公式） wj=P(Y=j)=∑k qkp(j|k)，（概率論中的全概率公式） ? ??? ???KkJjKiiakijpqkjpkjpqYXI1 11)|()|(l og)|()。(互信息的凸性 互信息的凸性 設(shè)條件概率 {p(j|k)， k=1~K， j=1~J}被確定。此時 I(X。 Y)是概率向量 q=(q1, q2, …, qK)的函數(shù)。我們希望找到這樣的概率向量，使得對應(yīng)的 I(X。 Y)達到最大。這就是說，記 我們希望找到這樣的 K維概率向量 a=(a1, a2, …, aK)，使得 ? ??? ???KkJjKiiakijpqkjpkjpqqf1 11)|()|(l og)|()()(m a x)( qfafKq 維概率向量跑遍所有的?KT條件 ? f(a)是定義域 R上的上凸函數(shù)， a是概率矢量。偏導(dǎo)數(shù) 存在且連續(xù)， f(a)在 R上為極大的 充分必要條件 其中 l為一常數(shù)。 ()0()0kkkkffalaaalaa????????( ) / kf aa??互信息的凸性 ? ? ??x yiixypiQxypxypxqYXI)|()()|(l o g)|()()。(p(y | x)給定， I(X。 Y)是 q(x)的上凸函數(shù) q(x)給定， I(X。 Y)是 p(y | x)的下凸函數(shù) 互信息的凸性 定理 K維概率向量 a=(a1, a2, …, aK)使得 當且僅當：以 a為 X的概率向量的時候， I(X=k。 Y)對所有 ak0的k都取一個相同的值 C； I(X=k。 Y)對所有滿足 ak=0的 k都取值不超過上述的相同值 C 。 )(m a x)( qfaf Kq 維概率向量跑遍所有的???????JjKiiaijpakjpkjpYkXI11)|()|(l og)|()。(互信息的凸性 I(X=k。 Y)表示什么？表示事件 X=k與隨機變量 Y之間的“半平均互信息量”。 CaCYkXIaYXIXaKkkKkk ???? ???? 11)。()。(的概率向量的時候，為以。互信息量的關(guān)系：平均互信息量與半平均????Kkk YkXIqYXI1)。()。(互信息的凸性 例 設(shè) X的事件有 0、 1； Y的事件有 0、 1； 已知 p(0|0)=1u； p(1|0)=u； p(0|1)=u； p(1|1)=1u。 當 X服從等概分布（ a0=P(X=0)=1/2； a1=P(X=1)=1/2）時， I(X。Y)達到最大。因為此時 uuuuppppipappipappYXIaaaaaiiaiial o g)1(l o g)1(2l o g)0|1(2l o g)0|1())0|0(2(l o g)0|0()|1()0|1(l o g)0|1()|0()0|0(l o g)0|0()。0(1010??????????????互信息的凸性 )1(l o g)1(l o g2l o g)1|1(2l o g)1|1())1|0(2(l o g)1|0()|1()1|1(l o g)1|1()|0()1|0(l o g)1|0()。1(1010uuuuppppipappipappYXIaaaaaiiaiia??????????????)。1()。0( YXIYXI ???小結(jié) ? 信息的度量 —— 熵，信息量 ? 熵的極大性 ? 熵，平均互信息的關(guān)系 ? 條件熵，聯(lián)合熵，條件互信息，聯(lián)合互信息 ? 互信息的凸性 ? 信息處理定理 討論 ? 10個硬幣中有一個重量偏輕，其他 9個為標準重量。在不用砝碼的天平上至多稱多少次，就能發(fā)現(xiàn)這個輕的硬幣？怎樣稱？用天平稱的信息論含義是什么？ ? 世界杯冠軍預(yù)測方法。 ? 信息論與大數(shù)據(jù)。
物理相關(guān)推薦
鄂ICP備17016276號-1