[理學]信息論與編碼理論--第二章-資料下載頁
2025-10-07 21:10本頁面
【正文】 xm?????????? ??? ?????? ??????? dxmxnxpXH C 22 )(2 12 11)()()(222212ln21)(XHcceeexH?????? 熵功率 2 ( )2 12? ?cHXee?西安電子科技大學通信工程學院 微分熵的極大化 ? 均勻分布微分熵最大 ? 高斯分布微分熵最大 2 ( )2 12??cHXee?22( ) ( )? x m p x d x???西安電子科技大學通信工程學院 微分熵的極大化 峰值功率受限 ( , ) , ( ) 1M xMx M M p x dx?? ? ??( ) l o g 2CH X M?西安電子科技大學通信工程學院 微分熵的極大化 平均功率受限 22( ) 1 ( ) ( ) ?xxp x dx x m p x dx??? ? ? ?? ? ???( ) l o g 2 ??CH X e?西安電子科技大學通信工程學院 凸函數(shù)與互信息的凸性 西安電子科技大學通信工程學院 凸函數(shù) 凸集 R： a， b屬于 R， ?a??1???b也屬于 R，其中0≤?≤1 概率矢量 矢量 a的所有分量和為 1 上凸函數(shù) ( ) ( 1 ) ( ) ( ( 1 ) )? a ? b ? a ? bf f f? ? ? ? ?西安電子科技大學通信工程學院 凸函數(shù)的性質(zhì) 1. f(a)是上凸的，－ f(a)是下凸的 2. f1(a),…, fL(a)是 R上的上凸函數(shù)， c1,…, cL是正數(shù)，c1f1(a)+…+ cLfL(a)也是上凸函數(shù) 3. f(a)是上凸函數(shù)， E[f(a)]≤f[E(a)], E為求數(shù)學期望 11()LLl l l lllf P a P f a???? ???????西安電子科技大學通信工程學院 KT條件 f(a)是定義域 R上的上凸函數(shù)， a是概率矢量。偏導數(shù) 存在且連續(xù)， f(a)在 R上為極大的 充分必要條件 ()kfaa??()0()0??kkkkfaaafaaa????????西安電子科技大學通信工程學院 互信息的凸性 ( | )( 。 ) ( ) ( | ) l o g( ) ( | )xy iip y xI X Y q x p y xQ i p y x? ???p(y|x)給定， I(X。Y)是 q(x)的上凸函數(shù) Q(x)給定， I(X。Y)是 p(y|x)的下凸函數(shù) 西安電子科技大學通信工程學院 互信息的凸性 q1和 q2是 X上的任意兩個概率矢量，相應的互信息為 I1和 I2，令 θ滿足 0θ1。q=θq1＋ (1－ θ)q2是合成概率矢量，此時輸入 X和輸出 Y之間的互信息為 I。需要證明 12( 1 )??I I I? ? ?12( ) ( 0 )( ) ( 1 )XZXZq k p kq k p k?? ?????( 0) , ( 1 ) 1??? ? ?ZZpp( , ) ( )?p y x z p y x)( ZYXI ；)( YXI ；西安電子科技大學通信工程學院 參考習題 , , ,
教學課件相關推薦
鄂ICP備17016276號-1