波形信源和波形信道(已修改)
2025-05-11 13:39 本頁面
【正文】 第 4章 波形信源和波形信道 波形信源的統(tǒng)計(jì)特性和離散化 連續(xù)信源和波形信源的信息測度 連續(xù)信源熵的性質(zhì)及最大差熵定理 熵功率 連續(xù)信道和波形信道的信息傳輸率 高斯加性波形信道的信道容量 波形信源的統(tǒng)計(jì)特性和離散化 實(shí)際某些信源的輸出常常是時(shí)間和取值都是連續(xù)的消息。例如語音信號、電視信號。這樣的信源成為隨機(jī)波形信源，其輸出消息可以用隨機(jī)過程{x(t)}來表示。 { ( )}ixt 隨機(jī)過程 {x(t)}可以看成由一族時(shí)間函數(shù) 組成 稱為樣本函數(shù)。每個(gè)樣本函數(shù)是隨機(jī)過程的一個(gè)實(shí)現(xiàn)。 圖 一個(gè)隨機(jī)過程 ? ?()xt連續(xù)信源： 信源輸出的消息是在時(shí)間上離散，而取值上連續(xù)的、隨機(jī)的。如遙控系統(tǒng)中有關(guān)電壓、溫度、壓力等測得的連續(xù)數(shù)據(jù)。 隨機(jī)波形信源： 信源輸出的消息不僅在時(shí)間上是連續(xù)的而且在取值上也是連續(xù)的、隨機(jī)的。 于是定義 隨機(jī)波形信源的特點(diǎn)： （ 1）隨機(jī)波形信源中消息數(shù)是無限的。每一個(gè)可能的消息是隨機(jī)過程的一個(gè)樣本函數(shù)。每個(gè)樣本函數(shù)是隨機(jī)過程的一個(gè)實(shí)現(xiàn)。 （ 2）隨機(jī)波形信源可用有限維概率密度函數(shù)族以及與各維概率密度函數(shù)有關(guān)的統(tǒng)計(jì)量來描述。 1 1 12 1 2 1 21 2 1 2()()()n n np x tp x x t tp x x x t t t???????， ， ， ， ， ， ， ， ，1 2 1 21 2 1 2()( ) 1 2n n nn n np x x x t t tp x x x t t t n? ? ?? ? ? ? ?， ， ， ， ， ， ， ， ， ， ， ， ， ， ，平穩(wěn)隨機(jī)過程： 統(tǒng)計(jì)特性不隨時(shí)間平移而變化。 非平穩(wěn)隨機(jī)過程： 統(tǒng)計(jì)特性隨時(shí)間平移而變化。 隨機(jī)過程 時(shí)間離散的隨機(jī)序列 取樣定理 12F? ? 時(shí)間連續(xù)函數(shù) f(t)的頻帶受限（上限頻率為 F）取樣間隔為 ()()22nxtnntxFF?由 于 隨 機(jī) 過 程 的 樣 本 函 數(shù) 有 無 限 多 個(gè) ， 因 此 ，取 樣 后 的 樣 本 值 是 一 個(gè) 隨 機(jī) 變 量 。 這樣，通過取樣，隨即過程就成為可數(shù)的無限維 的隨機(jī)序列 。 122 2 2( , , . . . , , . . . )iF F FX X X X? 如果隨機(jī)過程又是限時(shí)的，時(shí)間間隔為 T，則就 成為 2FT個(gè)有限維的隨機(jī)序列。取樣之后還要對取 值的離散化。 取樣加量化才使隨機(jī)過程變換成時(shí)間 的取值都是離散的隨機(jī)序列 。量化必然帶來量化噪 聲，引起信息損失。 連續(xù)信源的差熵 先看單個(gè)變量的基本連續(xù)信源的信息測度?；? 連續(xù)信源的輸出是取值連續(xù)的單個(gè)隨機(jī)變量?？捎米? 量的概率密度，變量間的條件概率密度和聯(lián)合概率密 度來描述。 連續(xù) /波形信源的信息測度 變量的一維概率密度函數(shù)為 d ( )()dXFxpxx? d ( )() dY Fypy y?111( ) [ ] ( )dxXF x p X x p x x???? ?≤//( / ) ( / )Y X X Yp y x p x y2111111()()XYF x yp x yxy????，//( ) ( ) ( / ) ( ) ( / )X Y X Y X Y X Yp x y p x p y x p y p x y??( ) ( ) dXY Rp x p x y y? ? ( ) ( ) dYX Rp y p x y x? ? 聯(lián)合概率密度函數(shù)為 一維概率分布函數(shù)為 條件概率密度函數(shù)為 它們之間 的關(guān)系為 圖 概率密度分布 ?????????)( xpRX( ) d 1R p x x ?? 并滿足 基本連續(xù)信源的 數(shù)學(xué)模型為 ? ?( 1 ){ ( 1 ) } ( ) d ( )( 1 ) , ( 1 2 )aiii aiiP P a i x a i p x x p xx a i a i i n??? ? ??????? ? ? ? ? ?? ? ? ? ??≤ ≤， ， ，1212( ) ( ) ( )nnnX x x xp x p x p xP ? ? ??? ????? ??????( 1 )11( ) ( )d ( )d 1nn ai Δ bi ai Δ aiip x p x x p x x? ?????? ? ??? ??且( ) l o g ( ) l o g [ ( ) ]( ) l o g ( ) ( ) l o gn i i i iiii i iiiH X P P p x p xp x p x p x??? ? ?? ? ? ?? ? ?????000( ) l im ( ) l im ( ) l o g ( ) l im ( l o g ) ( )( ) l o g ( ) d l im l o gn i i inibaH X H X p x p x p xp x p x x?? ? ??? ? ? ? ? ??? ? ? ?? ? ????于是，連續(xù)信源的熵定義為 ( ) ( ) l o g ( ) dRh X p x p x x?? ?無限大常數(shù) ()hX 稱 為 相 對 熵 （ 或 差 熵 ）單位為：奈特 /自由度 同理，兩個(gè)連續(xù)隨機(jī)變量 X、 Y的聯(lián)合熵和條件熵可以定義為 ( ) ( ) l og ( ) d d( / ) ( ) ( / ) l og ( / ) d d( / ) ( ) ( / ) l og ( / ) d dRRRh X Y p x y p x y x yh Y X p x p y x p y x x yh X Y p y p x y p x y x y???????????? 連續(xù)平穩(wěn)信源和波形信源的差
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1