信息編碼期末復(fù)習(xí)ppt課件(已修改)
2025-05-18 02:43 本頁面
【正文】 期末復(fù)習(xí) —— 第一章 馬爾可夫過程的概念 1. 馬爾可夫性 (無后效性 ) 所處的狀態(tài)為已知的在時刻系統(tǒng)過程或 0)( t所處狀態(tài)的條件分布與過程在時刻條件下 0, tt ?特性稱為之前所處的狀態(tài)無關(guān)的與過程在時刻 0t馬爾可夫性 或 無后效性 . 即 : 過程“將來”的情況與“過去”的情況是無關(guān)的 . 齊次馬氏鏈、平穩(wěn)性的概念 . 一步轉(zhuǎn)移概率矩陣的計算 . 一步轉(zhuǎn)移概率 }.|()1( 1 imjmijij aXaXPPp ???? ?一步轉(zhuǎn)移概率 矩陣 ) ) .(()1( nPP ij?狀態(tài)轉(zhuǎn)移圖 1 2 3 1 ? 路徑： 經(jīng)過一系列的轉(zhuǎn)變狀態(tài) i可以到狀態(tài) j ? 可達(dá)： 兩狀態(tài)間有一條路徑 ? 互通 ： 兩狀態(tài)間互連 ? 吸收態(tài)：只能出去不能進(jìn)來 平穩(wěn)概率 意義 對固定的狀態(tài) j,不管鏈在某一時刻的什么 狀 態(tài) i出發(fā) , 通過長時間的轉(zhuǎn)移到達(dá)狀態(tài) j 的概率都趨 ? ???????????????????????????1212121nnnpppPpppppp??? 于穩(wěn)定。 信息的定義 ? 通信系統(tǒng)傳輸和處理的對象，泛指消息和信號的具體內(nèi)容和意義。 ? 通常需通過處理和分析來提取。 信源是產(chǎn)生消息的源 ， 根據(jù) X的不同情況 ， 信源可分為以下類型： 連續(xù)信源 ：如果信源輸出的隨機(jī)變量取值于某一連續(xù)區(qū)間，為連續(xù)信號，消息的個數(shù)是無窮值，就叫做連續(xù)信源。 離散信源： 如果信源輸出的隨機(jī)變量取值于某一離散符號集合，消息在時間和幅值上均是離散的，就叫做離散信源。 1. 離散無記憶信源 離散無記憶信源的數(shù)學(xué)模型為離散型的概率空間，即： ??????????),(,)( 11upuupUu2 , … , ui , … , p(u2), … , p(ui), … , ???)(nnupu?????niii upup111 )(,)(0離散無記憶信源的概率密度函數(shù) ),( 1 Ll uuup ??(u)＝ p???Lllup1)(Lp?（當(dāng)滿足無記憶條件時） （當(dāng)進(jìn)一步滿足平穩(wěn)性時） 離散有記憶信源的概率密度函數(shù) 若將離散序列信源發(fā)出的隨機(jī)序列消息看作一階馬氏鏈，則消息序列中任一時刻的消息 僅與其前面的一個消息 有關(guān)，而與更前面的消息沒有直接關(guān)系。 lu1?lu(u) pLjiLjiLlllLLLLPPpuupupuupuupuupupuuupuuupuupup?????????????11111112312111123121)()()()()()()()()()(???（對于馬氏鏈） （對于齊次馬氏鏈） （對于齊次遍歷馬氏鏈） 自信息量 ：任意隨機(jī)事件的自信息量定義為該事件發(fā)生概率的對數(shù)的負(fù)值。 ][loglog)( pppIiii1??? 信息熵－－平均自信息量 ： 隨機(jī)變量 I(pi)的數(shù)學(xué)期望定義為平均自信息量 ???????? niiiiini pppEpIEppHUH1l og]l og[)]([）（）（ ?聯(lián)合熵與條件熵： ? ?? ?????? nimjijijijij rrrErIEVUH1 1l o g]l o g[)]([),(? ?? ??????nimjjiijjiji PrPEPIEUVH1 1l o g]l o g[)]([)|(? ?? ??????nimjjiijjiji QrQEQIEVUH1 1l o g]l o g[)]([)|(定理 122：熵函數(shù)的性質(zhì)： 定理 122：熵函數(shù)的極值性 該性質(zhì)表明，在離散情況下，信源 U的各事件等概率發(fā)生時，熵達(dá)到極大值。這個重要結(jié)論稱為最大熵定理。 事件的數(shù)目 n越多，信源的熵值就越大（對數(shù)函數(shù)的單調(diào)上升性）。 的事件數(shù)目是信源其中 Ul o g),. .. ,(),. .. ,(nnnnnHpppH n ??11121定理 123：熵函數(shù)的上凸性 熵函數(shù) H(U)為 pi= p(ui)的上凸函數(shù) 詹森（ Jenson）不等式 ])[()]([ xEfxfE ?當(dāng) f(x)為下凸函數(shù)時： ])[()]([ xEfxfE ?當(dāng) f(x)為上凸函數(shù)時： 離散無記憶信源的序列熵與消息熵 )(log)( lLlUulLlupup ?? ????11 ＝＝)()(HULHuLll?? ?? 1序列熵 H(U) （對平穩(wěn)信源） （熵的可加性） )(log)()(H upupUu????U 平均每個消息的熵 —— 消息熵 HL(U) )()()()( UHULHLHLUH L ???? 11 U離散序列信源的消息熵 HL(U)等于單符號離散信源的熵 )(UH定理 131： )(H)(H)。(H)(H)()(H)(H)(H)(H),(H1222112121212121UUUUUUUUUUUUUU??????）（? ?? ?? ?? ??
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1