【正文】 ??????????????????10lo gH a r t14 3 lo g1lo g)(lo g)(ln)(ln)(lo g1)(lo g)(ln222222同理：又 ??10lo g)(lo g)(lo g)2(lo g)(lo g)(ln)1(221022iiiixpxpexpxp??熟記： 證明： 12 自信息量 ? 自信息量的性質(zhì) ? 非負性 ? 說明：任何隨機事件發(fā)生后，總能對接收者提供一些信息量， 最少是零 。 ? 但你的車只能在坐下一個人，你會如何選擇？ ? 所有的選擇形成一個信源集合，記作 X， 請構(gòu)造該信源的數(shù)學模型 ： ? ?nxxxX ?, 21?)()( ii xXpxp ??????????????? )()()()()(2121ninixp，xp，xp，xpx，x，x，xXPX????? 每種選擇出現(xiàn)的概率記作 ? 該信源的數(shù)學模型為： 9 信息量 ? 自信息量 ? 聯(lián)合自信息量 ? 條件自信息量 ? 互信息量 10 自信息量 ? 自信息量 ? def：離散信源符號集合 X中某一符號 作為一條消息發(fā)出時，對外提供的信息量。 ? 一個是醫(yī)生，他曾救過你的命，你做夢都想報答他。有三個人正在焦急的等公共汽車。在一個暴風雨的晚上。 7 單符號離散信源的數(shù)學模型 — 離散型的概率空間 ? 設信源輸出集合為 X, ? 每個符號出現(xiàn)的概率記作： ? 則其數(shù)學模型可以表示為 ? 注： 大寫字母 ：表示隨機變量，指信源整體 ? 小寫字母加下標 ：表示隨機事件的某一結(jié)果，即信源的某個元素。 ? （ 3）連續(xù)信源：信源輸出的消息是連續(xù)消息。 ? （ 2）多符號離散信源：信源輸出的消息是離散消息，且多個符號表示一條消息。 ? 用 離散隨機變量 表示。 4 連續(xù)信源 ? 實際問題中，連續(xù)的模擬信源往往采用以下兩種方法進行分析： ? 一是將連續(xù)信源 離散化 為隨機序列信源，再采用前面的隨機序列信源進行分析； ? 有三類最常用離散化方法： ? 付氏級數(shù)對應的傅里葉變換 ? 取樣函數(shù) ? KL變換 ? 二是 直接分析 連續(xù)模擬信源，但是由于數(shù)學上的困難，只能分析單個連續(xù)消息變量的信源。 ? 實際信源不可能只發(fā)送單個消息（單符號離散信源）。 ? 它是最簡單的，也是最基本的信源，是組成實際信源的基本單元。 ? 客觀信源的基本特性是具有隨機不確定性。 ? 從數(shù)學上看，由于消息的不確定性，信源是產(chǎn)生隨機變量、隨機序列和隨機過程的源。1 第 2章 信源熵 并不是我們注意到的每一件事都重要，也不是每一件重要的事我們都注意到了。 愛因斯坦（ 18791955） 2 信源的統(tǒng)計特性 ? 在信息論中，確切的說，信源是產(chǎn)生消息（符號）、消息序列和連續(xù)消息的來源。 ? 其次，討論信源的統(tǒng)計特性。 3 信源的分類討論 ? 首先討論離散單個消息（符號）信源，又稱單符號離散信源。 ? 其次，討論實際信源。 ? 對離散信源而言，發(fā)送的若是一組消息串（符號序列），即一個隨機序列（多符號離散信源）； ? 對連續(xù)信源而言，發(fā)送的則是一隨機過程（連續(xù)信源）。 5 第 2章 信 源 熵 ? 主要內(nèi)容 ? ? ? ? ? 基本要求 ? 掌握信源的分類及對應的數(shù)學模型 ? 掌握熵和互信息量 /平均互信息量的定義、性質(zhì) ? 掌握離散無失真信源編碼定理 6 單符號離散信源 ? 單符號離散信源定義 —— Def: ? （ 1）單符號離散信源：信源輸出的消息是離散消息，且每個符號表示一條消息。 記作：大寫字母。 ? 用 隨機矢量 表示。 ? 用 隨機過程 表示。 ? ?nxxxX ?, 21?)()( ii xXpxp ??????????????? )()()()()(2121ninixp，xp，xp，xpx，x，x，xXPX????且滿足 1)(1)(01??? ??ni iixp，xp8 單符號離散信源數(shù)學模型舉例 ? 你開著一輛車。你經(jīng)過一個車站。 ? 一個是快要臨死的老人，他需要馬上去醫(yī)院。 ? 還有一個女人 /男人，她 /他是你做夢都想嫁 /娶的人，也許錯過就沒有了。 ? 自信息量的計算：某事件發(fā)生概率的對數(shù)的負值。 ? ： 0)(1)(0 ???? ii xIxp?00lo g,0)(。 ? 所以自信息量 可以代表收到消息 后獲得信息量。 ? 所以 自信息量是用來消除不確定度 的。 ? 但一個處于接收前，另一個處于接收后。 ixix)( ixI你去河南省交通局應聘 ix15 信息量 ? 自信息量 ? 聯(lián)合自信息量 ? 條件自信息量 ? 互信息量 16 ? 聯(lián)合自信息量 ? def： 兩個事件同時發(fā)生時對外提供的信息量。 ? 記作： ? X、 Y相互獨立時 )(lo g)( jiji yxpyxI ??)()()( jiji yIxIyxI ??)()()(lo g(lo g))((lo g ()(lo g)()(()(jijijijijijijiyIxIypxpypxpyxpyxIypxpyxp?????????????????????????????????????????????????????????）））獨立?證明： 即：兩個隨機事件相互獨立時，同時發(fā)生得到的信息量，等于各自單獨發(fā)生 時得到的信息量之和。 ? 定義為：條件概率的對數(shù)負值。根據(jù)信宿的概率出消息：先驗概率。(jiijiiijijiijyxIxIyxpxpxpyxpyxIxy??????????????????????????????????的互信息量為：對22 互信息量 ? 互信息量的各種表達形式及物理意義 ? 從輸出端觀察 的消息形式體現(xiàn)出來。二者一減，得到jijjiyxyyx )。( jiiji yxIxIyxI ??)( ixI )( jyI)/( ji yxI的不確定度前，發(fā)收到 ij xy 的不確定度后，發(fā)收到 ij xy)。(jijijjiypxypxyIyx 的互信息量為：對)/()()。以信息量，是通過信道傳遞過來的這部分消除的不確定度部分，的不確定度被消除了一后，相減，表示發(fā)。I()/()()。( ji yxI 信息量中