【文章內(nèi)容簡(jiǎn)介】 ??2121210xxPX 假定觀察結(jié)果為正面朝上，即狀態(tài) x1出現(xiàn)，后驗(yàn)概率空間為 ????????????? 01 21* xxPX 則先驗(yàn)概率空間到后驗(yàn)概率空間轉(zhuǎn)換過(guò)程為 ???????????????012121 2121 xxxx 2． 偶發(fā)信息的描述 偶發(fā)信息對(duì)應(yīng)于半隨機(jī)試驗(yàn)。在半隨機(jī)試驗(yàn)中，可能的狀態(tài)也是隨機(jī)發(fā)生的，但由于這類試驗(yàn)是偶爾發(fā)生的，不具有大量重復(fù)時(shí)的統(tǒng)計(jì)穩(wěn)定性，因 而不能用概率論來(lái)描述。 假定某個(gè)隨機(jī)試驗(yàn) X，它有 N 個(gè)可能的狀態(tài) x1, x2,… , xN。試驗(yàn)的結(jié)果這 N 個(gè)狀態(tài)總有一個(gè)會(huì)發(fā)生，且 x1發(fā)生的可能性為 q1， x2發(fā)生的可能性為 q2， … ， xN發(fā)生的可能性為 qN，且滿足歸一化條件： ?? ?Ni iq1 1 實(shí)際試驗(yàn)的結(jié)果，可能是 q1*, q2*,…, qN*，其中某個(gè) 10 ??nq，其余的 qn*=0 。 把 q1, q2,…, qN稱為關(guān)于 X 的先驗(yàn)可能度分布，用 Q 表示，而把 q1*,q2*,…, qN*稱為關(guān)于 X 的后 驗(yàn)可能度分布，用 Q*表示。 Q 和 Q*與概率信息場(chǎng)合的 P 和 P*相似，但 Q 不是概率，無(wú)法用統(tǒng)計(jì)的方法求出，而是由觀察者根據(jù)經(jīng)驗(yàn)給出，是觀察者關(guān)于 X 的主觀經(jīng)驗(yàn)性的先驗(yàn)可能性分布，服從歸一化約束。 在半隨機(jī)試驗(yàn)中， X 的狀態(tài)集合和可能度分布描述了事物的運(yùn)動(dòng)狀態(tài)和方式，分別定義（ X, Q）和 (X, Q*)為先驗(yàn)可能度空間和后驗(yàn)可能度空間，用它們來(lái)描述偶發(fā)信息。 觀察者的實(shí)得信息可以用可能度空間的變換描述： ????????????????? *QXQX 例 以賽馬為例，假定有三匹編號(hào)為 3 的馬參加比賽，把它 看做一個(gè)半隨機(jī)型試驗(yàn) X，則可能的狀態(tài)有 6 種： x1:123 x2:132 x3:213 x4:231 x5:312 x6:321 試驗(yàn)的結(jié)果到底是哪種狀態(tài)無(wú)法用概率或者確定型公式預(yù)測(cè)，具有偶然性。同時(shí)由于賽馬的競(jìng)技狀態(tài)、場(chǎng)地的環(huán)境狀況等都無(wú)法完全重復(fù)，也不可能做大量重復(fù)試驗(yàn)，因而只能建立主觀的或者是經(jīng)驗(yàn)的可能性分布，而無(wú)法建立概率分布。 假設(shè)有關(guān) X 的先驗(yàn)可能度分布為 q1, q2,…, qN，而后驗(yàn)可能度分布為 q1*, q2*,…, qN*，則實(shí)得信息可以由下面變換描述： 信息管理學(xué)課程講稿 第 13 頁(yè) ，共 92 頁(yè) ????????????? *6*2*1 621621 621 ,...,...,..., ,..., qqq xxxqqq xxx 3． 模糊信息的描述 模糊信息是指用以消除模糊不確定型的信息。可以用模糊隸屬度曲線來(lái)描述模糊事物的運(yùn)動(dòng)狀態(tài)和方式。把模糊集元素的隸屬度記為 f, 第 i 個(gè)元素的隸屬度記為fi, 整個(gè)模糊集上的隸屬度分布記為 F。與概率的情況不同，這里的隸屬度不滿足歸一化的要求，即 ? ??i ii Fff 1 把模糊試驗(yàn) X 和它的隸屬度分布 F 組成的序?qū)Γ?X， F）稱為模糊試驗(yàn)的隸屬度空間。這樣，模糊試驗(yàn)所提供的模糊信息可以用試驗(yàn)前后隸屬度空間的變化來(lái)描述。用符號(hào) F 表示試驗(yàn)前的隸屬度分布， F*表示試驗(yàn)后的隸屬度分布，則模糊試驗(yàn)提供的模糊信息可以描述為： （ X， F）→（ X， F*） 4． 確定型信息的描述 確定型信息是由確定型試驗(yàn)所提供的信息。所謂確定型試驗(yàn)，是有確定的試驗(yàn)機(jī)構(gòu)，但初始條件和環(huán)境條件都具有動(dòng)態(tài)或時(shí)變性的試驗(yàn)。確定型信息可以用確定性的數(shù)學(xué)模型來(lái)表示。 信息的申農(nóng)測(cè)度 信息論的創(chuàng)始人申農(nóng) 1948 年提出了信息的申農(nóng)測(cè)度。 申農(nóng)測(cè)度的基本思想是：信息是用來(lái)消除不確定性的，信息的數(shù)量可以用被消除掉的不確定性的大小來(lái)度量，而這種不確定性是由隨機(jī)性引起的，可以用概率來(lái)描述。因此，申農(nóng)測(cè) 度可用以度量隨機(jī)事件選擇結(jié)果的不確定性的大小。 假設(shè)有隨機(jī)事件集合 x1, x2,… , xN，出現(xiàn)的概率分別為 p1, p2,… , pN，滿足 ? ???? Ni ii pNip 1,...,1,10 ， 則隨機(jī)事件集合 x1, x2,… , xN 的申農(nóng)測(cè)度為 ????? iiNss ppKppHH l og),...,( 1 （ 14） 其中 K 為正常數(shù)，式（ 14）也稱為申農(nóng)熵公式。 為了更好地理解申農(nóng)測(cè)度的來(lái)源、內(nèi)涵及有關(guān)假設(shè)和性質(zhì)，下面給出申農(nóng)熵公式的一個(gè) 簡(jiǎn)單證明。 定理 滿足以下三個(gè)條件的不確定性度量 Hs 可且僅可用（ 14）式表示： （ 1） Hs 是 pi（ i=1,…, N）的連續(xù)函數(shù)； （ 2）如果所有的 pi 相等（即 pi =1/N），那么 Hs 是 N 的單調(diào)增函數(shù)； （ 3）如果選擇分為相繼的兩步，原先的 Hs等于分步選擇的各個(gè) Hs值的加權(quán)和。 其中條件（ 3）的意義可以做如下解釋： 設(shè)有 3 個(gè)事件 x1, x2和 x3，它們出現(xiàn)的概率分別為 p1=1/4， p2=1/3 和 p3=1/6。在如圖 所示不分步選擇（ a）和分步選擇（ b）的情況下，它們的概率空間是完信息管理學(xué)課程講稿 第 14 頁(yè) ，共 92 頁(yè) 全 相 同 的 ， 因 此 它 們 的 不 確 定 性 度 量 Hs 是 一 樣 的 ， 即)31,32(21)21,41()61,31,41( sss HHH ?? 。 圖 (a) 不分步選擇 圖 (b) 分步選擇 [證明 ] 先考慮等概率選擇的情況（即 pi =1/N， i=1,…, N） 令 )()1,...,1( NANNH s ? 由條件（ 3），有 )()()1,...,1(1)1,...,1()1,...,1()( 1 NAMANNHMMMHMNMNHMNA sNiss ????? ?? 故有 )(2)( NANNA ? 一般地，有 )()( SASA ?? ? 或 )()( tAtA ?? ? （ 15） 對(duì)于給定的 ?，總能找到適當(dāng)?shù)??，使得 1??? ??? StS （ 16） 兩邊取對(duì)數(shù)，并除以 ? logS，得 ????? 1loglog ??? St （ 17） 另一方面，由條件（ 2）及式（ 15），得 )()()( 1??? ??? SAtASA （ 18） 由式（ 15）和（ 17），得 )()1()()( SAtASA ??? ??? 兩邊除以 ?A(S)，得 ????? 1)( )( ??? SA tA （ 19） 由式（ 17）、（ 19），得 1/4 2/3 1/3 1/2 1/6 1/3 1/4 x1 p1=1/4 x2 p2=1/3 x3 p3=1/6 x1 p1=1/4 x2 p2=1/3 x3 p3=1/6 信息管理學(xué)課程講稿 第 15 頁(yè) ，共 92 頁(yè) ??? ?? StSA tA loglog)( )( 式中 ?是任意小的正數(shù)。 在極限情況下，有 StSA tA loglog)( )( ? 令 KStSA tA ?? loglog)( )( A(t)=Klogt 由條件（ 2）知， K 必為正數(shù)。因此，在等概率情況下式（ 14）成立。 考慮不等概率的情形，設(shè)事件發(fā)生的概率為 pi， ? ?Ni ip 1。 先考慮 ),...,1( Nipi ? 均 為有理數(shù)的情形。令iiiii uvuvp ,? ),...,1( Ni?均為正整數(shù)。求 ui 的最小公倍數(shù)，設(shè)其為 U，有 U=ki ui，則 Unp ii ? 其中 Unvkn Ni iiii ?? ??1,且，故 ??? Ni iii nnp1， 考慮 U 個(gè)等概率為 Up 1? 的事件，可以看成是先作概率為 Unp ii ? ),...,1( Ni?的 N 個(gè)不等概率的選擇，再在每個(gè)選擇后分別作 ni 個(gè)概率為in1 的等概率的選擇。根據(jù)條件（ 3），有 )1,... ,1(),... ,()1,... ,1( 11 iisNi iNss nnHpppHUUH ???? 即 )(),...,()( 111 iNi iNsNi i nApppHnA ?? ?? ?? 故 iNi iNsNi i nKpppHnK l og),...,(l og 111 ?? ?? ?? 即 信息管理學(xué)課程講稿 第 16 頁(yè) ，共 92 頁(yè) iNiiNiiiNiiNiiNiiiNiiiNiiNiiNiiiNiiNiiNsppKnnpKnpnpKnpnpKnpnKppHl o gl o g))l o g()l o g(()l o gl o g)(()l o g( l o g), . . . ,(111111111111????????????????????????????????? 因此，當(dāng) ),...,1( Nipi ? 均為有理數(shù)時(shí)，式（ 14）成立。 當(dāng) pi（ i=1,…, N）為無(wú)理數(shù)時(shí)，可以用有理數(shù)無(wú)限逼近，根據(jù)條件（ 1），結(jié)論也成立。證畢■ 要注意的是，在申農(nóng)測(cè)度公式的證明中，條件（ 1）、（ 2）和（ 3）是申農(nóng)提出的關(guān)于不確定性測(cè)度的三個(gè)基本假設(shè)，也是獲得申農(nóng)熵公式的根本依據(jù)。 申農(nóng)熵具有以下一些性質(zhì)： （ 1）對(duì)稱性 ),. .. ,(),. .. ,( )(11 NkksNs ppHppH ）（? 其中 {k(1),… , k(N)}是 {1,… ,N}的任意置換。 （ 2）歸一性 1)21,21( ?sH （ 3）可擴(kuò)展性 )0, .. .,(), .. .,0, .. .,(. ..), .. .,0(), .. .,( 11111 NsNiisNsNs ppHppppHppHppH ???? ? （ 4）確定性 0)1,0()0,1( ?? ss HH （ 5）極值性 NNNHppH sNs l og)1,...,1(),...,( 1 ?? （ 6）申農(nóng)不等式 ?? ??? iiii qppp loglog 其中 ? ???? Ni ii pNip 1,...,1,10 ， ? ???? Ni ii qNiq 1,...,1,10 。 現(xiàn)在，來(lái)考察一個(gè)標(biāo)準(zhǔn)的二擇一事件，即有兩種可能結(jié)果且兩種結(jié)果出現(xiàn)的概率相等（拋硬幣的事件就是這種情況），該事件的申農(nóng)測(cè)度為 信息管理學(xué)課程講稿 第 17 頁(yè) ，共 92 頁(yè) )21log2121log21()21,21( ??? KH s 由歸一性，有 1)21,21( ?sH ， 取 2 為對(duì)數(shù)的底，易得常數(shù) K=1，此時(shí)申農(nóng)測(cè)度公式變?yōu)? ???iis ppH 2log （ 110） 要注意的是，當(dāng)對(duì)數(shù)的底不為 2 時(shí)，常數(shù) 1?K ，但可以把不為 1 的 K 計(jì)入信息的度量單位中。當(dāng)對(duì)數(shù)的底為 2 時(shí)，申農(nóng)測(cè)度的度量單位為二進(jìn)單位，即比特（ binary digit， bit）；以 e 為底時(shí)，稱為自然單位，即奈特（ natural digit， nat）；以 10 為底時(shí)，即迪特（ decimal digit， dit）。因 此，不失一般性，有申農(nóng)測(cè)度公式 ??? iis ppH log （ 111） 為計(jì)算和表達(dá)方便，規(guī)定 0log0=0。容易證明， 1 比