【正文】 性將更加復(fù)雜。由以上例子分析可以得出，信息論沒有考慮信息的可靠性，而信息的可靠性是一個(gè)非常重要的指標(biāo)。實(shí)際上，現(xiàn)實(shí)中人們很難得出完全可靠的信息，只有權(quán)宜地采用相對可靠的信息，當(dāng)有更加可靠的信息的時(shí)候，人們會利用更可靠的信息取代先驗(yàn)的信息。xi)=H(Y)H(n)iDti=0在f1上，假設(shè)接收信號的光量子的離散能譜為Ei=hfi(h是普朗克常數(shù)).由于熱輻射，光量子的波動服從Gibb分布p(ni)=1exp[hfi/kT]exp[nihfi/kT]2H(n)=pKt/3hln2 可得，光量子的波動引起的噪聲熵:信號最大熵：H(Y)=229。信息論的研究對象又可以是廣義的信息傳輸和信息處理系統(tǒng)。在統(tǒng)計(jì)領(lǐng)域里，統(tǒng)計(jì)計(jì)算技術(shù)近年來發(fā)展很快，它使許多統(tǒng)計(jì)方法，尤其是Bayes統(tǒng)計(jì)得到廣泛的運(yùn)用。一臺簡單的搖獎(jiǎng)機(jī)，從十個(gè)號碼球中搖出一個(gè)數(shù)字號碼，可以看作一個(gè)單符號離散信源，它有十個(gè)符號，從0至9。這是通信技術(shù)領(lǐng)域數(shù)字化革命的數(shù)學(xué)或理論基礎(chǔ)。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域,它迫切要求突破申農(nóng)信息論的狹隘范圍,以便使它能成為人類各種活動中所碰到的信息問題的基礎(chǔ)理論,從而推動其他許多新興學(xué)科進(jìn)一步發(fā)展。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯(lián)系（第四節(jié)將具體分析）。信道：傳送信息的通道，如電話通信中包括中繼 器在內(nèi)的同軸電纜系統(tǒng)，衛(wèi)星通信中地球站的收發(fā)信機(jī)、天線和衛(wèi)星上的轉(zhuǎn)發(fā)器等。信息論是建立在概率論基礎(chǔ)上而形成的，也就是從信源符號和信道噪聲的概率特性出發(fā)的。研究重點(diǎn)是信息和信源編碼問題。1948年貝爾研究所的香農(nóng)在題為《通訊的數(shù)學(xué)理論》的論文中系統(tǒng)地提出了關(guān)于信息的論述，創(chuàng)立了信息論。從定量意義上說，應(yīng)使系統(tǒng)在規(guī)定的失真或基本無失真的條件下，傳送最大的信息率；或者在規(guī)定信息率的條件下，失真最小。s Demon的重新解釋，對信息的銷毀是一個(gè)不可逆過程，所以銷毀信息是符合熱力學(xué)第二定律的。1948年克勞德從此信息論邁入第二個(gè)階段。兩篇論文成為了信息論的奠基性著作。我們不難看出，信息論在很多領(lǐng)域都有所應(yīng)用。近代密碼學(xué)由于數(shù)據(jù)加密標(biāo)準(zhǔn)與公鑰體制的出現(xiàn)與應(yīng)用，使近代密碼學(xué)所涉及的范圍有了極大的發(fā)展，尤其是在網(wǎng)絡(luò)認(rèn)證方面得到廣泛應(yīng)用，但其中的安全性原理與測量標(biāo)準(zhǔn)仍未脫離香農(nóng)保密系統(tǒng)所規(guī)定的要求，多種加密函數(shù)的構(gòu)造，如相關(guān)免疫函數(shù)的構(gòu)造仍以香農(nóng)的完善保密性為基礎(chǔ)信息論在數(shù)字移動通信系統(tǒng)中的應(yīng)用數(shù)字移動通信系統(tǒng)主要包含編碼和譯碼兩種技術(shù)。信息論正式一門把信息作為研究對象的科學(xué)，以揭示信息的本質(zhì)特性和規(guī)律為基礎(chǔ)，應(yīng)用概率論。xi)=H(y)H(ni)ii（*）因?yàn)楣潭〞r(shí)間間隔Dt，Dt=1/fi，所以單位時(shí)間內(nèi)的平均互信息:1165。這里的不確定性除了隨機(jī)不確定性、模糊不確定性，還可能有更多形式的不確定性，包括某些不完全的約束條件造成的不確定性。實(shí)例2：當(dāng)獲得消息“所有的事件都是等概率發(fā)生的”的時(shí)候，對這句話的內(nèi)容是什么，或者對于問題“所有的事件發(fā)生呈現(xiàn)什么樣的概率分布”而言，它消除了不確定性。信息的可靠性是信息的主要指標(biāo)，但是信息論沒有考慮，僅僅是考慮到信息的不確定性。信息論中最基礎(chǔ)的概念是信息，信息論是一門新興學(xué)科，其中重要的組成概念包括自信息，互信息，信息熵，在此基礎(chǔ)上，衍生出其他的相關(guān)概念。23 條件熵在信源X輸出Xi的條件下，信源Y再輸出Yj所能提供的平均信息量[6]，稱為條件熵。第二章 信息熵及相關(guān)概念推導(dǎo)公式信息熵是1948年香農(nóng)(Shannon)在論文“通信的數(shù)學(xué)理論”中引入的，解決了對信息的量化度量問題。未解決這一問題，他在這篇論文中開創(chuàng)性的利用概率論、數(shù)理統(tǒng)計(jì)、隨機(jī)過程建立了通信系統(tǒng)的數(shù)學(xué)模型，提出了自信息、互信息、信息熵等概念，這一部分我們將重點(diǎn)討論自信息與互信息，信息熵留待下一部分具體描述。121 信息論的誕生和發(fā)展信息論的創(chuàng)始人是美貝爾電話研究所的數(shù)學(xué)家香農(nóng)（——），他為解決通訊技術(shù)中的信息編碼問題，把發(fā)射信息和接收信息作為一個(gè)整體的通訊過程來研究，提出通訊系統(tǒng)的一般模型；同時(shí)建立了信息量的統(tǒng)計(jì)公式，奠定了信息論的理論基礎(chǔ)。在人類社會的早期，只應(yīng)用語言手勢直接交流信息，但隨著社會的進(jìn)步，尤其是科學(xué)水平的進(jìn)步，傳統(tǒng)的信息獲取方式已經(jīng)不能滿足人類的發(fā)展要求，人類開始探索快速有效地獲取信息的方法，從而導(dǎo)致了一門新的學(xué)科——信息論的誕生。智能計(jì)算中的信息統(tǒng)計(jì)問題，信息量與統(tǒng)計(jì)存在許多本質(zhì)的聯(lián)系，在微分流形中，F(xiàn)isher信息矩陣式KullbackLaiber熵的偏微分，由此關(guān)系而引出的信息幾何理論是智能計(jì)算的基礎(chǔ)[2]。167。根據(jù)信息熵的定義可知熵值越大看，不確定性就越大。該方法依據(jù)表面粗糙度最小二乘檢驗(yàn)的基本原理計(jì)算檢驗(yàn)結(jié)果，并根據(jù)信息熵與不確定度的關(guān)系計(jì)算檢驗(yàn)結(jié)果的不確定度，從而減少產(chǎn)品的誤收和誤廢[10]。香農(nóng)將信息定義為消除不確定性的東西，與他研究通信中的條件熵不增加有密切關(guān)系。此后，甲同樣從丙處得到相同的情報(bào)。以上的信息的可靠性、完備性以及經(jīng)典集合的不切和實(shí)際都可以歸結(jié)為對信息的多重不確定性的忽視，比如，在實(shí)例分析中，我們發(fā)現(xiàn)不可靠的信息，它的信息表示本身是不固定的，其概率值可能是隨機(jī)變量，不完備的信息也是類似。光量子信道的信道容量從信息論的角度可以認(rèn)為光量子信道是信號和噪聲疊加的加性信道。它的主要目的是提高通信系統(tǒng)的可靠性、有效性和安全性，以便達(dá)到系統(tǒng)的最優(yōu)化。從傳統(tǒng)意義上來說，密碼學(xué)是研究如何把信息轉(zhuǎn)換成一種隱蔽的方式并阻止其他人得到它。比如信息論在水資源系統(tǒng)工程中可以利用信息論的方法建立模型推到降水、儲水量等分布的問題。香農(nóng)）的《通信的數(shù)學(xué)理論》論文公諸于世,從此宣告了嶄新的一門關(guān)于信息發(fā)面的學(xué)科──信息論的誕生。而在美國測試有一批數(shù)學(xué)修養(yǎng)很高的工程技術(shù)人員致力于信息有效處理和可靠傳輸?shù)目蓪?shí)現(xiàn)性,維信息論轉(zhuǎn)化為信息技術(shù)作出了貢獻(xiàn)。切略（）曾寫過一篇早期信息理論史，他從石刻象形文字起，經(jīng)過中世紀(jì)啟蒙語言學(xué)，直到16世紀(jì)吉爾伯特（）等人在電報(bào)學(xué)方面的工作。信息熵：所謂信息熵，是一個(gè)數(shù)學(xué)上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現(xiàn)概率。最佳編譯碼器就是要使系統(tǒng)最有效和最可靠。因此，關(guān)于后者的論述通常稱為信息科學(xué)或廣義信息論，不屬于一般信息論的范疇。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎(chǔ)理論，從而推動其他許多新興學(xué)科進(jìn)一步發(fā)展。語法信息是信源輸出符號的構(gòu)造或其客觀特性所表現(xiàn)與信宿的主觀要求無關(guān)，而語義則應(yīng)考慮各符號的意義，同樣一種意義，可用不同語言或文字來表示，各種語言所包含的語法信息可以是不同的。譯碼器：是編碼器的逆變換設(shè)備，把信道上送來的信號轉(zhuǎn)換成信宿能接受的信號，可包括解調(diào)器、譯碼器、數(shù)模轉(zhuǎn)換器等。信息還有專一性，每個(gè)信息決定一個(gè)確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進(jìn)一步發(fā)現(xiàn)。關(guān)鍵字：信息論；引言：信息論是運(yùn)用概率論與數(shù)理統(tǒng)計(jì)的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學(xué)、數(shù)據(jù)壓縮等問題的應(yīng)用數(shù)學(xué)學(xué)科。當(dāng)物理學(xué)中的電磁理論以及后來的電子學(xué)理論一旦有某些進(jìn)展,很快就會促進(jìn)電信系統(tǒng)的創(chuàng)造發(fā)明或改進(jìn)。在英語中拼寫非常接近的單詞很容易混淆或者拼寫錯(cuò)誤，用信息論的觀點(diǎn)來看就是兩個(gè)碼字的漢明距離（不同位的個(gè)數(shù)）太小，因此抗干擾的能力差。調(diào)制解調(diào)碼的出現(xiàn)從根本上改變了數(shù)據(jù)通信的狀況，使調(diào)制解調(diào)碼通信速度從原來的1200bit/s逐步增加到30000bit/s。信息論在數(shù)據(jù)壓縮理論中的應(yīng)用數(shù)據(jù)壓縮的主要目的是力求用最少的數(shù)據(jù)表示信源所發(fā)出的信號，使信號占用的存儲空間盡可能小，以達(dá)到提高信息傳輸速度的目的。p2kTep2Kt3hln2[(1+6hs1/2)1]pkT6hs12當(dāng)hfkT,即信噪比(pkT)時(shí)，光量子信道的信道容量極限值為：C光量子=2S1/2)ln23h(1)(p6hs12當(dāng)信噪比很小(pkT)時(shí)，光量子信道的信道容量極限值為C經(jīng)典=SN0ln2(2)此式正是由香農(nóng)公式得到的信道容量極限值式，其中N0=KT。當(dāng)然也與概率論的局限性有關(guān)系，由于對概率值隨機(jī)性和多重隨機(jī)不確定性研究的不足，使得人們?nèi)菀紫萑搿案怕剩ò?lián)合概率分布）就是確定值，而不可能是隨機(jī)變量”，“給定條件就可以得出條件概率”等思維定勢中，而這些思維定勢只是適用于現(xiàn)實(shí)概率論問題中的一部分。假如把信息的確定性當(dāng)作唯