【正文】 越強；反之，信息量越小，熵就越高，系統(tǒng)就越無序，結(jié)構(gòu)性就越差[5]。167。自信息的數(shù)學(xué)期望即平均自信息量，它的值稱為信息熵，簡記為H(X)，則有如下公式：由公式推導(dǎo)可以得知：（1）信息熵的大小可以用來描述信息系統(tǒng)的平均不確定程度。（2）如果某一信息系統(tǒng)中，其等價類是均勻的則表示系統(tǒng)中每一知識產(chǎn)生的分類基數(shù)相等，該系統(tǒng)的信息熵具有最大值（在相同對象數(shù)的情況下）即該系統(tǒng)的不確定性最大。那么，搞清楚它所需要的信息量也就越大[78]。23 條件熵在信源X輸出Xi的條件下，信源Y再輸出Yj所能提供的平均信息量[6]，稱為條件熵。條件熵有如下公式：167。符合記為H（X Y）或H（X∪Y）。從目前論文檢索情況來看，信息論的應(yīng)用和它自身的特點有很密切的關(guān)系，常應(yīng)用于信息量大，需要進行信息篩選整理，需要對信息數(shù)據(jù)進行數(shù)理統(tǒng)計工作的領(lǐng)域，土地和城市規(guī)劃常用到信息論的有關(guān)知識。例如視覺，聽覺，嗅覺等。已經(jīng)開始初步探索的是機器人的語音識別，主要研究方式依舊是模板匹配，音頻對比[9]。為了保證Ra測量結(jié)果的完整性和有效性，有論文提出了一種表面粗糙度Ra測量不確定度的計算方法。第四章 結(jié)論物質(zhì)、能量、信息是構(gòu)成這個世界的三大要素，因此材料科學(xué)、能源科學(xué)和信息科學(xué)構(gòu)成了世界發(fā)展的三大支柱。信息論中最基礎(chǔ)的概念是信息，信息論是一門新興學(xué)科，其中重要的組成概念包括自信息，互信息，信息熵，在此基礎(chǔ)上，衍生出其他的相關(guān)概念。信息論的這一特點意味著它將主要用于需接收大量數(shù)據(jù)的研究領(lǐng)域，包括機器人應(yīng)用傳感器的研究領(lǐng)域，尤其是視覺圖像采集，嗅覺，聽覺語音辨識等，還有質(zhì)量檢測領(lǐng)域。指出局限性產(chǎn)生的根源在于對信息多重不確定性的忽視，以及對概率值本身存在不確定性的認(rèn)識不足。關(guān)鍵詞：信息論，通信，可靠性，糾錯，概率，光通信。但是信息論的應(yīng)用一直限于通信等一些很局限的領(lǐng)域，信息論并不能夠完全地適用于一些信息技術(shù)相關(guān)的領(lǐng)域。國內(nèi)外一些學(xué)者從許多角度討論了信息論的局限性，比如沒有考慮語義、語用，沒有考慮信息的模糊性和事件之間的相似性，沒有考慮事件劃分可能存在包含關(guān)系等。香農(nóng)對信息的定義，對信息的度量，以及他的信息論，基本上都是用熵來計算的隨機不確定性，并沒有考慮信息的可靠度，對信息的可靠度的考慮最多是從信息傳遞過程中的失真進行了考慮?，F(xiàn)信息論存在如下局限性：第一，信息論沒有考慮信息的可靠性問題，而現(xiàn)實中的信息大多數(shù)都是不可靠的。信息的可靠性是信息的主要指標(biāo)，但是信息論沒有考慮，僅僅是考慮到信息的不確定性。在沒有更加完備信息的場合下，人們往往權(quán)宜地將片面的信息姑且當(dāng)作全面的信息來對待這一些簡單的信道并聯(lián)和串聯(lián)可以合為一個信道，比如簡單的兩個串聯(lián)信道的信道矩陣可以直接通過相乘而當(dāng)作一個信道，但是信息論沒有考慮信息復(fù)雜的多重傳遞，比如，信息從一個信源傳遞到中間信宿，而中間信宿又轉(zhuǎn)發(fā)給一個最終信宿，而且在這個轉(zhuǎn)換的過程中，信息的表示發(fā)生了改變，在這種多重傳遞的過程中，可能會產(chǎn)生多重不確定性。比如，當(dāng)然如果考慮前面提到的模糊集合等，這種多重不確定性性將更加復(fù)雜?，F(xiàn)實中這種傳輸特性可能不是確定不變的，而可能是隨機變量，甚至可能更加復(fù)雜。在通信中，定義信息為消除不確定性的東西無可厚非，但是面對本身不確定的信息，我們?nèi)绻ハ洳淮_定性。然而現(xiàn)實中許多中的信息的條件是比較復(fù)雜的，比如，給出的條件可能是知識、規(guī)律等等，在已知先驗概率的情況下，又得知某一個規(guī)律，通過這個規(guī)律并不能簡單得出相應(yīng)的條件概率來。實例1：甲從乙處得到情報：“敵人明天早晨百分之九十九要發(fā)動進攻”。從信息論角度來看，對于問題“敵人明天早晨是否要發(fā)動進攻”，不確定性是一樣的，因而信息量一樣，丙似乎并不提供新的信息。實例2：當(dāng)獲得消息“所有的事件都是等概率發(fā)生的”的時候，對這句話的內(nèi)容是什么，或者對于問題“所有的事件發(fā)生呈現(xiàn)什么樣的概率分布”而言，它消除了不確定性。這一點說明信息量僅僅是針對于消息本身的不確定性而言的，而該消息衍生出來的問題的不確定性并不與消息的信息量有必然聯(lián)系，因此，信息熵這一度量的應(yīng)用范圍也是有限的，并不適合應(yīng)用在日常的信息問題中。由以上例子分析可以得出，信息論沒有考慮信息的可靠性，而信息的可靠性是一個非常重要的指標(biāo)。實際上，我們要消除不確定性是很容易的事情，而香農(nóng)信息論的消除不確定性是以保證信息的可靠性和完備性為基礎(chǔ)的，比如利用糾錯碼糾錯，利用后驗概率來增強信息的完備性。再假如，我們把信息的確定性當(dāng)作首要考慮的目標(biāo)，其次考慮其可靠性，則我們也可以指定概率最大的事件概率為1，其余事件概率為0。如果如此，信息論和信息處理就變得相當(dāng)?shù)暮唵瘟恕８鶕?jù)以上多處的分析，可靠度是信息的一個首要指標(biāo)。對于模糊集和粗糙集之類的非經(jīng)典集合，則可以認(rèn)為是某一個集合包含的對象不確定而造成的，比如，在粗糙集中，對象可能屬于也可能不屬于集合X，對象a 是否屬于集合X 就具有隨機不確定性。這里的不確定性除了隨機不確定性、模糊不確定性，還可能有更多形式的不確定性，包括某些不完全的約束條件造成的不確定性。對信息可靠性的忽視也是信息論無法廣泛應(yīng)用的重要原因。實際上，現(xiàn)實中人們很難得出完全可靠的信息，只有權(quán)宜地采用相對可靠的信息，當(dāng)有更加可靠的信息的時候，人們會利用更可靠的信息取代先驗的信息。當(dāng)然，信息論也與現(xiàn)實信息問題具有很強相似性，信息論的方法很值得在現(xiàn)實的信息問題的研究中（包括信息的可靠性的研究中）借鑒，總而言之，信息論的局限性是源于信息論是針對通信問題的，其模型本身具有的局限性。由于信息論的這些限制條件能夠較好地滿足通信問題，使得它能夠在通信領(lǐng)域得到成功的應(yīng)用，而推廣到一般的信息領(lǐng)域則需要針對它的局限性解除相應(yīng)的約束條件。如今，通信中越來越多的使用光作為傳輸媒質(zhì)以及光器件的快速發(fā)展，電信道已被光信道所取代。對此進行分析和比較。假設(shè)在頻率fi時，輸人信號產(chǎn)生的平均量子數(shù)為xi，噪聲產(chǎn)生的平均量子數(shù)為ni可得，對于頻率，輸出信號的平均量子數(shù)為y=x+niiip(xi)p()p(yi)，ni，假設(shè)xi與ni統(tǒng)計獨立。xi)=H(y)H(ni)ii（*）因為固定時間間隔Dt，Dt=1/fi，所以單位時間內(nèi)的平均互信息:1165。Y)=229。xi)=H(Y)H(n)iDti=0在f1上，假設(shè)接收信號的光量子的離散能譜為Ei=hfi(h是普朗克常數(shù)).由于熱輻射，光量子的波動服從Gibb分布p(ni)=1exp[hfi/kT]exp[nihfi/kT]2H(n)=pKt/3hln2 可得，光量子的波動引起的噪聲熵:信號最大熵：H(Y)=229。p(y)logp(y)df=ii03hln2yi=0C=由式（*）可得光量子信道容量：165。結(jié)論從以上分析可看出，對于光量子信道來言，當(dāng)頻率很高時，信道容量的極限值是式(1)，而不是式(2)。因此，對于窄帶的光量子信道，帶寬Dff（中心頻率)時，可計算得光量子信道的極限值就等于香農(nóng)信道容量公式。信息論是應(yīng)用概率論、隨機過程和數(shù)理統(tǒng)計和近代代數(shù)等方法，來研究信息的存儲、傳輸和處理中一般規(guī)律的學(xué)科。編碼理論與信息論緊密關(guān)聯(lián)，它以信息論基本原理為理論依據(jù)，研究編碼和譯碼的理論知識和實現(xiàn)方法。信息論正式一門把信息作為研究對象的科學(xué)，以揭示信息的本質(zhì)特性和規(guī)律為基礎(chǔ)，應(yīng)用概率論。它主要研究如何提高信息系統(tǒng)的可靠性、有效性、保密性和認(rèn)證性，以使信息系統(tǒng)最優(yōu)化。信息論的研究對象又可以是廣義的信息傳輸和信息處理系統(tǒng)。例如信息論在一下幾個方面都得到了廣泛的應(yīng)用。數(shù)據(jù)壓縮在近代信息處理問題中有大量的應(yīng)用，無論在數(shù)據(jù)存儲或傳送中，通過數(shù)據(jù)壓縮不僅可以大大節(jié)省資源利用的成本，而且把一些原來無實用意義的技術(shù)，如多媒體技術(shù)中的一些問題，達(dá)到具有實用意義的標(biāo)準(zhǔn)。其中基于符號頻率統(tǒng)計的哈夫曼編碼效率高，運算速度快，實現(xiàn)方式靈活，使得其在數(shù)據(jù)壓縮領(lǐng)域得到了廣泛的應(yīng)用。信息論在密碼學(xué)中的應(yīng)用密碼學(xué)是研究編制密碼和破譯密碼的技術(shù)科學(xué)。密碼術(shù)的研究和應(yīng)用雖有很長的歷史，但在信息論誕生之前，它還沒有系統(tǒng)的理論，直到香農(nóng)發(fā)表的保密通信的信息理論一文，為密碼學(xué)確立了一系列的基本原則與指標(biāo)，如加密運算中的完全性、剩余度等指標(biāo)，它們與信息的度量有著密切相關(guān)。近代密碼學(xué)由于數(shù)據(jù)加密標(biāo)準(zhǔn)與公鑰體制的出現(xiàn)與應(yīng)用，使近代密碼學(xué)所涉及的范圍有了極大的發(fā)展，尤其是在網(wǎng)絡(luò)認(rèn)證方面得到廣泛應(yīng)用，但其中的安全性原理與測量標(biāo)準(zhǔn)仍未脫離香農(nóng)保密系統(tǒng)所規(guī)定的要求，多種加密函數(shù)的構(gòu)造，如相關(guān)免疫函數(shù)的構(gòu)造仍以香農(nóng)的完善保密性為基礎(chǔ)信息論在數(shù)字