【正文】 制論之父，諾伯特 維納關于統(tǒng)計預測和時間系列過濾的形響（維納，1948）。沿用這種方法．香農(nóng)得出了他的著名的用于在通訊過程中確定信息量的對數(shù)函數(shù)（Pi log pi）。香農(nóng)接受了約翰馮諾伊曼的建議稱之為”熵:， 因為它與熱力學中廣為人知的一個類似的對數(shù)有著直接的關系。 一百多年前由魯?shù)婪蚩藙谛匏固岢龅?與波爾茨曼、馬克斯韋爾、吉布斯等人的名字相連的熵，是古典和現(xiàn)代物理學中最重要的概念之一。它與一個系統(tǒng)隨機性程度的測量有關，或者換句話說．它與物理系統(tǒng)中變得越來越無序的自然趨勢有關。這一普遍特點在熱力學第二定律中得到了總結：熵在一個系統(tǒng)中總是趨于增加。這一定律是如此盛行，以致現(xiàn)代思想家埃丁頓認為正是這種趨勢給了我們時間的方向．例如，它使我們知道關于物質(zhì)世界的圖景是在向前還是在向后運動。這個定律是現(xiàn)代物理學首次與自然界的古典牛頓描述的背道而馳。它不僅表明某些物理過程的不可逆轉(zhuǎn)性，而且，由于它是以概率定義的．因此它還對物理現(xiàn)象的因果關系解釋提出了置疑。波爾茨曼受早在研究氣體行為時就發(fā)現(xiàn)，熵的增加與信息的減少有關。當氣體的熵處于最大值時．氣體粒子完全隨機排列（它們的概率是相同的），所以幾乎不能對氣休狀態(tài)作出描述。香農(nóng)把熵同做為一個人在通訊過程中對期待對象的不確定性的一個指數(shù)。這里，如果熵處于最大值，也就是說．所有可能的信號都有相同的概率，那么他的不確定性也是最大的。香農(nóng)有關熵的方程表明熵是能量和信息之間關系的連接環(huán)節(jié)。在這個意義上，他的通訊理論標志著兩個時代的過渡：工業(yè)革命時代和現(xiàn)代信息社會。如果在維多利亞時期的科學中，低熵與”做功”的能力有關，那么在第二次世界大戰(zhàn)后的科學中，低熵則與”傳遞信息”的能力有關。香農(nóng)理論中的另一個基本概念是編碼。他對于密碼的興趣開始只是一項個人愛好，但是當他在第二次世界大戰(zhàn)期間在貝爾實驗室從事研究工作時，密碼研究正在發(fā)展之中，他的這項愛好變得意義重大。他認為總體上講密碼對于任何通訊都是基本的（見圖) ；傳送器的作用是把信號編譯成適于傳送的媒介（信道），接收器的作用是解碼．利用編碼轉(zhuǎn)換把信號破譯出來。他在l949 年發(fā)表的論文“秘密系統(tǒng)的通訊理論”中，探討了既容易譯成密碼又容易破譯密碼的不同的編碼方法，證明了一些在什么條件下密碼能被解譯的定理。信息源轉(zhuǎn)換器信息接收到的信號接收器信息信息目的地噪聲源　　　　　　　　　　　　圖　一個通訊系統(tǒng)模型二、香農(nóng)的通訊定理帶噪音信道香農(nóng)的“通訊理論”的兩個基本定理中的第一個是無噪音信道的基礎定理。這個定理內(nèi)容如下：已知一個容量為每秒C字節(jié)的無噪音信道，從一個信息源中接到熵為每秒H字節(jié)的信號，總能夠建立一個以平均速度C/H傳輸而最大限度地利用信道容量的理想傳愉器。換句話說，如果信道和信息源的特點是已知的，總能夠找到最適于這個信道的合適的信號編碼方法。但是，無論編碼方法多么聰明，信道容量造成的限制是不能逾越的。為了解決更一般性的嗓音信道情況，香農(nóng)意識到這個問題與他在戰(zhàn)時所從事的軍事密碼電報工作相類似。在一個密碼中，在信號中加人密匙的方式就如同一般通訊信號加人噪音一樣。在第一種情況中，為破譯一個密碼信號，密匙必須與信號分開．而編碼的關鍵是設計一個使解碼工作非常困難的編碼。在另一方面，一般通訊編碼的目標應當正相反．即設計一種容易把信號從噪音中分辨出的編碼方法。　　香農(nóng)在他的《通訊理論》中證明，在任何類型的通訊系統(tǒng)中，一個信號都可以通過有嗓音的信道從一個地方傳送到另一個地方，并且只要編碼得當，就能夠按要求避免錯誤。此外，他證明這樣的編碼總是存在的。同樣，這個過程中的惟一限制是通訊信道的容量．它不能被超越。這是香農(nóng)著名的帶噪音信道的基礎定理。這個定理表明，可靠的信息在一個不可靠的世界中是可能的?！　∪?、冗余概念　　為了理解第二個定理，需要考慮冗余的概念。例如，一個書面信號永遠不會是完全不可預測的；如果它完全不可預測，它就是嗓音而毫無意義。反過來，它必須遵守拼寫和語法規(guī)則，而且通常用在特定的上下文關系中。由于規(guī)則和上下文關系是寫的人和讀的人都事先理解的，這樣就減少了不確定性，使得消息的可預測性增強。在語言中這些規(guī)則包括拼寫規(guī)則．這意味著在一個文本中某些字母的出現(xiàn)頻率要比另一些高。例如，在英語中字母“e” 的出現(xiàn)頻率比被隨便選出的字母高三倍。第二種類型的規(guī)則被稱為“語境敏感”（坎貝爾1983：119 )，指的是在特定的文本中宇母并非彼此不相依換；我們通?？梢栽谧x過上文之后相當準確地猜側(cè)出下文的內(nèi)容。如果對于文本內(nèi)容和作者文風有所了解，這種猜測甚至可以達到猜出所有的詞的程度。事實上，香農(nóng)設計了一種游戲：隨意打開一本書，讀一個句子的第一個字母。玩游戲的人要猜測下一個字母、再下一個，一直猜到句尾。如果玩游戲的人猜錯了，就告訴他準確的字母，作為線索，然后讓他接著往下猜：通過這種辦法和其它的辦法，香農(nóng)發(fā)現(xiàn)；在英語中如果用8 個字母的詞做樣本．大約，50％的字母能夠被猜出來。一連有100 個字母的情況下．這個百分比達到75 ％。很容易理解香農(nóng)為什么稱這個數(shù)字為英語的“冗余”。大體上，冗余使得概率不相等，即系統(tǒng)中的各部分彼此相互依賴。正是冗余使我們能夠把通訊中被噪音破壞的信號重新找出來?！　≌Z言的高冗余意味著我們真正要寫的或要說的東西受到語言結構的限制。但是，冗余井非只有限制作用，它也有幫助作用。語言規(guī)則是一種冗余的形式，它使得我們的語言表達豐富無比 事實上，遭通訊系統(tǒng)中的冗余根據(jù)信道容量和噪音特點．在完扁全限制和完全自由之間起到了一種平衡作用。冗余這種概念已經(jīng)滲透到了其它研究領域。例如，馮諾伊曼在研究有機體和復雜機械（馮諾伊曼，1956）的結構時表明，冗余是使非常復雜的系統(tǒng)（它們由不可靠零部件組成．因此經(jīng)常會失效）在出現(xiàn)功能失調(diào)時能夠正常運轉(zhuǎn)的基本條件。計算機是這樣的機械系統(tǒng)，大腦是這樣少的有機系統(tǒng)。在控制論的一般領域，羅斯 阿什比通過概括，香農(nóng)的第二定理推導出了這門科學中的最重要的原理之一：需要變化原理（即”只有變化能夠吸收變化”) （阿什比，1956）。另一方面，在管理控制論，這一專門領域斯塔福德比爾指出，了解組織結構勸內(nèi)部冗余的重要性，才能夠更好地理解和改進組織之中的決策過程（比爾，1979：1981）　　　　　　　　　　　　　　　香農(nóng)的“通訊理論”的最杰出的特點在于其一般性，這一點能從上面描述的兩個基本特性看出。這個理論具有普遍意義，它不具體現(xiàn)定所考慮的符號。符號可以是文本中的字母，對話中的單詞，音樂中的音符或者是宇宙飛船發(fā)回的圖像。同樣，信道的范圍可以包含電話線到星際空間。四、理論的一般性總體上，該理論不僅應用于通訊工程設計復熬的通訊系統(tǒng)，如：可移動電話系統(tǒng)、全球電腦網(wǎng)絡，而且還應用于其它研究領域斌如語言學和生物學。在生物學研究中它被用來研究DNA中的基因信息和生物系統(tǒng)進化的關系。例如大腦，似乎比基因—DNA分子的排序，重要得多（坎貝爾，1953：128）?；蛎艽a的研究是生物學和醫(yī)學關注的重要問題。但是，應當記住香農(nóng)的“通訊理論”是數(shù)學理論，這意味著只有在其原理不被違背的情況下才能被應用。此外，還有非常重要的一點：它的可應用性并不保證能夠?qū)ρ芯楷F(xiàn)象提出有意義或徹底的解釋。假如通信被理解為行動的協(xié)調(diào)（馬特羅納和巴雷拉，1987）而不僅僅是香農(nóng)所理解的信息的傳遞，那么就會開辟一個嶄新的通訊研究時代。事實上香農(nóng)認為信息是一種抽象量，需要以新的觀點詮釋說明。通信要消除的不確定性指消息發(fā)生的隨機性，數(shù)學上用概率來度量。令P記可能消息A發(fā)生概度，I記該可能消息攜帶的信息量，稱為自信息，它有兩個基本特征：（1）一個可能消息攜帶的信息量由該消息發(fā)生的概率決定，概率大者信息量小，概率小者信息量大（信息是消息發(fā)生的意外程度的度量），即　　　P小　　　　　大　　　　I大　　　　　小這表明信息量I是概率P的某個函數(shù)　I＝F（P）（2）信息量具有可加性，即設A、B為兩個獨立發(fā)生的可能消息，則聯(lián)合消息AB（A與B同時發(fā)生）的自信息滿足　I（AB）＝I（A）＋I（B）滿足這個條件的最簡單的函數(shù)是對數(shù)。綜合這兩個特點，單個可能消息的信息量（自信息）定義為I＝－log2P或等價地表示為I＝log21/P可能消息包含的信息量是該消息發(fā)生概率的倒數(shù)的對數(shù)（以2為底），單位為比特。顯然，二中擇一等可能消息攜帶的信息量為1 比特。人們在通信中面對的不是單個消息，而是可能消息集合（至少有兩個可能消息），比較簡單的情形是集合中包含有限個可能消息。定量地把握信息，重要的是了解可能消息集合的整體信息能力，需用整體平均信息量H 來表示。整體平均信息量H 又稱為信息熵，其中I＝log21/Pi可能消息的意外程度，Pi反映可能消息的發(fā)生頻繁程度，兩者對信息熵H 的影響是矛盾的，信息熵概念把兩者統(tǒng)一在同一公式中，可以全面反映可能消息發(fā)生的隨機性對信息的影響，有效地刻劃可能消息集合整體的信息能力，是系統(tǒng)科學和信息科學的重要概念之一。五、通信理論通信系統(tǒng)模型信息的發(fā)送者，亦即通信過程中信息流通的起點，稱為信源。通信是由參與能信的諸事物或環(huán)節(jié)所構成的一種運作過程，一種系統(tǒng)行為，包含一系列必要的操作步驟，離開一定系統(tǒng)的通信是不存在的。通信系統(tǒng)的具體結構和特性千差萬別。撇開種種具體差別，一切通信系統(tǒng)具有如圖所示的共同結構。它是信息論主要創(chuàng)立者香農(nóng)首先提出來的:信源噪聲信宿編碼器信　道譯碼器通信系統(tǒng)模型　　　　香農(nóng)信息論實質(zhì)是通信理論。從通信工程解度看，人們感興趣的只是信源的統(tǒng)計特性?；谇懊娼o出的統(tǒng)計信息定義，信息論關心的主要是信源的信息結構和數(shù)量特征。信息結構由信源的可能消息集合和概率分布決定。有了信源的信息結色，就可以計算信源的各種數(shù)量特性。（1）熵熵是信源發(fā)送信息的能力的度量，即可能消息的整體平均信息量。由于Pi≥0和I≥0，據(jù)（）直接推知熵H具有非負性。H≥0等號只有當可能消息集合中有某個消息xk為必然事件（pk=1）,其余均為不可能事件（pi=0,i≠k）時才成立。信源熵取決于可能消息個數(shù)N和概率分布。在N一定時，熵H取決于概率分布，即H=H（p1,p2....,Pn）改變概率分布可以改變信源發(fā)送信息的能力。概率分布不變，僅僅改變pi的次序，熵H保持不變。這表示熵H具有對稱性。（2）最大熵Hmax根據(jù)熵的性質(zhì)，信源概率分布越均勻，熵H越大。在等概率分布P1= p2...Pn=1/n的條件下，熵達到最大值log2n，稱為信源的”最大熵”，記作:Hmax=H（1/n, 1/n..... 1/n） =log2n稱為離散信源的最大熵定理。（）表明,熵H具有極值性H(p1,p2....,Pn)≤Hmax(3)相對熵熵H與最大熵Hmax的比值∶”H/Hmax”稱為信源的相對熵，.顯然有以下關系成立：0≤≤1“相對熵”是信源的重要數(shù)量特征之一,H愈接近Hmax,相對熵愈大，.完全均勻的等概分布對應于最大的相對熵1，概率分布愈不均勻,相對熵愈小，概率分布最不均勻的信源,相對熵為0(4)剩余度通信中除了在傳送或恢復消息時所需要的最少的信息這外,其了出現(xiàn)在信源,信道以及信號和碼符中或者系統(tǒng)其它部位的任何細節(jié),都稱為剩余,代表信源中不帶信息的無益成分,剩余度是對這種無益成分的度量,記作,定義為上對熵和1的差值,即=1顯然有：0≤≤1剩余度大的信源發(fā)送的消息序列中的無益成分大,刪除一切不必要的詞句,符號等,就是為了消除剩余度,，提高通信的有效性。但能信中不可能完全消除剩余，系統(tǒng)有一定剩余也有好處，可以用它來提高通信的可靠性。廣義地講，兩個物體直接碰撞而交換信息也算通信。但信息論不研究這種通信。在信息論考察的范圍內(nèi)，信息不能直接從信源傳給信宿，必須通地一定的中介通信。把信息人信源傳送給信宿的中介能道，稱為信道。衡量信道性能優(yōu)劣的主要定量品質(zhì)有兩個，刻劃信息傳送快速性的是通信速度或信息傳輸率（傳信率）。在無噪聲情形下，信道傳輸信息的能力與所傳輸?shù)男畔⒘亢蛡鬏數(shù)男畔⒘亢蛡鬏敃r間有關。不同消息或信碼攜帶的信息量不同，用信源的整體平均信息量即熵H來表示。沒信碼在信道中傳輸?shù)臅r間不同，用平均傳輸時間（可以看作平均信碼長度）表示。于是，可以定義信道的通信速度為單位時間傳送的信息量：令R記通信速度，可以公式表示為: 設通道輸入信碼為x1,x2,.....xn發(fā)生概率為p1,p2....,Pn，滿足歸一性條件，傳送時間發(fā)別為12，...n。通信過程所傳送的是在信碼xi,中按其發(fā)生概率隨機選擇而形成的信碼序列。設序列中共包含N個信碼，N相當大，共中包含的各個信碼數(shù)分別為。傳送該序列的總時間為:平均傳送時間為:從通信速度看，傳送時間長而發(fā)生概率小的信碼，由于在通信過程中很少出現(xiàn)，總的影響小。相反，傳送時間短而發(fā)生概率大的信碼，由于頻繁出現(xiàn)，對總的傳送時間的影響要大得多，用統(tǒng)計平均方法計算平均傳送時間，可以正確反映這一點，與直觀認識相符。于是有傳送時間由信碼特征和信道特性決定，信息量H由信源的特性決定。因此，通信速度是由信源和信道以及所采用的信碼共同決定的系統(tǒng)特性?？芍?，輸入信號的發(fā)生概率通過影響待傳送的信息量H和平均傳送時間兩個方面來影響通信速度。當信道特性給定時，通信速度R隨信源信碼的概率分布不同而變化。令C記其上限，即 C稱為信道容量，是衡量信道性能優(yōu)劣的主要指標。通俗地講，信道容量是信道最大可能的通信速度，表示信道傳送信息能力的極限。編碼理論的核心是香農(nóng)的3個編碼定理，回答通信系統(tǒng)在什么條件下可以編碼，在什么條件下不存在編碼的可能性。最簡單的是香農(nóng)第一編碼定理，又稱為無噪聲離散信源編碼定理，揭示了信源符號（消息）經(jīng)過編碼后“碼符“的平均長度與信源熵H 之間的內(nèi)在聯(lián)系。定理表明，要實現(xiàn)無失真的信源編碼，變換每個信源符號平均所需的最小碼符數(shù)等于信源的熵。所以，熵越