【正文】 制論之父，諾伯特 維納關(guān)于統(tǒng)計(jì)預(yù)測(cè)和時(shí)間系列過(guò)濾的形響（維納，1948）。沿用這種方法．香農(nóng)得出了他的著名的用于在通訊過(guò)程中確定信息量的對(duì)數(shù)函數(shù)（Pi log pi）。香農(nóng)接受了約翰馮諾伊曼的建議稱之為”熵:， 因?yàn)樗c熱力學(xué)中廣為人知的一個(gè)類似的對(duì)數(shù)有著直接的關(guān)系。 一百多年前由魯?shù)婪蚩藙谛匏固岢龅?與波爾茨曼、馬克斯韋爾、吉布斯等人的名字相連的熵，是古典和現(xiàn)代物理學(xué)中最重要的概念之一。它與一個(gè)系統(tǒng)隨機(jī)性程度的測(cè)量有關(guān)，或者換句話說(shuō)．它與物理系統(tǒng)中變得越來(lái)越無(wú)序的自然趨勢(shì)有關(guān)。這一普遍特點(diǎn)在熱力學(xué)第二定律中得到了總結(jié)：熵在一個(gè)系統(tǒng)中總是趨于增加。這一定律是如此盛行，以致現(xiàn)代思想家埃丁頓認(rèn)為正是這種趨勢(shì)給了我們時(shí)間的方向．例如，它使我們知道關(guān)于物質(zhì)世界的圖景是在向前還是在向后運(yùn)動(dòng)。這個(gè)定律是現(xiàn)代物理學(xué)首次與自然界的古典牛頓描述的背道而馳。它不僅表明某些物理過(guò)程的不可逆轉(zhuǎn)性，而且，由于它是以概率定義的．因此它還對(duì)物理現(xiàn)象的因果關(guān)系解釋提出了置疑。波爾茨曼受早在研究氣體行為時(shí)就發(fā)現(xiàn)，熵的增加與信息的減少有關(guān)。當(dāng)氣體的熵處于最大值時(shí)．氣體粒子完全隨機(jī)排列（它們的概率是相同的），所以幾乎不能對(duì)氣休狀態(tài)作出描述。香農(nóng)把熵同做為一個(gè)人在通訊過(guò)程中對(duì)期待對(duì)象的不確定性的一個(gè)指數(shù)。這里，如果熵處于最大值，也就是說(shuō)．所有可能的信號(hào)都有相同的概率，那么他的不確定性也是最大的。香農(nóng)有關(guān)熵的方程表明熵是能量和信息之間關(guān)系的連接環(huán)節(jié)。在這個(gè)意義上，他的通訊理論標(biāo)志著兩個(gè)時(shí)代的過(guò)渡：工業(yè)革命時(shí)代和現(xiàn)代信息社會(huì)。如果在維多利亞時(shí)期的科學(xué)中，低熵與”做功”的能力有關(guān)，那么在第二次世界大戰(zhàn)后的科學(xué)中，低熵則與”傳遞信息”的能力有關(guān)。香農(nóng)理論中的另一個(gè)基本概念是編碼。他對(duì)于密碼的興趣開(kāi)始只是一項(xiàng)個(gè)人愛(ài)好，但是當(dāng)他在第二次世界大戰(zhàn)期間在貝爾實(shí)驗(yàn)室從事研究工作時(shí)，密碼研究正在發(fā)展之中，他的這項(xiàng)愛(ài)好變得意義重大。他認(rèn)為總體上講密碼對(duì)于任何通訊都是基本的（見(jiàn)圖) ；傳送器的作用是把信號(hào)編譯成適于傳送的媒介（信道），接收器的作用是解碼．利用編碼轉(zhuǎn)換把信號(hào)破譯出來(lái)。他在l949 年發(fā)表的論文“秘密系統(tǒng)的通訊理論”中，探討了既容易譯成密碼又容易破譯密碼的不同的編碼方法，證明了一些在什么條件下密碼能被解譯的定理。信息源轉(zhuǎn)換器信息接收到的信號(hào)接收器信息信息目的地噪聲源　　　　　　　　　　　　圖　一個(gè)通訊系統(tǒng)模型二、香農(nóng)的通訊定理帶噪音信道香農(nóng)的“通訊理論”的兩個(gè)基本定理中的第一個(gè)是無(wú)噪音信道的基礎(chǔ)定理。這個(gè)定理內(nèi)容如下：已知一個(gè)容量為每秒C字節(jié)的無(wú)噪音信道，從一個(gè)信息源中接到熵為每秒H字節(jié)的信號(hào)，總能夠建立一個(gè)以平均速度C/H傳輸而最大限度地利用信道容量的理想傳愉器。換句話說(shuō)，如果信道和信息源的特點(diǎn)是已知的，總能夠找到最適于這個(gè)信道的合適的信號(hào)編碼方法。但是，無(wú)論編碼方法多么聰明，信道容量造成的限制是不能逾越的。為了解決更一般性的嗓音信道情況，香農(nóng)意識(shí)到這個(gè)問(wèn)題與他在戰(zhàn)時(shí)所從事的軍事密碼電報(bào)工作相類似。在一個(gè)密碼中，在信號(hào)中加人密匙的方式就如同一般通訊信號(hào)加人噪音一樣。在第一種情況中，為破譯一個(gè)密碼信號(hào)，密匙必須與信號(hào)分開(kāi)．而編碼的關(guān)鍵是設(shè)計(jì)一個(gè)使解碼工作非常困難的編碼。在另一方面，一般通訊編碼的目標(biāo)應(yīng)當(dāng)正相反．即設(shè)計(jì)一種容易把信號(hào)從噪音中分辨出的編碼方法?！　∠戕r(nóng)在他的《通訊理論》中證明，在任何類型的通訊系統(tǒng)中，一個(gè)信號(hào)都可以通過(guò)有嗓音的信道從一個(gè)地方傳送到另一個(gè)地方，并且只要編碼得當(dāng)，就能夠按要求避免錯(cuò)誤。此外，他證明這樣的編碼總是存在的。同樣，這個(gè)過(guò)程中的惟一限制是通訊信道的容量．它不能被超越。這是香農(nóng)著名的帶噪音信道的基礎(chǔ)定理。這個(gè)定理表明，可靠的信息在一個(gè)不可靠的世界中是可能的?！　∪?、冗余概念　　為了理解第二個(gè)定理，需要考慮冗余的概念。例如，一個(gè)書(shū)面信號(hào)永遠(yuǎn)不會(huì)是完全不可預(yù)測(cè)的；如果它完全不可預(yù)測(cè)，它就是嗓音而毫無(wú)意義。反過(guò)來(lái)，它必須遵守拼寫(xiě)和語(yǔ)法規(guī)則，而且通常用在特定的上下文關(guān)系中。由于規(guī)則和上下文關(guān)系是寫(xiě)的人和讀的人都事先理解的，這樣就減少了不確定性，使得消息的可預(yù)測(cè)性增強(qiáng)。在語(yǔ)言中這些規(guī)則包括拼寫(xiě)規(guī)則．這意味著在一個(gè)文本中某些字母的出現(xiàn)頻率要比另一些高。例如，在英語(yǔ)中字母“e” 的出現(xiàn)頻率比被隨便選出的字母高三倍。第二種類型的規(guī)則被稱為“語(yǔ)境敏感”（坎貝爾1983：119 )，指的是在特定的文本中宇母并非彼此不相依換；我們通?？梢栽谧x過(guò)上文之后相當(dāng)準(zhǔn)確地猜側(cè)出下文的內(nèi)容。如果對(duì)于文本內(nèi)容和作者文風(fēng)有所了解，這種猜測(cè)甚至可以達(dá)到猜出所有的詞的程度。事實(shí)上，香農(nóng)設(shè)計(jì)了一種游戲：隨意打開(kāi)一本書(shū)，讀一個(gè)句子的第一個(gè)字母。玩游戲的人要猜測(cè)下一個(gè)字母、再下一個(gè)，一直猜到句尾。如果玩游戲的人猜錯(cuò)了，就告訴他準(zhǔn)確的字母，作為線索，然后讓他接著往下猜：通過(guò)這種辦法和其它的辦法，香農(nóng)發(fā)現(xiàn)；在英語(yǔ)中如果用8 個(gè)字母的詞做樣本．大約，50％的字母能夠被猜出來(lái)。一連有100 個(gè)字母的情況下．這個(gè)百分比達(dá)到75 ％。很容易理解香農(nóng)為什么稱這個(gè)數(shù)字為英語(yǔ)的“冗余”。大體上，冗余使得概率不相等，即系統(tǒng)中的各部分彼此相互依賴。正是冗余使我們能夠把通訊中被噪音破壞的信號(hào)重新找出來(lái)?！　≌Z(yǔ)言的高冗余意味著我們真正要寫(xiě)的或要說(shuō)的東西受到語(yǔ)言結(jié)構(gòu)的限制。但是，冗余井非只有限制作用，它也有幫助作用。語(yǔ)言規(guī)則是一種冗余的形式，它使得我們的語(yǔ)言表達(dá)豐富無(wú)比 事實(shí)上，遭通訊系統(tǒng)中的冗余根據(jù)信道容量和噪音特點(diǎn)．在完扁全限制和完全自由之間起到了一種平衡作用。冗余這種概念已經(jīng)滲透到了其它研究領(lǐng)域。例如，馮諾伊曼在研究有機(jī)體和復(fù)雜機(jī)械（馮諾伊曼，1956）的結(jié)構(gòu)時(shí)表明，冗余是使非常復(fù)雜的系統(tǒng)（它們由不可靠零部件組成．因此經(jīng)常會(huì)失效）在出現(xiàn)功能失調(diào)時(shí)能夠正常運(yùn)轉(zhuǎn)的基本條件。計(jì)算機(jī)是這樣的機(jī)械系統(tǒng)，大腦是這樣少的有機(jī)系統(tǒng)。在控制論的一般領(lǐng)域，羅斯 阿什比通過(guò)概括，香農(nóng)的第二定理推導(dǎo)出了這門(mén)科學(xué)中的最重要的原理之一：需要變化原理（即”只有變化能夠吸收變化”) （阿什比，1956）。另一方面，在管理控制論，這一專門(mén)領(lǐng)域斯塔福德比爾指出，了解組織結(jié)構(gòu)勸內(nèi)部冗余的重要性，才能夠更好地理解和改進(jìn)組織之中的決策過(guò)程（比爾，1979：1981）　　　　　　　　　　　　　　　香農(nóng)的“通訊理論”的最杰出的特點(diǎn)在于其一般性，這一點(diǎn)能從上面描述的兩個(gè)基本特性看出。這個(gè)理論具有普遍意義，它不具體現(xiàn)定所考慮的符號(hào)。符號(hào)可以是文本中的字母，對(duì)話中的單詞，音樂(lè)中的音符或者是宇宙飛船發(fā)回的圖像。同樣，信道的范圍可以包含電話線到星際空間。四、理論的一般性總體上，該理論不僅應(yīng)用于通訊工程設(shè)計(jì)復(fù)熬的通訊系統(tǒng)，如：可移動(dòng)電話系統(tǒng)、全球電腦網(wǎng)絡(luò)，而且還應(yīng)用于其它研究領(lǐng)域斌如語(yǔ)言學(xué)和生物學(xué)。在生物學(xué)研究中它被用來(lái)研究DNA中的基因信息和生物系統(tǒng)進(jìn)化的關(guān)系。例如大腦，似乎比基因—DNA分子的排序，重要得多（坎貝爾，1953：128）?；蛎艽a的研究是生物學(xué)和醫(yī)學(xué)關(guān)注的重要問(wèn)題。但是，應(yīng)當(dāng)記住香農(nóng)的“通訊理論”是數(shù)學(xué)理論，這意味著只有在其原理不被違背的情況下才能被應(yīng)用。此外，還有非常重要的一點(diǎn)：它的可應(yīng)用性并不保證能夠?qū)ρ芯楷F(xiàn)象提出有意義或徹底的解釋。假如通信被理解為行動(dòng)的協(xié)調(diào)（馬特羅納和巴雷拉，1987）而不僅僅是香農(nóng)所理解的信息的傳遞，那么就會(huì)開(kāi)辟一個(gè)嶄新的通訊研究時(shí)代。事實(shí)上香農(nóng)認(rèn)為信息是一種抽象量，需要以新的觀點(diǎn)詮釋說(shuō)明。通信要消除的不確定性指消息發(fā)生的隨機(jī)性，數(shù)學(xué)上用概率來(lái)度量。令P記可能消息A發(fā)生概度，I記該可能消息攜帶的信息量，稱為自信息，它有兩個(gè)基本特征：（1）一個(gè)可能消息攜帶的信息量由該消息發(fā)生的概率決定，概率大者信息量小，概率小者信息量大（信息是消息發(fā)生的意外程度的度量），即　　　P小　　　　　大　　　　I大　　　　　小這表明信息量I是概率P的某個(gè)函數(shù)　I＝F（P）（2）信息量具有可加性，即設(shè)A、B為兩個(gè)獨(dú)立發(fā)生的可能消息，則聯(lián)合消息AB（A與B同時(shí)發(fā)生）的自信息滿足　I（AB）＝I（A）＋I(xiàn)（B）滿足這個(gè)條件的最簡(jiǎn)單的函數(shù)是對(duì)數(shù)。綜合這兩個(gè)特點(diǎn)，單個(gè)可能消息的信息量（自信息）定義為I＝－log2P或等價(jià)地表示為I＝log21/P可能消息包含的信息量是該消息發(fā)生概率的倒數(shù)的對(duì)數(shù)（以2為底），單位為比特。顯然，二中擇一等可能消息攜帶的信息量為1 比特。人們?cè)谕ㄐ胖忻鎸?duì)的不是單個(gè)消息，而是可能消息集合（至少有兩個(gè)可能消息），比較簡(jiǎn)單的情形是集合中包含有限個(gè)可能消息。定量地把握信息，重要的是了解可能消息集合的整體信息能力，需用整體平均信息量H 來(lái)表示。整體平均信息量H 又稱為信息熵，其中I＝log21/Pi可能消息的意外程度，Pi反映可能消息的發(fā)生頻繁程度，兩者對(duì)信息熵H 的影響是矛盾的，信息熵概念把兩者統(tǒng)一在同一公式中，可以全面反映可能消息發(fā)生的隨機(jī)性對(duì)信息的影響，有效地刻劃可能消息集合整體的信息能力，是系統(tǒng)科學(xué)和信息科學(xué)的重要概念之一。五、通信理論通信系統(tǒng)模型信息的發(fā)送者，亦即通信過(guò)程中信息流通的起點(diǎn)，稱為信源。通信是由參與能信的諸事物或環(huán)節(jié)所構(gòu)成的一種運(yùn)作過(guò)程，一種系統(tǒng)行為，包含一系列必要的操作步驟，離開(kāi)一定系統(tǒng)的通信是不存在的。通信系統(tǒng)的具體結(jié)構(gòu)和特性千差萬(wàn)別。撇開(kāi)種種具體差別，一切通信系統(tǒng)具有如圖所示的共同結(jié)構(gòu)。它是信息論主要?jiǎng)?chuàng)立者香農(nóng)首先提出來(lái)的:信源噪聲信宿編碼器信　道譯碼器通信系統(tǒng)模型　　　　香農(nóng)信息論實(shí)質(zhì)是通信理論。從通信工程解度看，人們感興趣的只是信源的統(tǒng)計(jì)特性?；谇懊娼o出的統(tǒng)計(jì)信息定義，信息論關(guān)心的主要是信源的信息結(jié)構(gòu)和數(shù)量特征。信息結(jié)構(gòu)由信源的可能消息集合和概率分布決定。有了信源的信息結(jié)色，就可以計(jì)算信源的各種數(shù)量特性。（1）熵熵是信源發(fā)送信息的能力的度量，即可能消息的整體平均信息量。由于Pi≥0和I≥0，據(jù)（）直接推知熵H具有非負(fù)性。H≥0等號(hào)只有當(dāng)可能消息集合中有某個(gè)消息xk為必然事件（pk=1）,其余均為不可能事件（pi=0,i≠k）時(shí)才成立。信源熵取決于可能消息個(gè)數(shù)N和概率分布。在N一定時(shí)，熵H取決于概率分布，即H=H（p1,p2....,Pn）改變概率分布可以改變信源發(fā)送信息的能力。概率分布不變，僅僅改變pi的次序，熵H保持不變。這表示熵H具有對(duì)稱性。（2）最大熵Hmax根據(jù)熵的性質(zhì)，信源概率分布越均勻，熵H越大。在等概率分布P1= p2...Pn=1/n的條件下，熵達(dá)到最大值log2n，稱為信源的”最大熵”，記作:Hmax=H（1/n, 1/n..... 1/n） =log2n稱為離散信源的最大熵定理。（）表明,熵H具有極值性H(p1,p2....,Pn)≤Hmax(3)相對(duì)熵熵H與最大熵Hmax的比值∶”H/Hmax”稱為信源的相對(duì)熵，.顯然有以下關(guān)系成立：0≤≤1“相對(duì)熵”是信源的重要數(shù)量特征之一,H愈接近Hmax,相對(duì)熵愈大，.完全均勻的等概分布對(duì)應(yīng)于最大的相對(duì)熵1，概率分布愈不均勻,相對(duì)熵愈小，概率分布最不均勻的信源,相對(duì)熵為0(4)剩余度通信中除了在傳送或恢復(fù)消息時(shí)所需要的最少的信息這外,其了出現(xiàn)在信源,信道以及信號(hào)和碼符中或者系統(tǒng)其它部位的任何細(xì)節(jié),都稱為剩余,代表信源中不帶信息的無(wú)益成分,剩余度是對(duì)這種無(wú)益成分的度量,記作,定義為上對(duì)熵和1的差值,即=1顯然有：0≤≤1剩余度大的信源發(fā)送的消息序列中的無(wú)益成分大,刪除一切不必要的詞句,符號(hào)等,就是為了消除剩余度,，提高通信的有效性。但能信中不可能完全消除剩余，系統(tǒng)有一定剩余也有好處，可以用它來(lái)提高通信的可靠性。廣義地講，兩個(gè)物體直接碰撞而交換信息也算通信。但信息論不研究這種通信。在信息論考察的范圍內(nèi)，信息不能直接從信源傳給信宿，必須通地一定的中介通信。把信息人信源傳送給信宿的中介能道，稱為信道。衡量信道性能優(yōu)劣的主要定量品質(zhì)有兩個(gè)，刻劃信息傳送快速性的是通信速度或信息傳輸率（傳信率）。在無(wú)噪聲情形下，信道傳輸信息的能力與所傳輸?shù)男畔⒘亢蛡鬏數(shù)男畔⒘亢蛡鬏敃r(shí)間有關(guān)。不同消息或信碼攜帶的信息量不同，用信源的整體平均信息量即熵H來(lái)表示。沒(méi)信碼在信道中傳輸?shù)臅r(shí)間不同，用平均傳輸時(shí)間（可以看作平均信碼長(zhǎng)度）表示。于是，可以定義信道的通信速度為單位時(shí)間傳送的信息量：令R記通信速度，可以公式表示為: 設(shè)通道輸入信碼為x1,x2,.....xn發(fā)生概率為p1,p2....,Pn，滿足歸一性條件，傳送時(shí)間發(fā)別為12，...n。通信過(guò)程所傳送的是在信碼xi,中按其發(fā)生概率隨機(jī)選擇而形成的信碼序列。設(shè)序列中共包含N個(gè)信碼，N相當(dāng)大，共中包含的各個(gè)信碼數(shù)分別為。傳送該序列的總時(shí)間為:平均傳送時(shí)間為:從通信速度看，傳送時(shí)間長(zhǎng)而發(fā)生概率小的信碼，由于在通信過(guò)程中很少出現(xiàn)，總的影響小。相反，傳送時(shí)間短而發(fā)生概率大的信碼，由于頻繁出現(xiàn)，對(duì)總的傳送時(shí)間的影響要大得多，用統(tǒng)計(jì)平均方法計(jì)算平均傳送時(shí)間，可以正確反映這一點(diǎn)，與直觀認(rèn)識(shí)相符。于是有傳送時(shí)間由信碼特征和信道特性決定，信息量H由信源的特性決定。因此，通信速度是由信源和信道以及所采用的信碼共同決定的系統(tǒng)特性?？芍?，輸入信號(hào)的發(fā)生概率通過(guò)影響待傳送的信息量H和平均傳送時(shí)間兩個(gè)方面來(lái)影響通信速度。當(dāng)信道特性給定時(shí)，通信速度R隨信源信碼的概率分布不同而變化。令C記其上限，即 C稱為信道容量，是衡量信道性能優(yōu)劣的主要指標(biāo)。通俗地講，信道容量是信道最大可能的通信速度，表示信道傳送信息能力的極限。編碼理論的核心是香農(nóng)的3個(gè)編碼定理，回答通信系統(tǒng)在什么條件下可以編碼，在什么條件下不存在編碼的可能性。最簡(jiǎn)單的是香農(nóng)第一編碼定理，又稱為無(wú)噪聲離散信源編碼定理，揭示了信源符號(hào)（消息）經(jīng)過(guò)編碼后“碼符“的平均長(zhǎng)度與信源熵H 之間的內(nèi)在聯(lián)系。定理表明，要實(shí)現(xiàn)無(wú)失真的信源編碼，變換每個(gè)信源符號(hào)平均所需的最小碼符數(shù)等于信源的熵。所以，熵越