【正文】 9年發(fā)表《噪聲中的通信》，從而奠定了信息論的基礎(chǔ)。20世紀(jì)70年代以后，隨著數(shù)學(xué)計算機(jī)的廣泛應(yīng)用和社會信息化的迅速發(fā)展，信息論正逐漸突破香農(nóng)狹義信息論的范圍，發(fā)展為一門不僅研究語法信息，而且研究語義信息和語用信息的科學(xué)。它的建立是人類認(rèn)識的一個飛躍。世界上各種事物都是充滿矛盾不斷發(fā)展的，物質(zhì)的運動主要是靠內(nèi)部矛盾運動所產(chǎn)生的能量，而事物之間的普遍聯(lián)系則靠的是信息。信息是關(guān)于事物的運動狀態(tài)和規(guī)律，而信息論的產(chǎn)生與發(fā)展過程，就是立足于這個基本性質(zhì)。信息論迅速滲透到各個不同學(xué)科領(lǐng)域，但還不夠完善。為了適應(yīng)科學(xué)技術(shù)發(fā)展的需要，迎接信息化社會的到來，一門新的科學(xué)正在迅速興起，這就是廣義信息論，或者叫做信息科學(xué)。信息科學(xué)是由信息論、控制論、計算機(jī)、人工智能和系統(tǒng)論等相互滲透、相互結(jié)合而形成的一門新興綜合性學(xué)科。信息科學(xué)登上現(xiàn)代科技舞臺，與能量科學(xué)、材料科學(xué)鼎足而立，將為科學(xué)技術(shù)的發(fā)展作出貢獻(xiàn)。信息論信息論內(nèi)容：信息論內(nèi)容包括信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號檢測和估計等。信息量：信息的度量是信息論研究的基本問題之一。對于應(yīng)用范圍如此廣泛的信息提出一個統(tǒng)一的度量是困難的。根據(jù)人們的實踐經(jīng)驗，一個事件給予人們的信息量多少，與這一事件發(fā)生的概率(可能性)大小有關(guān)。一個小概率事件的發(fā)生，如“唐山發(fā)生七級以上大地震”使人們感到意外，它給人們的信息量就很多。相反一個大概率事件的出現(xiàn)，如“12月15日北京未下雪”給人們的信息量就很少。因此,用I(A)=logP(A)〔P(A)表示事件A發(fā)生的概率〕來度量事件A給出的信息量，稱為事件A的自信息量。若一次試驗有M個可能結(jié)果(事件)，或一個信源可能產(chǎn)生M個消息（事件）, 它們出現(xiàn)的概率分別為，則用來度量一次試驗或一個消息所給出的平均信息量。當(dāng)對數(shù)取 2為底時,單位為比特；當(dāng)對數(shù)取e為底時,則單位為奈特。H的表達(dá)式與熵的表達(dá)式差一個負(fù)號，故稱負(fù)熵或信息熵。信息傳輸模型：信息傳輸系統(tǒng)主要由信源、信道和信宿組成，下圖為信息傳輸系統(tǒng)的基本模型。信源是產(chǎn)生消息的系統(tǒng)。信宿是接受消息的系統(tǒng)，信道則是傳輸消息的通道。圖中編碼器、譯碼器的作用是把消息變換成便于傳輸?shù)男问?。信源編碼：信源是產(chǎn)生消息（包括消息序列）的源。消息通常是符號序列或時間函數(shù)。例如電報系信息論統(tǒng)中的消息是由文字、符號、數(shù)字組成的報文（符號序列），稱為離散消息。電話系統(tǒng)中的消息是語聲波形(時間函數(shù))，稱為連續(xù)消息。消息取值服從一定的統(tǒng)計規(guī)律。因此,信源的數(shù)學(xué)模型是一個在信源符號集中取值的隨機(jī)變量序列或隨機(jī)過程。信源編碼器將消息變換為一個數(shù)字序列(通常為二進(jìn)制數(shù)字序列)。在離散情形,若信源產(chǎn)生M個可能消息,它們出現(xiàn)的概率分別為，每個消息由N個信源符號組成,便可取信源編碼與數(shù)字序列一一對應(yīng)。第i個消息對應(yīng)的數(shù)字序列長(數(shù)字個數(shù))為li，li相等的稱等長編碼，否則稱變長編碼。定義為編碼速率，它表征平均每個信源符號要用多少個數(shù)字來表示。若取信源譯碼器為信源編碼器的逆變換器，則在無噪信道(信源編碼器的輸出即為信源譯碼器的輸入)情況下，消息可以正確無誤地傳送。這時信源編碼問題是要找出最小的速率R及其相應(yīng)的編碼。已經(jīng)證明,對于相當(dāng)廣泛的信源類,當(dāng)N可以任意大時這個最小極限速率，稱為信源的熵率,是信源的一個重要參數(shù)。對于固定的N,最優(yōu)編碼就是赫夫曼編碼。在連續(xù)消息的情形，信息編碼器不可能使消息與數(shù)字序列一一對應(yīng)，因此譯碼也不是編碼的逆變換。通常的方法是先對連續(xù)消息進(jìn)行采樣和量化，變?yōu)殡x散消息，再將離散消息變換為數(shù)字序列。信源譯碼器先將數(shù)字序列逆變換為離散消息，再用內(nèi)插法求得連續(xù)消息。這樣一來，即使在無噪信道的情況下，發(fā)送消息與接收消息之間也會產(chǎn)生誤差，稱為消息失真。可以用一個非負(fù)函數(shù)d(u，v)來度量消息 u，v之間的失真大小。這時信源編碼問題是在保證平均失真不超過給定允許極限D(zhuǎn) 的條件下找出最小速率R 及其相應(yīng)編碼。求解這一問題導(dǎo)致熵推廣到失真率函數(shù)，信源編碼的失真率理論因而得到發(fā)展。信道編碼：信道是傳輸信息的媒質(zhì)或通道，如架空明線、同軸電纜、射頻波束、光導(dǎo)纖維等。有時為研究方便將發(fā)送端和接收端的一部分如調(diào)制解調(diào)器也劃歸信道。信息論把信息傳送過程中受各種干擾的影響都?xì)w入信道中考慮。根據(jù)干擾的統(tǒng)計特性,信道有多種模型。最簡單的是離散無記憶恒參信道，它可以用信道入口符號集X、出口符號集Y和一組條件概率P(y|x)(x∈X，y∈Y)來描述。若信道輸入信號x＝(x1,x2,?,xN),則相應(yīng)的輸出(受擾)信號y＝(y1,y2,?,yN)出現(xiàn)的概率為信道編碼器將數(shù)字序列每K個一組變換為字長N 的信號（碼字），稱為分組編碼。若數(shù)字和信道符號都是二進(jìn)制的(可用0,1表示)，則R＝K/N 定義為編碼速率，它表明每個信道符號表示多少個數(shù)字。NK 稱為編碼冗余度。信道編碼(糾錯編碼)的基本思想就是增加冗余度以提高可靠性。更確切地說，信道譯碼器可以利用編碼冗余度將受擾信號變換為正確的發(fā)送數(shù)字序列。重復(fù)編碼乃一簡例。信道編碼器將輸入數(shù)字重復(fù)三次, 如將01011變換為***。信道譯碼器可用門限譯碼，即先將輸入譯碼器的信道符號每三個一組地相加，再將結(jié)果逐個與閾值 2比較,小于閾值2的譯為0,否則譯為1。這樣若受擾信號***雖然錯了 5個符號,但譯碼仍為01011與發(fā)送數(shù)字序列完全相同。信息論得出的重要結(jié)論是:對于一個有噪信道,只要在信道編碼中引入足夠而有限的冗余度，或等價地說編碼速率足夠小，就信息論能通過信道漸近無誤地傳送消息。更確切地說，對充分長的數(shù)字序列，其接收錯誤概率可以任意小。信道編碼問題是要找出使信道漸近無誤地傳輸消息所能達(dá)到的最大編碼速率R和相應(yīng)的編碼。已經(jīng)證明，對于離散無記憶恒參信道，這個最大極限編碼速率為它是對X上一切概率分布 p取極大值。p為信道轉(zhuǎn)移概率(條件概率)，的重要參數(shù)。稱為交互信息；C 稱為信道容量，是信道信道編碼概論：通過信道編碼器和譯碼器實現(xiàn)的用于提高信道可靠性的理論和方法。信息論的內(nèi)容之一。信道編碼大致分為兩類 ：①信道編碼定理，從理論上解決理想編碼器、譯碼器的存在性問題，也就是解決信道能傳送的最大信息率的可能性和超過這個最大值時的傳輸問題。②構(gòu)造性的編碼方法以及這些方法能達(dá)到的性能界限。編碼定理的證明，從離散信道發(fā)展到連續(xù)信道，從無記憶信道到有記憶信道，從單用戶信道到多用戶信道，從證明差錯概率可接近于零到以指數(shù)規(guī)律逼近于零，正在不斷完善。編碼方法，在離散信道中一般用代數(shù)碼形式，其類型有較大發(fā)展，各種界限也不斷有人提出，但尚未達(dá)到編碼定理所啟示的限度，尤其是關(guān)于多用戶信道，更顯得不足。在連續(xù)信道中常采用正交函數(shù)系來代表消息，這在極限情況下可達(dá)到編碼定理的限度。不是所有信道的編碼定理都已被證明。只有無記憶單用戶信道和多用戶信道中的特殊情況的編碼定理已有嚴(yán)格的證明；其他信道也有一些結(jié)果，但尚不完善。數(shù)字信號在傳輸中往往由于各種原因，使得在傳送的數(shù)據(jù)流中產(chǎn)生誤碼，從而使接收端產(chǎn)生圖象跳躍、不連續(xù)、出現(xiàn)馬賽克等現(xiàn)象。所以通過信道編碼這一環(huán)節(jié)，對數(shù)碼流進(jìn)行相應(yīng)的處理，使系統(tǒng)具有一定的糾錯能力和抗干擾能力，可極大地避免碼流傳送中誤碼的發(fā)生。誤碼的處理技術(shù)有糾錯、交織、線性內(nèi)插等。提高數(shù)據(jù)傳輸效率，降低誤碼率是信道編碼的任務(wù)。信道編碼的本質(zhì)是增加通信的可靠性。但信道編碼會使有用的信息數(shù)據(jù)傳輸減少，信道編碼的過程是在源數(shù)據(jù)碼流中加插一些碼元，從而達(dá)到在接收端進(jìn)行判錯和糾錯的目的，這就是我們常常說的開銷。這就好象我們運送一批玻璃杯一樣，為了保證運送途中不出現(xiàn)打爛玻璃杯的情況，我們通常都用一些泡沫或海棉等物將玻璃杯包裝起來，這種包裝使玻璃杯所占的容積變大，原來一部車能裝5000各玻璃杯的，包裝后就只能裝4000個了，顯然包裝的代價使運送玻璃杯的有效個數(shù)減少了。同樣，在帶寬固定的信道中，總的傳送碼率也是固定的，由于信道編碼增加了數(shù)據(jù)量，其結(jié)果只能是以降低傳送有用信息碼率為代價了。將有用比特數(shù)除以總比特數(shù)就等于編碼效率了，不同的編碼方式，其編碼效率有所不同。數(shù)字電視中常用的糾錯編碼，通常采用兩次附加糾錯碼的前向糾錯（FEC）編碼。RS編碼屬于第一個FEC，188字節(jié)后附加16字節(jié)RS碼，構(gòu)成（204，188）RS碼，這也可以稱為外編碼。第二個附加糾錯碼的FEC一般采用卷積編碼，又稱為內(nèi)編碼。外編碼和內(nèi)編碼結(jié)合一起，稱之為級聯(lián)編碼。級聯(lián)編碼后得到的數(shù)據(jù)流再按規(guī)定的調(diào)制方式對載頻進(jìn)行調(diào)制。前向糾錯碼（FEC）的碼字是具有一定糾錯能力的碼型，它在接收端解碼后，不信息論僅可以發(fā)現(xiàn)錯誤，而且能夠判斷錯誤碼元所在的位置，并自動糾錯。這種糾錯碼信息不需要儲存，不需要反饋，實時性好。所以在廣播系統(tǒng)（單向傳輸系統(tǒng)）都采用這種信道編碼方式。下面是糾錯碼的各種類型:RS編碼RS碼即里德所羅門碼，它是能夠糾正多個錯誤的糾錯碼，RS碼為（204，188，t=8），其中t是可抗長度字節(jié)數(shù)，對應(yīng)的188符號，監(jiān)督段為16字節(jié)(開銷字節(jié)段）。實際中實施（255，239，t=8）的RS編碼，即在204字節(jié)（包括同步字節(jié)）前添加51個全“0”字節(jié)，產(chǎn)生RS碼后丟棄前面51個空字節(jié)，形成截短的（204，188）RS碼。RS的編碼效率是：188/204。卷積碼卷積碼非常適用于糾正隨機(jī)錯誤，但是，解碼算法本身的特性卻是：如果在解碼過程中發(fā)生錯誤，解碼器可能會導(dǎo)致突發(fā)性錯誤。為此在卷積碼的上部采用RS碼塊，RS碼適用于檢測和校正那些由解碼器產(chǎn)生的突發(fā)性錯誤。所以卷積碼和RS碼結(jié)合在一起可以起到相互補(bǔ)償?shù)淖饔?。卷積碼分為兩種：(1)基本卷積碼:基本卷積碼編碼效率為，η＝1/2, 編碼效率較低,優(yōu)點是糾錯能力強(qiáng)。(2)收縮卷積碼:如果傳輸信道質(zhì)量較好，為提高編碼效率，可以采樣收縮截短卷積碼。有編碼效率為：η＝1/2/3/5/7/8這幾種編碼效率的收縮卷積碼。編碼效率高，一定帶寬內(nèi)可傳輸?shù)挠行П忍芈试龃?但糾錯能力越減弱。Turbo碼1993 年誕生的Turbo 碼，單片Turbo 碼的編碼/解碼器，運行速率達(dá)40Mb/s。該芯片集成了一個3232 交織器，其性能和傳統(tǒng)的RS 外碼和卷積內(nèi)碼的級聯(lián)一樣好。所以Turbo碼是一種先進(jìn)的信道編碼技術(shù)，由于其不需要進(jìn)行兩次編碼，所以其編碼效率比傳統(tǒng)的RS+卷積碼要好。交織在實際應(yīng)用中，比特差錯經(jīng)常成串發(fā)生，這是由于持續(xù)時間較長的衰落谷點會影響到幾個連續(xù)的比特，而信道編碼僅在檢測和校正單個差錯和不太長的差錯串時才最有效（如RS只能糾正8個字節(jié)的錯誤）。為了糾正這些成串發(fā)生的比特差錯及一些突發(fā)錯誤，可以運用交織技術(shù)來分散這些誤差，使長串的比特差錯變成短串差錯，從而可以用前向碼對其糾錯，例如：在DVBC系統(tǒng)中，RS(204,188)的糾錯能力是8個字節(jié)，交織深度為12，那么糾可抗長度為812＝96個字節(jié)的突發(fā)錯誤。實現(xiàn)交織和解交織一般使用卷積方式。交織技術(shù)對已編碼的信號按一定規(guī)則重新排列，解交織后突發(fā)性錯誤在時間上被分散，使其類似于獨立發(fā)生的隨機(jī)錯誤，從而前向糾錯編碼可以有效的進(jìn)行糾錯，前向糾錯碼加交積的作用可以理解為擴(kuò)展了前向糾錯的可抗長度字節(jié)。糾錯能力強(qiáng)的編碼一般要求的交織深度相對較低。糾錯能力弱的則要求更深的交織深度。下圖是交織的原理圖：一般來說，對數(shù)據(jù)進(jìn)行傳輸時，在發(fā)端先對數(shù)據(jù)進(jìn)行FEC編碼，然后再進(jìn)行交積處理。在收端次序和發(fā)端相反，先做去交積處理完成誤差分散，再FEC解碼實現(xiàn)數(shù)據(jù)糾錯。另外，從上圖可看出，交積不會增加信道的數(shù)據(jù)碼元。根據(jù)信道的情況不同，信道編碼方案也有所不同，在DVBT里由于由于是無線信道且存在多徑干擾和其它的干擾，所以信道很“臟”，為此它的信道編碼是：RS＋外交積＋卷積信息論碼＋內(nèi)交積。采用了兩次交積處理的級聯(lián)編碼，增強(qiáng)其糾錯的能力。RS作為外編碼，其編碼效率是188/204（又稱外碼率），卷積碼作為內(nèi)編碼，其編碼效率有1/2/3/5/7/8五種（又稱內(nèi)碼率）選擇，信道的總編碼效率是兩種編碼效率的級聯(lián)疊加。設(shè)信道帶寬8MHZ，內(nèi)碼率選2/3，16QAM調(diào)制，,*(188/204)*(2/3)=,如果加上保護(hù)間隔的插入所造成的開銷，有效碼率將更低。在DVBC里，由于是有線信道，信道比較“干凈”，所以它的信道編碼是：RS＋交積。一般DVBC的信道物理帶寬是8MHZ，調(diào)制方式為64QAM的系統(tǒng)，,由于其編碼效率為188/204，*188/204=。在DVBS里，由于它是無線信道，所以它的信道編碼是：RS＋交積＋卷積碼。也是級聯(lián)編碼。參考文獻(xiàn)1)2)3)4)5)6)李立萍，張明友．信息論導(dǎo)引．成都：電子科技大學(xué)出版社，2005。田寶玉．工程信息論．北京：北京郵電大學(xué)出版社，2004。朱雪龍．應(yīng)用信息論基礎(chǔ)．北京：清華大學(xué)出版社，2000。李建東，王永茂，胡林敏．最大熵原理及其應(yīng)用．信息科學(xué)。王 棟，朱元甡．最大熵原理在水文水資源科學(xué)中的應(yīng)用．水科學(xué)進(jìn)展，2001，12(3)。[6]董偉民等．最大熵原理在地震重現(xiàn)關(guān)系上的應(yīng)用．地震工程與工程程動，1983，3(4)。7)馮利華，李鳳全．基于最大熵原理的災(zāi)害損失分析．?dāng)?shù)學(xué)的實踐與認(rèn)識，2005，35(8)。