【文章內(nèi)容簡介】 功的能量總和的計量。因此， 熱力學第二定律也被有人稱之為“熵定律”。 熵：從熱力學到信息論 43 ? 如果說，熱力學第一定律指出了一個令人樂觀的事實：物質(zhì)和能量是守恒的、不滅的，總是從一種形式轉(zhuǎn)變到另一種形式，那么，熱力學第二定律即熵定律則描述一個非?？杀那熬埃耗芰靠v然不滅，但卻有“有功”和“無功”之別。而且，能量從“有功”到“無功”狀態(tài)，即從“可利用”到“不可利用”、“有效”到“無效”狀態(tài)的轉(zhuǎn)化，是一個不可逆的過程。 ? 例如，當我們用完一支粉筆，點完一支蠟燭，抽完一支煙，吃完一頓飯又感到餓了的時候，這些粉筆、蠟燭、香煙、食物所包含的能量盡管未消滅，卻無可挽回地再也不能被利用了。這種被消耗的物質(zhì)和有功能量愈多，宇宙間總的無功能量便積累得愈多。所以 R克勞修斯在總結熱力學第二定律時說： “世界的熵（即無效能量的總和）總是趨向最大量的”。 ? 科學家們，把有效能量全部轉(zhuǎn)換為無效能量的狀態(tài)，稱之為“熱寂”；把有效物質(zhì)全部“用盡”后的境況，稱之為“物質(zhì)混亂”。兩者導致的都是熵，都是物質(zhì)與能量的耗散。 45 ? 從這個意義上講， “ 熵 ”的本質(zhì)，也可以說是“混亂和無序” 。 波爾茲曼、吉布斯 等人把 熵 被更明確地解釋為一種混亂和無序狀態(tài)、程度。他們認為： 在由大量粒子 (原子、分子 )構成的系統(tǒng)中，熵就表示粒子之間無規(guī)則的排列程度，或者說，表示系統(tǒng)的紊亂程度，系統(tǒng)越紊亂，熵就越大；反之，系統(tǒng)越有序，熵就越小。 ? 所以 里夫金（ Rifkin） 和 霍華德（ Howard） 在他們的著作中說：“熱力學第二定律實質(zhì)上是說宇宙萬物從一定的價值和結構開始，不可挽回地朝著混亂與荒廢發(fā)展 …… 根據(jù)熵定律，無論在地球上還是宇宙或任何地方建立起任何秩序，都必須以周圍環(huán)境里的更大混亂為代價。 …… 熵的定律摧毀了歷史是進步的這一觀念。熵的定律也摧毀了科學與技術能建立起一個更有秩序的世界這一觀念。 …… 熵定律將使我們漸漸懂得現(xiàn)存世界觀到底為什么已經(jīng)分崩離析?！? 里夫金等：《 熵：一種新的世界觀 》 ，第 4頁，上海譯文出版社， 1987年。 ? 也正是從“混亂、無序和不定性”這個意義上，經(jīng)典信息論引進了熵的術語和概念。 46 ? 實踐中，某情形或狀態(tài)中的 不確定性 ，來源于兩個方面： ? 一方面，它 可以是信源或消息自身的特征 。一幅很有新意的畫，一部很有新意的文學作品、論文、教學方法、比賽成績，所以“新’，意味著它們具有較少出現(xiàn)的可能性，即發(fā)生概率較??；因此，較之于一般平庸的作品具有更高的熵，即更大的信息量。 ? 另一方面，某情形或狀態(tài)中的熵， 還可以指信宿（接收者）對信源或消息的估計、期望的不確定程度 。例如，一個完全或基本上在預見范圍之內(nèi)的消息，意味著事先得知其發(fā)生的概率等于或接近 1。那么，根據(jù)熵公式，該消息就完全或基本上不具有什么熵值即信息量。反之，一個幾乎完全出乎我們意料之外的，即事先得知其 發(fā)生概率較小的消息，根據(jù)信息量公式，它自然包含了較大量的信息。 47 ? 從這個意義上講，一個“爆炸性”的新聞，一部“轟動一時”的文藝作品，一個出乎意料的比賽結果，“新穎”的研究成果，等等，在當時，都是一“種高熵值的、也就是高信息量的消息。它們的出現(xiàn)或完全出乎意料之外的某種狀態(tài)的發(fā)生或發(fā)展；或是 重組 了舊有的知識、技術、教學方法、訓練手段、技戰(zhàn)術等形成了新的認識、觀點、表現(xiàn)形式、風格 …… 48 ? 一種語言消息文本，也可有熵值的高低之分。一般說來，一些完全使我們不易預見的消息，或是那些違背“情理”、“邏輯”和“習俗”、“慣例”的語言組合和文本，往往具有較高的熵值。因為“情理”、“邏輯”和“習俗”、“慣例”作為一種思維模式和參照系統(tǒng)，本身制約、規(guī)定著我們對語言組合或文本構成的預見和估計，而對這種思維模式和參照系統(tǒng)的“違背’、“破壞”，勢必造成我們在預見和估計時的“混亂”． 49 ? 當然， 在一般情況下，這種起因于信源，以及相對于信宿而言的兩種熵常常是互相關聯(lián)，結合在一起的 。以研究論文為例，一部優(yōu)秀的、使人耳目一新的論文，常常本身既包含著 新的觀點、內(nèi)容和方法，同時又出乎同行的預見和估計之外。這樣，整個交流狀態(tài)中的熵即信息量自然很高。相反，那些 觀點、內(nèi)容、方法、結論陳舊平庸的論文 ，盡管洋洋數(shù)十萬言，對于“眼熟”、“耳熟”的受眾而言，就不包含多少熵，因而也就不含有多少信息量（冗余，有時必須，如語言、講課比文字，小說 碼字）。 ? 文學：語不驚人死不休 不能 ..也要 ? 50 ? 同樣，有些讓人爭辯不已，或耐人尋味的文章、 詩歌，之所以讓人爭辯、尋味，除其他因素外，恐怕還相關于這樣一種情形：該文章，要么本身就是“不完全’的或“開放性”的，因而，使信源或消息仍保留著多種選擇的可能性，或使之仍停留在 不確定狀態(tài)； 或者要么該文章雖然被讀完，但因作者有意或無意地沒有提供全部的相關消息，而使受眾無法排出信源或消息中的不確定性，從而仍使作品保留著一些無法精確“破譯”“讀解”的信息。曹雪芹的“半部” 《 紅樓夢 》 ，維納斯的“斷臂”，圓明園的“廢墟”，李商隱的“無題詩”，甚至當代一度風行的“抽象派繪畫”和“朦朧詩”等等，所激起的興趣，無一不與信源或消息中包含的高熵值，以及人們對于消息估計、讀解狀態(tài)的高熵值相關。 51 信息量 ? 信息（量）視作是一定數(shù)量的、用以排除某情形狀態(tài)中不確定性的選擇 。 不確定必然涉及概率 ? 三層含義 “概率分布的變動”或“概率的增加”。使概率的分配發(fā)生變動的東西?！?邁倫 特賴布斯等： 《 能量和信息 》 ，載 《 摘譯 ——外國自然科學哲學 》 ，1974年第 2期，第 4頁。 2.“信息”是“一種解除不確定性的量”?；蛘哒f信息量就是信宿一端知識變化的數(shù)量，即接收者收到消息后認知狀態(tài)上不定性減少的數(shù)量。 示信息量的多少。 信息與交流有關，要從信源與信宿雙方概率考慮。計算公式略 。 52 信息量可以描述解除不定性事件的程度 。 樣本空間 Ω有 m個元素， Ω=[x1,x2,… ,xm] ,等概率 ，則 P(X=xi)=p，則隨機事件 x所含的信息量為： 其中 I(x)為 x的信息量 ， P(x)為事件 x的出現(xiàn)概率。 見下例： )(log)(log)( 1 xpxpxI ???53 ? 如：擲 硬幣 、判斷題、 2進制的一個位 … 設 兩個結果出現(xiàn)的概率相等 （ 等概率 ） 。即在擲以前，根據(jù)大量統(tǒng)計得知：它們應當是等可能性事件 ——即正、反面各自向上的概率為 。 Ω有 2個元素， Ω=[x1,x2] ， xi為所有選擇結果， ? 則任一選擇結果的概率 P(x)=， 則信息量 I(x) ： 這就是說，一次擲幣選擇結果 x（正面或反面）所得到的信息是 1比特。并且，我們在這“二中擇一”的選擇中，以 1比特的信息量而排除了整個狀態(tài)中的不確定性。于是，我們也就可以事后知道 選擇結果 x原先的不確定性狀態(tài)中包含了 1比特的信息。 )(loglog)(log)( 11 ??????? xpxpxI同理：三擇一： ；四 擇一： 2；五 擇一： ；六 擇一： … ?信息量 是量度信息的一個物理量，與信息所代表的事件的隨機性或各事件發(fā)生的概率有關，當事件發(fā)生的概率大，事先容易判斷，有關此事件發(fā)生的不確定程度小，則包含的信息量就?。环粗畡t大。 ?或者說：信息量越小，事件發(fā)生的概率就越大，解除此事件發(fā)生的不確定程度小，該事件事先容易判斷的可能性就大。 ?信息量越大，事件發(fā)生的概率越小，解除此事件發(fā)生的不確定程度大，該事件事先容易判斷的可能性就小。 （填空） 54 55 ? 熵與概率的關系 無論在理論上還是在實踐上，熵的大小，密切相關著概率問題，進而影響著交流文本（消息）的信息量。 一般說來， 一個事件或消息發(fā)生的概率愈小，即可能性愈小，其熵值便愈大；反之亦然 。從熵的表達式亦可得出同樣的結論： P(x)的值愈小 ， I(x) （熵）的值愈大； P(x) 的值愈大， I(x)值愈小。 ? 熵與信息量的關系 又由于熵是對于交流傳播符號或文本發(fā)生的可能性乃至整個交流狀態(tài)中不確定性的描述，因此，我們可以“直觀地”這樣說： 某消息或狀態(tài)中所包含的不確定性愈大，那么它所含有的信息量就愈大；反之亦然。 ? 信息熵：信息源的總體信息量測度。反映 信宿 對信息源存在的平均不確定性。 ? X為離散隨機變量，在集合 [x1,x2,…, xn] , P(X=xi)=pi i=1,2,…n 則信息熵 H(x)： iniiiniinii ppppXHp loglog)(11111??????????57 實驗名稱 出現(xiàn) A的概率 出現(xiàn) B的概率 試驗甲 試驗乙 )loglog(log)(,1,1 221111ppp