【正文】 械科學(xué)與技術(shù)， 2021， 28（ 6）： 829833 第四篇：信息論修改版 信息論局限性分析以及在光通信中的應(yīng)用 摘要 從新的角度指出了香農(nóng)信息論的局限性，這些局限性主要體現(xiàn)在對(duì)信息的可靠性和完備性的忽視，通過(guò)例子分析進(jìn)一步說(shuō)明信息可靠性對(duì)于度量信息的重要意義。信息論目前在機(jī)械工程領(lǐng)域應(yīng)用還不是特別普遍，因?yàn)樾畔⒄摫旧硎腔跀?shù)理統(tǒng)計(jì)的學(xué)科，它的研究目的是收集大量信息進(jìn)行篩選甄別計(jì)算，得出整體結(jié)論而不是討論個(gè)體情況。信息論是信息科學(xué)中最基礎(chǔ)的理論，由香農(nóng)在 1948 年正式提出。該方法依據(jù)表面粗糙度最小 二乘檢驗(yàn)的基本原理計(jì)算檢驗(yàn)結(jié)果，并根據(jù)信息熵與不確定度的關(guān)系計(jì)算檢驗(yàn)結(jié)果的不確定度，從而減少產(chǎn)品的誤收和誤廢 [10]。 二是在產(chǎn)品檢測(cè)，測(cè)量領(lǐng)域的應(yīng)用，例如目前的表面粗糙度 Ra（算術(shù)平均偏差）往往只出檢驗(yàn)的結(jié)果，而沒(méi)有考慮檢驗(yàn)結(jié)果的不確定因素。這些傳感器研究的特點(diǎn)都是有大量信息需要接收，而接收之后必須篩選拋棄或放大部分?jǐn)?shù)據(jù)。 機(jī)械工程方面的應(yīng)用，一是集中于傳感器的信息處理方面。 公式表達(dá) :H（ X∪ Y） =H（ X） +H（ Y|X） 第三章信息理論在機(jī)械工程方面的應(yīng)用 目前，信息理論在機(jī)械工程方面的應(yīng)用并不普遍，這個(gè)結(jié)果通過(guò)論文搜索就可以看出，大概每搜索 6 篇有關(guān)信息論的論文，只能找到一篇論文與機(jī)械工程專(zhuān)業(yè)相關(guān)。 24 聯(lián)合熵 兩個(gè)互相關(guān)聯(lián)的信源 X 和 Y 的聯(lián)合信源的信息熵為信源 X 的熵加上在 X 已知條 件下信源 Y 的條件熵 ,稱(chēng)為 XY 的聯(lián)合熵 [6]。記為 H（ Y|X)。 167。根據(jù)信息熵的定義可知熵值越大看，不確定性就越大。若某一信息系統(tǒng)中某一知識(shí)產(chǎn)生的概率為 1，其他事件產(chǎn)生的概率為 0，由上式計(jì)算后可知，該系統(tǒng)的信息熵 H=0，它就是一個(gè)確定系統(tǒng)，不確定 度為 0。 22 信息熵公式推導(dǎo) 離散信源的模型： 定義 1[6]：設(shè)某一概率系統(tǒng) X 中有 n 個(gè)事件（ X1， X2，??， Xi，??Xn），第 i 個(gè)事件 Xi 產(chǎn)生的概率為 pi（ i=1， 2， 3，?? n），當(dāng)事件Xi 產(chǎn)生后 ,給出的信息量就稱(chēng)為自信息： I（ Xi） =log2（ 1/pi）單位為bit。信息與熵是一個(gè)相反的量，它表示系統(tǒng)獲得后無(wú)序狀態(tài)的減少或消除，即消除不定性的大小。 21 信息熵 基于 Shannon 創(chuàng)立的信息熵理論 ,信息是不守恒的、無(wú)序的，它可以共享、傳遞、儲(chǔ)存、轉(zhuǎn)換 ,系統(tǒng)要向有序方向發(fā)展必須有負(fù)熵的輸入[4]。在熱力學(xué)中熵是物質(zhì)系統(tǒng)狀態(tài)的一個(gè)函數(shù)，它表示微觀粒子之間無(wú)規(guī)則的排列程度，即表示系統(tǒng)的紊亂度，維納說(shuō)：“信息量的概念非常 自然地從屬于統(tǒng)計(jì)學(xué)的一個(gè)古典概念 —— 熵。他對(duì)信息的定義：事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。并對(duì)信息論在機(jī)械工程領(lǐng)域的應(yīng)用做了大概說(shuō)明。 167。 P（ xi|yi） ] 通信后的互信息量，等于前后不確定度的差。 P（ xi|yi）此時(shí)有關(guān)于符號(hào) xi 和符號(hào) yi 的聯(lián)合自信息量： I（ xiyi） =log[1/P（ xi） P（ yi） 此時(shí)，有關(guān)符號(hào) xi 和符號(hào) yi 的聯(lián)合自信息量： I’（ xiyi） =log[1/P（ xi） P（ yi） ]=I（ xi） +I（ yi） 通信后，信源發(fā)送隨機(jī)變量 X 和信宿接收隨機(jī)變量 Y 之間由信道的統(tǒng)計(jì)性相聯(lián)系，其聯(lián)合概率密度： P（ xi， yi） =P（ xi） 從信宿出發(fā)對(duì)互信息的定義：站在信宿一端，當(dāng)沒(méi)有接收時(shí)，信息接收方對(duì)信源發(fā)送符號(hào) xi 的不確定度是 I（ yi）；而當(dāng)信宿接收到符號(hào) yi，信息接收方對(duì)信源發(fā)送符號(hào) xi 的不確定度是 I（ yi|xi），從這個(gè)意義上定義互信息。 132互信息 互信息有三個(gè)不同角度的定義。131自信息 用 I（ xi） =log（ 1/pi）表示信源發(fā)出的符號(hào) xi 的自信息。 13 自信息與互信息 香農(nóng)在《通信的數(shù)學(xué)理論》引言部分就提出“通信中的基本問(wèn)題就是在某一點(diǎn)精確或近似的再生另一點(diǎn)選擇的信息”。 智能計(jì)算中的信息統(tǒng)計(jì)問(wèn)題，信息量與統(tǒng)計(jì)存在許多本質(zhì)的聯(lián)系，在微分流形中， Fisher 信息矩陣式 KullbackLaiber 熵的偏微分，由此關(guān)系而引出的信息幾何理論是智能計(jì)算的基 礎(chǔ) [2]。 （ 3）信息論在統(tǒng)計(jì)與智能計(jì)算中的應(yīng)用 信息論與統(tǒng)計(jì)理論的結(jié)合已經(jīng)有許多突出的成果出現(xiàn)。 122信息論的發(fā)展現(xiàn)狀 信息論近期發(fā)展的主要特點(diǎn)是向多學(xué)科結(jié)合方向發(fā)展，其重要的發(fā)展方向有如下幾種： （ 1）信息論與密碼學(xué) 通信中的安全與保密問(wèn)題是通信編碼問(wèn)題的又一種表示形式，由香農(nóng)提出的保密系統(tǒng)模型仍然是近代密碼學(xué)的基本模型。英國(guó)神經(jīng)生理學(xué)家（ ） 1964 年發(fā)表的《系統(tǒng)與信息》等文章，還把信息論推廣應(yīng)用于生物學(xué)和神經(jīng)生理學(xué)領(lǐng) 域，也成為信息論的重要著作 [1]。 在信息論的發(fā)展中，還有許多科學(xué)家對(duì)它做出了卓越的貢獻(xiàn)。 1922 年哈特萊發(fā)表《信息傳輸》的文章，首先提出消息是代碼、符號(hào)而不是信息內(nèi)容本身，使信息與消息區(qū)分開(kāi)來(lái)，并提出用消息可能數(shù)目的對(duì)數(shù)來(lái)度量消息中所含有的信息量，為信息論的創(chuàng)立提供了思路。 1948 年香農(nóng)發(fā)表的《通訊的數(shù)學(xué)理論》一文，成為信息論誕生的標(biāo)志。 12 信息論 信息論是關(guān)于信息的本質(zhì)和傳輸規(guī)律的科學(xué)的理論，是研究信息的計(jì)量、發(fā)送、傳遞、交換、接收和儲(chǔ)存的一門(mén)學(xué)科。在人類(lèi)社會(huì)的早期，只應(yīng)用語(yǔ)言手勢(shì)直接交流信息，但隨著社會(huì)的進(jìn)步，尤其是科學(xué)水平的進(jìn)步，傳統(tǒng)的信息獲取方式已經(jīng)不 能滿足人類(lèi)的發(fā)展要求，人類(lèi)開(kāi)始探索快速有效地獲取信息的方法，從而導(dǎo)致了一門(mén)新的學(xué)科 —— 信息論的誕生。 11 引言 人類(lèi)的社會(huì)生活是不能離開(kāi)信息的，人類(lèi)不僅時(shí)刻需要從自然界獲得信息，而且人與人之間也需要進(jìn)行通訊，交流信息，離開(kāi)信息，人類(lèi)就不能生存。本文介紹了信息論的產(chǎn)生和發(fā)展，簡(jiǎn)要介紹了信息論幾個(gè)主要概念的定義和推導(dǎo)，重點(diǎn)介紹了信息熵，最后討論了信息論相關(guān)知識(shí)在機(jī)械工程專(zhuān)業(yè)的應(yīng)用。 參考文獻(xiàn)： 葉中行 ,信息論基礎(chǔ) [J],高等教育出版社盧侃 ,從 Shannon 信息論到認(rèn)知信息論 [A],哈爾濱工程大學(xué)學(xué)報(bào) ,第 32 卷第 8期 . 仇佩亮 ,信息論及其應(yīng)用［ M］ ,杭州：浙江大學(xué)出版社 ,1999 謝邦榮 ,彭征明 ,信息論在作戰(zhàn)效能評(píng)估中的應(yīng)用研究 [A],北京 ,2021 邵軍虎 ,量子 LDPC糾錯(cuò)碼算法及應(yīng)用 方案研究 ,西安電子科技大學(xué) [D],2021 汪洋 ,趙萬(wàn)民 ,人居環(huán)境研究的信息論科學(xué)基礎(chǔ)及其圖譜意象系統(tǒng)[J],2021PKUCSSCI,香農(nóng)信息定義分析與改進(jìn) [J],2021 年 8 期 ,洪潔 ,范修斌 ,范明鈺 ,信息論及其在序列密碼設(shè)計(jì)應(yīng)用中的幾點(diǎn)認(rèn)識(shí)[],2021NeilSavage,InformationtheoryafterShannon[J],2021,Vol.54(2), ATheoryofProgramSizeFormallyIdenticaltoInformationTheory[J], 1975,(3)知識(shí)改變命運(yùn) 第三篇：信息論概述與機(jī)械工程中的信息論 信息論概述與機(jī)械工程中的信息論 摘要 信息論是一門(mén)新興學(xué)科，是在長(zhǎng)期的通信工程實(shí)踐中，與通信技術(shù)、概率論、隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)相結(jié)合逐步發(fā)展起來(lái)的一門(mén)學(xué)科。信息的概念和方法已廣泛滲透到各個(gè)科學(xué)領(lǐng)域 ,它迫切要求突破申農(nóng)信息論的狹隘范圍 ,以便使它能成為人類(lèi)各種活動(dòng)中所碰到的信息問(wèn)題的基礎(chǔ)理論 ,從而推動(dòng)其他許多新興學(xué)科進(jìn)一步發(fā)展。 到 70 年代 ,由于數(shù)字計(jì)算機(jī)的廣泛應(yīng)用 ,通訊系統(tǒng)的能力也有很大提高 ,如何更有效地利用和處理信息 ,成為日益迫切的問(wèn)題。從此信息論邁入第二個(gè)階段。 20 世紀(jì) 50 年