【正文】 息科學(xué)中最基礎(chǔ)的理論，由香農(nóng)在1948年正式提出。該方法依據(jù)表面粗糙度最小二乘檢驗(yàn)的基本原理計(jì)算檢驗(yàn)結(jié)果，并根據(jù)信息熵與不確定度的關(guān)系計(jì)算檢驗(yàn)結(jié)果的不確定度，從而減少產(chǎn)品的誤收和誤廢[10]。二是在產(chǎn)品檢測(cè)，測(cè)量領(lǐng)域的應(yīng)用，例如目前的表面粗糙度Ra（算術(shù)平均偏差）往往只出檢驗(yàn)的結(jié)果，而沒(méi)有考慮檢驗(yàn)結(jié)果的不確定因素。這些傳感器研究的特點(diǎn)都是有大量信息需要接收，而接收之后必須篩選拋棄或放大部分?jǐn)?shù)據(jù)。機(jī)械工程方面的應(yīng)用，一是集中于傳感器的信息處理方面。公式表達(dá): H（X∪Y）= H（X）+ H（Y|X）第三章 信息理論在機(jī)械工程方面的應(yīng)用目前，信息理論在機(jī)械工程方面的應(yīng)用并不普遍，這個(gè)結(jié)果通過(guò)論文搜索就可以看出，大概每搜索6篇有關(guān)信息論的論文，只能找到一篇論文與機(jī)械工程專業(yè)相關(guān)。24 聯(lián)合熵兩個(gè)互相關(guān)聯(lián)的信源X和Y的聯(lián)合信源的信息熵為信源X的熵加上在X已知條件下信源Y的條件熵,稱為X Y的聯(lián)合熵[6]。記為H（Y | X)。167。根據(jù)信息熵的定義可知熵值越大看，不確定性就越大。若某一信息系統(tǒng)中某一知識(shí)產(chǎn)生的概率為1，其他事件產(chǎn)生的概率為0，由上式計(jì)算后可知，該系統(tǒng)的信息熵H = 0，它就是一個(gè)確定系統(tǒng)，不確定度為0。22 信息熵公式推導(dǎo)離散信源的模型：定義1[6]：設(shè)某一概率系統(tǒng)X中有n個(gè)事件（X1，X2，??，Xi，??Xn），第i個(gè)事件Xi產(chǎn)生的概率為pi（i= 1，2，3，??n），當(dāng)事件Xi產(chǎn)生后, 給出的信息量就稱為自信息：I（Xi）= log2（1/pi）單位為bit。信息與熵是一個(gè)相反的量，它表示系統(tǒng)獲得后無(wú)序狀態(tài)的減少或消除，即消除不定性的大小。21 信息熵基于Shannon 創(chuàng)立的信息熵理論,信息是不守恒的、無(wú)序的，它可以共享、傳遞、儲(chǔ)存、轉(zhuǎn)換,系統(tǒng)要向有序方向發(fā)展必須有負(fù)熵的輸入[4]。在熱力學(xué)中熵是物質(zhì)系統(tǒng)狀態(tài)的一個(gè)函數(shù)，它表示微觀粒子之間無(wú)規(guī)則的排列程度，即表示系統(tǒng)的紊亂度，維納說(shuō)：“信息量的概念非常自然地從屬于統(tǒng)計(jì)學(xué)的一個(gè)古典概念——熵。他對(duì)信息的定義：事物運(yùn)動(dòng)狀態(tài)或存在方式的不確定性的描述。并對(duì)信息論在機(jī)械工程領(lǐng)域的應(yīng)用做了大概說(shuō)明。167。P（xi |yi）]通信后的互信息量，等于前后不確定度的差。P（xi |yi）此時(shí)有關(guān)于符號(hào)xi和符號(hào)yi的聯(lián)合自信息量： I（xi yi）=log[1/ P（xi）P（yi）此時(shí)，有關(guān)符號(hào)xi和符號(hào)yi的聯(lián)合自信息量： I’（xi yi）=log[1/ P（xi）P（yi）]=I（xi）+I（yi）通信后，信源發(fā)送隨機(jī)變量X和信宿接收隨機(jī)變量Y之間由信道的統(tǒng)計(jì)性相聯(lián)系，其聯(lián)合概率密度：P（xi，yi）= P（xi）從信宿出發(fā)對(duì)互信息的定義：站在信宿一端，當(dāng)沒(méi)有接收時(shí)，信息接收方對(duì)信源發(fā)送符號(hào)xi的不確定度是I（yi）；而當(dāng)信宿接收到符號(hào)yi，信息接收方對(duì)信源發(fā)送符號(hào)xi的不確定度是I（yi|xi），從這個(gè)意義上定義互信息。132 互信息互信息有三個(gè)不同角度的定義。131 自信息用I（xi）=log（1/pi）表示信源發(fā)出的符號(hào)xi的自信息。13 自信息與互信息香農(nóng)在《通信的數(shù)學(xué)理論》引言部分就提出“通信中的基本問(wèn)題就是在某一點(diǎn)精確或近似的再生另一點(diǎn)選擇的信息”。智能計(jì)算中的信息統(tǒng)計(jì)問(wèn)題，信息量與統(tǒng)計(jì)存在許多本質(zhì)的聯(lián)系，在微分流形中，F(xiàn)isher信息矩陣式KullbackLaiber熵的偏微分，由此關(guān)系而引出的信息幾何理論是智能計(jì)算的基礎(chǔ)[2]。（3）信息論在統(tǒng)計(jì)與智能計(jì)算中的應(yīng)用信息論與統(tǒng)計(jì)理論的結(jié)合已經(jīng)有許多突出的成果出現(xiàn)。122 信息論的發(fā)展現(xiàn)狀信息論近期發(fā)展的主要特點(diǎn)是向多學(xué)科結(jié)合方向發(fā)展，其重要的發(fā)展方向有如下幾種：（1）信息論與密碼學(xué)通信中的安全與保密問(wèn)題是通信編碼問(wèn)題的又一種表示形式，由香農(nóng)提出的保密系統(tǒng)模型仍然是近代密碼學(xué)的基本模型。英國(guó)神經(jīng)生理學(xué)家（）1964年發(fā)表的《系統(tǒng)與信息》等文章，還把信息論推廣應(yīng)用于生物學(xué)和神經(jīng)生理學(xué)領(lǐng)域，也成為信息論的重要著作[1]。在信息論的發(fā)展中，還有許多科學(xué)家對(duì)它做出了卓越的貢獻(xiàn)。1922年哈特萊發(fā)表《信息傳輸》的文章，首先提出消息是代碼、符號(hào)而不是信息內(nèi)容本身，使信息與消息區(qū)分開(kāi)來(lái)，并提出用消息可能數(shù)目的對(duì)數(shù)來(lái)度量消息中所含有的信息量，為信息論的創(chuàng)立提供了思路。1948年香農(nóng)發(fā)表的《通訊的數(shù)學(xué)理論》一文，成為信息論誕生的標(biāo)志。12 信息論信息論是關(guān)于信息的本質(zhì)和傳輸規(guī)律的科學(xué)的理論，是研究信息的計(jì)量、發(fā)送、傳遞、交換、接收和儲(chǔ)存的一門(mén)學(xué)科。在人類社會(huì)的早期，只應(yīng)用語(yǔ)言手勢(shì)直接交流信息，但隨著社會(huì)的進(jìn)步，尤其是科學(xué)水平的進(jìn)步，傳統(tǒng)的信息獲取方式已經(jīng)不能滿足人類的發(fā)展要求，人類開(kāi)始探索快速有效地獲取信息的方法，從而導(dǎo)致了一門(mén)新的學(xué)科——信息論的誕生。11 引言人類的社會(huì)生活是不能離開(kāi)信息的，人類不僅時(shí)刻需要從自然界獲得信息，而且人與人之間也需要進(jìn)行通訊，交流信息，離開(kāi)信息，人類就不能生存。本文介紹了信息論的產(chǎn)生和發(fā)展，簡(jiǎn)要介紹了信息論幾個(gè)主要概念的定義和推導(dǎo)，重點(diǎn)介紹了信息熵，最后討論了信息論相關(guān)知識(shí)在機(jī)械工程專業(yè)的應(yīng)用。第一篇：信息論概述與機(jī)械工程中的信息論信息論概述與機(jī)械工程中的信息論摘要信息論是一門(mén)新興學(xué)科，是在長(zhǎng)期的通信工程實(shí)踐中，與通信技術(shù)、概率論、隨機(jī)過(guò)程和數(shù)理統(tǒng)計(jì)相結(jié)合逐步發(fā)展起來(lái)的一門(mén)學(xué)科。信息論中主要的概念包括信息，自信息，互信息和信息熵。關(guān)鍵詞：信息論，信息熵，機(jī)械工程專業(yè)第一章 緒論167。人們獲得信息的方式有兩種；一種是直接的，即通過(guò)自己的感覺(jué)器官，耳聞、目睹、鼻嗅、口嘗、體觸等直接了解外界情況；一種是間接的，即通過(guò)語(yǔ)言、文字、信號(hào)??等等傳遞消息而獲得信息。167。121 信息論的誕生和發(fā)展信息論的創(chuàng)始人是美貝爾電話研究所的數(shù)學(xué)家香農(nóng)（——），他為解決通訊技術(shù)中的信息編碼問(wèn)題，把發(fā)射信息和接收信息作為一個(gè)整體的通訊過(guò)程來(lái)研究，提出通訊系統(tǒng)的一般模型；同時(shí)建立了信息量的統(tǒng)計(jì)公式，奠定了信息論的理論基礎(chǔ)。其實(shí)，1922年卡松就提出邊帶理論，指明信號(hào)在調(diào)制（編碼）與傳送過(guò)程中與頻譜寬度的關(guān)系。香農(nóng)創(chuàng)立信息論，實(shí)際是在前人研究的基礎(chǔ)上完成的。（）1956年發(fā)表《科學(xué)與信息論》專著，從熱力學(xué)和生命等許多方面探討信息論，使熱力學(xué)中爭(zhēng)論了一個(gè)世紀(jì)之久的“麥克斯韋爾妖”的佯謬問(wèn)題得到了滿意的解釋。這些科學(xué)家們的研究，以及后來(lái)從經(jīng)濟(jì)、管理和社會(huì)的各個(gè)部門(mén)對(duì)信息論的研究，使信息論遠(yuǎn)遠(yuǎn)地超越了通訊的范圍。（2）算法信息論與分形數(shù)學(xué)由于香農(nóng)熵，柯?tīng)柲缏宸蚺c豪斯道夫位數(shù)的等價(jià)性在理論上已經(jīng)得到證明，從而使信息論，計(jì)算機(jī)科學(xué)與分形理論都找到了他們的匯合點(diǎn)。其主要特點(diǎn)是統(tǒng)計(jì)理論正在從線性問(wèn)題轉(zhuǎn)向非線性問(wèn)題，信息的度量可以作為研究非線性問(wèn)題的工具，如果用交互信息來(lái)取代統(tǒng)計(jì)中的相關(guān)系數(shù)，更能發(fā)現(xiàn)二維隨機(jī)變量的相互依賴程度。167。未解決這一問(wèn)題，他在這篇論文中開(kāi)創(chuàng)性的利用概率論、數(shù)理統(tǒng)計(jì)、隨機(jī)過(guò)程建立了通信系統(tǒng)的數(shù)學(xué)模型，提出了自信息、互信息、信息熵等概念，這一部分我們將重點(diǎn)討論自信息與互信息，信息熵留待下一部分具體描述。自信息具有兩個(gè)含義：當(dāng)符號(hào)xi輸出前，表示符號(hào)xi被輸出的不確定性；當(dāng)符號(hào)xi輸出后，表示符號(hào)xi所含有的信息量[3]。從信源出發(fā)的定義：站在信源一端，當(dāng)信源沒(méi)有發(fā)送時(shí)，信息發(fā)送方對(duì)信宿收到符號(hào)yi的不確定度是I（yi）；而當(dāng)信源發(fā)送符號(hào)xi后，信息發(fā)送方對(duì)信宿收到符號(hào)yi的不確定度是I（yi|xi），從這個(gè)意義上定義互信息。從整個(gè)系統(tǒng)出發(fā)對(duì)互信息的定義：如果從整個(gè)系統(tǒng)的全局出發(fā)，通信前，信源發(fā)送隨機(jī)變量X和信宿接收隨機(jī)變量Y之間沒(méi)有任何關(guān)聯(lián)關(guān)系，即X，Y統(tǒng)計(jì)獨(dú)立：P（xi，yi）= P（xi）P（yi |xi）= P（yi）P（yi |xi）]=log[1/ P（yi）事實(shí)上，以上三種互信息的定義是一致的[3]。14 本文的主要內(nèi)容本文的大略概括了信息論的基本知識(shí)，介紹了信息論的發(fā)展過(guò)程，信息論中常見(jiàn)的名詞定義，重點(diǎn)介紹了信息熵的概念和推導(dǎo)公式（以離散信源模型為例），以及相關(guān)的條件熵，聯(lián)合熵等概念。第二章 信息熵及相關(guān)概念推導(dǎo)公式信息熵是1948年香農(nóng)(Shannon)在論文“通信的數(shù)學(xué)理論”中引入的，解決了對(duì)信息的量化度量問(wèn)題。在香農(nóng)一開(kāi)始尋找信息量定名稱時(shí)，理由是不定性函數(shù)在統(tǒng)計(jì)力學(xué)中已經(jīng)用在熵下面了。167。信息和熵有內(nèi)在的聯(lián)系，一般地，信息量越大，熵就越小，系統(tǒng)就越有序,結(jié)構(gòu)性就