1信息、信息科學與信息技術-文庫吧
2025-07-20 18:23 本頁面
【正文】 概念，已經(jīng)與半導體技術、微電子技術、計算機技術、通訊技術、網(wǎng)絡技術、多媒體技術、信息服務業(yè)、信息產(chǎn)業(yè)、信息經(jīng)濟、信息化社會、信息管理、信息論等含義緊密地聯(lián)系在一起 。 最典型的應用是廣告。 10 香農(nóng)的研究成果標志著信息論（ Information Theory）的誕生。 香農(nóng)提出的信息論是關于通訊技術的理論，它是以數(shù)學方法研究通訊技術中關于信息的傳輸和變換規(guī)律的一門科學。所以，人們又將其稱為 狹義信息論 ，或經(jīng)典信息論 。 信息論發(fā)展的第二個階段是 一般信息論 。一般信息論特別關心信號被噪音干擾時的處理問題。 信息論發(fā)展的第三個階段是 廣義信息論 。 它以各種系統(tǒng)、各門學科中的信息為對象，廣泛地研究信息的本質和特點，以及信息的獲取、計量、傳輸、處理、控制和利用的一般規(guī)律。 從信息論到信息科學 11 香農(nóng)認為： 信息是有秩序的量度，是人們對事物了解的不確定性的消除或減少。 信息是對組織程度的一種測度，信息能使物質系統(tǒng)有序性增強，減少破壞、混亂和噪音。 香農(nóng)引入： “熵”表示一個系統(tǒng)的無組織程度 。 而一個系統(tǒng)中的信息量是它的組織化程度的度量，這說明 信息與熵恰好是一個相反的量，信息是負熵， 所以信息量的公式中有負號，它表示系統(tǒng)獲得信息后無序狀態(tài)的減少或消除。 香農(nóng)對信息的定義 12 ? 由于信息源發(fā)出的消息是隨機的，可以用隨機變量來表示。如果用符號 表示信息源發(fā)出的信息，假設事件的基本空間 ?包含 m個元素，即 ?={x1,x2,…, xm},且每一個等可能值的概率為： ? P（ X=xi） =p i=1,2,…,m ? 那么定義一個隨機事件 所含的信息量稱為 x的自信息量，即： （ 公式 11） 信息的度量 13 ? 只能表示信息源發(fā)出的某一特定消息 x的自信息量，而對于不同的消息則有不同的自信息量，所以 不足以作為整個信息源的總體信息測度，那么可以定義平均信息量來作為信息總體的測度，即信息熵。 ? 設 X為一離散隨機變量，在集合 中取值，其概率分布為： 信息的度量 14 ? 信息熵： 是從整個信息源的統(tǒng)計特性來考慮的，它從平均的意義上來表示信息源的總體信息測度，它表示信息源 X 在沒有發(fā)出消息以前，信宿對信息源 X 存在著平均不確定性。香農(nóng)的信息度量公式排除了對信息主觀上的含意。根據(jù)上述公式，同樣一個消息對任何一個收信者來說，所得到的信息量都是一樣的。 信息的度量 15 ? 以上就是香農(nóng)關于信息的度量。通常也稱為概率信息。它是一個科學的定義，有明確的數(shù)學模型和定量計算。在公式中，對數(shù)的底數(shù)從理論上而言可以取任何數(shù)。當?shù)讛?shù)為2時，信息的計量單位為比特（ bit），即二進制單位。 信息的度量 16 ? 首先，香農(nóng)對信息的定義的出發(fā)點是假定事物狀態(tài)可以用一個以經(jīng)典集合論為基礎的概率模型來描述。然而實際存在的某些事物運動狀態(tài)要 尋找一個合適的概率模型往往是非常困難的
職業(yè)教育相關推薦
鄂ICP備17016276號-1