【文章內(nèi)容簡介】 到開發(fā) 1935年 ，英國沃森 瓦特研制雷達(dá)，二戰(zhàn)中發(fā)揮作用 1937年 ，英國廣播公司第一次播送高清晰電視圖像 信息科學(xué)簡史 ? 現(xiàn)代通信理論 —— 申農(nóng)信息論 1948年，美科學(xué)家申農(nóng)（ Claude Elwood Shannon ）提出信息論。 —— 《通訊的數(shù)學(xué)理論》、《在噪聲中的通信》 狹義信息論：研究通信控制系統(tǒng)中信息傳遞 的共同規(guī)律，及提高信息傳遞的可靠性。 廣義信息論：利用狹義信息論來研究一切問 題的理論。 信息論基本概念 信息：不確定度的減小 信息＝（通信前不確定性）－（通信后不確定信） 信息量：某種不確定度趨向確定的一種度量 I=f(p) 或 I=g(1/p) p(AB)=p(A) p(B) I(AB)=I(A) +I(B) I(A)=log2(1/p) 或 I(A)=－ log2(p) p 大 小 I 小 大 信息 消息 信息量 投擲硬幣，某面朝下概率 p(A)=, 按照 I(A)=log2(1/p) 計(jì)算得 I(A)=log2(2)=1 一切二中擇一事件包含信息量為 1比特 一批福利品，優(yōu)質(zhì)品 40％，合格品 55％，次品 5％，隨意抓取，“某人拿到次品 ”，這一消息的信息量為多少？ I(A)=log2(1/p) )=log2(1/)＝ 信息量 可能消息在傳送端發(fā)生概率為先驗(yàn)概率， 在接受端出現(xiàn)概率為后驗(yàn)概率。實(shí)際通信中，可能消息送到接受端后仍未消除不確定性。則信息量為： 先驗(yàn)概率后驗(yàn)概率后驗(yàn)概率－先驗(yàn)概率log1log1log??I信息量 同一通信中包含大量不同消息，可以構(gòu)成各種復(fù)合消息，必須有不同的信息量計(jì)算公式。消息 A與 B同時(shí)發(fā)生所構(gòu)成的聯(lián)合消息 AB，包含的信息量為： )))(log) BIAIABpABI （（（ ????當(dāng)且僅當(dāng) A與 B互為獨(dú)立的信息時(shí)，等號成立 條件信息： ))) BIABIBAI （（（ ??信息熵 實(shí)際通信中，應(yīng)關(guān)心整個(gè)消息序列，對整個(gè)消息序列的信息量進(jìn)行度量。 可能消息集合的整體平均信息量稱為“信息熵” H—— 信息源的熵，熵越大，發(fā)送信息能力越大 ?????????????n1i2211i21n1i21log)logloglog(,log)(,),(1),(＝＝的平均信息量為：得序列中每個(gè)可能信息除以序列中所有消息信息量，信息量所有則數(shù)目消息，消息總數(shù)消息概率發(fā)送端可能消息集合iinniiiininppppppppHNpNpxNpxNpppPpxxxX???信息熵 I(A)= (++ ) =一批福利品，優(yōu)質(zhì)品 40％，合格品 55％，次品 5％，信息熵是多少？ 信息熵 nnnnHH log)/1,/1,/1(ma x ?? ?信息熵特性 ? 非負(fù)性 ?對稱性 X＝ (x1, x2, x3) p1＝ (1/2, 1/3, 1/6) P2 ＝ (1/3, 1/6, 1/2) , P3 ＝ (2/3, 1/4, 1/12) H1=H2= H3 = ?極值性 對于一定可能消息數(shù)，熵值在等概率分布下取最大值 ? 聯(lián)合熵 H(XY)≤H(A)+H(B) 通信系統(tǒng) 實(shí)施通信活動(dòng)的系統(tǒng) 通信系統(tǒng)的結(jié)構(gòu)： 信源與信宿 信道 編碼與譯碼 通信系統(tǒng) 信源與信宿 信 源 信 宿 編 碼 噪 聲 信 道 譯 碼 通信系統(tǒng) 信源與信宿 ?信源：消息的來源。離散信源， 連續(xù)信源 ?信源特征有 信息結(jié)構(gòu) 與 數(shù)量 ?信息結(jié)構(gòu)兩個(gè)要素 可能消息集合 A=｛ a1, a2, … ， an｝ 消息概率分布 P=｛ p1, p2, … ， pn｝ ?信息數(shù)量 通信系統(tǒng) 信源與信宿 ?信息數(shù)量 信息熵 最大熵 相對熵 剩余度 γ nnnnHH log)/1,/1,/1(ma x ?? ?10 m ?? HH 110m?? HH－＝?通信系統(tǒng) 信道 ?傳送信息的通道。有聲信道、光信道、電信道，等等。 ?按照數(shù)學(xué)特性可把信道劃分為離散信道和離散信道，有噪聲信道和無噪聲信道，等等。 ?信道指標(biāo) 通信速度 信道容量 平均傳送時(shí)間平均信息量?RRC m ax?通信系統(tǒng) 編碼與譯碼 信息不能直接傳遞，必須先編碼，再譯碼 ? 編碼 按一定規(guī)則，把各種特定符號排列起來，形成表達(dá)信息的符號系統(tǒng) 1 2 3 4 5 6 7 8 9 10 。 — 。 。 — … — 。 … — 。 。 … — — … 。 — … — 。 。 — 。 — 莫爾斯電碼 通信系統(tǒng) 編碼與譯碼 信息不能直接傳遞，必須先編碼，再譯碼 ? 譯碼 解調(diào) ，把經(jīng)過調(diào)制的信號頻譜再遷移回去，變成原信號頻譜，如把光頻再變成電頻、聲頻等。 譯碼 ，編碼的反轉(zhuǎn)換，把構(gòu)成信息的符號組合再變成信息。 噪聲 提高通信可靠性，減少信道傳送信號中的噪聲。 從信道中混有噪聲的信號中濾掉噪聲，即信號檢測、濾波的理論與技術(shù)。 申農(nóng)信息論貢獻(xiàn)： 理論上闡明通信的基本問題 提出通信系統(tǒng)的物理模型 提出信息量的度量公式 初步解決如何從信宿提取信息源消息 提出充分利用信道容量的途徑（單邊傳送） 如何編、譯碼提高信道利用率 廣義信息 全信息 ?通信工程關(guān)心的只是信息的語法特性。 ?真實(shí)的通信包含三個(gè)方面： 技術(shù)問題；語義問題；效用或價(jià)值問題 ?語義的定性與定量描述 ?信息具有價(jià)值屬性，信宿接收信息后的效果即信息的價(jià)值 ?全信息：綜合了語法、語義和語用信息的信息。 ?全信息理論：研究全信息的本質(zhì)和度量即運(yùn)動(dòng)規(guī)律的理論 現(xiàn)代信息科學(xué)發(fā)展 ?現(xiàn)代信息科學(xué)發(fā)展 激光通信，網(wǎng)絡(luò)化，移動(dòng)性，數(shù)字化，綜合性，量子通信 ?廣義信息論 關(guān)于信息本質(zhì)的理論 關(guān)于信息度量方法的理論 關(guān)于信息運(yùn)動(dòng)規(guī)律的理論 關(guān)于信息產(chǎn)生、獲取、變換、傳輸、儲存、處理、顯示、識別和利用的理論 關(guān)于高級信息交換系統(tǒng)的理論 ?信息技術(shù) 信息獲取技術(shù)，信息傳遞技術(shù)，信息處理技術(shù)，信息存儲技術(shù)，信息交換技術(shù)，信息安全技術(shù) 三、控制論 1948年，美數(shù)學(xué)家維納（ Norbert Wiener ）創(chuàng)立，是自動(dòng)控制、無線電通訊、神經(jīng)生理學(xué)、生物學(xué)等多學(xué)科相互滲透的產(chǎn)物。 三、控制論 Cyberics 古代自動(dòng)機(jī)思想和實(shí)踐： “ 銅壺滴漏 ” ， “ 指南車 ” ， 木牛流馬 ，老鼠夾子 ， 風(fēng)磨磨面 ， 瑞士機(jī)械鐘表 近代控制論萌芽 ： ?自動(dòng)調(diào)速技術(shù) 1787年 瓦特發(fā)明蒸氣機(jī)離心調(diào)節(jié)器 ?伺服機(jī)理論 19世紀(jì) 40年代 ， 機(jī)械化大生產(chǎn) ?反饋概念 19世紀(jì) 70年代 ， “ 反饋思想 ” ， 電學(xué)中反饋 三、控制論 Cyberics 現(xiàn)代控制論的建立和發(fā)展 現(xiàn)代控制論的建立和發(fā)展主要是同計(jì)算機(jī)科學(xué) 、 信息科學(xué)以及神經(jīng)生理學(xué)的建立和發(fā)展聯(lián)系在一起的 維納 ， 1948發(fā)表 《 行為 ， 目的和目的論 》 ? 麻省理工 ， 數(shù)字計(jì)算機(jī)的五點(diǎn)建議； ?信息論 ， 濾波理論 ?墨西哥心臟研究所 ， 神經(jīng)反饋研究 ?清華大學(xué) （ 1935～ 1936） 開闊視野 ， 積累知識 ?二戰(zhàn) ， “ 自動(dòng)火炮 ” ， 借助于反饋調(diào)節(jié)概念 三、控制論 20世紀(jì)以來控制論發(fā)展三個(gè)階段 經(jīng)典控制論階段（ 20世紀(jì) 40～ 50年代） 現(xiàn)代控制論階段（ 20世紀(jì) 60～ 70年代） 大系統(tǒng)理論階段（ 20世紀(jì) 70～） 三、控制論 從控制論發(fā)展看科學(xué)發(fā)展 ?社會發(fā)展的需要是科學(xué)發(fā)展的動(dòng)力 ?科學(xué)的進(jìn)步是集體努力的結(jié)果 ?科學(xué)的發(fā)明與科學(xué)理論的建立有賴于科學(xué)家堅(jiān)實(shí)的知識基礎(chǔ)