【正文】 度計(jì)接觸式測(cè)量溫度是直接測(cè)量，利用光譜測(cè)量溫度就是 溫度軟測(cè)量 。 如果一個(gè)神經(jīng)元網(wǎng)絡(luò)輸入 x,一個(gè)神經(jīng)元 i在競(jìng)爭(zhēng)中獲勝（即輸出大于其它神經(jīng)元）則其輸出為 1，其它為 0； 與神經(jīng)元 i相連的權(quán)值為 與神經(jīng)元 i相連的權(quán)值為 0 ijw?01??jiyy 人工神經(jīng)元網(wǎng)絡(luò)的應(yīng)用 神經(jīng)網(wǎng)絡(luò)幾乎能夠應(yīng)用到任何一個(gè)領(lǐng)域，僅就控制領(lǐng)域來(lái)說(shuō)，有以下一些實(shí)例。 競(jìng)爭(zhēng)學(xué)習(xí)中，神經(jīng)元網(wǎng)絡(luò)之間相互競(jìng)爭(zhēng)，在任 一 時(shí)刻。 設(shè)存儲(chǔ)器中所記憶的某一類 l1含有向量 ? ?xNx2x1XN ?,?如果，下式成立 ),(),( t e s tNt e s ti XXdXXm i n d ?則 Xtest屬于 l1類，上式采用了歐式距離的計(jì)算 。 ? ? )()()()()()()()(nWnwnwnwnwnwnwnwij323122211211???????????? 因此，神經(jīng)網(wǎng)絡(luò)的運(yùn)算（前向 —— 工作、反向 —— 學(xué)習(xí)）都是矩陣運(yùn)算。 2 糾錯(cuò)學(xué)習(xí)規(guī)則 又稱為 Delta規(guī)則 或 WidrowHoff規(guī)則 。 jxix?ii xx ? jj xx ?)()1()( nwnwnw ijij ???? ][][)( jjii xxS i g nxxS i g nnw ?????? ?情況 神經(jīng)元 Xi、 Xj活動(dòng)異步，則即 之一的情況存在，權(quán)重 Δ Wij顯然小于 0。 它就像 PID算法中的比例系數(shù)（后面會(huì)講道）。下面介紹 5種主要的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則： Hebb學(xué)習(xí) 、 糾錯(cuò)學(xué)習(xí) 、 基于記憶的學(xué)習(xí) 、 隨機(jī)學(xué)習(xí) 、 競(jìng)爭(zhēng)學(xué)習(xí) 1 Hebb學(xué)習(xí)規(guī)則 a) 語(yǔ)言描述： i 如果一個(gè)突觸 Wij兩邊的神經(jīng)元被同時(shí)激活，則它的能量（權(quán)重）就被選擇性的加強(qiáng)； ii 如果一個(gè)突觸兩邊的神經(jīng)元被異步激活，則它的能量（權(quán)重）就被選擇性的消弱或消除。根據(jù)這個(gè)標(biāo)準(zhǔn)進(jìn)行學(xué)習(xí)。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) 定義： 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)又稱為 訓(xùn)練 ，是指神經(jīng)網(wǎng)絡(luò)根據(jù)環(huán)境的刺激作用自動(dòng)調(diào)整 神經(jīng)元連結(jié)權(quán)值和自身閾值的過(guò)程。 上圖是一個(gè)最簡(jiǎn)單的競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)， Hamming網(wǎng)絡(luò)。 將隨機(jī)運(yùn)算引入到神經(jīng)網(wǎng)絡(luò)中，具體來(lái)說(shuō)，神經(jīng)元的運(yùn)算是按概率原理進(jìn)行的。 3. 反饋網(wǎng)絡(luò) 所謂反饋網(wǎng)絡(luò)是指網(wǎng)絡(luò)中至少含有一個(gè)反饋回路的神經(jīng)網(wǎng)絡(luò)。 輸出層神經(jīng)元的工作： ① 計(jì)算隱層各神經(jīng)元輸出的加權(quán)和。 見(jiàn)圖 15 上面的網(wǎng)絡(luò)，只有輸出層有計(jì)算能力。 ave11vf???)( 人工神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)及學(xué)習(xí)規(guī)則 按網(wǎng)絡(luò)結(jié)構(gòu)分類：前向神經(jīng)網(wǎng)絡(luò) 反饋神經(jīng)網(wǎng)絡(luò) 按學(xué)習(xí)方式分類：有導(dǎo)師神經(jīng)網(wǎng)絡(luò) 無(wú)導(dǎo)師神經(jīng)網(wǎng)絡(luò) * 一定 的結(jié)構(gòu)決定了一定的學(xué)習(xí)方式。 人工神經(jīng)元網(wǎng)絡(luò)模型 輸入信號(hào)是 xi， 總輸入為 ui bi是閾值 ,除了閾值輸入為 vi f( 人工神經(jīng)元的模型 生物神經(jīng)元模型 結(jié)構(gòu)特點(diǎn)： 軸突（神經(jīng)纖維）很長(zhǎng)（輸出沖動(dòng)）、 樹(shù)突接受沖動(dòng)，突出連接２者（體現(xiàn)出連接權(quán)值），細(xì) 胞膜內(nèi)外有電位差（內(nèi)高外低） 40100mV。 神經(jīng)網(wǎng)絡(luò)的應(yīng)用及研究方向 理論研究分為： ? 利用神經(jīng)生理與認(rèn)知科學(xué)研究大腦思維即智能機(jī)理；（作為大腦的仿真研究手段） ? 利用神經(jīng)科學(xué)基礎(chǔ)理論的研究成果，用數(shù)理方法探索智能水平更高的人工神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)的算法與性能（穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性等），開(kāi)發(fā)新的網(wǎng)絡(luò)數(shù)理理論（神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng)）。 90年代初，支持向量基（ＳＶＭ）。 徑向基神經(jīng)網(wǎng)絡(luò)具有對(duì)訓(xùn)練樣本具有預(yù)處理的能力。 3 興盛階段（ 1980 1982年美國(guó)生物物理學(xué)家 Hophield提出反饋神經(jīng)網(wǎng)絡(luò) (Hophield網(wǎng)絡(luò) ) ，標(biāo)志著興盛階段的到來(lái)。 這一時(shí)期的研究成果也不夠顯著、值得一提的是 1977 年 Anderson等提出的黑箱腦狀態(tài) (BrainstateinaBox) 模型。 （ 19701980） 導(dǎo)致十年低谷的原因包括： 技術(shù)上的：計(jì) 算機(jī)技術(shù)支持不夠； 信心上的：資金悲觀情緒 這個(gè)階段的標(biāo)志， 1969年麻省理工學(xué)院著名的人工 智能專家 《 感知器 》 指出單層感知器無(wú)法解決非線性問(wèn)題，線性問(wèn)題需要由多 層感知器來(lái)解決，而感知器模型擴(kuò)展到多層是否有意義， 尚不能從理論上得到證明。感知器 可應(yīng)用于模式識(shí)別和聯(lián)想記憶等方面。 1949年，生物學(xué)家 提出改變 NN連接強(qiáng)度的 Hebb規(guī)則。 證明了：數(shù)量眾多的神經(jīng)元網(wǎng)絡(luò)可以能計(jì)算 任何可計(jì)算的函數(shù)。 人工神經(jīng)網(wǎng)絡(luò)發(fā)展歷史 20世紀(jì) 40年代開(kāi)始，經(jīng)歷興起、蕭條、興盛 3個(gè)階段。由于其簡(jiǎn)化作用，特別適合在處 理能力有限的處理器中使用，家用電氣、導(dǎo)彈； 仿人控制： 對(duì)成功經(jīng)驗(yàn)的數(shù)學(xué)化和固化，范圍有限 遺傳算法： 對(duì)生物進(jìn)化學(xué)的模仿，個(gè)體隨機(jī)性和統(tǒng)計(jì)規(guī)律性 的結(jié)合，理論上很巧妙，但應(yīng)用范圍也有限，目 前僅僅適合于優(yōu)化。 神經(jīng)網(wǎng)絡(luò)屬于控制科學(xué)的范疇。神經(jīng)網(wǎng)絡(luò)控制 電信學(xué)院 周強(qiáng) 第一章 引 言 人工神經(jīng)網(wǎng)絡(luò)的 簡(jiǎn)介 人工神經(jīng)網(wǎng)絡(luò)的 發(fā)展歷史 人工神經(jīng)元的 模型 人工神經(jīng)網(wǎng)絡(luò)的 結(jié)構(gòu)與學(xué)習(xí)規(guī)則 人工神經(jīng)網(wǎng)絡(luò)的 應(yīng)用 人工神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)介 人工神經(jīng)網(wǎng)絡(luò)（ Artificial Neural Network， ANN） 即，神經(jīng)網(wǎng)絡(luò)（ Neural Network， NN） 是由大量處理單元（神經(jīng)元 Neurons）互連而成 的網(wǎng)絡(luò)，是對(duì) 人腦的抽象、簡(jiǎn)化和模擬（即 智 能化 ），模仿人腦信息處理的功能。 涉及神經(jīng) 科學(xué) 、 數(shù)學(xué) 、 統(tǒng)計(jì)學(xué) 、 計(jì)算機(jī)科學(xué) 的一門(mén)學(xué)科。 經(jīng)典控制 —— 現(xiàn)代控制理論 —— 大系統(tǒng) 和 智能控制 1992年 世界數(shù)學(xué)家大會(huì) 神經(jīng)網(wǎng)絡(luò) 模糊控制 仿人控制 遺傳算法 蟻群算法 內(nèi)分泌算法 免疫算法 智能控制 神經(jīng)網(wǎng)絡(luò)： 最早、理論性最強(qiáng)、最深?yuàn)W； 目前的研究已經(jīng)飽和； 笨辦法； 模糊控制： 理論較簡(jiǎn)單，模糊數(shù)學(xué) 抽象出模糊化 ； 應(yīng)用很成功。 特點(diǎn)： *并行運(yùn)算 （每個(gè)神經(jīng)元都在獨(dú)立的運(yùn)算） *自學(xué)習(xí)能力很強(qiáng) *非線性處理能力 （這源于神經(jīng)網(wǎng)絡(luò)的每一塊磚都是非線性的，如 S型函數(shù)） 因此，神經(jīng)網(wǎng)絡(luò)具有能力： 獲取信息 儲(chǔ)存信息。 興起階段（ 19431970） 1943 神經(jīng)病學(xué)和神經(jīng)解剖學(xué)家 McCulloch 數(shù)學(xué)家 Pitts 在總結(jié)神經(jīng)元一些生理特性的基礎(chǔ)上，提出 神經(jīng)元的數(shù)學(xué)模型， MP模型。 NN的興起，同時(shí)也是人工智能（ Artificial Intelligence， AI）這一學(xué)科。 1957年， Neumann提出感知器（ Perceptron）的概念 ，并于次年將神經(jīng)網(wǎng)絡(luò)首次應(yīng)用于工程實(shí)踐。 1960年， Widrow和 Hoff引入最小均方差（ Least MeanSquare， LMS）算法，用于闡述感知器與 自適應(yīng)線性元件之間選練差異的標(biāo)準(zhǔn)。 當(dāng)時(shí)計(jì)算機(jī)水平低，人們都去研究人工智能和專家系 統(tǒng)了。不必關(guān)心它的參數(shù)，只關(guān)心輸入 輸出。 1998年， Broom和 Lowe提出了徑向基神經(jīng)網(wǎng)絡(luò)（ RBF）。是對(duì) BP網(wǎng)絡(luò)的一大進(jìn)步。 徑向基神經(jīng)網(wǎng)絡(luò)和支持向量基都會(huì)在本課程中介紹。 應(yīng)用研究包括兩類： ? 神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)的研究； ? 神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域中的應(yīng)用研究，這些領(lǐng)域包括：模式識(shí)別、信號(hào)處理、知識(shí)工程、專家系統(tǒng)、優(yōu)化組合、智能控制等。 工作： 突出轉(zhuǎn)換（放大或縮?。┥窠?jīng)沖動(dòng)，由樹(shù)突輸入到細(xì) 胞膜，如果大于細(xì)胞膜電壓，則使得細(xì)胞興奮，產(chǎn)生 神經(jīng)沖動(dòng)，由軸突輸出。)是激勵(lì)函數(shù)， yi是輸出 ???N1jjiji xwuiii buv ???????????? ??N1jijiji bxwfy常用的激勵(lì)函數(shù)有３種 （１）閾值函數(shù)（符號(hào)函數(shù)） 可用于分類 ??? ??0v00v1vf?)(??? ??0v10v1vSgn?)(（２）符號(hào)函數(shù) ???????????1v11v1v1v1vf )(（３） Sigmoid函數(shù) （４）組合函數(shù) *激勵(lì)函數(shù)的選擇：相似性與緊支撐原則。 定義：所謂單層前向網(wǎng)絡(luò)是指網(wǎng)絡(luò)中計(jì)算節(jié)點(diǎn)（神經(jīng)元）只有一層。 2. 多層前向神經(jīng)網(wǎng)絡(luò) 多層前向神經(jīng)網(wǎng)含有一個(gè)或多個(gè)隱層，即至少隱層和輸出層都有運(yùn)算能力。 隱層神經(jīng)元的工作： ①計(jì)算輸入層各神經(jīng)元輸出的加權(quán)和； ②加權(quán)和 神經(jīng)元閾值； ③此值作為隱層神經(jīng)元激勵(lì)函數(shù)的輸入產(chǎn)生的函數(shù) 值作為隱層輸出。 這是一個(gè)自反饋神經(jīng)網(wǎng)絡(luò)， z1是滯后環(huán)節(jié)。下圖中閾值是一個(gè)隨機(jī)變量 ? 競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò) 競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)的輸出神經(jīng)元相互競(jìng)爭(zhēng)以確定勝者，勝者指出那一種輸出最能代表網(wǎng)絡(luò)輸出。 ①每個(gè)輸出神經(jīng)元都與輸入節(jié)點(diǎn)全連結(jié)； ②輸出神經(jīng)元之間全互連 （用于相互比較） ； ③最終，競(jìng)爭(zhēng)獲勝的勝者作為網(wǎng)絡(luò)的輸出。 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式： 有教師學(xué)習(xí) 無(wú)教師學(xué)習(xí) ①有教師學(xué)習(xí) 又稱有監(jiān)督學(xué)習(xí)（ Surpervised Learning） 訓(xùn)練樣本 { （輸入 輸出），（輸入 輸出）， …… } 偏差 = 網(wǎng)絡(luò)實(shí)際輸出 網(wǎng)絡(luò)期望輸出 權(quán)重改變量 ΔW = G( 偏差 ) W(n+1)= W(n)+ΔW 見(jiàn)圖 111 ② 無(wú)教師的學(xué)習(xí) 沒(méi)有外部導(dǎo)師統(tǒng)觀學(xué)習(xí)過(guò)程，而是提供一個(gè)網(wǎng)絡(luò)質(zhì)量的衡量標(biāo)準(zhǔn)。 圖 111 有教師的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 圖 112 無(wú)教師神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)濾波電路 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的方式： 每 個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)都對(duì)應(yīng)著一種學(xué)習(xí)方式。 Hebb規(guī)則的數(shù)學(xué)描述： Wij—— 表示神經(jīng)元 xj到神經(jīng)元 xi的突觸權(quán)重 —— 神經(jīng)元 xj在一段時(shí)間內(nèi)的平均值 —— 神經(jīng)元 xi在一段時(shí)間內(nèi)的平均值 在學(xué)習(xí)進(jìn)行到第 N步時(shí)，對(duì)權(quán)重的調(diào)整為 式中， 是正常數(shù)，稱為學(xué)習(xí)速率或者步長(zhǎng)。 Hebb規(guī)則的工作過(guò)程的描述： 情況 神經(jīng)元 Xi、 Xj活動(dòng)充分，則 權(quán)值被加強(qiáng)了。權(quán)重 Wij被減弱了 。 ii xx ? jjxx ? 神經(jīng)網(wǎng)絡(luò)的輸入 Xi(n)，產(chǎn)生實(shí)際輸出 yi(n), 網(wǎng)絡(luò)期望輸出 di(n), 期望值和真實(shí)值之間偏差 )n(y)n(d)n(e ii ?? 要調(diào)整權(quán)值，以誤差 e(n)最小為原則（才能使得網(wǎng)絡(luò)無(wú)差），為避免正負(fù)號(hào)的影響，采用 e(n)的最小二