【正文】 智能算法 及其在數(shù)學(xué)建模中的應(yīng)用 計算智能簡介 人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用 支持向量機及應(yīng)用 模糊集及應(yīng)用 遺傳算法及應(yīng)用 單元一 智能算法簡介 ? 智能的層次 生物智能（ BI） 符號智能（ SI） 計算智能（ CI） 人工智能（ AI） ? 最高層次的智能是生物智能（ Biological Intelligence，BI） ,生物智能中又以智慧生物的智能最高。 ? 人工智能（ Artificial Intelligence, AI）是另一層次的智能，研究如何制造出人造的智能機器或智能系統(tǒng)，來模擬人類的智能活動。 ? 1956年 Dartmouth大學(xué)研討會上將“人工智能” 定義為“試圖用來模仿與智能有關(guān)的人類活動的計算機過程”。 ? 傳統(tǒng)的人工智能偏重與符號處理與邏輯推理，因此又稱為符號智能 (Symbolism Intelligence, SI)。 ? 早期符號智能對人工智能的發(fā)展起到了重要的推動作用，但隨著科技的發(fā)展，復(fù)雜性問題的大量涌現(xiàn)，這些方法在處理非線性、不確定等復(fù)雜性問題時顯得無能為力。 ? 計算智能（ Computation Intelligence, CI）技術(shù)就是在這一背景下發(fā)展起來的。 ? 計算智能的最大特點就是不需要建立問題本身精確的數(shù)學(xué)模型，側(cè)重從數(shù)據(jù)中學(xué)習(xí)，非常適合于處理那些因為難以建立有效的形式化模型而用傳統(tǒng)人工智能方法難以解決的問題。 ? 計算智能是以生物進化的觀點認(rèn)識和模擬智能。按照這一觀點，智能是在生物的遺傳、變異、生長以及外部環(huán)境的自然選擇中產(chǎn)生的。在用進廢退、優(yōu)勝劣汰的過程中，適應(yīng)度高的（頭腦）結(jié)構(gòu)被保存下來，智能水平也隨之提高。因此說計算智能就是基于結(jié)構(gòu)演化的智能。 ? 在概念提出初期，狹義的計算智能包括人工神經(jīng)網(wǎng)絡(luò)、模糊邏輯和進化計算。 ? 計算智能的主要方法有 人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、遺傳程序、演化程序、局部搜索、模擬退火 等等。 ? 這些方法具有以下共同的要素：自適應(yīng)的結(jié)構(gòu)、隨機產(chǎn)生的或指定的初始狀態(tài)、適應(yīng)度的評測函數(shù)、修改結(jié)構(gòu)的操作、系統(tǒng)狀態(tài)存儲器、終止計算的條件、指示結(jié)果的方法、控制過程的參數(shù)。 ? 計算智能的這些方法具有自學(xué)習(xí)、自組織、自適應(yīng)的特征和簡單、通用、魯棒性強、適于并行處理的優(yōu)點。在并行搜索、聯(lián)想記憶、模式識別、知識自動獲取等方面得到了廣泛的應(yīng)用。 ? 典型的代表如遺傳算法、免疫算法、模擬退火算法、蟻群算法、微粒群算法，都是一種仿生算法，基于“從大自然中獲取智慧”的理念，通過人們對自然界獨特規(guī)律的認(rèn)知，提取出適合獲取知識的一套計算工具?？偟膩碚f，通過自適應(yīng)學(xué)習(xí)的特性，這些算法達到了全局優(yōu)化的目的。 單元二 人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用 ? ANN的基本原理 ? BP網(wǎng)絡(luò)及應(yīng)用 ANN基本原理 生物神經(jīng)元 ? 神經(jīng)元是大腦處理信息的基本單元 ? 人腦大約由 1011個神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò) 生物神經(jīng)元簡圖 ? 生物神經(jīng)元傳遞信息的過程為多輸入 、 單輸出 ? 神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近 ? 當(dāng)神經(jīng)元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì) ? 突觸有兩種類型，興奮性突觸和抑制性突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位 特點： ? 時空整合功能 神經(jīng)元對于不同時間通過同一突觸傳入的神經(jīng)沖動，具有時間整合功能；對于同一時間通過不同突觸傳入的神經(jīng)沖動，具有空間整合功能。兩種功能相互結(jié)合，具有時空整合的輸入信息處理功能，所謂整合是指抑制或興奮的受體電位或突觸電位的代數(shù)和； ? 興奮與抑制狀態(tài) 神經(jīng)元具有兩種的常規(guī)工作狀態(tài)：當(dāng)傳入沖動的時空整合結(jié)果使細胞膜電位升高，超過動作電位閾值（約為 40mV）時，細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突輸出；當(dāng)傳入沖動的時空整合結(jié)果使膜電位下降至低于動作電位閾值時，細胞進入抑制狀態(tài)，無神經(jīng)沖動輸出，滿足“ 0— 1”律，即“興奮 — 抑制”狀態(tài)； ? 脈沖與電位轉(zhuǎn)換 突觸界面具有脈沖 /電位信號轉(zhuǎn)換功能。沿神經(jīng)纖維傳遞的電脈沖為等幅、恒寬、編碼（ 60~100mV）的離散脈沖信號，而細胞膜電位變化為連續(xù)的電位信號。在突觸接口處進行“數(shù) /模”轉(zhuǎn)換，是通過神經(jīng)介質(zhì)以量子化學(xué)方式實現(xiàn)的變換過程； ? 神經(jīng)纖維傳導(dǎo)速度 神經(jīng)沖動沿神經(jīng)纖維傳導(dǎo)的速度在 1~50m/s之間，因纖維特性不同而不同，粗纖維的傳導(dǎo)速度在100m/s,細纖維的傳導(dǎo)速度可低至每秒數(shù)米； ? 突觸延時和不應(yīng)期 突觸對神經(jīng)沖動的傳遞具有延時和不應(yīng)期。在相鄰的兩次沖動之間需要一個時間間隔，即為不應(yīng)期，在此期間對激勵不響應(yīng)，不能傳遞神經(jīng)沖動； ? 學(xué)習(xí)、遺忘和疲勞 由于結(jié)構(gòu)可塑性，突觸的傳遞作用可增強、減弱、飽和，所以細胞具有相應(yīng)的學(xué)習(xí)功能，遺忘或疲勞效應(yīng)。 ANN的結(jié)構(gòu) ? 神經(jīng)網(wǎng)絡(luò)是一個并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu) ? 一般由大量神經(jīng)元組成 ? 每個神經(jīng)元只有一個輸出，可以連接到很多其他的神經(jīng)元 ? 每個神經(jīng)元輸入有多個連接通道，每個連接通道對應(yīng)于一個連接權(quán)系數(shù) 人工神經(jīng)元模型 求和 激勵函數(shù) 激勵函數(shù)的基本作用 ? 控制輸入對輸出的激活作用 ? 對輸入、輸出進行函數(shù)轉(zhuǎn)換 ? 將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出 常見的激勵函數(shù) ANN的基本結(jié)構(gòu) 輸入層 隱層 輸出層 前向神經(jīng)網(wǎng)絡(luò)模型 z1 z1 z1 反饋形網(wǎng)絡(luò)模型 v1 v2 v3 vn z1 ANN的基本訓(xùn)練與學(xué)習(xí)算法 人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法 ? 根據(jù)具體要求，直接計算，如 Hopfield網(wǎng)絡(luò)作優(yōu)化計算 ? 通過學(xué)習(xí)得到的。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采用這種方法 ? 學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題 Hebb學(xué)習(xí)規(guī)則 誤差校正（糾錯）學(xué)習(xí)規(guī)則 無監(jiān)督學(xué)習(xí)規(guī)則 ? Donall Hebb根據(jù)生理學(xué)中條件反射機理，于 1949年提出的神經(jīng)元連接強度變化的規(guī)則 ? 如果兩個神經(jīng)元同時興奮 (即同時被激活 )，則它們之間的突觸連接加強 ? a為學(xué)習(xí)速率， Vi, Vj為神經(jīng)元 i和 j的輸出 ? Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作 Hebb學(xué)習(xí)規(guī)則的變形 Hebb學(xué)習(xí)規(guī)則 ? 用已知樣本作為教師信號對網(wǎng)絡(luò)進行學(xué)習(xí) ? 學(xué)習(xí)規(guī)則可由二次誤差函數(shù)的梯度法導(dǎo)出 ? 誤差校正學(xué)習(xí)規(guī)則實際上是一種梯度方法 ? 不能保證得到全局最優(yōu)解 ? 要求大量訓(xùn)練樣本，收斂速度慢 ? 對樣本地表示次序變化比較敏感 誤差校正規(guī)則 ()ij i ijv? ? ?? ? ?無監(jiān)督的學(xué)習(xí)規(guī)則 ? 這類學(xué)習(xí)不在于尋找一個特殊映射的表示，而是將事件空間分類為輸入活動區(qū)域，并有選擇地對這些區(qū)域響應(yīng)，從而調(diào)整參數(shù)一反映觀察事件的分部 ? 輸入可以是連續(xù)值，對噪聲有較強地抗干擾能力 ? 對較少輸入樣本，結(jié)果可能要依賴于輸入序列 人工神經(jīng)網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用領(lǐng)域 回歸與預(yù)測 模式識別（分類） 聯(lián)想記憶與學(xué)習(xí) ? 反向傳播網(wǎng)絡(luò) (BackPropagation Network，簡稱 BP網(wǎng)絡(luò) )是對非線性可微分函數(shù)進行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò) ? 權(quán)值的調(diào)整采用反向傳播 (Backpropagation）的學(xué)習(xí)算法 ? 它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是 S型函數(shù) ? 輸出量為 0到 1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射 BP網(wǎng)絡(luò) ? BP網(wǎng)絡(luò)主要用于下述方面 ? 函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個網(wǎng)絡(luò)逼近一個函數(shù) ? 模式識別和分類：用一個特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進行分類； ? 數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲 ? 具有將強泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入