【正文】 ? 隱含層權(quán)值變化 ? 其中 ? 同理可得 ? 對(duì)于 f1為對(duì)數(shù) S型激活函數(shù)， ? 對(duì)于 f2為線性激活函數(shù) 網(wǎng)絡(luò)訓(xùn)練 ? 訓(xùn)練 BP網(wǎng)絡(luò)，需要計(jì)算網(wǎng)絡(luò)加權(quán)輸入矢量以及網(wǎng)絡(luò)輸出和誤差矢量，然后求誤差平方和 ? 當(dāng)所訓(xùn)練矢量的誤差平方和小于誤差目標(biāo)，訓(xùn)練停止；否則在輸出層計(jì)算誤差變化，且采用反向傳播學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，然后重復(fù)此過程 ? 網(wǎng)絡(luò)完成訓(xùn)練后，對(duì)網(wǎng)絡(luò)輸入一個(gè)不是訓(xùn)練集合中的矢量，網(wǎng)絡(luò)將以泛化方式給出輸出結(jié)果 ? 為了能夠較好地掌握 BP網(wǎng)絡(luò)的訓(xùn)練過程，我們用兩層網(wǎng)絡(luò)為例來敘述 BP網(wǎng)絡(luò)的訓(xùn)練步驟 ? 初始化：用小的隨機(jī)數(shù)初始化每一層的權(quán)值 W和偏差B，保證網(wǎng)絡(luò)不被大的加權(quán)輸入飽和 ? 期望誤差最小值 error_goal ? 最大循環(huán)次數(shù) max_epoch ? 修正權(quán)值的學(xué)習(xí)速率 1r，一般情況下 k＝ , ? 變量表達(dá)：計(jì)算網(wǎng)絡(luò)各層輸出矢量 A1和 A2以及網(wǎng)絡(luò)誤差 E ? A1＝ tansig(W1*P， B1)； ? A2＝ purelin(W2*A1， B2)； ? E＝ TA； ? 權(quán)值修正：計(jì)算各層反傳的誤差變化 D2和 D1并計(jì)算各層權(quán)值的修正值以及新權(quán)值： ? D2＝ deltalin(A2， E)； ? D1＝ deltatan(A1， D2， W2)； ? [dlWl， dBl]＝ learnbp(P， D1， lr)； ? [dW2， dB2]＝ 1earnbp(A1， D2， 1r)； ? W1＝ W1十 dW1； B1＝ B1十 dBl； ? W2＝ W2十 dW2； B2＝ B2十 dB2 ? 計(jì)算權(quán)值修正后誤差平方和 ? SSE＝ sumsqr(Tpurelin(W2*tansig(W1*P， B1)， B2)) ? 檢查： SSE是否小于 err_goal。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差 一個(gè)具有 r個(gè)輸入和一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 網(wǎng)絡(luò)模型 ? 感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的 ? BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。 ANN的結(jié)構(gòu) ? 神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu) ? 一般由大量神經(jīng)元組成 ? 每個(gè)神經(jīng)元只有一個(gè)輸出，可以連接到很多其他的神經(jīng)元 ? 每個(gè)神經(jīng)元輸入有多個(gè)連接通道，每個(gè)連接通道對(duì)應(yīng)于一個(gè)連接權(quán)系數(shù) 人工神經(jīng)元模型 求和 激勵(lì)函數(shù) 激勵(lì)函數(shù)的基本作用 ? 控制輸入對(duì)輸出的激活作用 ? 對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換 ? 將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出 常見的激勵(lì)函數(shù) ANN的基本結(jié)構(gòu) 輸入層 隱層 輸出層 前向神經(jīng)網(wǎng)絡(luò)模型 z1 z1 z1 反饋形網(wǎng)絡(luò)模型 v1 v2 v3 vn z1 ANN的基本訓(xùn)練與學(xué)習(xí)算法 人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法 ? 根據(jù)具體要求，直接計(jì)算，如 Hopfield網(wǎng)絡(luò)作優(yōu)化計(jì)算 ? 通過學(xué)習(xí)得到的。在突觸接口處進(jìn)行“數(shù) /?！鞭D(zhuǎn)換，是通過神經(jīng)介質(zhì)以量子化學(xué)方式實(shí)現(xiàn)的變換過程； ? 神經(jīng)纖維傳導(dǎo)速度 神經(jīng)沖動(dòng)沿神經(jīng)纖維傳導(dǎo)的速度在 1~50m/s之間，因纖維特性不同而不同，粗纖維的傳導(dǎo)速度在100m/s,細(xì)纖維的傳導(dǎo)速度可低至每秒數(shù)米； ? 突觸延時(shí)和不應(yīng)期 突觸對(duì)神經(jīng)沖動(dòng)的傳遞具有延時(shí)和不應(yīng)期。兩種功能相互結(jié)合，具有時(shí)空整合的輸入信息處理功能，所謂整合是指抑制或興奮的受體電位或突觸電位的代數(shù)和； ? 興奮與抑制狀態(tài) 神經(jīng)元具有兩種的常規(guī)工作狀態(tài)：當(dāng)傳入沖動(dòng)的時(shí)空整合結(jié)果使細(xì)胞膜電位升高，超過動(dòng)作電位閾值（約為 40mV）時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出；當(dāng)傳入沖動(dòng)的時(shí)空整合結(jié)果使膜電位下降至低于動(dòng)作電位閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，無神經(jīng)沖動(dòng)輸出，滿足“ 0— 1”律，即“興奮 — 抑制”狀態(tài)； ? 脈沖與電位轉(zhuǎn)換 突觸界面具有脈沖 /電位信號(hào)轉(zhuǎn)換功能。 單元二 人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用 ? ANN的基本原理 ? BP網(wǎng)絡(luò)及應(yīng)用 ANN基本原理 生物神經(jīng)元 ? 神經(jīng)元是大腦處理信息的基本單元 ? 人腦大約由 1011個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò) 生物神經(jīng)元簡圖 ? 生物神經(jīng)元傳遞信息的過程為多輸入 、 單輸出 ? 神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近 ? 當(dāng)神經(jīng)元細(xì)胞體通過軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì) ? 突觸有兩種類型，興奮性突觸和抑制性突觸。 ? 典型的代表如遺傳算法、免疫算法、模擬退火算法、蟻群算法、微粒群算法，都是一種仿生算法，基于“從大自然中獲取智慧”的理念，通過人們對(duì)自然界獨(dú)特規(guī)律的認(rèn)知，提取出適合獲取知識(shí)的一套計(jì)算工具。 ? 計(jì)算智能的這些方法具有自學(xué)習(xí)、自組織、自適應(yīng)的特征和簡單、通用、魯棒性強(qiáng)、適于并行處理的優(yōu)點(diǎn)。 ? 計(jì)算智能的主要方法有 人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、遺傳程序、演化程序、局部搜索、模擬退火 等等。因此說計(jì)算智能就是基于結(jié)構(gòu)演化的智能。按照這一觀點(diǎn)，智能是在生物的遺傳、變異、生長以及外部環(huán)境的自然選擇中產(chǎn)生的。 ? 計(jì)算智能的最大特點(diǎn)就是不需要建立問題本身精確的數(shù)學(xué)模型，側(cè)重從數(shù)據(jù)中學(xué)習(xí)，非常適合于處理那些因?yàn)殡y以建立有效的形式化模型而用傳統(tǒng)人工智能方法難以解決的問題。 ? 早期符號(hào)智能對(duì)人工智能的發(fā)展起到了重要的推動(dòng)作用，但隨著科技的發(fā)展，復(fù)雜性問題的大量涌現(xiàn)，這些方法在處理非線性、不確定等復(fù)雜性問題時(shí)顯得無能為力。 ? 1956年 Dartmouth大學(xué)研討會(huì)上將“人工智能” 定義為“試圖用來模仿與智能有關(guān)的人類活動(dòng)的計(jì)算機(jī)過程”。智能算法 及其在數(shù)學(xué)建模中的應(yīng)用 計(jì)算智能簡介 人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用 支持向量機(jī)及應(yīng)用 模糊集及應(yīng)用 遺傳算法及應(yīng)用 單元一 智能算法簡介 ? 智能的層次 生物智能（ BI） 符號(hào)智能（ SI） 計(jì)算智能（ CI） 人工智能（ AI） ? 最高層次的智能是生物智能（ Biological Intelligence，BI） ,生物智能中又以智慧生物的智能最高。 ? 人工智能（ Artificial Intelligence, AI）是另一層次的智能，研究如何制造出人造的智能機(jī)器或智能系統(tǒng)，來模擬人類的智能活動(dòng)。 ? 傳統(tǒng)的人工智能偏重與符號(hào)處理與邏輯推理，因此又稱為符號(hào)智能 (Symbolism Intelligence, SI)。 ? 計(jì)算智能（ Computation Intelligence, CI）技術(shù)就是在這一背景下發(fā)展起來的。 ? 計(jì)算智能是以生物進(jìn)化的觀點(diǎn)認(rèn)識(shí)和模擬智能。在用進(jìn)廢退、優(yōu)勝劣汰的過程中，適應(yīng)度高的（頭腦）結(jié)構(gòu)被保存下來，智能水平也隨之提高。 ? 在概念提出初期，狹義的計(jì)算智能包括人工神經(jīng)網(wǎng)絡(luò)、模糊邏輯和進(jìn)化計(jì)算。 ? 這些方法具有以下共同的要素：自適應(yīng)的結(jié)構(gòu)、隨機(jī)產(chǎn)生的或指定的初始狀態(tài)、適應(yīng)度的評(píng)測函數(shù)、修改結(jié)構(gòu)的操作、系統(tǒng)狀態(tài)存儲(chǔ)器、終止計(jì)算的條件、指示結(jié)果的方法、控制過程的參數(shù)。在并行搜索、聯(lián)想記憶、模式識(shí)別、知識(shí)自動(dòng)獲取等方面得到了廣泛的應(yīng)用?？偟膩碚f，通過自適應(yīng)學(xué)習(xí)的特性，這些算法達(dá)到了全局優(yōu)化的目的。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位 特點(diǎn)： ? 時(shí)空整合功能 神經(jīng)元對(duì)于不同時(shí)間通過同一突觸傳入的神經(jīng)沖動(dòng)，具有時(shí)間整合功能；對(duì)于同一時(shí)間通過不同突觸傳入的神經(jīng)沖動(dòng)，具有空間整合功能。沿神經(jīng)纖維傳遞的電脈沖為等幅、恒寬、編碼（ 60~100mV）的離散脈沖信號(hào)，而細(xì)胞膜電位變化為連續(xù)的電位信號(hào)。在相鄰的兩次沖動(dòng)之間需要一個(gè)時(shí)間間隔，即為不應(yīng)期，在此期間對(duì)激勵(lì)不響應(yīng)，不能傳遞神經(jīng)沖動(dòng)； ? 學(xué)習(xí)、遺忘和疲勞 由于結(jié)構(gòu)可塑性，突觸的傳遞作用可增強(qiáng)、減弱、飽和，所以細(xì)胞具有相應(yīng)的學(xué)習(xí)功能，遺忘或疲勞效應(yīng)。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采