【正文】 kpropagation）的學(xué)習(xí)算法 ? 它是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的變換函數(shù)是 S型函數(shù) ? 輸出量為 0到 1之間的連續(xù)量，它可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射 BP網(wǎng)絡(luò) ? BP網(wǎng)絡(luò)主要用于下述方面 ? 函數(shù)逼近：用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè)網(wǎng)絡(luò)逼近一個(gè)函數(shù) ? 模式識(shí)別和分類：用一個(gè)特定的輸出矢量將它與輸入矢量聯(lián)系起來；把輸入矢量以所定義的合適方式進(jìn)行分類； ? 數(shù)據(jù)壓縮：減少輸出矢量維數(shù)以便于傳輸或存儲(chǔ) ? 具有將強(qiáng)泛化性能：使網(wǎng)絡(luò)平滑地學(xué)習(xí)函數(shù)，使網(wǎng)絡(luò)能夠合理地響應(yīng)被訓(xùn)練以外的輸入 ? 泛化性能只對(duì)被訓(xùn)練的輸入／輸出對(duì)最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。沿神經(jīng)纖維傳遞的電脈沖為等幅、恒寬、編碼（ 60~100mV）的離散脈沖信號(hào)，而細(xì)胞膜電位變化為連續(xù)的電位信號(hào)?？偟膩碚f，通過自適應(yīng)學(xué)習(xí)的特性，這些算法達(dá)到了全局優(yōu)化的目的。 ? 這些方法具有以下共同的要素：自適應(yīng)的結(jié)構(gòu)、隨機(jī)產(chǎn)生的或指定的初始狀態(tài)、適應(yīng)度的評(píng)測函數(shù)、修改結(jié)構(gòu)的操作、系統(tǒng)狀態(tài)存儲(chǔ)器、終止計(jì)算的條件、指示結(jié)果的方法、控制過程的參數(shù)。在用進(jìn)廢退、優(yōu)勝劣汰的過程中，適應(yīng)度高的（頭腦）結(jié)構(gòu)被保存下來，智能水平也隨之提高。 ? 計(jì)算智能（ Computation Intelligence, CI）技術(shù)就是在這一背景下發(fā)展起來的。 ? 人工智能（ Artificial Intelligence, AI）是另一層次的智能，研究如何制造出人造的智能機(jī)器或智能系統(tǒng)，來模擬人類的智能活動(dòng)。 ? 1956年 Dartmouth大學(xué)研討會(huì)上將“人工智能” 定義為“試圖用來模仿與智能有關(guān)的人類活動(dòng)的計(jì)算機(jī)過程”。 ? 計(jì)算智能的最大特點(diǎn)就是不需要建立問題本身精確的數(shù)學(xué)模型，側(cè)重從數(shù)據(jù)中學(xué)習(xí)，非常適合于處理那些因?yàn)殡y以建立有效的形式化模型而用傳統(tǒng)人工智能方法難以解決的問題。因此說計(jì)算智能就是基于結(jié)構(gòu)演化的智能。 ? 計(jì)算智能的這些方法具有自學(xué)習(xí)、自組織、自適應(yīng)的特征和簡單、通用、魯棒性強(qiáng)、適于并行處理的優(yōu)點(diǎn)。 單元二 人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用 ? ANN的基本原理 ? BP網(wǎng)絡(luò)及應(yīng)用 ANN基本原理 生物神經(jīng)元 ? 神經(jīng)元是大腦處理信息的基本單元 ? 人腦大約由 1011個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò) 生物神經(jīng)元簡圖 ? 生物神經(jīng)元傳遞信息的過程為多輸入 、 單輸出 ? 神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近 ? 當(dāng)神經(jīng)元細(xì)胞體通過軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì) ? 突觸有兩種類型，興奮性突觸和抑制性突觸。在突觸接口處進(jìn)行“數(shù) /?！鞭D(zhuǎn)換，是通過神經(jīng)介質(zhì)以量子化學(xué)方式實(shí)現(xiàn)的變換過程； ? 神經(jīng)纖維傳導(dǎo)速度 神經(jīng)沖動(dòng)沿神經(jīng)纖維傳導(dǎo)的速度在 1~50m/s之間，因纖維特性不同而不同，粗纖維的傳導(dǎo)速度在100m/s,細(xì)纖維的傳導(dǎo)速度可低至每秒數(shù)米； ? 突觸延時(shí)和不應(yīng)期 突觸對(duì)神經(jīng)沖動(dòng)的傳遞具有延時(shí)和不應(yīng)期。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差 一個(gè)具有 r個(gè)輸入和一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 網(wǎng)絡(luò)模型 ? 感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的 ? BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。調(diào)用后返回訓(xùn)練后權(quán)值，循環(huán)總數(shù)和最終誤差 ? TP＝ [disp_freq max_epoch err_goal 1r] ? [W， B， epochs， errors]＝ trainbp(W， B，’ F’， P， T，TP) ? 網(wǎng)絡(luò)的層數(shù) ? 隱含層神經(jīng)元數(shù) ? 初始權(quán)值的選取 ? 學(xué)習(xí)速率 ? 期望誤差的選取 ? 應(yīng)用舉例 ? 局限性 網(wǎng)絡(luò)的層數(shù) ? 理論上已經(jīng)證明：具有偏差和至少一個(gè) S型隱含層加上一個(gè)線性輸出層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù) ? 增加層數(shù)主要可以進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)權(quán)值的訓(xùn)練時(shí)間。學(xué)習(xí)速率的選取范圍在 期望誤差值選取 ? 在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，期望誤差值也應(yīng)當(dāng)通過對(duì)比訓(xùn)練后確定一個(gè)合適的值 ? 這個(gè)所謂的“合適”，是相對(duì)于所需要的隱含層的節(jié)點(diǎn)數(shù)來確定，因?yàn)檩^小的期望誤差值是要靠增加隱含層的節(jié)點(diǎn)，以及訓(xùn)練時(shí)間來獲得 ? 一般情況下，作為對(duì)比，可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過綜合因素的考慮來確定采用其中一個(gè)網(wǎng)絡(luò) 應(yīng)用舉例 ? 求解函數(shù)逼近問題 ? 有 21組單輸入矢量和相對(duì)應(yīng)的目標(biāo)矢量，試設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)這對(duì)數(shù)組的函數(shù)關(guān)系 P=1::1 T=[ … … ] 測試集 P2=1::1 目標(biāo)矢量相對(duì)于輸入矢量的圖形 初始網(wǎng)絡(luò)的輸出曲線 訓(xùn)練 1000次 2022次 訓(xùn)練 3000次 5000次 ? Matlab 中的 ANN演示 語句： nnd 限制與不足 ? 需要較長的訓(xùn)練時(shí)間 ? 完全不能訓(xùn)練 ? 選取較小的初始權(quán)值 ? 采用較小的學(xué)習(xí)速率，但同時(shí)又增加了訓(xùn)練時(shí)間 ? 局部極小值 ? BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個(gè)局部極小解 BP網(wǎng)絡(luò)的 改進(jìn) 目標(biāo) ?加快訓(xùn)練速度 ?避免陷入局部極小值 附加動(dòng)量法 ? 利用附加動(dòng)量的作用則有可能滑過局部極小值 ? 修正網(wǎng)絡(luò)權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢的影響，其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小變化特性 ? 該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來產(chǎn)生新的權(quán)值變化 ? 帶有附加動(dòng)量因子的權(quán)值調(diào)節(jié)公式 其中 k為訓(xùn)練次數(shù)， mc為動(dòng)量因子，一般取 0． 95左右 ? 附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過一個(gè)動(dòng)量因子來傳遞。 lr]]＝ trainbpx(W， B， F， P， T， TP) ? 反向傳播法可以用來訓(xùn)練具有可微激活函數(shù)的多層前向網(wǎng)絡(luò) ,以進(jìn)行函數(shù)逼近，模式分類等工作 ? 反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)不完全受所要解決的問題所限制。統(tǒng)計(jì)學(xué)習(xí)理論（ STL）研究有限樣本情況下的機(jī)器學(xué)習(xí)問題。 ? 推廣能力 是指 : 將學(xué)習(xí)機(jī)器 (即預(yù)測函數(shù) ,或稱學(xué)習(xí)函數(shù)、學(xué)習(xí)模型 )對(duì)未來輸出進(jìn)行正確預(yù)測的能力。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差，沒有 最小化 置信范圍值，因此其推廣能力較差。 ? 當(dāng) x1和 x2都在判定面上時(shí)， ? 這表明 w和超平面上任意向量正交， ? 并稱 w為超平面的法向量。 線性判別函數(shù)和判別面 線性判別函數(shù)和判別面 廣義線性判別函數(shù) 最優(yōu)分類面 ? SVM 是從線性可分情況下的最優(yōu)分類面發(fā)展而來的 , 基本思想可用下圖的兩維情況說明 . 圖中 , 方形點(diǎn)和圓形點(diǎn)代表兩類樣本 , H 為分類線 ,H1, H2分別為過各類中離分類線最近的樣本且平行于分類線的直線 , 它們之間的距離叫做 分類間隔 (margin)。 : ,2: 。 支持向量機(jī) ? 上節(jié)所得到的最優(yōu)分類函數(shù)為： ? 該式只包含待分類樣本與訓(xùn)練樣本中的支持向量的內(nèi)積 運(yùn)算，可見 ,要解決一個(gè)特征空間中的最優(yōu)線性分類問題 ,我們只需要知道這個(gè)空間中的內(nèi)積運(yùn)算即可。 ? SVM 是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。 ? 少數(shù)支持向量決定了最終結(jié)果 ,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本 ,而且注定了該方法不但算法簡單 ,而且具有較好的“魯棒”性。