【正文】 ? 計算智能是以生物進化的觀點認(rèn)識和模擬智能。 ? 在概念提出初期，狹義的計算智能包括人工神經(jīng)網(wǎng)絡(luò)、模糊邏輯和進化計算。在并行搜索、聯(lián)想記憶、模式識別、知識自動獲取等方面得到了廣泛的應(yīng)用。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負突觸后電位 特點： ? 時空整合功能 神經(jīng)元對于不同時間通過同一突觸傳入的神經(jīng)沖動，具有時間整合功能；對于同一時間通過不同突觸傳入的神經(jīng)沖動，具有空間整合功能。在相鄰的兩次沖動之間需要一個時間間隔，即為不應(yīng)期，在此期間對激勵不響應(yīng)，不能傳遞神經(jīng)沖動； ? 學(xué)習(xí)、遺忘和疲勞 由于結(jié)構(gòu)可塑性，突觸的傳遞作用可增強、減弱、飽和，所以細胞具有相應(yīng)的學(xué)習(xí)功能，遺忘或疲勞效應(yīng)。 ? BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù) {0， 1}或符號函數(shù) {－ 1， 1} ? BP網(wǎng)絡(luò)經(jīng)常使用的是 S型的對數(shù)或正切激活函數(shù)和線性函數(shù) ? BP網(wǎng)絡(luò)特點 ? 輸入和輸出是并行的模擬量 ? 網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒有固定的算法 ? 權(quán)因子通過學(xué)習(xí)信號調(diào)節(jié)。 ? 一般情況下應(yīng)優(yōu)先考慮增加隱含層中神經(jīng)元數(shù) ? 僅用具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題沒有必要或效果不好 ? 線性問題 ? 非線性問題 隱含層神經(jīng)元數(shù) ? 網(wǎng)絡(luò)訓(xùn)練精度的提高，可以通過采用一個隱含層，而增加其神經(jīng)元數(shù)的方法來獲得。 ? 當(dāng)動量因子取值為零時，權(quán)值變化僅根據(jù)梯度下降法產(chǎn)生 ? 當(dāng)動量因子取值為 1時，新的權(quán)值變化則是設(shè)置為最后一次權(quán)值的變化，而依梯度法產(chǎn)生的變化部分則被忽略掉了 ? 促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化，當(dāng)網(wǎng)絡(luò)權(quán)值進入誤差曲面底部的平坦區(qū)時， δ i將變得很小，于是，Δw ij(k+1)≈Δw ij (k)，從而防止了 Δw ij=0的出現(xiàn)，有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出 ? 在 MATLAB工具箱中，帶有動量因子的權(quán)值修正法是用函數(shù) ? 的反向傳播網(wǎng)絡(luò) ? 下面是對單層網(wǎng)絡(luò)使用函數(shù) ： [W， B， epochs， errors]＝ trainbpm(W， B，’ F’， P， T， TP) 自適應(yīng)學(xué)習(xí)速率 ? 通常調(diào)節(jié)學(xué)習(xí)速率的準(zhǔn)則是，檢查權(quán)值的修正值是否真正降低了誤差函數(shù)，如果確實如此，則說明所選取的學(xué)習(xí)速率值小了，可以對其增加一個量；否則可認(rèn)為產(chǎn)生過調(diào)，應(yīng)該減小學(xué)習(xí)速率的值 ? 一種自適應(yīng)學(xué)習(xí)速率的調(diào)整公式 ? MATLAB工具箱中帶有自適應(yīng)學(xué)習(xí)速率進行反向傳播訓(xùn)練的函數(shù)為 ? 可訓(xùn)練直至三層網(wǎng)絡(luò)。 ? 網(wǎng)絡(luò)的輸入神經(jīng)元數(shù)目及輸出層神經(jīng)元的數(shù)目是由問題的要求所決定 ? 輸入和輸出層之間的隱含層數(shù)以及每層的神經(jīng)元數(shù)是由設(shè)計者來決定的 ? 已經(jīng)證明，兩層 S型線性網(wǎng)絡(luò)，如果 S型層有足夠的神經(jīng)元，則能夠訓(xùn)練出任意輸入和輸出之間的有理函數(shù)關(guān)系 ? 反向傳播法沿著誤差表面的梯度下降，使網(wǎng)絡(luò)誤差最小，網(wǎng)絡(luò)有可能陷入局部極小值 ? 附加動量法使反向傳播減少了網(wǎng)絡(luò)在誤差表面陷入低谷的可能性并有助于減少訓(xùn)練時間 ? 太大的學(xué)習(xí)速率導(dǎo)致學(xué)習(xí)的不穩(wěn)定，太小值又導(dǎo)致極長的訓(xùn)練時間。 SVM的理論基礎(chǔ)就是統(tǒng)計學(xué)習(xí)理論。 SVM的理論基礎(chǔ) ? “過學(xué)習(xí)問題 ” ：某些情況下，當(dāng)訓(xùn)練誤差過小反而會導(dǎo)致推廣能力的下降。 ? Vapnik 與 1995年 提出的支持向量機（ Support Vector Machine, SVM）以訓(xùn)練誤差作為優(yōu)化問題的約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即 SVM是一種基于 結(jié)構(gòu)風(fēng)險最小化 準(zhǔn)則的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法。 超平面 1212( ) 0w x b w x bw x x? ? ? ? ?? ? ?或 　 　線性判別函數(shù)和判別面 判別函數(shù) g(x)是特征空間中某點 x到超平面的距離的一種代數(shù)度量 . 2| | | |( ) ,| | | |()()| | | |( 0 , | | | | )| | | || | | |()| | | |pppppwx x rwwx x r g x w x bwg x w x bww x r bwww x b w r w x b w w wwrwgxrw??? ? ? ? ?? ? ?? ? ? ?? ? ? ? ? ? ? ? ? ???將 代 入 中 我 們 有線性判別函數(shù)和判別面 廣義 線性判別函數(shù) 在一維空間中 ， 沒有任何一個線性函數(shù)能解決下述劃分問題 （ 黑紅各代表一類數(shù)據(jù) ） ， 可見線性判別函數(shù)有一定的局限性 。 所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開 (訓(xùn)練錯誤率為 0),而且使分類間隔最大 . 推廣到高維空間，最優(yōu)分類線就變?yōu)?最優(yōu)分類面 。 :: 。 ? 對非線性問題 , 可以通過非線性變換轉(zhuǎn)化為某個高維空間中的線性問題 , 在變換空間求最優(yōu)分類面 . 這種變換可能比較復(fù)雜 , 因此這種思路在一般情況下不易實現(xiàn) . * * * *1( ) sg n { } sg n { ( ) }li i iif x w x b y x x b??? ? ? ? ? ??支持向量機 ? 核 : 11221 , 2 1 , 2 1 212, , ,( , ) ( ) ( ).( , ... ) ( ) ( ( ) , ..., ( ) )={ ( ) | }: ( ) ( ) ( , , )lnK x z XK x z x zXFx x x x x xX F x x Xx x x x x x x x?? ? ? ??? ? ? ? ?????核 是 一 個 函 數(shù) 對 所 有 滿 足這 里 是 從 輸 入 空 間 到 到 特 征 空 間 的 映 射將 輸 入 空 間 映 射 到 一 個 新 的 空 間例 如支持向量機 ( , ) ( ( ) ( ) )i i i iK x y x y? ? ? ?**1( ) sg n { ( , ) }l iiiif x y K x x b?????核函數(shù)的選擇 支持向量機 SVM方法的特點 ? ① 非線性映射是 SVM方法的理論基礎(chǔ) ,SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射 。它基本上不涉及概率測度及大數(shù)定律等 ,因此不同于現(xiàn)有的統(tǒng)計方法。這種“魯棒”性主要體現(xiàn)在 : ? ① 增、刪非支持向量樣本對模型沒有影響 。溫度、高度、速度、距離和美麗 —所有這些都可以在某個范圍內(nèi)浮動。 ? 例如，如果我們以 180cm為界限，那么就說Tom高，因為其身高為 181cm，而 David矮，因為其身高為 179cm。 ? 當(dāng)時經(jīng)典的邏輯操作僅使用兩個值 1(為真 )和0(為假 ) ? Lukasiewicz引入了將真值擴展到 0和 1之間所有的實數(shù)的邏輯。關(guān)于不精確推理技術(shù)的理論通常稱為可能性理論。在一端是齊本德爾式的椅子，挨著它的是類似齊本德爾式的，但看上去和第一把椅子幾乎分不出差別。 ? 1965年， Lotfi Zadeh教授發(fā)表了著名的論文“ Fuzzy sets”。 ? 模糊邏輯是基于歸屬度而不是經(jīng)典二值邏輯中清晰歸屬關(guān)系的知識表達的一組數(shù)學(xué)原理。 ? 與非黑即白不同，它使用顏色的色譜，可以接受同時部分為真和部分為假的事物。 ? 垂直軸表示模糊集中的隸屬度。對于論域X的任何元素 x，如果 x是集合 A中的元素，特征函數(shù) fA(x) 為 1，如果 x 不是 A中的元素，則特征函數(shù) fA(x)為 0。 ? 集合允許使用可能選擇的連續(xù)取值。 可以得到 “ 高 個 子 ” ， “ 矮個子 ”和 “ 中等身高男人 ” 的模糊集 。( 22? ????????? ???222e x p)( iiA mxx???????????bxabbxSbxbabxSbax),。 (b) 梯形隸屬函數(shù) 。 (c) 簡化的 ? 函數(shù)隸屬函數(shù)。其優(yōu)點是數(shù)學(xué)模型簡單，容易掌握，對多因素、多層次的復(fù)雜問題評判效果比較好，是別的數(shù)學(xué)分支和模型難以取代的