【正文】 的輸入／輸出對(duì)最大值范圍內(nèi)的數(shù)據(jù)有效，即網(wǎng)絡(luò)具有內(nèi)插值特性，不具有外插值性。改進(jìn)技術(shù)可以用來(lái)使反向傳播法更加容易實(shí)現(xiàn)并需要更少的訓(xùn)練時(shí)間 ? BP網(wǎng)絡(luò)在數(shù)學(xué)建模中的應(yīng)用 ? DHNN網(wǎng)絡(luò) 單元三 支持向量機(jī)（ SVM）及應(yīng)用 ? SVM的理論基礎(chǔ) ? 線性判別函數(shù)和判別面 ? 最優(yōu)分類面 ? 支持向量機(jī) SVM的理論基礎(chǔ) ? 傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法只有在樣本趨向無(wú)窮大時(shí)，其性能才有理論的保證。 ? 決策規(guī)則仍是：如果 g(x)=0，則判定 x屬于 C1，如果 g(x)0，則判定 x屬于 C2。 支持向量機(jī) SVM方法的特點(diǎn) ? SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定 ,計(jì)算的復(fù)雜性取決于支持向量的數(shù)目 ,而不是樣本空間的維數(shù) ,這在某種意義上避免了“維數(shù)災(zāi)難”。 ? 例如，身高為 181cm的男人確實(shí)是高的可能性取值為 。它處理歸屬的程度和可信的程度。 如何表達(dá)模糊集 ?首先必 須 定 義隸屬函數(shù) 。 ? 具體來(lái)說(shuō)，模糊綜合評(píng)價(jià)就是以模糊數(shù)學(xué)為基礎(chǔ)，應(yīng)用模糊關(guān)系合成的原理，將一些邊界不清、不易定量的因素定量化，從多個(gè)因素對(duì)被評(píng)價(jià)事物隸屬等級(jí)狀況進(jìn)行綜合性評(píng)價(jià)的一種方法。 (a) s 函數(shù)隸屬函數(shù) 。 如果 x不在集合 A中 ， 則 μ A(x) = 0。 ? 這種表達(dá)和操作模糊術(shù)語(yǔ)的新邏輯稱為模糊邏輯， Zadeh也成為“模糊邏輯之父”。它嘗試模擬人類的語(yǔ)感、決策制訂和常識(shí)，導(dǎo)致了新的、更加人性化和智慧系統(tǒng)的產(chǎn)生。 ? ③ 支持向量是 SVM的訓(xùn)練結(jié)果 ,在 SVM分類決策中起決定作用的是支持向量。 ? 當(dāng) g(x)是線性函數(shù)時(shí)，這個(gè)平面被稱為“超平面” (hyperplane)。這個(gè)技術(shù)已編入了函數(shù) ? 函數(shù)的調(diào)用和其他函數(shù)一樣，只是需要更多的初始參數(shù)而已 ? TP＝ [disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； ? [W， B， epochs， [error。沿神經(jīng)纖維傳遞的電脈沖為等幅、恒寬、編碼（ 60~100mV）的離散脈沖信號(hào)，而細(xì)胞膜電位變化為連續(xù)的電位信號(hào)。 ? 計(jì)算智能（ Computation Intelligence, CI）技術(shù)就是在這一背景下發(fā)展起來(lái)的。因此說(shuō)計(jì)算智能就是基于結(jié)構(gòu)演化的智能。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差 一個(gè)具有 r個(gè)輸入和一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 網(wǎng)絡(luò)模型 ? 感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的 ? BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過(guò)的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。統(tǒng)計(jì)學(xué)習(xí)理論（ STL）研究有限樣本情況下的機(jī)器學(xué)習(xí)問(wèn)題。 線性判別函數(shù)和判別面 線性判別函數(shù)和判別面 廣義線性判別函數(shù) 最優(yōu)分類面 ? SVM 是從線性可分情況下的最優(yōu)分類面發(fā)展而來(lái)的 , 基本思想可用下圖的兩維情況說(shuō)明 . 圖中 , 方形點(diǎn)和圓形點(diǎn)代表兩類樣本 , H 為分類線 ,H1, H2分別為過(guò)各類中離分類線最近的樣本且平行于分類線的直線 , 它們之間的距離叫做 分類間隔 (margin)。 ? 少數(shù)支持向量決定了最終結(jié)果 ,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本 ,而且注定了該方法不但算法簡(jiǎn)單 ,而且具有較好的“魯棒”性。這個(gè)人應(yīng)該是很高。模糊邏輯使用介于 0(完全為假 )和 1(完全為真 )之間邏輯值的連續(xù)區(qū)間。 現(xiàn) 在回到 “ 高個(gè)子男人 ” 的例子 。 ? 這種方法，首先對(duì)每個(gè)因素單獨(dú)評(píng)判，然后對(duì)所有因素綜合評(píng)判。 (c) 高斯函數(shù)隸屬函數(shù)。 ? 在模糊 理論 中， 論 域 X的模糊集 A定 義為 函 數(shù) μA(x)， 稱為 集合 A的 隸屬函數(shù) μA(x): X ? [0, 1], 其中： 如果 x完全在集合 A中 ， 則 μ A(x) = 1。 ? 事實(shí)上， Zadeh將可能性理論擴(kuò)展到數(shù)學(xué)邏輯的形式系統(tǒng)中，他引入了新概念以應(yīng)用自然語(yǔ)言的術(shù)語(yǔ)。但是 David真的矮嗎？這種分界可以這么武斷嗎？ ? 模糊邏輯能反映人類是怎樣思考的。 ? ② 對(duì)特征空間劃分的最優(yōu)超平面是 SVM的目標(biāo) ,最大化分類邊界的思想是 SVM方法的核心 。 SVM的理論基礎(chǔ) ? 由于 SVM 的求解最后轉(zhuǎn)化成二次規(guī)劃問(wèn)題的求解，因此 SVM 的解是全局唯一的最優(yōu)解 ? SVM在解決 小樣本、非線性及高維模式識(shí)別 問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到 函數(shù)擬合 等其他機(jī)器學(xué)習(xí)問(wèn)題中 . 線性判別函數(shù)和判別面 ? 一個(gè)線性判別函數(shù) (discriminant function)是指由 x的各個(gè)分量的線性組合而成的函數(shù) ? 兩類情況 :對(duì)于兩類問(wèn)題的決策規(guī)則為 ? 如果 g(x)=0， 則判定 x屬于 C1， ? 如果 g(x)0， 則判定 x屬于 C2 ()g x w x b? ? ?線性判別函數(shù)和判別面 ? 方程 g(x)=0定義了一個(gè)判定面，它把歸類于 C1的點(diǎn)與歸類于 C2的點(diǎn)分開(kāi)來(lái)。 ? 使用方法 [W, B, epochs, TE]＝ trainbpa(W， B，’ F’， P， T， TP) ? 可以將動(dòng)量法和自適應(yīng)學(xué)習(xí)速率結(jié)合起來(lái)以利用兩方面的優(yōu)點(diǎn)。兩種功能相互結(jié)合，具有時(shí)空整合的輸入信息處理功能，所謂整合是指抑制或興奮的受體電位或突觸電位的代數(shù)和； ? 興奮與抑制狀態(tài) 神經(jīng)元具有兩種的常規(guī)工作狀態(tài)：當(dāng)傳入沖動(dòng)的時(shí)空整合結(jié)果使細(xì)胞膜電位升高，超過(guò)動(dòng)作電位閾值（約為 40mV）時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突輸出；當(dāng)傳入沖動(dòng)的時(shí)空整合結(jié)果使膜電位下降至低于動(dòng)作電位閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，無(wú)神經(jīng)沖動(dòng)輸出，滿足“ 0— 1”律，即“興奮 — 抑制”狀態(tài)； ? 脈沖與電位轉(zhuǎn)換 突觸界面具有脈沖 /電位信號(hào)轉(zhuǎn)換功能。 ? 早期符號(hào)智能對(duì)人工智能的發(fā)展起到了重要的推動(dòng)作用，但隨著科技的發(fā)展，復(fù)雜性問(wèn)題的大量涌現(xiàn)，這些方法在處理非線性、不確定等復(fù)雜性問(wèn)題時(shí)顯得無(wú)能為力。 ? 在概念提出初期，狹義的計(jì)算智能包括人工神經(jīng)網(wǎng)絡(luò)、模糊邏輯和進(jìn)化計(jì)算。 ? BP網(wǎng)絡(luò)的激活函數(shù)必須是處處可微的，因此它不能采用二值型的閥值函數(shù) {0， 1}或符號(hào)函數(shù) {－ 1， 1} ? BP網(wǎng)絡(luò)經(jīng)常使用的是 S型的對(duì)數(shù)或正切激活函數(shù)和線性函數(shù) ? BP網(wǎng)絡(luò)特點(diǎn) ? 輸入和輸出是并行的模擬量 ? 網(wǎng)絡(luò)的輸入輸出關(guān)系是各層連接的權(quán)因子決定，沒(méi)有固定的算法 ? 權(quán)因子通過(guò)學(xué)習(xí)信號(hào)調(diào)節(jié)。 SVM的理論基礎(chǔ)就是統(tǒng)計(jì)學(xué)習(xí)理論。 所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(kāi) (訓(xùn)練錯(cuò)誤率為 0),而且使分類間隔最大 . 推廣到高維空間，最優(yōu)分類線就變?yōu)?最優(yōu)分類面 。這種“魯棒”性主要體現(xiàn)在 : ? ① 增、刪非支持向量樣本對(duì)模型沒(méi)有影響 。關(guān)于不精確推理技術(shù)的理論通常稱為可能性理論。 ? 與非黑即白不同，它使用顏色的色譜，可以接受同時(shí)部分為真和部分為假的事物。 可以得到 “ 高 個(gè) 子 ” ， “ 矮個(gè)子 ”和 “ 中等身高男人 ” 的模糊集 。其優(yōu)點(diǎn)是數(shù)學(xué)模型簡(jiǎn)單，容易掌握，對(duì)多因素、多層次的復(fù)雜問(wèn)題評(píng)判效果比較好，是別的數(shù)學(xué)分支和模型難以取代的方法。 (b) 梯形隸屬函數(shù) 。對(duì)于論域X的任何元素 x，如果 x是集合 A中的元素，特征函數(shù) fA(x) 為 1，如果 x 不是 A中的元素，則特征函數(shù) fA(x)為 0。 ? 1965年， Lotfi Zadeh教授發(fā)表了著名的論文“ Fuzzy sets”。 ? 例如，如果我們以 180cm為界限，那么就說(shuō)Tom高，因?yàn)槠渖砀邽?181cm，而 David矮，因?yàn)槠渖砀邽?179cm。 ? 對(duì)非線性問(wèn)題 , 可以通過(guò)非線性變換轉(zhuǎn)化為某個(gè)高維空間中的線性問(wèn)題 , 在變換空間求最優(yōu)分類面 . 這種變換可能比較復(fù)雜 , 因此這種思路在一般情況下不易實(shí)現(xiàn) . * * * *1( ) sg n { } sg n { ( ) }li i iif x w x b y x x b??? ? ? ? ? ??支持向量機(jī) ? 核 : 11221 , 2 1 , 2 1 212