【正文】 ? 完全不能訓(xùn)練 ? 選取較小的初始權(quán)值 ? 采用較小的學(xué)習(xí)速率，但同時(shí)又增加了訓(xùn)練時(shí)間 ? 局部極小值 ? BP算法可以使網(wǎng)絡(luò)權(quán)值收斂到一個(gè)解，但它并不能保證所求為誤差超平面的全局最小解，很可能是一個(gè)局部極小解 BP網(wǎng)絡(luò)的 改進(jìn) 目標(biāo) ?加快訓(xùn)練速度 ?避免陷入局部極小值 附加動(dòng)量法 ? 利用附加動(dòng)量的作用則有可能滑過(guò)局部極小值 ? 修正網(wǎng)絡(luò)權(quán)值時(shí)，不僅考慮誤差在梯度上的作用，而且考慮在誤差曲面上變化趨勢(shì)的影響，其作用如同一個(gè)低通濾波器，它允許網(wǎng)絡(luò)忽略網(wǎng)絡(luò)上微小變化特性 ? 該方法是在反向傳播法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化量的值，并根據(jù)反向傳播法來(lái)產(chǎn)生新的權(quán)值變化 ? 帶有附加動(dòng)量因子的權(quán)值調(diào)節(jié)公式 其中 k為訓(xùn)練次數(shù)， mc為動(dòng)量因子，一般取 0． 95左右 ? 附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響，通過(guò)一個(gè)動(dòng)量因子來(lái)傳遞。超出最大訓(xùn)練值的輸入必將產(chǎn)生大的輸出誤差 一個(gè)具有 r個(gè)輸入和一個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 網(wǎng)絡(luò)模型 ? 感知器和自適應(yīng)線性元件的主要差別在激活函數(shù)上：前者是二值型的，后者是線性的 ? BP網(wǎng)絡(luò)具有一層或多層隱含層，除了在多層網(wǎng)絡(luò)上與前面已介紹過(guò)的模型有不同外，其主要差別也表現(xiàn)在激活函數(shù)上。 單元二 人工神經(jīng)網(wǎng)絡(luò)及應(yīng)用 ? ANN的基本原理 ? BP網(wǎng)絡(luò)及應(yīng)用 ANN基本原理 生物神經(jīng)元 ? 神經(jīng)元是大腦處理信息的基本單元 ? 人腦大約由 1011個(gè)神經(jīng)元組成，神經(jīng)元互相連接成神經(jīng)網(wǎng)絡(luò) 生物神經(jīng)元簡(jiǎn)圖 ? 生物神經(jīng)元傳遞信息的過(guò)程為多輸入 、 單輸出 ? 神經(jīng)元各組成部分的功能來(lái)看，信息的處理與傳遞主要發(fā)生在突觸附近 ? 當(dāng)神經(jīng)元細(xì)胞體通過(guò)軸突傳到突觸前膜的脈沖幅度達(dá)到一定強(qiáng)度，即超過(guò)其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì) ? 突觸有兩種類(lèi)型，興奮性突觸和抑制性突觸。因此說(shuō)計(jì)算智能就是基于結(jié)構(gòu)演化的智能。 ? 1956年 Dartmouth大學(xué)研討會(huì)上將“人工智能” 定義為“試圖用來(lái)模仿與智能有關(guān)的人類(lèi)活動(dòng)的計(jì)算機(jī)過(guò)程”。 ? 計(jì)算智能（ Computation Intelligence, CI）技術(shù)就是在這一背景下發(fā)展起來(lái)的。 ? 這些方法具有以下共同的要素：自適應(yīng)的結(jié)構(gòu)、隨機(jī)產(chǎn)生的或指定的初始狀態(tài)、適應(yīng)度的評(píng)測(cè)函數(shù)、修改結(jié)構(gòu)的操作、系統(tǒng)狀態(tài)存儲(chǔ)器、終止計(jì)算的條件、指示結(jié)果的方法、控制過(guò)程的參數(shù)。沿神經(jīng)纖維傳遞的電脈沖為等幅、恒寬、編碼（ 60~100mV）的離散脈沖信號(hào)，而細(xì)胞膜電位變化為連續(xù)的電位信號(hào)。若是，訓(xùn)練結(jié)束；否則繼續(xù) ? 以上所有的學(xué)習(xí)規(guī)則與訓(xùn)練的全過(guò)程，可以用函數(shù) ? 它的使用只需定義有關(guān)參數(shù)：顯示間隔次數(shù)，最大循環(huán)次數(shù)，目標(biāo)誤差，以及學(xué)習(xí)速率。這個(gè)技術(shù)已編入了函數(shù) ? 函數(shù)的調(diào)用和其他函數(shù)一樣，只是需要更多的初始參數(shù)而已 ? TP＝ [disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio]； ? [W， B， epochs， [error。 而 單純的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化會(huì)產(chǎn)生 “ 過(guò)學(xué)習(xí)問(wèn)題 ” ，其推廣能力較差。 ? 當(dāng) g(x)是線性函數(shù)時(shí)，這個(gè)平面被稱(chēng)為“超平面” (hyperplane)。 : 。 ? ③ 支持向量是 SVM的訓(xùn)練結(jié)果 ,在 SVM分類(lèi)決策中起決定作用的是支持向量。 ? ③ 有些成功的應(yīng)用中 ,SVM 方法對(duì)核的選取不敏感。它嘗試模擬人類(lèi)的語(yǔ)感、決策制訂和常識(shí)，導(dǎo)致了新的、更加人性化和智慧系統(tǒng)的產(chǎn)生。在論文中，他討論了指示程度的連續(xù)變化。 ? 這種表達(dá)和操作模糊術(shù)語(yǔ)的新邏輯稱(chēng)為模糊邏輯， Zadeh也成為“模糊邏輯之父”。 模糊集（高個(gè)子男人） 姓 名 身高 (cm) 隸屬 度 清晰 集 模糊 集 Chris 208 1 Mark 205 1 John 198 1 Tom 181 1 David 179 0 Mike 172 0 Bob 167 0 Steven 158 0 ill 155 0 Peter 152 0 ? 水平軸表示論域 — 某一變數(shù)所有可能取值的范圍，在本例中變數(shù)是身高。 如果 x不在集合 A中 ， 則 μ A(x) = 0。 ?在模糊 邏輯 中 ， 身高 為 184cm的男人是 average men集的成員 ， 隸屬度為 ， 同 時(shí) 他也是 tall men集的成員 ， 隸屬 度 為 。 (a) s 函數(shù)隸屬函數(shù) 。 ? 其基本原理是首先確定評(píng)價(jià)對(duì)象的因素集（指標(biāo)體系）和評(píng)價(jià)集，其次是確定指標(biāo)體系中各因素或者指標(biāo)的權(quán)重和隸屬度向量，構(gòu)造模糊評(píng)價(jià)矩陣，最后將評(píng)判矩陣與因素的權(quán)重集進(jìn)行模糊運(yùn)算并歸一化處理后，得到模糊綜合評(píng)價(jià)結(jié)果。 ? 具體來(lái)說(shuō)，模糊綜合評(píng)價(jià)就是以模糊數(shù)學(xué)為基礎(chǔ)，應(yīng)用模糊關(guān)系合成的原理，將一些邊界不清、不易定量的因素定量化，從多個(gè)因素對(duì)被評(píng)價(jià)事物隸屬等級(jí)狀況進(jìn)行綜合性評(píng)價(jià)的一種方法。(),。 如何表達(dá)模糊集 ?首先必 須 定 義隸屬函數(shù) 。 ? 模糊集為具有模糊邊界的集合 ? 假設(shè) X為論域，其中的元素可記為 x。它處理歸屬的程度和可信的程度。 ? 那么，椅子什么時(shí)候變成了圓木？ ? Max Black也定義如果連續(xù)區(qū)是離散的，那么可以為每個(gè)元素分配一個(gè)數(shù)值。 ? 例如，身高為 181cm的男人確實(shí)是高的可能性取值為 。模糊邏輯是模糊集的理論，模糊集能夠校正含糊的知識(shí)。 支持向量機(jī) SVM方法的特點(diǎn) ? SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定 ,計(jì)算的復(fù)雜性取決于支持向量的數(shù)目 ,而不是樣本空間的維數(shù) ,這在某種意義上避免了“維數(shù)災(zāi)難”。 : 1d g X w x b w x bkkH w x b H w x b k H w x b k kH w x b k k k H w x b k k kH H H w x b k H w x b kH w x b H w x b? ? ? ? ? ??? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ?? ? ? ? ? ? ?維 空 間 中 的 判 別 函 數(shù) 分 類(lèi) 面 方 程 為設(shè) 令重 寫(xiě)歸 一 化2w2w( ) 1 1 , .. .,iiy w x b i l? ? ? ?　 　 , 　 　 使 等 號(hào) 成 立 的 樣 本 點(diǎn) 稱(chēng) 為 支 持 向 量最優(yōu)分類(lèi)面 求最優(yōu)分類(lèi)面 (最大間隔法 ) 已知： 求解： 目標(biāo)：最優(yōu)分類(lèi)面 這是一個(gè)二次凸規(guī)劃問(wèn)題，由于目標(biāo)函數(shù)和約束條件都是凸的，根據(jù)最優(yōu)化理論，這一問(wèn)題存在唯一全局最小解． { , }, 1 , ... , { 1 , 1 }, di i i ix y i l y x R? ? ? ?21m i n || ||2. . ( ) 1 ( 1 , 2 , ... , )iiws t y w x b i l? ? ?　 ＋0w x b? ? ?原問(wèn)題 最優(yōu)分類(lèi)面 線性不可分的情況下，可以條件 中增加一個(gè)松弛項(xiàng) 成為 ( ) 1iiy w x b??＋已知： 求解： 目標(biāo)：最優(yōu)分類(lèi)面 { , }, 1 , ... , { 1 , 1 }, di i i ix y i l y x R? ? ? ?0w x b? ? ?0), . . . ,2,1(1)()||||21m i n (12??????? ??iiiiniinibxwyCw???1 ,0lii??? ?{} ( ) 1i i iy w x b ?? ? ?＋折衷考慮最少錯(cuò)分樣本和最大分類(lèi)間隔，就得到廣義最優(yōu)分類(lèi)面，其中， C0是一個(gè)常數(shù)，它控制對(duì)錯(cuò)分樣本懲罰的程度。 ? 決策規(guī)則仍是：如果 g(x)=0，則判定 x屬于 C1，如果 g(x)0，則判定 x屬于 C2。無(wú)論這些樣本是由什么模型產(chǎn)生的，我們總可以用y=sin(w*x)去擬合，使得訓(xùn)練誤差為 0. 二