【文章內(nèi)容簡(jiǎn)介】 絡(luò) ?層內(nèi)有相互連接的前向網(wǎng)絡(luò) 分層網(wǎng)絡(luò)可以細(xì)分為三種互連形式： 圖 （ a） 簡(jiǎn)單的前向網(wǎng)絡(luò)形狀； 圖 （ b） 輸出層到輸入層具有反饋的前向網(wǎng)絡(luò)； 圖 （ c） 層內(nèi)有相互連接的前向網(wǎng)絡(luò) 。 所謂相互連接型網(wǎng)絡(luò)是指網(wǎng)絡(luò)中任意兩個(gè)神經(jīng)元之間是可達(dá)的 ， 即存在連接路徑 ， 如圖 （ d）所示 。 相互連接型結(jié)構(gòu) 權(quán)值修正學(xué)派認(rèn)為：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)，以獲得期望的輸出的過(guò)程。 ? 相關(guān)學(xué)習(xí)法 ? 誤差修正學(xué)習(xí)法 典型的權(quán)值修正方法有兩類： 式中， wji( t + 1)表示修正一次后的某一權(quán)值； η稱為學(xué)習(xí)因子，決定每次權(quán)值的修正量， x i（ t） 、 xj（ t）分別表示 t 時(shí)刻第 i、第 j個(gè)神經(jīng)元的狀態(tài)。 如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時(shí)處于興奮狀態(tài)，那么這兩個(gè)神經(jīng)元間的連接強(qiáng)度應(yīng)該加強(qiáng)。相關(guān)學(xué)習(xí)法是根據(jù)連接間的激活水平改變權(quán)值的，相關(guān)學(xué)習(xí)法也稱Hebb學(xué)習(xí)規(guī)則，可用一數(shù)學(xué)表達(dá)式表示為： ? ? ? ? ? ? ? ?? ?txtxtwtw jijiji ,1 ????相關(guān)學(xué)習(xí)法 根據(jù)期望輸出與實(shí)際輸出之間的誤差大小來(lái)修正權(quán)值。誤差修正學(xué)習(xí)法也稱 δ學(xué)習(xí)規(guī)則，可由如下四步來(lái)描述； ? ? ? ? ? ?? ? ? ?txtytytwtw ijejjiji ???? )(1 ? 誤差修正學(xué)習(xí)法 1. 選擇一組初始權(quán)值和偏差值； 2. 計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差 3. 更新權(quán)值 （ 偏差值可視為輸入恒為 1的一個(gè)權(quán)值 ） 4. 返回步驟 （ 2） ， 直到對(duì)所有訓(xùn)練模式 ， 網(wǎng)絡(luò)輸出均能滿足要求 。 式中 ， η為學(xué)習(xí)因子； yje(t)、 yj(t) 分別表示第 j個(gè)神經(jīng)元 的期望輸出與實(shí)際輸出； xi為第 i個(gè)神經(jīng)元的輸入； 一些著名的神經(jīng)網(wǎng)絡(luò)模型 SVM（支持向量機(jī)， Support Vector Machine） 小樣本 ?根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)值和置信范圍值兩部分組成。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差，沒(méi)有最小化置信范圍值，因此其推廣能力較差。 ?Vapnik 提出的支持向量機(jī)（ Support Vector Machine, SVM）以訓(xùn)練誤差作為優(yōu)化問(wèn)題的約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即 SVM是一種 基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則 的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法。 ?形成時(shí)期在 1992— 1995年。 支持向量 判別函數(shù) :是特征空間中某點(diǎn) x到超平面的距離 的一種代數(shù)度量 () Tg x w x b??支持向量圖解 判別函數(shù)的形式 0()Tg x w x w?? 判別函數(shù)的作用 根據(jù)判別函數(shù)的值進(jìn)行分類，并且函數(shù)值只與 1和 1進(jìn)行比較 支持向量的條件 0 1Tw x w? ??向量與超平面的關(guān)系 || ||pwx x rw??總之 ： 線性判別函數(shù)利用一個(gè)超平面把特征空間分隔成兩個(gè)區(qū)域。 超平面的方向由法向量 w確定，它的位置由閾值 確定。 判別函數(shù) g(x)正比于 x點(diǎn)到超平面的代數(shù)距離（帶正負(fù)號(hào)）。當(dāng) x點(diǎn)在超平面的正側(cè)時(shí)， g(x)0；當(dāng) x點(diǎn)在超平面的負(fù)側(cè)時(shí)， g(x)0 0w支持向量機(jī)的應(yīng)用現(xiàn)狀 ? VM人臉檢測(cè)、驗(yàn)證和識(shí)別 Osuna最早將 SVM應(yīng)用于人臉檢測(cè)，并取得了較好的效果。其方法是直接訓(xùn)練非線性分類器完成人臉與非人臉的 SVM分類。由于 SVM的訓(xùn)練需要大量的存儲(chǔ)空間，并且非線性 SVM 分類器需要較多的支持向量，速度很慢。所以在實(shí)際中廣泛實(shí)用層次結(jié)構(gòu)分類器，它由一個(gè)線性組合和一個(gè)非線性組成。檢測(cè)時(shí)，由前者快速排除掉圖像 SVM 中絕大部分背景窗口，而后者只需對(duì)少量的候選區(qū)域做出確認(rèn)。 ? 人臉檢測(cè)研究中更復(fù)雜的情況是姿態(tài)的變化?；谥С窒蛄繖C(jī)姿態(tài)分類器，分類錯(cuò)誤率降低到 %，明顯優(yōu)于在傳統(tǒng)方法中效果最好的人工神經(jīng)元網(wǎng)絡(luò)方法。人臉姿態(tài)可以劃分為多個(gè)類別，在訓(xùn)練過(guò)程中，面部特征的提取和識(shí)別可看作是對(duì) 3D物體的投影圖像進(jìn)行匹配的問(wèn)題。很多研究利用了 SVM利于處理小樣本問(wèn)題以及泛化能力強(qiáng)的優(yōu)勢(shì)，取得了比傳統(tǒng)最近鄰分類器和 BP網(wǎng)絡(luò)分類器更高的識(shí)別率。 支持向量機(jī)的應(yīng)用現(xiàn)狀 ? 貝爾實(shí)驗(yàn)室對(duì)美國(guó)郵政手寫數(shù)字庫(kù)進(jìn)行的實(shí)驗(yàn)，人工識(shí)別平均錯(cuò)誤率是 %，專門針對(duì)該特定問(wèn)題設(shè)計(jì)的層神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率為 %（其中利用了大量先驗(yàn)知識(shí)），而用種方法采用 3種 SVM核函數(shù)得到的錯(cuò)誤率分別為 %、 %和 %，且是直接采用 16 16的字符點(diǎn)陣作為輸入，表明了 SVM的優(yōu)越性能。 ? 手寫體數(shù)字 0～ 9的特征可以分為結(jié)構(gòu)特征、統(tǒng)計(jì)特征等。在一些實(shí)驗(yàn)中， SVM表明了對(duì)手寫漢字識(shí)別的有效性。 無(wú)監(jiān)督機(jī)器學(xué)習(xí) ?無(wú)監(jiān)督分類 ?聚類 ?關(guān)聯(lián)規(guī)則 聚類（ Cluster） ? 聚類目的在將相似的事物歸類。 ? 聚類分析又稱為“同質(zhì)分組”或者“無(wú)監(jiān)督的分類”，指把一組數(shù)據(jù)分成不同的“簇”，每簇中的數(shù)據(jù)相似而不同簇間的數(shù)據(jù)則距離較遠(yuǎn)。相似性可以由用戶或者專家定義的距離函數(shù)加以度量。 ? 好的聚類方法應(yīng)保證不同類間數(shù)據(jù)的相似性盡可能地小，而類內(nèi)數(shù)據(jù)的相似性盡可能地大。 61 ? 聚類分析的基本思想是認(rèn)為所研究的數(shù)據(jù)集中的數(shù)據(jù)或者屬性之間存在著程度不同的相似性。于是從數(shù)據(jù)集中取出一批數(shù)據(jù)，具體找出一些能夠度量數(shù)據(jù)值之間或者屬性之間相似程度的量，以這些量為中心作為劃分類型的依據(jù)，把一些相似程度較大的數(shù)據(jù)或?qū)傩跃酆蠟橐活?，把另外一些彼此之間相似程度較大的樣品又聚合為另一類，關(guān)系密切的聚合到一個(gè)小的分類單位，關(guān)系疏遠(yuǎn)的聚合到一個(gè)大的分類單位，直到所有數(shù)據(jù)或?qū)傩远季酆贤戤?，把不同的類型一一劃分出?lái)。 比較常用的距離： ? 絕對(duì)值距離 ? 歐氏距離 ? 明斯基距離 64 Hierarchical Clustering層次聚類法 ? 該方法是利用距離矩陣作為分類標(biāo)準(zhǔn)，將 n個(gè)樣品各作為一類；計(jì)算 n個(gè)樣品兩兩之間的距離，構(gòu)成距離矩陣；合并距離最近的兩類為一新類；計(jì)算新類與當(dāng)前各類的距離；再合并、計(jì)算，直至只有一類為止。 Step 0 Step 1 Step 2 Step 3 Step 4 b d c e a a b d e c d e a b c d e Step 4 Step 3 Step 2 Step 1 Step 0 agglomerative (AGNES) divisive (DIANA) K均值算法 ? K均值（ kmeans）是一種簡(jiǎn)便、實(shí)用的無(wú)監(jiān)督聚類分析算法。這種算法在已知簇的個(gè)數(shù)時(shí)，可很好地實(shí)現(xiàn)數(shù)據(jù)的聚類分析。 ? 基本思想： ? （ 1）首先，隨機(jī)選擇 k個(gè)數(shù)據(jù)點(diǎn)做為聚類中心 ? （ 2）然后，計(jì)算其它點(diǎn)到這些聚類中心點(diǎn)的距離，通過(guò)對(duì)簇中距離平均值的計(jì)算，不斷改變這些聚類中心的位置，直到這些聚類中心不再變化為止。 KMeans Clustering K均值聚類方法 0123456789100 1 2 3 4 5 6 7 8 9 100 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 0123456789100 1 2 3 4 5 6 7 8 9 100123456789100 1 2 3 4 5 6 7 8 9 100 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10 K=2 Arbitrarily ch