【文章內(nèi)容簡介】 情況需考慮的： 如果 k＝ m，則是輸出層，這時有 iY 是輸出期望值，它是常數(shù)。由 于公式 (211)中有 )( imiX eXe YXmiki ??? ? ??? (224) 從而有 md1 = mX1 (1 mX1 )( mX1 Yi) (225) 2．如果 km，則該層是隱層 。 這時應考慮上一層對它的作用，故有： 江西理工大學 20xx 屆本科生畢業(yè)設計（論文） kikkki XUi UeXe ??? ??? ???? 1111 . （ 226） 從 公式 (218)中，可知有： 1111?? ? ?? kU e dk （ 227） 從 公式 (210)中，可知有： ijiX XWXU Wkikiikik????? ???? |1)( 111 （ 228） 故而有 ： 111 . ??? ?? ki iXe dWki （ 229） 最后有： ? ??? i lkiikikiki dWXXd 1)1( （ 230） 從上述過程可知：多層網(wǎng)絡的訓練方法是把一個樣本加 到輸入層，并根據(jù)向前傳播的規(guī)則： )( kiki UfX ? （ 231） 不斷一層一層向輸出層傳遞，最終在輸出層可以得到輸出 kiX 。 把 imX 和期望輸出 iY 進行比較．如果兩者不等，則產(chǎn)生誤差信號 e，接著則按下面公式反向傳播修改權系數(shù)： 11 ?? ???????? kjj ijkikjkiij XWUXdW ? （ 232） 其中 ))(1( imimimimi YXXXd ??? （ 233） ? ??? i lkiikikiki dWXXd 1)1( （ 234） 上面公式中，求取本層 kd1 時，要用到高一層的 11?kd ；可見，誤差函數(shù)的求取是從輸出層開始，到輸入層的反向傳播過程。在這個過程中不斷進行遞歸求誤差。 通過多個樣本的反復訓練，同時向誤差漸漸減小的方向?qū)嘞禂?shù)進行修正，以達最終消除誤差。從上面公式也可以知道，如果網(wǎng)絡的層數(shù)較多時，所用的計算量就相當可觀，故而收 斂速度不快。 為了加快收斂速度，一般考慮上一次的權系數(shù)，并以它作為本次修正的依據(jù)之一，故而有修正公式： 江西理工大學 20xx 屆本科生畢業(yè)設計（論文） )()1( 1 tWXdtW ijkjkiij ???????? ? ?? （ 235） 其中：η為學習速率，即步長，η＝ — 左右 ? 為權系數(shù)修正常數(shù)，取 — 左右。 在上面，公式 (232)也稱為一般化的 Delta 法則。對于沒有隱層的神經(jīng)網(wǎng)絡，可取 ijiij XXYW ???? )(? （ 236） 其中： iY 為期望輸出； jX 為輸出層的實際輸出； iX 為輸入層的輸入。 這顯然是一種十分簡單的情況，公式 (236)也稱為簡單 Delta 法則。 在實際應用中，只有一般化的 Delta 法則公式（ 236） 或公式 (235)才有意義。簡單 Delta 法則式 (236)只在理論推導上有用。 江西理工大學 20xx 屆本科生畢業(yè)設計（論文） 第三章 遺傳算法 3． 1 遺傳算法 概述 遺傳算 法的基本思想是基于 Darwin 進化論和 Mendel 的遺傳學說的。 Darwin進化論最重要的是適者生存原理。它認為每一物種在發(fā)展中越來越適應環(huán)境。物種每個個體的基本特征由后代所繼承，但后代又會產(chǎn)生一些異于父代的新變化。在環(huán)境變化時，只有那些 能 適應環(huán)境的個體特征方能保留下來。 Mendel 遺傳學說最重要的是基因遺傳原理。它認為遺傳以密碼方式存在細胞中，并以基因形式包含在染色體內(nèi)。每個基因有特殊的位置并控制某種特殊性質(zhì)；所以，每個基因產(chǎn)生的個體對環(huán)境具有某種適應性?；蛲蛔兒突螂s交可產(chǎn)生更適應于環(huán)境的后代。經(jīng)過 存優(yōu)去劣的自然淘汰，適應性高的基因結構得以保存下來。 由于遺傳算法是由進化論和遺傳學機理而產(chǎn)生的直接搜索優(yōu)化方法；故而在這個算法中要用到各種進化和遺傳學的概念。這些概念如下： 注意 以下 格式問題！ 一、串 (String) 它是個體 (Individual)的形式，在算法中為二進制串，并且對應于遺傳學中的染色體 (Chromosome)。 二、群體 (Population) 個體的集合稱為群體，串是群體的元素 三、群體大小 (Population Size) 在群體中個體的數(shù)量稱為群體的大小。 四、基因 (Gene) 基因是串中的元素，基因用于表示個體的特征。例如有一個串 S＝ 1011，則其中的 1， 0， 1， 1這 4個元素分別稱為基因。它們的值稱為等位基因 (Alletes)。 五 、基因位置 (Gene Position) 一個基因在串中的位置稱為基因位置，有時也簡稱基因位。基因位置由串的左向右計算，例如在串 S＝ 1101 中， 0 的基因位置是 3?；蛭恢脤谶z傳學中的地點 (Locus)。 六、基因特征值 (Gene Feature) 在用串表示整數(shù)時，基因的特征值與二進制數(shù)的權一致；例如在串 S=1011中，基因位置 3 中的 1，它的基因特征值為 2；基因位置 1 中的 1，它的基因特江西理工大學 20xx 屆本科生畢業(yè)設計（論文） 征值為 8。 七、串結構空間 SS 在串中，基因任意組合所構成的串的集合?；虿僮魇窃诮Y構空間中進行的。串結構空間對應于遺傳學中的基因型 (Genotype)的集合。 八、參數(shù)空間 SP 這是串空間在物理系統(tǒng)中的映射，它對應于遺傳學中的表現(xiàn)型 (Phenotype)的集合。 九、非線性 它對應遺傳學中的異位顯性 (Epistasis) 十、適應度 (Fitness) 表示某一個體對于環(huán)境的適應程度。 遺傳算法的步驟 標準遺傳算法主要通 過遺傳操作 (交叉與變異 )對種群中的個體施加結構重組處理，通過選擇操作不斷優(yōu)化群體中的個體結構，從而搜索到最優(yōu)結構的個體，達到逼近問題的最優(yōu)解的目的。由此可見，標準遺傳算法不能直接對問題空間進行操作，必須將問題空間的解變量轉(zhuǎn)換成遺傳空間，由基因按一定結構組成染色體，這一轉(zhuǎn)換操作就叫做編碼。 （一）編碼原則 評價編碼策略通?？紤]一下三個方面 : (1)完備性。問題空間中的所有點都能作為遺傳空間中的點 (染色體 )來表現(xiàn)。 (2)健全性。遺傳空間中的染色體能對應所有問題空間中的候選解。 (3)非冗余性。染色體和候選解一 一對應。 對于很多問題很難設計出同時滿足上面三條要求的編碼方案，但是完備性是必須滿足的一項。這三個評價規(guī)范是獨立于問題領域的普遍準則，具有普遍意義，但是缺乏具體的指導思想，特別是滿足這些條件的編碼設計不一定能有效地提高遺傳算法的搜索效率。相比之下， De Jong 提出較為客觀明確的編碼評估準則，稱之為編碼原理，由于可操作性較強，又稱之為編碼規(guī)則。具體為 : (1)有意義基因塊的編碼規(guī)則。所定編碼應當易于生成與所求問題相關的短距和低階的基因塊。 (2 )最小字符集編碼規(guī)則。所定編碼應采用最小字符集，以使問題得到自 然的表示或描述。 (二 )編碼方法 下面介紹幾種常用的遺傳算法編碼技術。 (1)一維染色體編碼。一維染色體編碼是指問題空間的候選解轉(zhuǎn)換到遺傳空間后，其相應的染色體呈一維排列的基因鏈碼。通常采用的一維染色體編碼技術有 : 1)二進制編碼。二進制編碼是將問題空間的候選解轉(zhuǎn)換為遺傳空間的各位數(shù)值為 “0” 或 “1” 的字符串。 二進制編碼方法是最為經(jīng)典和常用的編碼方法，它的優(yōu)點有 :① 符合最小字符集的編碼原則 。② 編碼簡單，便于進行交叉、變異等遺傳操作，且物理概念清晰 。③ 便于用模式定理川進行分析與預測。 江西理工大學 20xx 屆本科生畢業(yè)設計（論文） 但是對于多維、高精度問 題，二進制編碼就會顯示出一些不足，主要有 :①二進制編碼不能直接反映出所求問題的本身結構特征 。② 二進制編碼的染色體長度與問題空間的區(qū)域大小和精度要求直接相關，對于大區(qū)間、高精度的問題，染色體的長度會很長，搜索空間也會很大，這樣的搜索相當困難 。③ 相鄰的二進制編碼可能會有較大的 Hamming 距離，從而降低了遺傳算子的搜索效率。 2)灰碼編碼。利用灰碼編碼方法可以在一定程度上克服上述缺點?；掖a編碼是將二進制編碼通過一個變換而得到的編碼，其表現(xiàn)也為二進制的形式，所不同的是灰碼編碼技術保證了在遺傳空間相互靠近的兩個點也 必須在問題空間里靠近，反之亦然。 3)浮點編碼。浮點編碼是灰碼轉(zhuǎn)換，只是保證了問題空間相鄰的點在遺傳空間有數(shù)值為 1的 Hamming 距離，但遺傳空間還不是問題空間。如果采用浮點表達的編碼方法，即每個染色體向量被編碼成一個與解向量相同長度的浮點數(shù)向量，那么，在執(zhí)行上，遺傳空間就是問題空間，染色體直接反映了問題的規(guī)律與特性。 浮點編碼與二進制編碼相比有以下優(yōu)點 :① 精度依賴于所使用的機器，與編碼本身無關，比二進制要靈活、方便； ② 浮點編碼能夠表達很大的區(qū)域，而二進制編碼必須以犧牲精度來增加表達區(qū)域； ③ 容易設計出封閉的 、動態(tài)的遺傳算子，容易處理非常規(guī)約束。 一維編碼的方法還有很多，如交叉編碼、多參數(shù)編碼、可變長編碼等等。 二維染色體編碼。在很多實際問題中，解本身就是以二維或多維的形式存在的，為了使問題的表達更直觀，可直接采用多維染色體編碼。 選擇一個群體，即選擇一個串或個體的集合 bi， i=1， 2， ...n。這個初始的群體也就是問題假設解的集合。一般取 n＝ 30 通常以隨機方法產(chǎn)生串或個體的集合 bi, i＝ 1， 2， ...n。問題的最優(yōu)解將通過這些初始假設解進化而求出。 適應度函數(shù) 在遺傳算法的進化過程中， 對染色體的評價是由適應度函數(shù)來完成的，函數(shù)的函數(shù)值作為選擇運算的依據(jù)。即遺傳算法向著適應值增加的方向進化適應度，所以目標函數(shù)的尋優(yōu)方向與適應度函數(shù)值增加的方向一致，這是適應度函數(shù)設計的先決條件。另外，為了理論分析的方便，最好保證適應度函數(shù)非負。有時適應值為負的清況，要進行適當?shù)霓D(zhuǎn)換。 將目標函數(shù)轉(zhuǎn)換成適應度一般要遵循下面兩個基本原則。 (1)優(yōu)化過程中目標函數(shù)的優(yōu)化方向 (如尋求目標函數(shù)的最大值或最小值 )與種群進化過程中適應度函數(shù)值增加的方向相一致。 (2) 適應度函數(shù)值大于等于零。 如果目標函數(shù)是求最小值問 題，可通過適當轉(zhuǎn)換，如 : fit(x)=cf(x), c ≥ fmax 選擇運算是推動進化的直接動力。如果選擇壓力過大，遺傳算法會過早收斂，使搜索落入局部極小點 。選擇壓力過小搜索過程會非常緩慢。一般來講，在進化的初始階段，宜采用較小的選擇壓力，盡量保持種群個體的多樣性 。在進化的后期，宜采用較大的選擇壓力，以提高優(yōu)良個體的競爭力，使搜索向著最優(yōu)解的方向發(fā)展。選擇可以通過以下三個方面進行描述 :（ 1）采樣空間。（ 2）采樣機理。（ 3）選擇概率。三者對于選擇壓力以至于遺傳算法的性能都有很大的影 響。 江西理工大學 20xx 屆本科生畢業(yè)設計（論文） 采樣空間可劃分為規(guī)則的采樣空間和擴大的采樣空間兩種。 采樣機理使如何從采樣空間中選擇染色體的理論，對種群個體的選擇從原理上可分為三種 :(1)隨機采樣 。(2)確定采樣 。{3)混合采樣。隨機采樣方法首先根據(jù)各染色體個體的適應值評價出其生存概率，再由生存概率確定每個染色體的實際繁殖數(shù)量。每個染色體的生存概率是確定性的，而染色體個體實際的繁殖數(shù)量是其生存概率隨機產(chǎn)生的，是隨機性的。 整個選擇過程可由兩步完成 :(1)確定種群中個體的生存概率。 {2)根據(jù)個體的生存概率進行隨機選擇。 隨 機采樣的基本思想是 :適應值大的個體對應較高的生存概率，則被選擇進入 F1 代的幾率相對較高。但是，并不能保證最優(yōu)的個體被選擇。 確定采樣的基本思想是 :保證最好的染色體被選擇進入下一代。常用的方法有截斷選擇法、精英選擇法和期望選擇法等。混合采樣同時具備隨機采樣和確定采樣的特征。 種群中的染色體的選擇概率與選擇壓力直接相關。 Holland 的原始遺傳算法所采用的輪盤算法是一種正比選擇方法，選擇概率正比于染色體的適應值。正比選擇的缺點是在進化的早期，一些超級染色體會充斥選擇過程，容易失去種群染色體的多樣性 。而進化的后期，優(yōu)良染色體的競爭能力減弱，使選擇變得像隨機搜索。標定法和排序法就是為解決上述問題而提出的。 (1)標定法。標定法就是通過調(diào)整適應度函數(shù)來控制種群中染色體的生存概率。對適應度函數(shù)進行調(diào)整的意義在于 :①使種群中染色體的適應值之間保持合理的差距 :②限制某些超級染色體的繁殖速度，以滿足早期限制競爭，后期鼓勵競