【文章內(nèi)容簡(jiǎn)介】 誤差漸漸減小的方向?qū)?quán)系數(shù)進(jìn)行修正，以達(dá)最終消除誤差。從上面公式也可以知道，如果網(wǎng)絡(luò)的層數(shù)較多時(shí)，所用的計(jì)算量就相當(dāng)可觀，故而收斂速度不快。為了加快收斂速度，一般考慮上一次的權(quán)系數(shù)，并以它作為本次修正的依據(jù)之一，故而有修正公式： )()1( 1tWXdtWijkjkiij ?????????? （235）其中：η 為學(xué)習(xí)速率，即步長(zhǎng)，η＝— 左右 ?為權(quán)系數(shù)修正常數(shù)，取 — 左右。在上面，公式(232)也稱為一般化的 Delta 法則。對(duì)于沒(méi)有隱層的神經(jīng)網(wǎng)絡(luò)，可取 ijiij XY????)(? （236）其中： iY為期望輸出； jX為輸出層的實(shí)際輸出；i為輸入層的輸入。這顯然是一種十分簡(jiǎn)單的情況，公式(236)也稱為簡(jiǎn)單 Delta 法則。在實(shí)際應(yīng)用中，只有一般化的 Delta 法則公式（236）或公式(235)才有意義。簡(jiǎn)單 Delta 法則式(236)只在理論推導(dǎo)上有用。江西理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文）第三章遺傳算法3．1 遺傳算法概述遺傳算法的基本思想是基于 Darwin 進(jìn)化論和 Mendel 的遺傳學(xué)說(shuō)的。Darwin 進(jìn)化論最重要的是適者生存原理。它認(rèn)為每一物種在發(fā)展中越來(lái)越適應(yīng)環(huán)境。物種每個(gè)個(gè)體的基本特征由后代所繼承，但后代又會(huì)產(chǎn)生一些異于父代的新變化。在環(huán)境變化時(shí)，只有那些能適應(yīng)環(huán)境的個(gè)體特征方能保留下來(lái)。Mendel 遺傳學(xué)說(shuō)最重要的是基因遺傳原理。它認(rèn)為遺傳以密碼方式存在細(xì)胞中，并以基因形式包含在染色體內(nèi)。每個(gè)基因有特殊的位置并控制某種特殊性質(zhì)；所以，每個(gè)基因產(chǎn)生的個(gè)體對(duì)環(huán)境具有某種適應(yīng)性?；蛲蛔兒突螂s交可產(chǎn)生更適應(yīng)于環(huán)境的后代。經(jīng)過(guò)存優(yōu)去劣的自然淘汰，適應(yīng)性高的基因結(jié)構(gòu)得以保存下來(lái)。由于遺傳算法是由進(jìn)化論和遺傳學(xué)機(jī)理而產(chǎn)生的直接搜索優(yōu)化方法；故而在這個(gè)算法中要用到各種進(jìn)化和遺傳學(xué)的概念。這些概念如下：注意以下格式問(wèn)題！一、串(String) 它是個(gè)體(Individual)的形式，在算法中為二進(jìn)制串，并且對(duì)應(yīng)于遺傳學(xué)中的染色體(Chromosome)。二、群體(Population)個(gè)體的集合稱為群體，串是群體的元素三、群體大小(Population Size)在群體中個(gè)體的數(shù)量稱為群體的大小。四、基因(Gene)基因是串中的元素，基因用于表示個(gè)體的特征。例如有一個(gè)串 S＝1011，則其中的 1，0，1，1 這 4 個(gè)元素分別稱為基因。它們的值稱為等位基因江西理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文）(Alletes)。 五 、基因位置(Gene Position)一個(gè)基因在串中的位置稱為基因位置，有時(shí)也簡(jiǎn)稱基因位?；蛭恢糜纱淖笙蛴矣?jì)算，例如在串 S＝1101 中，0 的基因位置是 3?；蛭恢脤?duì)應(yīng)于遺傳學(xué)中的地點(diǎn)(Locus)。六、基因特征值(Gene Feature) 在用串表示整數(shù)時(shí)，基因的特征值與二進(jìn)制數(shù)的權(quán)一致；例如在串 S=1011中，基因位置 3 中的 1，它的基因特征值為 2；基因位置 1 中的 1，它的基因特征值為 8。七、串結(jié)構(gòu)空間 SS 在串中，基因任意組合所構(gòu)成的串的集合?；虿僮魇窃诮Y(jié)構(gòu)空間中進(jìn)行的。串結(jié)構(gòu)空間對(duì)應(yīng)于遺傳學(xué)中的基因型(Genotype)的集合。八、參數(shù)空間 SP這是串空間在物理系統(tǒng)中的映射，它對(duì)應(yīng)于遺傳學(xué)中的表現(xiàn)型(Phenotype)的集合。九、非線性它對(duì)應(yīng)遺傳學(xué)中的異位顯性(Epistasis)十、適應(yīng)度(Fitness)表示某一個(gè)體對(duì)于環(huán)境的適應(yīng)程度。 遺傳算法的步驟 編碼問(wèn)題標(biāo)準(zhǔn)遺傳算法主要通過(guò)遺傳操作(交叉與變異)對(duì)種群中的個(gè)體施加結(jié)構(gòu)重組處理，通過(guò)選擇操作不斷優(yōu)化群體中的個(gè)體結(jié)構(gòu)，從而搜索到最優(yōu)結(jié)構(gòu)的個(gè)體，達(dá)到逼近問(wèn)題的最優(yōu)解的目的。由此可見(jiàn)，標(biāo)準(zhǔn)遺傳算法不能直接對(duì)問(wèn)題空間進(jìn)行操作，必須將問(wèn)題空間的解變量轉(zhuǎn)換成遺傳空間，由基因按一定結(jié)構(gòu)組成染色體，這一轉(zhuǎn)換操作就叫做編碼。（一）編碼原則評(píng)價(jià)編碼策略通?？紤]一下三個(gè)方面:(1)完備性。問(wèn)題空間中的所有點(diǎn)都能作為遺傳空間中的點(diǎn)(染色體)來(lái)表現(xiàn)。(2)健全性。遺傳空間中的染色體能對(duì)應(yīng)所有問(wèn)題空間中的候選解。(3)非冗余性。染色體和候選解一一對(duì)應(yīng)。對(duì)于很多問(wèn)題很難設(shè)計(jì)出同時(shí)滿足上面三條要求的編碼方案，但是完備性是必須滿足的一項(xiàng)。這三個(gè)評(píng)價(jià)規(guī)范是獨(dú)立于問(wèn)題領(lǐng)域的普遍準(zhǔn)則，具有普遍意義，但是缺乏具體的指導(dǎo)思想，特別是滿足這些條件的編碼設(shè)計(jì)不一定能有效地提高遺傳算法的搜索效率。相比之下，De Jong 提出較為客觀明確的編碼評(píng)估準(zhǔn)則，稱之為編碼原理，由于可操作性較強(qiáng)，又稱之為編碼規(guī)則。具體為:(1)有意義基因塊的編碼規(guī)則。所定編碼應(yīng)當(dāng)易于生成與所求問(wèn)題相關(guān)的短距和低階的基因塊。(2 )最小字符集編碼規(guī)則。所定編碼應(yīng)采用最小字符集，以使問(wèn)題得到自然的表示或描述。(二)編碼方法江西理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文）下面介紹幾種常用的遺傳算法編碼技術(shù)。(1)一維染色體編碼。一維染色體編碼是指問(wèn)題空間的候選解轉(zhuǎn)換到遺傳空間后，其相應(yīng)的染色體呈一維排列的基因鏈碼。通常采用的一維染色體編碼技術(shù)有:1)二進(jìn)制編碼。二進(jìn)制編碼是將問(wèn)題空間的候選解轉(zhuǎn)換為遺傳空間的各位數(shù)值為“0”或“1”的字符串。二進(jìn)制編碼方法是最為經(jīng)典和常用的編碼方法，它的優(yōu)點(diǎn)有:①符合最小字符集的編碼原則。②編碼簡(jiǎn)單，便于進(jìn)行交叉、變異等遺傳操作，且物理概念清晰。③便于用模式定理川進(jìn)行分析與預(yù)測(cè)。但是對(duì)于多維、高精度問(wèn)題，二進(jìn)制編碼就會(huì)顯示出一些不足，主要有:①二進(jìn)制編碼不能直接反映出所求問(wèn)題的本身結(jié)構(gòu)特征。②二進(jìn)制編碼的染色體長(zhǎng)度與問(wèn)題空間的區(qū)域大小和精度要求直接相關(guān)，對(duì)于大區(qū)間、高精度的問(wèn)題，染色體的長(zhǎng)度會(huì)很長(zhǎng)，搜索空間也會(huì)很大，這樣的搜索相當(dāng)困難。③相鄰的二進(jìn)制編碼可能會(huì)有較大的 Hamming 距離，從而降低了遺傳算子的搜索效率。2)灰碼編碼。利用灰碼編碼方法可以在一定程度上克服上述缺點(diǎn)?；掖a編碼是將二進(jìn)制編碼通過(guò)一個(gè)變換而得到的編碼，其表現(xiàn)也為二進(jìn)制的形式，所不同的是灰碼編碼技術(shù)保證了在遺傳空間相互靠近的兩個(gè)點(diǎn)也必須在問(wèn)題空間里靠近，反之亦然。3)浮點(diǎn)編碼。浮點(diǎn)編碼是灰碼轉(zhuǎn)換，只是保證了問(wèn)題空間相鄰的點(diǎn)在遺傳空間有數(shù)值為 1 的 Hamming 距離，但遺傳空間還不是問(wèn)題空間。如果采用浮點(diǎn)表達(dá)的編碼方法，即每個(gè)染色體向量被編碼成一個(gè)與解向量相同長(zhǎng)度的浮點(diǎn)數(shù)向量，那么，在執(zhí)行上，遺傳空間就是問(wèn)題空間，染色體直接反映了問(wèn)題的規(guī)律與特性。浮點(diǎn)編碼與二進(jìn)制編碼相比有以下優(yōu)點(diǎn):①精度依賴于所使用的機(jī)器，與編碼本身無(wú)關(guān)，比二進(jìn)制要靈活、方便；②浮點(diǎn)編碼能夠表達(dá)很大的區(qū)域，而二進(jìn)制編碼必須以犧牲精度來(lái)增加表達(dá)區(qū)域；③容易設(shè)計(jì)出封閉的、動(dòng)態(tài)的遺傳算子，容易處理非常規(guī)約束。一維編碼的方法還有很多，如交叉編碼、多參數(shù)編碼、可變長(zhǎng)編碼等等。 二維染色體編碼。在很多實(shí)際問(wèn)題中，解本身就是以二維或多維的形式存在的，為了使問(wèn)題的表達(dá)更直觀，可直接采用多維染色體編碼。選擇一個(gè)群體，即選擇一個(gè)串或個(gè)體的集合 bi，i=1，2，...n。這個(gè)初始的群體也就是問(wèn)題假設(shè)解的集合。一般取 n＝30通常以隨機(jī)方法產(chǎn)生串或個(gè)體的集合 bi, i＝1， 2，...n。問(wèn)題的最優(yōu)解將通過(guò)這些初始假設(shè)解進(jìn)化而求出。 適應(yīng)度函數(shù)在遺傳算法的進(jìn)化過(guò)程中，對(duì)染色體的評(píng)價(jià)是由適應(yīng)度函數(shù)來(lái)完成的，函數(shù)的函數(shù)值作為選擇運(yùn)算的依據(jù)。即遺傳算法向著適應(yīng)值增加的方向進(jìn)化適應(yīng)度，所以目標(biāo)函數(shù)的尋優(yōu)方向與適應(yīng)度函數(shù)值增加的方向一致，這是適應(yīng)度函數(shù)設(shè)計(jì)的先決條件。另外，為了理論分析的方便，最好保證適應(yīng)度函數(shù)非負(fù)。有時(shí)適應(yīng)值為負(fù)的清況，要進(jìn)行適當(dāng)?shù)霓D(zhuǎn)換。將目標(biāo)函數(shù)轉(zhuǎn)換成適應(yīng)度一般要遵循下面兩個(gè)基本原則。(1)優(yōu)化過(guò)程中目標(biāo)函數(shù)的優(yōu)化方向(如尋求目標(biāo)函數(shù)的最大值或最小值)與種群進(jìn)化過(guò)程中適應(yīng)度函數(shù)值增加的方向相一致。(2) 適應(yīng)度函數(shù)值大于等于零。江西理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文）如果目標(biāo)函數(shù)是求最小值問(wèn)題，可通過(guò)適當(dāng)轉(zhuǎn)換，如:fit(x)=cf(x), c ≥ fmax 選擇 選擇運(yùn)算是推動(dòng)進(jìn)化的直接動(dòng)力。如果選擇壓力過(guò)大，遺傳算法會(huì)過(guò)早收斂，使搜索落入局部極小點(diǎn)。選擇壓力過(guò)小搜索過(guò)程會(huì)非常緩慢。一般來(lái)講，在進(jìn)化的初始階段，宜采用較小的選擇壓力，盡量保持種群個(gè)體的多樣性。在進(jìn)化的后期，宜采用較大的選擇壓力，以提高優(yōu)良個(gè)體的競(jìng)爭(zhēng)力，使搜索向著最優(yōu)解的方向發(fā)展。選擇可以通過(guò)以下三個(gè)方面進(jìn)行描述:（1）采樣空間。 （2）采樣機(jī)理。 （3）選擇概率。三者對(duì)于選擇壓力以至于遺傳算法的性能都有很大的影響。采樣空間可劃分為規(guī)則的采樣空間和擴(kuò)大的采樣空間兩種。采樣機(jī)理使如何從采樣空間中選擇染色體的理論，對(duì)種群個(gè)體的選擇從原理上可分為三種:(1)隨機(jī)采樣。(2)確定采樣。{3)混合采樣。隨機(jī)采樣方法首先根據(jù)各染色體個(gè)體的適應(yīng)值評(píng)價(jià)出其生存概率，再由生存概率確定每個(gè)染色體的實(shí)際繁殖數(shù)量。每個(gè)染色體的生存概率是確定性的，而染色體個(gè)體實(shí)際的繁殖數(shù)量是其生存概率隨機(jī)產(chǎn)生的，是隨機(jī)性的。整個(gè)選擇過(guò)程可由兩步完成:(1)確定種群中個(gè)體的生存概率。{2)根據(jù)個(gè)體的生存概率進(jìn)行隨機(jī)選擇。隨機(jī)采樣的基本思想是:適應(yīng)值大的個(gè)體對(duì)應(yīng)較高的生存概率，則被選擇進(jìn)入 F1 代的幾率相對(duì)較高。但是，并不能保證最優(yōu)的個(gè)體被選擇。確定采樣的基本思想是:保證最好的染色體被選擇進(jìn)入下一代。常用的方法有截?cái)噙x擇法、精英選擇法和期望選擇法等?；旌喜蓸油瑫r(shí)具備隨機(jī)采樣和確定采樣的特征。種群中的染色體的選擇概率與選擇壓力直接相關(guān)。Holland 的原始遺傳算法所采用的輪盤算法是一種正比選擇方法，選擇概率正比于染色體的適應(yīng)值。正比選擇的缺點(diǎn)是在進(jìn)化的早期，一些超級(jí)染色體會(huì)充斥選擇過(guò)程，容易失去種群染色體的多樣性。而進(jìn)化的后期，優(yōu)良染色體的競(jìng)爭(zhēng)能力減弱，使選擇變得像隨機(jī)搜索。標(biāo)定法和排序法就是為解決上述問(wèn)題而提出的。(1)標(biāo)定法。標(biāo)定法就是通過(guò)調(diào)整適應(yīng)度函數(shù)來(lái)控制種群中染色體的生存概率。對(duì)適應(yīng)度函數(shù)進(jìn)行調(diào)整的意義在于:①使種群中染色體的適應(yīng)值之間保持合理的差距:②限制某些超級(jí)染色體的繁殖速度，以滿足早期限制競(jìng)爭(zhēng)，后期鼓勵(lì)競(jìng)爭(zhēng)的要求。常用的標(biāo)定方法有線性標(biāo)定法、α 截?cái)喾ā缏蓸?biāo)定法和指數(shù)標(biāo)定法等等。 (2)排序法。排序法以種群中染色體適應(yīng)值的大小順序來(lái)確定各個(gè)染色體的生存概率，而不是以適應(yīng)值的數(shù)值大小來(lái)確定，該方法克服了基于適應(yīng)值進(jìn)行選擇。常用的方法有。線性排序法和指數(shù)排序法。 交叉對(duì)于選中用于繁殖下一代的個(gè)體，隨機(jī)地選擇兩個(gè)個(gè)體的相同位置，按交江西理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文）叉概率 P。在選中的位置實(shí)行交換。這個(gè)過(guò)程反映了隨機(jī)信息交換；目的在于產(chǎn)生新的基因組合，也即產(chǎn)生新的個(gè)體。交叉時(shí)，可實(shí)行單點(diǎn)交叉或多點(diǎn)交叉。單點(diǎn)交叉(onepoint crossover)又稱一點(diǎn)交叉。只有一個(gè)交叉點(diǎn)位置，任意挑選經(jīng)過(guò)選擇操作后種群的兩個(gè)個(gè)體作為交叉對(duì)象，隨機(jī)產(chǎn)生一個(gè)交叉點(diǎn)位置，兩個(gè)個(gè)體在交叉點(diǎn)位置互換部分基因碼，形成兩個(gè)子個(gè)體。例如有個(gè)體S1=100101S2=010111選擇它們的左邊 3 位進(jìn)行交叉操作，則有S1=010101S2=100111多點(diǎn)交叉（multipoint crossover）是單點(diǎn)交叉的推廣，有時(shí)也稱為廣義交叉(generalized crossover)。多點(diǎn)交叉是指設(shè)置多個(gè)交叉點(diǎn)，交叉點(diǎn)依然是隨機(jī)選擇，兩個(gè)個(gè)體在交叉點(diǎn)位置互換部分基因碼，形成兩個(gè)子個(gè)體。一般較少采用多點(diǎn)交叉，因?yàn)樗绊戇z傳算法的在線性能和離線性能。當(dāng)交叉過(guò)多時(shí)，上一代中性能優(yōu)良的結(jié)構(gòu)被破壞的可能性增大，這有些類似于隨機(jī)搜索行為。多點(diǎn)交叉不能有效地保存重要的模式。例如有個(gè)體S1=100101S2=010111選擇它們的左邊 2 位和右邊 2 位進(jìn)行交叉操作則有S1=010111S2=100101一般而言，交叉概率的取值為 —。交叉運(yùn)算是重要的遺傳操作，種群通過(guò)交叉產(chǎn)生新的染色體，從而不斷擴(kuò)展搜索空間, 最終達(dá)到全局搜索的目的。常用的交叉算子有：算術(shù)交叉算子。算術(shù)交叉算子對(duì)于凸搜索空間有這樣的性質(zhì):對(duì)解空間D 里的任何兩個(gè)點(diǎn) x1, x:的線性組合為:ax1+(1a)x2 a∈[0,1]算術(shù)交叉的操作過(guò)程為:假定種群中的 x1, x2 被選為交叉運(yùn)算的雙親，則有雙親產(chǎn)生后代為:x39。1= ax1+(1a)x2x39。2= ax2+(1a)x1隨機(jī)數(shù) a 屬于 [0 ,1]，從而保證了 x39。1, x39。2，屬于 D。啟發(fā)式交又算子。啟發(fā)式交叉是一種獨(dú)特的交叉算子，其特點(diǎn)為:以目標(biāo)函數(shù)值確定搜索方向:只產(chǎn)生一個(gè)后代。可能根本不產(chǎn)生后代。假定從種群中選擇的雙親為 x1, x2，則由雙親產(chǎn)生的后代為:x3=r(x2x1)+ x2 變異根據(jù)生物遺傳中基因變異的原理，以變異概率 Pm 對(duì)某些個(gè)體的某些位執(zhí)行變異。在變異時(shí)，對(duì)執(zhí)行變異的串的對(duì)應(yīng)位求反，即把 1 變?yōu)?0，把 0 變?yōu)?1。江西理工大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文）變異概率 Pm 與生物變異極小的情況一致，所以，Pm 的取值較小，一般取 。例如有個(gè)體 S＝101011。對(duì)其的第 1，4 位置的基因進(jìn)行變異，則有S39。=001111單靠變異不能在求解中得到好處。但是，它能保證算法過(guò)程不會(huì)產(chǎn)生無(wú)法