【文章內(nèi)容簡介】
the error of the work’s prediction. For a unit j in the output layer, the error Errj : The error of a hidden layer unit j is:Tj is the true outputErrk is the error of unit k in the next higher layer167。 The weights and biases are updated to reflect the propagated errors:4. Terminating condition: training stops when216。 all in the previous epoch were so small as to be below some specified threshold, or216。 the percentage of samples misclassified in the previous epoch is below some threshold, or216。 a prespecified number of epochs has expired.123456Sample calculations for learning by the backpropagation algorithmX={1,0,1},class label=1,l=Initial input, weight, and bias valuesx1 x2 x3 w14 w15 w24 w25 w34 w35 w46 w561 0 1 0.20.1The input and output calculationsUnit j Net input, Ij Output, Oj4 += 1/(1+)=5 +0++= 1/(1+)=6 ()()()()+= 1/(1+)=Calculation of the error at each nodeUnit j Errj6 ()()()=5 ()(1 )()()=4 ()()()()=Calculations for weight and bias updatingWeight or bias New valuew46 +()()()=w56 +()()()=w14 +()()(1)=w15 +()()(1)=w24 +()()(0)=w25 +()()(0)=w34 +()()(1)=w35 +()()(1)=+()()=+()()=+()()=ments167。 Disadvantages:216。 Involve long training times216。 Require a number of parameters that are typically best determined empirically.216。 Poor interpretability167。 Advantages:216。 High tolerance to noisy data216。 Ability to classify patterns on which they have not been trained遺傳算法( Geic Algorithms)167。 物競天擇,適者生存167。 遺傳算法( GA)根據(jù)適者生存,優(yōu)勝劣汰等自然進(jìn)化規(guī)則來進(jìn)行搜索計(jì)算和問題求解。167。 全局優(yōu)化算法,適合于具有很大搜索空間的優(yōu)化問題遺傳算法的搜索機(jī)制 167。 遺傳算法模擬自然選擇和自然遺傳過程中發(fā)生的繁殖、交叉和基因突變現(xiàn)象,在每次迭代中都保留一組候選解,并按某種指標(biāo)從解群中選取較優(yōu)的個(gè)體,利用遺傳算子 (選擇、交叉和變異 )對這些個(gè)體進(jìn)行組合,產(chǎn)生新一代的候選解群,重復(fù)此過程,直到滿足某種收斂指標(biāo)為止。 基本概念167。 染色體: 由基因構(gòu)成的位串, 是個(gè)體 (Individual)的形式167。 編碼: 把解表示為位串的過程,編碼后的每個(gè)位串就表示一個(gè)個(gè)體,即問題的一個(gè)解167。 種群: 包含一組個(gè)體的群體,也是問題的解的集合。種群中個(gè)體的數(shù)量稱為 群體大?。?N) 。167。 基因: 串中的元素。例:串 S = 1001 ,有四個(gè)基因 0、 0、 1167。 適應(yīng)度 :評價(jià)群體中個(gè)體適應(yīng)能力的指標(biāo),解的好壞,由評價(jià)函數(shù) F計(jì)算得到167。 遺傳算子 :產(chǎn)生新個(gè)體的操作167。 選擇: 將個(gè)體直接復(fù)制到下一代群體中,個(gè)體適應(yīng)度。167。 交叉: 把兩個(gè)串的部分基因交換,產(chǎn)生兩個(gè)新串作為下一代的個(gè)體,交叉概率 Pc決定兩個(gè)個(gè)體進(jìn)行交叉操作的可能性167。 變異: 隨機(jī)地改變?nèi)旧w的部分基因, Pm決定個(gè)體發(fā)生變異的可能性幾個(gè)術(shù)語 167。 基因型:1000101110110101000111 編碼解碼個(gè)體(染色體)基因選擇 (selection)算子167。 GA使用選擇運(yùn)算來實(shí)現(xiàn)對群體中的個(gè)體進(jìn)行優(yōu)勝劣汰操作:適應(yīng)度高的個(gè)體被遺傳到下一代群體中的概率大;適應(yīng)度低的個(gè)體,被遺傳到下一代群體中的概率小。167。 選擇操作的任務(wù)就是按某種方法從父代群體中選取一些個(gè)體,遺傳到下一代群體。選擇167。 選擇是用來確定重組或交叉?zhèn)€體,以及被選個(gè)體將產(chǎn)生多少個(gè)子代個(gè)體.首先計(jì)算適應(yīng)度:216。 按比例的適應(yīng)度計(jì)算216。 基于排序的適應(yīng)度計(jì)算等167。 實(shí)際的選擇:216。 輪盤賭選擇216。 隨機(jī)遍歷抽樣216。 局部選擇216。 截?cái)噙x擇216。 錦標(biāo)賽選擇等適應(yīng)值比例法167。 輪盤賭選擇又稱比例選擇算子,它的基本思想是:各個(gè)個(gè)體被選中的概率與其適應(yīng)度函數(shù)值大小成正比。設(shè)群體大小為 n ,個(gè)體 i 的適應(yīng)度為 Fi,則個(gè)體 i 被選中遺傳到下一代群體的概率為: 輪盤賭選擇期望值方法167。 計(jì)算群體中每個(gè)個(gè)體在下一代生存的期望數(shù)目 :167。 若某個(gè)個(gè)體被選中并要參與配對和交叉,則它在下一代中的生存的期望數(shù)目減去 ;若不參與,則該個(gè)體的生存的期望數(shù)目減去 1167。 在上面兩種情況中,若一個(gè)個(gè)體的期望值小于 0時(shí),則該個(gè)體不參與選擇交叉 (crossover)算子 167。 所謂交叉運(yùn)算,是指對兩個(gè)相互配對的染色體依據(jù)交叉概率 Pc 按某種方式相互交換其部分基因,從而形成兩個(gè)新的個(gè)體。167。 交叉運(yùn)算是遺傳算法區(qū)別于其他進(jìn)化算法的重要特征,它在遺傳算法中起關(guān)鍵作用,是產(chǎn)生新個(gè)體的主要方法。交叉或基因重組167。 基因重組是結(jié)合來自父代交配種群中的信息產(chǎn)生新的個(gè)體.依據(jù)個(gè)體編碼表示方法不同:167。 實(shí)值重組216。 離散重組216。 中間重組216。 線性重組216。 擴(kuò)展線性重組167。 二進(jìn)制交叉216。 單點(diǎn)交叉216。 多點(diǎn)交叉216。 均勻交叉216。 洗牌交叉216。 縮小代理交叉一點(diǎn)交叉 167。 交叉前:167。 00000|011100167。 11100|000001167。 交叉后:167。 00000|000001167。 11100|011100交叉點(diǎn)二點(diǎn)交叉167。 個(gè)體 A: 10|110|11167。 個(gè)體 B: 00|010|00167。 新個(gè)體 A: 10|010|11167。 新個(gè)體 B: 00|110|00交叉點(diǎn) 1交叉點(diǎn) 2變異 (mutation)算子 167。 變異運(yùn)算,是指依據(jù)變異概率 Pm 將個(gè)體編碼串中的某些基因值用其它基因值來替換,從而形成一個(gè)新的個(gè)體。167。 遺傳算法中的變異運(yùn)算是產(chǎn)生新個(gè)體的輔助方法,它決定了遺傳算法的局部搜索能力,同時(shí)保持種群的多樣性。二進(jìn)制變異167。 變異前:167。 11000000167。 變異后:167。 11000100變異點(diǎn)基本遺傳算法的組成 167。 ( 1)編碼(產(chǎn)生初始種群)167。 ( 2)適應(yīng)度函數(shù)167。 ( 3)遺傳算子(選擇、交叉、變異)167。 ( 4)運(yùn)行迭代產(chǎn)生初始群體是輸出結(jié)果并結(jié)束計(jì)算個(gè)體適應(yīng)度值選擇交叉變異否產(chǎn)生新一代群體遺傳算子滿意嗎?目標(biāo)映射為適應(yīng)值例子167。 問題:求解 f(X)=X2在 [0, 31]上的最大值167。 1 初始種群167。 ( 1)編碼:用 5位二進(jìn)制表示 X,有167。 X=00000, X=11111167。 ( 2)初始種群167。 隨機(jī)產(chǎn)生 4個(gè)個(gè)體: 13, 24, 8, 19(二進(jìn)制)167。 ( 3)適應(yīng)值 fi167。 直接用目標(biāo)函數(shù): f(X)=X2 167。 (4)選擇率和期望值(5) 實(shí)選值 期望值取整數(shù)編號(hào) 初始種群 參數(shù) x值 適應(yīng)值f(x)選擇率 期望值 實(shí)選值1234011011100001000100111324819169576643611201總和平均值最大值1170293576167。 2 遺傳一代(初始種群遺傳過程)選擇后的交配池(下劃線部分交叉)交叉對象(隨機(jī)選擇)交叉位置(