【正文】 iNjjiijj dvvgRsissTE 1 0111 1)(121第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? 能量函數(shù) 將動力系統(tǒng)方程 簡單記為： 如果 ，則稱 ve是動力系統(tǒng)的平衡點，也稱 ve為吸引子。 隨著時間的增長，神經(jīng)網(wǎng)絡(luò)在狀態(tài)空間中的解軌跡總是向能量函數(shù)減小的方向變化，且網(wǎng)絡(luò)的穩(wěn)定點就是能量函數(shù)的極小點。 ????????? ?? )(1jjjjjNiijijjvgsiRvsTdtdvC),( tvqdtdv ?ttvq e ?? ,0),(第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? 能量函數(shù) 當(dāng)從某一初始狀態(tài)變化時，網(wǎng)絡(luò)的演變是使 E下降，達(dá)到某一局部極小時就停止變化。這些能量的局部極小點就是網(wǎng)絡(luò)的穩(wěn)定點或稱吸引子。 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? Hopfield網(wǎng)絡(luò)設(shè)計 當(dāng) Hopfield用于優(yōu)化計算時，網(wǎng)絡(luò)的權(quán)值是確定的，應(yīng)將目標(biāo)函數(shù)與能量函數(shù)相對應(yīng)，通過網(wǎng)絡(luò)的運行使能量函數(shù)不斷下降并最終達(dá)到最小，從而得到問題對應(yīng)的極小解。 3. Hopfield神經(jīng)網(wǎng)絡(luò)在 TSP 中的應(yīng)用 (Travelling Salesman Problem) 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? Hopfield網(wǎng)絡(luò)設(shè)計 通常需要以下幾方面的工作： （ 1）選擇合適的問題表示方法，使神經(jīng)網(wǎng)絡(luò)的輸出與問題的解相對應(yīng)； （ 2）構(gòu)造合適的能量函數(shù)，使其最小值對應(yīng)問題的最優(yōu)解； （ 3）由能量函數(shù)和穩(wěn)定條件設(shè)計網(wǎng)絡(luò)參數(shù)，如連接權(quán)值和偏置參數(shù)等； （ 4）構(gòu)造相應(yīng)的神經(jīng)網(wǎng)絡(luò)和動態(tài)方程； （ 5）用硬件實現(xiàn)或軟件模擬。 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? 問題的表示 將 TSP問題用一個 n n矩陣表示，矩陣的每個元素代表一個神經(jīng)元。 代表商人行走順序為： 3→1→2→4 每一行、每一列的和各為 1。 1為是， 0為否 第 1站 第 2站 第 3站 第 4站 城市 1 0 1 0 0 城市 2 0 0 1 0 城市 3 1 0 0 0 城市 4 0 0 0 1 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? 能量函數(shù)的構(gòu)建 每個神經(jīng)元接收到的值為 zij，其輸出值為 yij，激活函數(shù)采用Sigmoid函數(shù)，記兩個城市 x和 y的距離是 dxy。 (1) 希望每一行的和為 1，即 最小，每一行最多有一個 1時， E1＝ 0。 ? ? ?? ? ??nuni ijujui yyE1 11第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 (2) 希望每一列的和為 1，即 最小，每一列最多有一個 1時， E2＝ 0。 (3) 希望每一行每一列正好有一個 1，則 為零。 ? ? ?? ? ??ninu uvviui yyE1 1221 13 ???????? ?? ? ?? ?nyEninjij第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 (4) E1， E2， E3只能保證 TSP的一個可行解，為了得到 TSP的最小路徑，當(dāng) duv=dvu時，希望 最小，其中， yu0=yun， yu(n+1)=yu1。 duvyuiyv(i+1)表示城市 u和 v之間的距離（ i代表行走順序）。 ? ? ?? ? ??? ??nu uvniivivuiuv yyydE1 1)1()1(4 )(第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 (5) 根據(jù)連續(xù) Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)， 最后，能量函數(shù)表示為： A， B， C， D， α為非負(fù)常數(shù)。 ? ? ??jiyijij dyyfE, 015 )(54321 2222 EEDECEBEAE ??????第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 由動力學(xué)方程， ???????????????????????? ??????? ??? )()()( 111 1uiuiuvviviuvnvnjvjuvviijujuiuiuizfyyydDnyCyByAzyEdtdz?第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 整理后得到： 0 , ,0 ,1 )()1()1(1,1,?????????????????????uuijuiijjjuvuvijijuvvjuidjijinCIDdCBAw???????其中，第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? 10城市 TSP問題（ d*=） 。 。 。 。 。 。 。 。 。 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 10城市 TSP問題 (d*=) 流程圖： 神 神 神 神 神 神神 神 神 神 神 z0 0神 神 神 神 Δ zu i神 神 神 神 神 神 神 神 神zu i＝ zu i＋ λ Δ zu iyu i＝ f ( zu i)神 神 神 神 Δ zu i神 yu i神 神 神 神 神 神 神 神 神 神 神神 神 神 神 神 神 神 神 神神 神 神 神 神 神YN第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? 10城市 TSP問題 （ d*=） 初始參數(shù)： α＝ 1 A＝ B＝ D＝ 500， C＝ 200 激勵函數(shù)為 Sigmoid 其中， μ0＝ 0211)(?uizuiuiezfy????第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 10城市 TSP問題 （ d*=） 初始參數(shù)： 初始的 yui 初始的 zui λ= ? ?? ??10110110u iuiy0000000 ,9ln2?????????????uiuiui zzzzz第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? 10城市 TSP問題（ d*=） 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? 10城市 TSP問題 （ d*=） 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? 基于 Hopfield網(wǎng)絡(luò)優(yōu)化的缺陷 用 Hopfield網(wǎng)絡(luò)優(yōu)化的出發(fā)點建立在： （ 1）神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的，網(wǎng)絡(luò)勢必收斂到漸進(jìn)平衡點； （ 2）神經(jīng)網(wǎng)絡(luò)的漸進(jìn)平衡點恰好是能量函數(shù)的極小值。 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法 ? 基于 Hopfield網(wǎng)絡(luò)優(yōu)化的缺陷 用 Hopfield網(wǎng)絡(luò)優(yōu)化會導(dǎo)致： （ 1）網(wǎng)絡(luò)最終收斂到局部極小解，而非全局最優(yōu)解； （ 2）網(wǎng)絡(luò)可能會收斂到問題的不可行解； （ 3）網(wǎng)絡(luò)優(yōu)化的最終結(jié)果很大程度上依賴于網(wǎng)絡(luò)的參數(shù)。 第五節(jié) 神經(jīng)網(wǎng)絡(luò)優(yōu)化算法