哈工大模式識別課件—第6章多層神經(jīng)網(wǎng)絡-預覽頁
【正文】 局最優(yōu)解； 模式識別 – 多層神經(jīng)網(wǎng)絡 多層感知器網(wǎng)絡存在的問題 3. 當隱層元的數(shù)量足夠多時，網(wǎng)絡對訓練樣本的識別率很高，但對測試樣本的識別率有可能很差，即網(wǎng)絡的 推廣能力 有可能較差。 ? ?? ? ? ?? ? ? ?? ?? ?? ? ? ?? ?111tm tJ m J m J mJ m J m?? ? ? ?? ? ? ? ?? ? ? ??? ? ? ?? ? ? ?? ? ? ?w w www模式識別 – 多層神經(jīng)網(wǎng)絡 LevenbergMarquardt算法 ? 定義： ? ? ?v w t z? ? ? ? ? ? ? ? ? ?1ttk k k k kk ? ???? ? ? ???w J w J w I J w v w? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?1 1 1122 2 21212nnN N Nnv v vw w wv v vw w wv v vw w w??? ? ???? ? ???? ? ?? ? ? ?????? ? ???? ? ???w w ww w wJww w w權(quán)值增量： 其中 I為單位矩陣， μ k為參數(shù)， J為 Jacobi矩陣： 模式識別 – 多層神經(jīng)網(wǎng)絡 尋找全局最優(yōu)點 ? 全局最優(yōu)點的搜索一般采用隨機方法： 1. 模擬退火算法 2. 模擬進化計算 – 遺傳算法 模式識別 – 多層神經(jīng)網(wǎng)絡 模擬退火思想 ? 模擬退火算法是由 Kirkpatrick于 1983年提出的，它的基本思想是將優(yōu)化問題與統(tǒng)計熱力學中的熱平衡問題進行類比； ? 固體在降溫退火過程中，處于能量狀態(tài) E的概率 P(E)服從 Boltzmann分布： ? ? ? ?e x pP E E k T??其中 T是固體的溫度， k為 Boltzmann常數(shù) 模式識別 – 多層神經(jīng)網(wǎng)絡 波爾茲曼分布 模式識別 – 多層神經(jīng)網(wǎng)絡 模擬退火算法 （ SA, Simulated Annealing） ? 模擬退火算法可以用來優(yōu)化能量函數(shù) E(w)，其中 w為參數(shù)； ? 首先設定一個較高的溫度 T(1)，隨機初始化參數(shù) w1，計算能量 E(w1)； ? 對參數(shù)給予一個隨機擾動 △ w， w2 = w1 + △ w，計算能量 E(w2)； ? 如果 E(w2) E(w1)，則接受改變，否則按照如下概率接受改變： ? 逐漸降低溫度 T(k)，直到 0為止。 x1x2w1 1w1 2w2 1w2 2w1 3w2 3w3 1w3 2w3 3zg = {w11,w12, w13。 , ,a b c d e f g h i? ?, , 。 , ,r s t d e f g h i? ?, , 。 , ,a b c d e f g h i? ?, , 。 , ,3 3 3 3 3r a s b t c u b z i? ? ? ? ???????模式識別 – 多層神經(jīng)網(wǎng)絡 遺傳算子定義 ? 變異：在染色體的每個位置上隨機產(chǎn)生一個小的擾動，產(chǎn)生出新的染色體。 , ,a b c d e f g h i a a b b c c d d i i? ? ? ? ?? ? ? ? ?
醫(yī)療健康相關推薦
鄂ICP備17016276號-1