哈工大模式識別課件—第6章多層神經(jīng)網(wǎng)絡(luò)(編輯修改稿)
2025-06-22 05:41 本頁面
【文章內(nèi)容簡介】 激活函數(shù)的選擇 ：一般可以選擇雙曲型的 Sigmoid函數(shù)； ? 目標(biāo)值 ：期望輸出一般選擇 (1,+1)或 (0,1)； ? 規(guī)格化 ：訓(xùn)練樣本每個特征一般要規(guī)格化為 0均值和標(biāo)準(zhǔn)差； ? 權(quán)值初始化 ：期望每個神經(jīng)元的 1+1，因此權(quán)值一般初始化為 ； ? 學(xué)習(xí)率的選擇 ：太大容易發(fā)散，太小則收斂較慢； ? 沖量項 ：有助于提高收斂速度。 11d w d? ? ?? ? ? ? ? ? ? ? ? ?1 1 1bpm m m m??? ? ? ? ? ? ? ?w w w w模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 1. BP算法的 收斂速度 一般來說比較慢； 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 2. BP算法只能收斂于 局部最優(yōu)解 ，不能保證收斂于全局最優(yōu)解； 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 3. 當(dāng)隱層元的數(shù)量足夠多時，網(wǎng)絡(luò)對訓(xùn)練樣本的識別率很高，但對測試樣本的識別率有可能很差，即網(wǎng)絡(luò)的 推廣能力 有可能較差。 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 提高收斂速度的方法 ?一個比較直觀的想法是通過增大學(xué)習(xí)率來提高收斂速度，但這樣有可能造成算法發(fā)散。 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 梯度下降法 ? 目標(biāo)函數(shù)的一階泰勒級數(shù)展開： ? ? ? ? ? ? ? ?1ktk k k k kJJ J J???????? ? ? ? ? ????wwww w w w ww? ?ktkJ??????? ? ????wwwww? ? ? ? 0ktkkJJ??????? ? ? ???? www目標(biāo)函數(shù)增量： 使目標(biāo)函數(shù)下降最大： 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 牛頓法 ? 目標(biāo)函數(shù)的二階泰勒級數(shù)展開： ? ? ? ? 12kttk k k kJJ??????? ? ? ? ? ????wwww w w H ww? ? ? ? 0kkkkdJ Jd???? ???? ? ? ??? ??www wHwww ? ?1kkJ???????? ? ????wwwwHwH是 Hessian矩陣，求取目標(biāo)函數(shù)增量的極大值： 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) Quickprop算法 ? 分別對每個參數(shù)進(jìn)行優(yōu)化，權(quán)值增量由上一步的增量迭代計算： ? ? ? ?11 mmmdJdww m w mdJ dJdw dw?? ? ? ??模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 共軛梯度法 ? 滿足如下條件的兩個方向 α 和 β 稱為關(guān)于矩陣 H互為共軛方向： 0t ?α H β? 對于二次優(yōu)化函數(shù)，權(quán)值沿著任意一個初始方向移動到最小點，然后再沿著該方向關(guān)于 H的共軛方向移動到最小點即可達(dá)到全局最小點。 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 共軛梯度法 1. 在第一個梯度方向上移動，尋找到這個方向上的局部極小點； 2. 在共軛方向上計算第二個搜索方向： ? ? ? ?? ? ? ?1mm J m m?? ?
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號-1