哈工大模式識別課件—第6章多層神經網絡(編輯修改稿)
2025-06-22 05:41 本頁面
【文章內容簡介】 激活函數的選擇 ：一般可以選擇雙曲型的 Sigmoid函數； ? 目標值 ：期望輸出一般選擇 (1,+1)或 (0,1)； ? 規(guī)格化 ：訓練樣本每個特征一般要規(guī)格化為 0均值和標準差； ? 權值初始化 ：期望每個神經元的 1+1，因此權值一般初始化為 ； ? 學習率的選擇 ：太大容易發(fā)散，太小則收斂較慢； ? 沖量項 ：有助于提高收斂速度。 11d w d? ? ?? ? ? ? ? ? ? ? ? ?1 1 1bpm m m m??? ? ? ? ? ? ? ?w w w w模式識別 – 多層神經網絡 多層感知器網絡存在的問題 1. BP算法的 收斂速度 一般來說比較慢； 模式識別 – 多層神經網絡 多層感知器網絡存在的問題 2. BP算法只能收斂于 局部最優(yōu)解 ，不能保證收斂于全局最優(yōu)解； 模式識別 – 多層神經網絡 多層感知器網絡存在的問題 3. 當隱層元的數量足夠多時，網絡對訓練樣本的識別率很高，但對測試樣本的識別率有可能很差，即網絡的 推廣能力 有可能較差。 模式識別 – 多層神經網絡 多層感知器網絡存在的問題 模式識別 – 多層神經網絡 提高收斂速度的方法 ?一個比較直觀的想法是通過增大學習率來提高收斂速度，但這樣有可能造成算法發(fā)散。 模式識別 – 多層神經網絡 梯度下降法 ? 目標函數的一階泰勒級數展開： ? ? ? ? ? ? ? ?1ktk k k k kJJ J J???????? ? ? ? ? ????wwww w w w ww? ?ktkJ??????? ? ????wwwww? ? ? ? 0ktkkJJ??????? ? ? ???? www目標函數增量： 使目標函數下降最大： 模式識別 – 多層神經網絡 牛頓法 ? 目標函數的二階泰勒級數展開： ? ? ? ? 12kttk k k kJJ??????? ? ? ? ? ????wwww w w H ww? ? ? ? 0kkkkdJ Jd???? ???? ? ? ??? ??www wHwww ? ?1kkJ???????? ? ????wwwwHwH是 Hessian矩陣，求取目標函數增量的極大值： 模式識別 – 多層神經網絡 Quickprop算法 ? 分別對每個參數進行優(yōu)化，權值增量由上一步的增量迭代計算： ? ? ? ?11 mmmdJdww m w mdJ dJdw dw?? ? ? ??模式識別 – 多層神經網絡 共軛梯度法 ? 滿足如下條件的兩個方向 α 和 β 稱為關于矩陣 H互為共軛方向： 0t ?α H β? 對于二次優(yōu)化函數，權值沿著任意一個初始方向移動到最小點，然后再沿著該方向關于 H的共軛方向移動到最小點即可達到全局最小點。 模式識別 – 多層神經網絡 共軛梯度法 1. 在第一個梯度方向上移動，尋找到這個方向上的局部極小點； 2. 在共軛方向上計算第二個搜索方向： ? ? ? ?? ? ? ?1mm J m m?? ?
醫(yī)療健康相關推薦
鄂ICP備17016276號-1