哈工大模式識別課件—第6章多層神經(jīng)網(wǎng)絡-在線瀏覽
2025-07-13 05:41本頁面
【正文】 很差，即網(wǎng)絡的 推廣能力 有可能較差。 模式識別 – 多層神經(jīng)網(wǎng)絡 梯度下降法 ? 目標函數(shù)的一階泰勒級數(shù)展開： ? ? ? ? ? ? ? ?1ktk k k k kJJ J J???????? ? ? ? ? ????wwww w w w ww? ?ktkJ??????? ? ????wwwww? ? ? ? 0ktkkJJ??????? ? ? ???? www目標函數(shù)增量： 使目標函數(shù)下降最大： 模式識別 – 多層神經(jīng)網(wǎng)絡 牛頓法 ? 目標函數(shù)的二階泰勒級數(shù)展開： ? ? ? ? 12kttk k k kJJ??????? ? ? ? ? ????wwww w w H ww? ? ? ? 0kkkkdJ Jd???? ???? ? ? ??? ??www wHwww ? ?1kkJ???????? ? ????wwwwHwH是 Hessian矩陣，求取目標函數(shù)增量的極大值： 模式識別 – 多層神經(jīng)網(wǎng)絡 Quickprop算法 ? 分別對每個參數(shù)進行優(yōu)化，權(quán)值增量由上一步的增量迭代計算： ? ? ? ?11 mmmdJdww m w mdJ dJdw dw?? ? ? ??模式識別 – 多層神經(jīng)網(wǎng)絡 共軛梯度法 ? 滿足如下條件的兩個方向 α 和 β 稱為關于矩陣 H互為共軛方向： 0t ?α H β? 對于二次優(yōu)化函數(shù)，權(quán)值沿著任意一個初始方向移動到最小點，然后再沿著該方向關于 H的共軛方向移動到最小點即可達到全局最小點。 ? ?? ? ? ?? ? ? ?? ?? ?? ? ? ?? ?111tm tJ m J m J mJ m J m?? ? ? ?? ? ? ? ?? ? ? ??? ? ? ?? ? ? ?? ? ? ?w w www模式識別 – 多層神經(jīng)網(wǎng)絡 LevenbergMarquardt算法 ? 定義： ? ? ?v w t z? ? ? ? ? ? ? ? ? ?1ttk k k k kk ? ???? ? ? ???w J w J w I J w v w? ?? ? ? ? ? ?? ? ? ? ? ?? ? ? ? ? ?1 1 1122 2 21212nnN N Nnv v vw w wv v vw w wv v vw w w??? ? ???? ? ???? ? ?? ? ? ?????? ? ???? ? ???w w ww w wJww w w權(quán)值增量： 其中 I為單位矩陣， μ k為參數(shù)， J為 Jacobi矩陣： 模式識別 – 多層神經(jīng)網(wǎng)絡 尋找全局最優(yōu)點 ? 全局最優(yōu)點的搜索一般采用隨機方法： 1. 模擬退火算法 2. 模擬進化計算 – 遺傳算法 模式識別 – 多層神經(jīng)網(wǎng)絡 模擬退火思想 ? 模擬退火算法是由 Kirkpatrick于 1983年提出的，它的基本思想是將優(yōu)化問題與統(tǒng)計熱力學中的熱平衡問題進行類比； ? 固體在降溫退
醫(yī)療健康相關推薦
鄂ICP備17016276號-1