freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

哈工大模式識別課件—第6章多層神經(jīng)網(wǎng)絡(luò)(編輯修改稿)

2025-06-22 05:41 本頁面
 

【文章內(nèi)容簡介】 激活函數(shù)的選擇 :一般可以選擇雙曲型的 Sigmoid函數(shù); ? 目標(biāo)值 :期望輸出一般選擇 (1,+1)或 (0,1); ? 規(guī)格化 :訓(xùn)練樣本每個(gè)特征一般要規(guī)格化為 0均值和標(biāo)準(zhǔn)差; ? 權(quán)值初始化 :期望每個(gè)神經(jīng)元的 1+1,因此權(quán)值一般初始化為 ; ? 學(xué)習(xí)率的選擇 :太大容易發(fā)散,太小則收斂較慢; ? 沖量項(xiàng) :有助于提高收斂速度。 11d w d? ? ?? ? ? ? ? ? ? ? ? ?1 1 1bpm m m m??? ? ? ? ? ? ? ?w w w w模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 1. BP算法的 收斂速度 一般來說比較慢; 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 2. BP算法只能收斂于 局部最優(yōu)解 ,不能保證收斂于全局最優(yōu)解; 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 3. 當(dāng)隱層元的數(shù)量足夠多時(shí),網(wǎng)絡(luò)對訓(xùn)練樣本的識別率很高,但對測試樣本的識別率有可能很差,即網(wǎng)絡(luò)的 推廣能力 有可能較差。 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 多層感知器網(wǎng)絡(luò)存在的問題 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 提高收斂速度的方法 ?一個(gè)比較直觀的想法是通過增大學(xué)習(xí)率來提高收斂速度,但這樣有可能造成算法發(fā)散。 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 梯度下降法 ? 目標(biāo)函數(shù)的一階泰勒級數(shù)展開: ? ? ? ? ? ? ? ?1ktk k k k kJJ J J???????? ? ? ? ? ????wwww w w w ww? ?ktkJ??????? ? ????wwwww? ? ? ? 0ktkkJJ??????? ? ? ???? www目標(biāo)函數(shù)增量: 使目標(biāo)函數(shù)下降最大: 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 牛頓法 ? 目標(biāo)函數(shù)的二階泰勒級數(shù)展開: ? ? ? ? 12kttk k k kJJ??????? ? ? ? ? ????wwww w w H ww? ? ? ? 0kkkkdJ Jd???? ???? ? ? ??? ??www wHwww ? ?1kkJ???????? ? ????wwwwHwH是 Hessian矩陣,求取目標(biāo)函數(shù)增量的極大值: 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) Quickprop算法 ? 分別對每個(gè)參數(shù)進(jìn)行優(yōu)化,權(quán)值增量由上一步的增量迭代計(jì)算: ? ? ? ?11 mmmdJdww m w mdJ dJdw dw?? ? ? ??模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 共軛梯度法 ? 滿足如下條件的兩個(gè)方向 α 和 β 稱為關(guān)于矩陣 H互為共軛方向: 0t ?α H β? 對于二次優(yōu)化函數(shù),權(quán)值沿著任意一個(gè)初始方向移動到最小點(diǎn),然后再沿著該方向關(guān)于 H的共軛方向移動到最小點(diǎn)即可達(dá)到全局最小點(diǎn)。 模式識別 – 多層神經(jīng)網(wǎng)絡(luò) 共軛梯度法 1. 在第一個(gè)梯度方向上移動,尋找到這個(gè)方向上的局部極小點(diǎn); 2. 在共軛方向上計(jì)算第二個(gè)搜索方向: ? ? ? ?? ? ? ?1mm J m m?? ?
點(diǎn)擊復(fù)制文檔內(nèi)容
醫(yī)療健康相關(guān)推薦
文庫吧 www.dybbs8.com
備案圖片鄂ICP備17016276號-1