《人工神經(jīng)網(wǎng)絡(luò)ii》ppt課件-文庫吧
2024-12-21 05:03 本頁面
【正文】 –每一個(gè)有界的連續(xù)函數(shù)都可以有一個(gè)兩級(jí)的網(wǎng)絡(luò)以任意小的誤差（在有限的范數(shù)下）逼近 ?任意函數(shù) –任意函數(shù)都可以被一個(gè)由三級(jí)的網(wǎng)絡(luò)以任意精度逼近 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 9 前向神經(jīng)網(wǎng)絡(luò)訓(xùn)練 ?神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 –給定一組樣本，即一組神經(jīng)網(wǎng)絡(luò)的輸入輸出，不斷調(diào)整網(wǎng)絡(luò)中的權(quán)重使得網(wǎng)絡(luò)最終能夠很好的滿足樣本所給定的輸入輸出關(guān)系。 –最基本的算法 : BP算法 –其它方法 ?Hebb學(xué)習(xí) ?概率式學(xué)習(xí) ?競(jìng)爭(zhēng)學(xué)習(xí) by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 10 前向神經(jīng)網(wǎng)絡(luò)訓(xùn)練 本質(zhì)：優(yōu)化如下目標(biāo)函數(shù) 其中 P為樣本數(shù)， 為第 p個(gè)樣本的第 j個(gè)輸出分量。是理想輸出和實(shí)際輸出的誤差函數(shù) ? ??? ???????PpNjpjMpjPppMtyEE1 12,1,11)(21pjt , by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 11 BP算法 ?BP算法 前向網(wǎng)絡(luò)的訓(xùn)練算法 ?BP算法的出現(xiàn) – 1974年， Werbos已提出了該方法 – 1982年， Paker完成了相似的工作 – UCSD PDP小組的 Rumelhart、 Hinton和Williams1986年獨(dú)立地給出了 BP算法清楚而簡(jiǎn)單的描述 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 12 BP算法 ?算法實(shí)施過程 –根據(jù)輸入輸出狀態(tài)維數(shù)決定網(wǎng)絡(luò)的輸入層和輸出層神經(jīng)元的個(gè)數(shù) –根據(jù)問題特點(diǎn)和經(jīng)驗(yàn)決定隱層層數(shù)和神經(jīng)元個(gè)數(shù) –一般選擇 M=2 –設(shè)定網(wǎng)絡(luò)的初始參數(shù) –按照梯度下降法極小化目標(biāo)函數(shù)，逐步調(diào)整權(quán)重矩陣直到滿意為止 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 13 梯度下降算法 )(m in xf, . . .1,0 )),(()()1( ????? kkxfkxkx ?求解函數(shù)優(yōu)化問題 可按照如下公式迭代 其中序列初值任取 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 14 BP算法 ??????????????PplpilpjllijllijllijllijkykkkEkk11,1,1,1,1)()()()(/)()1(???????????????????????1111,39。,39。,1,2),()()]([1)],([])([)( lNmljmlpmlpjlpjpjlpjlpjMlkkkxfMlkxftkyk????梯度下降法 by 謝廣明 ， 2022~2022學(xué)年度第一學(xué)期 15 BP算法 ?特點(diǎn)： –網(wǎng)絡(luò)權(quán)重的調(diào)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1