《人工神經網(wǎng)絡ii》ppt課件-文庫吧
2024-12-21 05:03 本頁面
【正文】 –每一個有界的連續(xù)函數(shù)都可以有一個兩級的網(wǎng)絡以任意小的誤差（在有限的范數(shù)下）逼近 ?任意函數(shù) –任意函數(shù)都可以被一個由三級的網(wǎng)絡以任意精度逼近 by 謝廣明 ， 2022~2022學年度第一學期 9 前向神經網(wǎng)絡訓練 ?神經網(wǎng)絡的訓練 –給定一組樣本，即一組神經網(wǎng)絡的輸入輸出，不斷調整網(wǎng)絡中的權重使得網(wǎng)絡最終能夠很好的滿足樣本所給定的輸入輸出關系。 –最基本的算法 : BP算法 –其它方法 ?Hebb學習 ?概率式學習 ?競爭學習 by 謝廣明 ， 2022~2022學年度第一學期 10 前向神經網(wǎng)絡訓練 本質：優(yōu)化如下目標函數(shù) 其中 P為樣本數(shù)， 為第 p個樣本的第 j個輸出分量。是理想輸出和實際輸出的誤差函數(shù) ? ??? ???????PpNjpjMpjPppMtyEE1 12,1,11)(21pjt , by 謝廣明 ， 2022~2022學年度第一學期 11 BP算法 ?BP算法 前向網(wǎng)絡的訓練算法 ?BP算法的出現(xiàn) – 1974年， Werbos已提出了該方法 – 1982年， Paker完成了相似的工作 – UCSD PDP小組的 Rumelhart、 Hinton和Williams1986年獨立地給出了 BP算法清楚而簡單的描述 by 謝廣明 ， 2022~2022學年度第一學期 12 BP算法 ?算法實施過程 –根據(jù)輸入輸出狀態(tài)維數(shù)決定網(wǎng)絡的輸入層和輸出層神經元的個數(shù) –根據(jù)問題特點和經驗決定隱層層數(shù)和神經元個數(shù) –一般選擇 M=2 –設定網(wǎng)絡的初始參數(shù) –按照梯度下降法極小化目標函數(shù)，逐步調整權重矩陣直到滿意為止 by 謝廣明 ， 2022~2022學年度第一學期 13 梯度下降算法 )(m in xf, . . .1,0 )),(()()1( ????? kkxfkxkx ?求解函數(shù)優(yōu)化問題 可按照如下公式迭代 其中序列初值任取 by 謝廣明 ， 2022~2022學年度第一學期 14 BP算法 ??????????????PplpilpjllijllijllijllijkykkkEkk11,1,1,1,1)()()()(/)()1(???????????????????????1111,39。,39。,1,2),()()]([1)],([])([)( lNmljmlpmlpjlpjpjlpjlpjMlkkkxfMlkxftkyk????梯度下降法 by 謝廣明 ， 2022~2022學年度第一學期 15 BP算法 ?特點： –網(wǎng)絡權重的調
教學課件相關推薦
鄂ICP備17016276號-1