前饋神經(jīng)網(wǎng)絡(luò)模型ppt課件-文庫(kù)吧資料
2025-01-14 04:23本頁(yè)面
【正文】 邏輯實(shí)現(xiàn)中，依照所期望的輸出響應(yīng)，可以將個(gè)輸入模式劃分成＋和－兩類。但是 過(guò)大可能會(huì)修正過(guò)度，一個(gè)比較好的選擇范圍是： 1 ??? ??LMS算法的幾何解釋 kkkk XXW ??2??)(tW k)1( ?tW kkXADALINE模型計(jì)算能力分析 ? 若 ADALINE輸入為二值，它可以完成一定的 邏輯功能 。 LMS學(xué)習(xí)算法權(quán)值修改規(guī)則 ? 其中： 為當(dāng)前的誤差（即理想輸出與模擬實(shí)際輸出之間的差值）， 稱為學(xué)習(xí)速度(Learning Rate) kkkkk XXtWtW ??2)()1( ???k??ADALINE學(xué)習(xí)算法實(shí)質(zhì)分析 kkkkkk XXtWtWW ?? 2)()1( ?????kTkkkTkkk XWdWXd ?????kTkkTkkk WXWXd ??????? )(?kkkkTkkTkkXXXWX ????? ???????? 2kTkk XXX ?2 的取值 ? 的選擇決定了學(xué)習(xí)算法收斂的 穩(wěn)定性 和 收斂的速度 。 LMS學(xué)習(xí)過(guò)程（文字說(shuō)明） 1. 樣本數(shù) i=0，連接權(quán)值隨機(jī)初始化一個(gè)較小的不等于 0的值； 2. 提交第 i個(gè)學(xué)習(xí)樣本； 3. 計(jì)算神經(jīng)網(wǎng)絡(luò)的輸出； 4. 計(jì)算實(shí)際輸出和理想輸出的誤差； 5. 按照 權(quán)值修改規(guī)則 修改神經(jīng)網(wǎng)絡(luò)權(quán)值； 6. i++； i=N?；否，轉(zhuǎn) 2。 LMS學(xué)習(xí)過(guò)程（圖示） ? 與單層感知器的差別在于：輸出分為模擬和數(shù)字兩個(gè)部分。 自適應(yīng)線性元模型數(shù)學(xué)描述 ? 輸出 – 模擬輸出 – 二值輸出 kTkkTkk XWWXy ??00,11)s g n (???????? kkkk yyyq自適應(yīng)線性元模型數(shù)學(xué)描述 ? 理想輸出 ? 在圖中的自適應(yīng)線性元中有一特殊的輸入 dk， 即 理想輸出 。 自適應(yīng)線性元模型數(shù)學(xué)描述 ? 連接權(quán)值 – 與輸入向量 Xk相對(duì)應(yīng)有一 權(quán)值向量 : Wk=(w0k， w1k， w2k， …， wnk)T – 其中 Wk每一元素與輸入向量 Xk中的每一元素相對(duì)應(yīng) 。 自適應(yīng)線性元模型結(jié)構(gòu) 自適應(yīng)線性元模型數(shù)學(xué)描述 ? 輸入 – 該模型是一自適應(yīng)閾值邏輯單元。 }0,22{ 11 ???????? dX }1,21{ 22 ????????? dX }0,22{ 33 ????????? dX }1,01{ 44 ????????? dXx1 w1 y ? ? x2 w2 f n 0 1 ii xydw )( ??? ?第三節(jié) 自適應(yīng)線性元模型 ? 自適應(yīng)線性元件于 1961年由美國(guó)的 Widrow教授提出。11 ???? ?w例子二 ? 用兩層感知器實(shí)現(xiàn)異或運(yùn)算。1。1。 例子一 ? 用單層感知器實(shí)現(xiàn)簡(jiǎn)單邏輯運(yùn)算。 多層感知器性能等價(jià)問(wèn)題 ? 第 一層中的神經(jīng)元 就像一單層感知 器 ，所形成 的凸 區(qū)域 的邊數(shù)最多 和第 一層神經(jīng)元個(gè)數(shù)一樣 多。 多層感知器的結(jié)構(gòu) 輸入層 隱含層 輸出層 多層感知器的分類能力 ? 一個(gè) 單層感知 器 構(gòu)成 一個(gè)半平面判定區(qū)域 ， 一個(gè)兩層感知 器可以 構(gòu)成 任意 無(wú)邊界 的 空間區(qū)域 ， 這些判定區(qū)域 有 的 是 凸多邊形 ，有 的 是無(wú) 邊界 的凹 區(qū)域 。 第二節(jié) 多層感知器 多層感知器簡(jiǎn)介 ? 多層感知 器 （ Multilayer Perceptron） 是 一種 在 輸入 層與輸出 層 之間含有一層 或多層 隱含神經(jīng)元 的 具有 正向 傳播機(jī)制 的神經(jīng)網(wǎng)絡(luò) 模型 。 感知器的學(xué)習(xí) 解：第一步 輸入 X1， 得 WT(0)X1=(,1,1,0)(1,1,2,0)T= o1(0)=sgn()=1 W(1)= W(0)+η [d1 o1(0)] X1 =(,1,1,0)T+(11)(1,1,2,0)T =(,0)T 感知器的學(xué)習(xí) 第二步 輸入 X2，得 WT(1)X2=(,0)(1,0,)T= o2(1)=sgn()=1 W(2)= W(1)+η [d2 o2(1)] X2 =(,0)T+[1(1)](1,0,)T =(,0)T 由于 d2= o2(1)，所以 W(2)= W(1)。給定 3對(duì)訓(xùn)練樣本對(duì)如下： X1 = (1， 1， 2， 0)T d1 =?1 X2 = (1， 0， ， )T d2 = ? 1 X3 = (1， 1， 1， )T d3 =1 設(shè)初始權(quán)向量 W(0)=(,1,1,0)T， η =。條件符合，結(jié)束；否則轉(zhuǎn) 2。 ： : 2，直到這次迭代完所給定的所有輸入樣本。 感知器的學(xué)習(xí)規(guī)則的訓(xùn)練步驟 ：權(quán)值初始化為一個(gè)較小的隨機(jī)非零值。感知器學(xué)習(xí)規(guī)則代表一種有導(dǎo)師學(xué)習(xí)。 否則 判定邊界 就會(huì)振蕩不休 ， 永遠(yuǎn)不會(huì)穩(wěn)定 ， 這也正是單層感知器所無(wú)法克服的缺陷 ， 所以它連最簡(jiǎn)單的異或 （ XOR） 問(wèn)題也解決不了 。 x2 oj x1 x3 1 感知器的功能 w1j
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1