生物神經(jīng)元ppt課件(已改無錯(cuò)字)
2023-02-08 05:11:56 本頁面
【正文】 結(jié)構(gòu)仍然不變。 連續(xù)多輸出感知器訓(xùn)練算法 用適當(dāng)?shù)男坞S機(jī)數(shù)初始化權(quán)向量 W。 、 d=0； 、 for 每個(gè)樣本 (X,Y) do； 、輸入 X 設(shè)置精度控制參數(shù) ,學(xué)習(xí)率 、精度控制變量 d=1+ while d= do 、求 O=F(XW) 、修改權(quán)矩陣 W for i=1 to n, j=1 to m do wij= wij + (yjoj)xi 、累積誤差 for j=1 to m do d=d+(yjoj)2 “異或”運(yùn)算真值表 “異或”運(yùn)算是計(jì)算機(jī)領(lǐng)域最基本的運(yùn)算： g(x,y) 運(yùn)算對象 y 運(yùn)算對象 x 0 1 0 0 0 1 1 1 異或運(yùn)算的真值表 1 o 1 y w1x+w2y= 0 if x=y “異或”運(yùn)算的定義： g(x,y)= 即 g(x,y)=xy xy 1 其他 感知器無法實(shí)現(xiàn)“異或”運(yùn)算 如果要實(shí)現(xiàn)“異或”運(yùn)算則 w1+w2 =0 0+0 =0 W1+0 0 0+w2 0 顯然，上述方程無解 線性不可分問題的克服 增加網(wǎng)絡(luò)的層數(shù)可以解決感知器線性不可分的問題 多層網(wǎng)絡(luò)權(quán)重確定的難題 理想輸出與實(shí)際輸出之差被直接用來估計(jì)直接達(dá)到該 神經(jīng)元的聯(lián)結(jié)的權(quán)重的誤差。為了解決線性不可分問題 而引入的多級網(wǎng)絡(luò)后，如何估計(jì)網(wǎng)絡(luò)隱藏的神經(jīng)元的誤 差就成了難題。因?yàn)樵趯?shí)際應(yīng)用中，無法知道隱藏層任 何神經(jīng)元的理想輸出值。 BP算法的基本思想 BP(Back Propagation)算法利用輸出層的誤差來估計(jì)輸出層 的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差， 如此下去，就獲得了所有其他各層的誤差估計(jì)。（ 1986提出） BP(Back Propagation)算法又稱為向后傳播算法。 使用 BP算法進(jìn)行學(xué)習(xí)的多級非循環(huán)網(wǎng)絡(luò)稱為 BP網(wǎng)絡(luò)。 BP算法的基本特征和意義 BP算法是非循環(huán)多級網(wǎng)絡(luò)的訓(xùn)練算法。 BP算法的收斂速度非常慢，在高維曲面上局部極小點(diǎn)逃離。 BP算法的出現(xiàn)結(jié)束了多級神經(jīng)網(wǎng)絡(luò)沒有訓(xùn)練算法的歷史，對 神經(jīng)網(wǎng)絡(luò)的第二次高潮的到來起到很大的作用。 BP算法具有廣泛的適用性。 BP網(wǎng)絡(luò)的構(gòu)成 —神經(jīng)元 X=(x1 , x2 , … , x n) W=(w1, w2, …, w n) =?xiwi =XW 神經(jīng)元網(wǎng)絡(luò)輸入： x1 x2 xn =XW w1 w2 wn ? BP網(wǎng)絡(luò)的構(gòu)成 —神經(jīng)元的激勵(lì)函數(shù) 按照算法要求，神經(jīng)元的激勵(lì)函數(shù)必須是處處可導(dǎo)的 通常取 S型函數(shù)：
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1