神經(jīng)網(wǎng)絡(luò)基本理論(1)-展示頁
2025-06-04 18:04本頁面
【正文】 散單輸出感知器訓(xùn)練算法 1. 初始化權(quán)向量 W； 2. 重復(fù)下列過程 ， 直到訓(xùn)練完成： 對每個(gè)樣本 （ X， Y） ， 重復(fù)如下過程： 輸入 X； 計(jì)算 o=F（ XW） ； 如果輸出不正確 ， 則 當(dāng) o=0時(shí) ， 取 W=W+X， 當(dāng) o=1時(shí) ， 取 W=WX Beijing University of Posts and Telemunications. 12 離散多輸出感知器訓(xùn)練算法 ?樣本集： {(X,Y)|Y為輸入向量 X對應(yīng)的輸出 } ?輸入向量： X=(x1,x2,… ,xn) ?理想輸出向量： Y=(y1,y2,… ,ym) ?激活函數(shù)： F ?權(quán)矩陣 W=(wij) ?實(shí)際輸出向量： O=(o1,o2,… ,om) o1 多輸出感知器 x1 x2 o2 om xn … … … … 輸入層 輸出層 Beijing University of Posts and Telemunications. 13 離散多輸出感知器訓(xùn)練算法 W； ， 直到訓(xùn)練完成： 對每個(gè)樣本 （ X， Y） ， 重復(fù)如下過程： 輸入 X； 計(jì)算 O=F（ XW） ； for j=1 to m do 執(zhí)行如下操作： if oj ≠ yj then if oi = 0 then for i = 1 to n wij=wij+xi else for i= 1 to n do wij=wijxi Beijing University of Posts and Telemunications. 14 離散多輸出感知器訓(xùn)練算法 ?算法思想 ：將單輸出感知器的處理逐個(gè)地用于多輸出感知器輸出層的每一個(gè)神經(jīng)元的處理 。 ? 感知器的訓(xùn)練算法的基本原理來源于著名的Hebb學(xué)習(xí)律。 ?它的權(quán)系 W可變，這樣它就可以學(xué)習(xí)。 Beijing University of Posts and Telemunications. 8 感知器模型 感知器 (Perceptron)是由美國學(xué)者 1957年提出的，它是一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成。 （ 5） 便于集成實(shí)現(xiàn)和計(jì)算模擬。 信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲按內(nèi)容分布于許多神經(jīng)元中，而且每個(gè)神經(jīng)元存儲多種信息的部分內(nèi)容。 網(wǎng)絡(luò)的各單元可以同時(shí)進(jìn)行類似的處理過程，整個(gè)網(wǎng)絡(luò)的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。 神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強(qiáng)度具有可塑性，網(wǎng)絡(luò)可以通過學(xué)習(xí)與訓(xùn)練進(jìn)行自組織，以適應(yīng)不同信息處理的要求。 任意的連續(xù)非線性函數(shù)映射關(guān)系可由多層神經(jīng)網(wǎng)絡(luò)以任意精度加以逼近。 Beijing University of Posts and Telemunications. 4 人工神經(jīng)元模型 常用的激發(fā)函數(shù) f 的種類 ： 1）閾值型函數(shù) ??????0x00x1f(x )???????0x10x1f ( x )Beijing University of Posts and Telemunications. 5 人工神經(jīng)元模型 2）飽和型函數(shù) ?????????????????k1x1k1xk1kxk1x1f ( x)3）雙曲函數(shù) a r c t a n ( x )f ( x ) ?Beijing University of Posts and Telemunications. 6 人工神經(jīng)元模型 4） S型函數(shù) 0β,β x )e x p (1 1f ( x ) ????5）高斯函數(shù) )bxe x p (f ( x ) 22??Beijing University of Posts and Telemunications. 7 神經(jīng)網(wǎng)絡(luò)的定義和特點(diǎn) 神經(jīng)網(wǎng)絡(luò)系統(tǒng)是由大量的神經(jīng)元，通過廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。)為激發(fā)函數(shù)， θ為閾值。兩種電位進(jìn)行累加，若代數(shù)和超過某個(gè)閾值，神經(jīng)元將產(chǎn)生沖動(dòng)。第四章 神經(jīng)網(wǎng)絡(luò)基本理論 Beijing University of Posts and Telemunications. 2 人工神經(jīng)元模型 人工神經(jīng)元是對人或其它生物的神經(jīng)元細(xì)胞的若干基本特性的抽象和模擬。 ?生物神經(jīng)元模型 生物神經(jīng)元主要由細(xì)胞體、樹突和軸突組成，樹突和軸突負(fù)責(zé)傳入和傳出信息，興奮性的沖動(dòng)沿樹突抵達(dá)細(xì)胞體，在細(xì)胞膜上累積形成興奮性電位；相反，抑制性沖動(dòng)到達(dá)細(xì)胞膜則形成抑制性電位。 Beijing University of Posts and Telemunications. 3 人工神經(jīng)元模型 ?人工神經(jīng)元模型 模仿生物神經(jīng)元產(chǎn)生沖動(dòng)的過程，可以建立一個(gè)典型的人工神經(jīng)元數(shù)學(xué)模型 [x1,…, xn]T為輸入向量， y為輸出， f( Wi為神經(jīng)元與其它神經(jīng)元的連接強(qiáng)度，也稱權(quán)值。 ? 定義 ? 特點(diǎn) （ 1） 非線性映射逼近能力。 （ 2） 自適應(yīng)性和自組織性 。 （ 3） 并行處理性。 （ 4） 分布存儲和容錯(cuò)性。網(wǎng)絡(luò)的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復(fù)，因而使網(wǎng)絡(luò)具有容錯(cuò)性和聯(lián)想記憶功能。 神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實(shí)現(xiàn)。 ? 激發(fā)函數(shù)為閾值型函數(shù)，當(dāng)其輸入的加權(quán)和大于或等于閾值時(shí)，輸出為 1，否則為 0或 1。 ?感知器的結(jié)構(gòu) Beijing University of Posts and Telemunications. 9 感知器的學(xué)習(xí)算法 ? 感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí) 。 ? 基本思想：逐步地將樣本集中的樣本輸入到網(wǎng)絡(luò)中 ,根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣。 ?第 1步， 權(quán)矩陣的初始化 ：一系列小偽隨機(jī)數(shù)。 ?方法 1：循環(huán)次數(shù)控制法 ：對樣本集執(zhí)行規(guī)定次數(shù)的迭代 ?改進(jìn) ——分階段迭代控制：設(shè)定一個(gè)基本的迭代次數(shù) N， 每當(dāng)訓(xùn)練完成 N次迭代后 ， 就給出一個(gè)中間結(jié)果 Beijing University of Posts and Telemunications. 16 離散多輸出感知器訓(xùn)練算法 ?方法 2：精度控制法： 給定一個(gè)精度控制參數(shù) ?精度度量：實(shí)際輸出向量與理想輸出向量的對應(yīng)分量的差的絕對值之和； ?實(shí)際輸出向量與理想輸出向量的歐氏距離的和 。 Beijing University of Posts and Telemunications. 17 離散多輸出感知器訓(xùn)練算法 ?方法 3： 綜合控制法： 將這兩種方法結(jié)合起來使用 ?注意：精度參數(shù)的設(shè)置。 Beijing University of Posts and Telemunications. 18 連續(xù)多輸出感知器訓(xùn)練算法 ?用公式 wij=wij+α（ yjoj） xi取代了算法 32 第
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1