神經(jīng)網(wǎng)絡(luò)建模ppt課件(編輯修改稿)
2025-02-01 15:32 本頁面
【文章內(nèi)容簡介】 網(wǎng)絡(luò) 、 概述 ? BP網(wǎng)絡(luò)是采用 WidrowHoff學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò) 。 一個典型的 BP網(wǎng)絡(luò)采用的是梯度下降算法 ， 也就是 WidrowHoff算法所規(guī)定的 。 backpropagation就是指的為非線性多層網(wǎng)絡(luò)計算梯度的方法 。 現(xiàn)在有許多基本的優(yōu)化算法 ， 例如變尺度算法和牛頓算法 。 神經(jīng)網(wǎng)絡(luò)工具箱提供了許多這樣的算法 。 ? 一個經(jīng)過訓(xùn)練的 BP網(wǎng)絡(luò)能夠根據(jù)輸入給出合適的結(jié)果 ，雖然這個輸入并沒有被訓(xùn)練過 。 這個特性使得 BP網(wǎng)絡(luò)很適合采用輸入 /目標(biāo)對進(jìn)行訓(xùn)練 ， 而且并不需要把所有可能的輸入 /目標(biāo)對都訓(xùn)練過 。 為了提高網(wǎng)絡(luò)的適用性 ， 神經(jīng)網(wǎng)絡(luò)工具箱提供了兩個特性 規(guī)則化和早期停止 。 、 基礎(chǔ) 網(wǎng)絡(luò)結(jié)構(gòu) 1） 常用的前饋型 BP網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)有 logsig， tansig有時也會用到線性函數(shù) purelin。當(dāng)網(wǎng)絡(luò)的最后一層采用曲線函數(shù)時輸出被限制在一個很小的范圍內(nèi)，如果采用線性函數(shù)則輸出可為任意值。如果需要也可以創(chuàng)建其他可微的轉(zhuǎn)移函數(shù)。 2） 在 BP網(wǎng)絡(luò)中，轉(zhuǎn)移函數(shù)可求導(dǎo)是非常重要的，tansig、 logsig和 purelin都有對應(yīng)的導(dǎo)函數(shù) dtansig、dlogsig和 dpurelin。為了得到更多轉(zhuǎn)移函數(shù)的導(dǎo)函數(shù) ,可以輸入 tansig(‘deriv’) ans = dtansig 網(wǎng)絡(luò)構(gòu)建和初始化 訓(xùn)練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對象。 函數(shù) newff建立一個可訓(xùn)練的前饋網(wǎng)絡(luò)。 = newff(PR,[S1 S2...SNl],{TF1 TF2...TFNl},BTF,BLF,PF) 這里需要 4個輸入?yún)?shù)。 第一個參數(shù)是一個 RxS1的矩陣以定義 R個輸入向量的最小值 和最大值。 第二個參數(shù)是一個每層神經(jīng)元個數(shù)的數(shù)組。 第三個參數(shù)是包含每層用到的轉(zhuǎn)移函數(shù)名稱的細(xì)胞數(shù)組。 最后一個參數(shù)是用到的訓(xùn)練函數(shù)的名稱。 例、創(chuàng)建一個二層網(wǎng)絡(luò) 它的輸入是兩個元素的向量，第一層有四個神經(jīng)元，第二層有三個神 經(jīng)元。第一層的轉(zhuǎn)移函數(shù)是 tansigmoid，輸出層的轉(zhuǎn)移函數(shù)是 linear。 輸入向量的第一個元素的范圍是 1到 2，輸入向量的第二個元素的范 圍是 0到 5，訓(xùn)練函數(shù)是 traingd。 =newff([1 2。 0 5],[4,3],{‘tansig’,‘purelin’},‘traingd’)。 這個命令建立了網(wǎng)絡(luò)對象并且初始化了網(wǎng)絡(luò)權(quán)重和偏置，因此網(wǎng)絡(luò)就可以進(jìn)行訓(xùn)練了。 在訓(xùn)練前饋網(wǎng)絡(luò)之前，權(quán)重和偏置必須被初始化。初始化權(quán)重和偏置的工作用命令 init來實(shí)現(xiàn)。 = init()。 對前饋網(wǎng)絡(luò)來說，有兩種不同的初始化方式經(jīng)常被用到：initwb和 initnw。 1） initwb函數(shù)根據(jù)每一層自己的初始化參數(shù)({i,j}.initF)初始化權(quán)重矩陣和偏置。前饋網(wǎng)絡(luò)的初始化權(quán)重通常設(shè)為 rands，它使權(quán)重在 1到 1之間隨機(jī)取值值，這種方式經(jīng)常用在轉(zhuǎn)換函數(shù)是線性函數(shù)時。 2） initnw通常用于轉(zhuǎn)換函數(shù)是曲線函數(shù)。它根據(jù) Nguyen和Widrow[NgWi90]為層產(chǎn)生初始權(quán)重和偏置值，使得每層神經(jīng)元的活動區(qū)域能大致平坦的分布在輸入空間。它比起單純的給權(quán)重和偏置隨機(jī)賦值有以下優(yōu)點(diǎn)：（ 1）減少神經(jīng)元的浪費(fèi)（因?yàn)樗猩窠?jīng)元的活動區(qū)域都在輸入空間內(nèi)）。（ 2）有更快的訓(xùn)練速度（因?yàn)檩斎肟臻g的每個區(qū)域都在活動的神經(jīng)元范圍中）。 ? 初始化函數(shù)被 newff所調(diào)用。因此當(dāng)網(wǎng)絡(luò)創(chuàng)建 時，它根據(jù)缺省的參數(shù)自動初始化。 ? init不需要單獨(dú)的調(diào)用。可是我們可能要重新初始化權(quán)重和偏置或者進(jìn)行自定義的初始化。例如，我們用newff創(chuàng)建的網(wǎng)絡(luò)，它缺省用 initnw來初始化第一層。如果我們想要用 rands重新初始化第一層的權(quán)重和偏置，我們用以下命令： {1}.initF = 39。initwb39。 {1,1}.initF = 39。rands39。 {1,1}.initF = 39。rands39。 {2,1}.initF = 39。rands39。 = init()。 網(wǎng)絡(luò)模擬 (SIM) 用函數(shù) sim 模擬一個網(wǎng)絡(luò)。 sim 接收網(wǎng)絡(luò)輸入 p，網(wǎng)絡(luò)對象 ，返回網(wǎng)絡(luò)輸出 a，這里是 simuff用來模擬上面建立的帶一個輸入向量的網(wǎng)絡(luò)。 p = [1。2]。 a = sim(,p) a = (用這段代碼得到的輸出是不一樣的，這是因?yàn)榫W(wǎng)絡(luò)初始化是隨機(jī)的。 ) 例、調(diào)用 sim來計算一個同步輸入 3向量網(wǎng)絡(luò)的輸出： p = [1 3 2。2 4 1]。 a=sim(,p) a = 網(wǎng)絡(luò)訓(xùn)練 一旦網(wǎng)絡(luò)加權(quán)和偏差被初始化，網(wǎng)絡(luò)就可以開始訓(xùn)練了。我們能夠訓(xùn)練網(wǎng)絡(luò)來做函數(shù)近似（非線性后退），模式結(jié)合，或者模式分類。訓(xùn)練處理需要一套適當(dāng)?shù)木W(wǎng)絡(luò)操作的例子 網(wǎng)絡(luò)輸入 p和目標(biāo)輸出 t。在訓(xùn)練期間網(wǎng)絡(luò)的加權(quán)和偏差不斷的把網(wǎng)絡(luò)性能函數(shù) 到最
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1