【文章內(nèi)容簡介】 十二頁，共六十三頁。,（2）局部(jb249。)互連型網(wǎng)絡(luò),（3）稀疏連接(li225。njiē)型網(wǎng)絡(luò) 節(jié)點只與少數(shù)相距較遠(yuǎn)的節(jié)點相連。,每個節(jié)點只與其(yǔq237。)鄰近的節(jié)點有連接。,第三十三頁，共六十三頁。,2.4.2網(wǎng)絡(luò)信息流向類型 從神經(jīng)網(wǎng)絡(luò)內(nèi)部信息傳遞方向來分，可分為兩種類型：前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。 1 前饋型網(wǎng)絡(luò) 單純(dānchn)前饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點前述的分層網(wǎng)絡(luò)完全相同，,前饋是因網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出(shūchū)層逐層進行而得名。,從信息處理能力看，網(wǎng)絡(luò)中的節(jié)點可分兩種：一種是輸入節(jié)點，只負(fù)責(zé)從外界引入信息后向前傳遞(chu225。nd236。)給第一隱層；另一種是具有處理能力的節(jié)點，包括各隱層和輸出層節(jié)點。,前饋型網(wǎng)絡(luò)中一層的輸出是下一層的輸人，信息的處理具有逐層傳遞進行的方向性，一般不存在反饋環(huán)路。因此這類網(wǎng)絡(luò)很容易串聯(lián)起來建立多層前饋網(wǎng)絡(luò)。,第三十四頁，共六十三頁。,前饋(向)網(wǎng)絡(luò)特點: (1)層次關(guān)系清楚 每個神經(jīng)元只與前一層神經(jīng)元相連。隱層可多層. (2)反饋關(guān)系 基本前饋網(wǎng)絡(luò)無反饋關(guān)系。 隱層自身互聯(lián),形成(x237。ngch233。ng)同層神經(jīng)元之間橫向抑制機制,大多自組織競爭型網(wǎng)絡(luò)都采用此種。 輸出到輸入層有反饋.對復(fù)雜圖形的順序選擇和識別字符需要此類網(wǎng)絡(luò)。 (3)屬有導(dǎo)師學(xué)習(xí)型網(wǎng)絡(luò)(輸出值教師信號誤差實現(xiàn)權(quán)值自適應(yīng)) (4)屬于非線性映射網(wǎng)絡(luò),第三十五頁，共六十三頁。,當(dāng)提到具有(j249。yǒu)單層計算神經(jīng)元的網(wǎng)絡(luò)時，指的應(yīng)是一個兩層前饋網(wǎng)絡(luò)（輸入層和輸出層），當(dāng)提到具有(j249。yǒu)單隱層的網(wǎng)絡(luò)時，指的應(yīng)是一個三層前饋網(wǎng)絡(luò)（輸入層、隱層和輸出層）。,2 反饋型網(wǎng)絡(luò) 反饋網(wǎng)絡(luò)是指其信息流向的特點。在反饋網(wǎng)絡(luò)中所有節(jié)點都具有信息處理功能，而且每個節(jié)點既可以從外界(w224。iji232。)接受輸入，同時又可以向外界(w224。iji232。)輸出。,一般來說:互連型網(wǎng)絡(luò)結(jié)構(gòu) 屬于反饋(fǎnku236。)型網(wǎng)絡(luò),第三十六頁，共六十三頁。,上面介紹的分類方法、結(jié)構(gòu)形式和信息流向只是對目前常見的網(wǎng)絡(luò)結(jié)構(gòu)的概括和抽象。實際(sh237。j236。)應(yīng)用的神經(jīng)網(wǎng)絡(luò)可能同時兼有其中一種或幾種形式。,例如，從連接形式看，層次(c233。ngc236。)型網(wǎng)絡(luò)中可能出現(xiàn)局部的互連；從信息流向看，前饋網(wǎng)絡(luò)中可能出現(xiàn)局部反饋。,綜合來看，前述的網(wǎng)絡(luò)模型可分別稱為：前饋層次型、前饋層內(nèi)互連型、輸入輸出有反饋(fǎnku236。)的前饋層次型反饋(fǎnku236。)全互連型和反饋(fǎnku236。)局部互連型。,反饋網(wǎng)絡(luò)特點: (1)反饋關(guān)系 全互聯(lián)網(wǎng)絡(luò)。局部互聯(lián)網(wǎng)絡(luò). (2)屬于無導(dǎo)師學(xué)習(xí)網(wǎng)絡(luò) (3)屬于非線性動力學(xué)系統(tǒng)網(wǎng)絡(luò),第三十七頁，共六十三頁。,前饋層次(c233。ngc236。)型,前饋層內(nèi)互連型,輸入輸出有反饋(fǎnku236。)的前饋層次型,反饋(fǎnku236。)全互連型,反饋局部互連型,神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是決定神經(jīng)網(wǎng)絡(luò)特性的第二大要素。,第三十八頁，共六十三頁。,神經(jīng)網(wǎng)絡(luò)的開發(fā)工作分兩個階段: 學(xué)習(xí)階段(期):也稱自適應(yīng)期或設(shè)計期,通過學(xué)習(xí)樣本(y224。ngběn)或其他方法訓(xùn)練權(quán)矩陣。 工作階段(期):各連接權(quán)成熟(不再改變),求解實際問題,單元狀態(tài)變遷,以求達到穩(wěn)態(tài)解.,第三十九頁，共六十三頁。,人工神經(jīng)網(wǎng)絡(luò)連接(li225。njiē)權(quán)的確定通常有兩種方法 根據(jù)具體要求，直接計算，如Hopfield網(wǎng)絡(luò)作優(yōu)化計算 通過學(xué)習(xí)得到的。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采用這種方法,學(xué)習(xí)是改變各神經(jīng)元連接權(quán)值的有效方法，也是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性最主要的標(biāo)志(biāozh236。)。離開了學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)就失去了誘人的自適應(yīng)、自組織能力,學(xué)習(xí)方法(fāngfǎ)是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題,2.5人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí),第四十頁，共六十三頁。,人類具有學(xué)習(xí)能力,人類的知識和智慧是在不斷的學(xué)習(xí)與實踐中逐漸形成和發(fā)展起來的。學(xué)習(xí)可定義為：“根據(jù)與環(huán)境的相互作用而發(fā)生的行為改變，其結(jié)果導(dǎo)致對外界刺激產(chǎn)生(chǎnshēng)反應(yīng)的新模式的建立”。,學(xué)習(xí)過程離不開訓(xùn)練,學(xué)習(xí)過程就是一種經(jīng)過訓(xùn)練而使個體在行為上產(chǎn)生較為持久改變的過程.例如,游泳等體育技能的學(xué)習(xí)需要反復(fù)的訓(xùn)練才能提高(t237。 gāo),數(shù)學(xué)等理論知識的掌握需要通過大量的習(xí)題進行練習(xí).一般來說,學(xué)習(xí)效果隨著訓(xùn)練量的增加而提高,這就是學(xué)習(xí)的進步.,網(wǎng)絡(luò)的運行一般分為學(xué)習(xí)（訓(xùn)練）和工作兩個階段。學(xué)習(xí)的目的是為了從訓(xùn)練數(shù)據(jù)(sh249。j249。)中提取隱含的知識和規(guī)律，并存儲于網(wǎng)絡(luò)中供工作階段使用。,第四十一頁，共六十三頁。,學(xué)習(xí)的神經(jīng)機制,涉及神經(jīng)元如何分布、處理和存儲信息等。這樣的問題單用行為研究是不能回答的，必須把研究深入到細(xì)胞和分子水平。每一種心理功能，如記憶與思想，均歸因于神經(jīng)細(xì)胞組群的活動。大腦中，功能性的神經(jīng)元連接(li225。njiē)、突觸的形成是關(guān)鍵，醫(yī)學(xué)研究表明：神經(jīng)元之間的突觸聯(lián)系，其基本部分是先天就有的，但其他部分是由于學(xué)習(xí)過程中頻繁地給予刺激而成長起來的。突觸的形成、穩(wěn)定與修飾等均與刺激有關(guān)，隨外界給予的刺激性質(zhì)不同，能形成和改變神經(jīng)元的突觸聯(lián)系。,神經(jīng)網(wǎng)絡(luò)的全體連接權(quán)值可用一個(yī ɡ232。)矩陣W表示，其整體內(nèi)容反映了神經(jīng)網(wǎng)絡(luò)對于所解決問題的知識存儲，神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是對可變權(quán)值的動態(tài)調(diào)整。,第四十二頁，共六十三頁。,把修正權(quán)值的算法稱為學(xué)習(xí)規(guī)則（學(xué)習(xí)算法等）。對單個處理單元，無論采用哪種學(xué)習(xí)規(guī)則進行調(diào)整，其算法都十分簡單。但當(dāng)大量處理單元集體進行權(quán)值調(diào)整時，網(wǎng)絡(luò)就呈現(xiàn)出“智能”特性，其中(q237。zhōng)有意義的信息就分布地存儲在調(diào)整后的權(quán)值矩陣W中。,神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能是其最主要的特征之一,各種學(xué)習(xí)算法的研究在ANN理論與實踐發(fā)展(fāzhǎn)過程中起著重要作用.,人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和計算機的機器學(xué)習(xí)有類似的分類，一類有導(dǎo)師學(xué)習(xí)(從例子中學(xué)習(xí))，一類無導(dǎo)師學(xué)習(xí),還有一類為死記式學(xué)習(xí)。在ANN中，學(xué)習(xí)規(guī)則是修正權(quán)的一個算法，以獲得滿意的系統(tǒng)(x236。tǒng)性能。 現(xiàn)有的學(xué)習(xí)規(guī)則大體上可分為以下幾類：,第四十三頁，共六十三頁。,（1）有導(dǎo)師學(xué)習(xí)規(guī)則(糾錯規(guī)則) 依賴關(guān)于輸出節(jié)點的外部反饋來改變權(quán)系數(shù)，使實際結(jié)點的輸出與外部的期望輸出相一致,即有導(dǎo)師學(xué)習(xí)規(guī)則。從方法上看，基于或等效于梯度下降方法，通過在局部最大改善的方向上，按照小步逐次進行修正，力圖達到表示函數(shù)功能(gōngn233。ng)問題的全局解，但不能保證得到全局最優(yōu)解，同時還要求有大量的訓(xùn)練樣本，因而收斂速度變慢。此外，這種規(guī)則對樣本的表示次序變化比較敏感。,（2）無導(dǎo)師學(xué)習(xí)規(guī)則 學(xué)習(xí)表現(xiàn)為自適應(yīng)于輸入空