【正文】 的計(jì)算能力 ● 數(shù)學(xué)的近似映射；識(shí)別和分類這些計(jì)算都可以抽象成一種近似的數(shù)學(xué)映射 。 ● 概率密度函數(shù)的估計(jì)：通過自組織的方式 ， 開發(fā)尋找出一組等概率 “ 錨點(diǎn) ” ， 來響應(yīng)在空間只 “ 中按照一個(gè)確定概率密度函數(shù)選擇到的一組矢量樣本 。 ● 從二進(jìn)制數(shù)據(jù)基中提取相關(guān)的知識(shí)：這種計(jì)算是形成一種知識(shí)的聚類模型 ， 這些知識(shí) 依照數(shù)據(jù)基的自組織在它們之間有某種統(tǒng)計(jì)上的共性 ， 并依此來響應(yīng)輸入的數(shù)據(jù)基記錄 。 ● 形成拓?fù)溥B續(xù)及統(tǒng)計(jì)意義上的同構(gòu)映射：它是對(duì)固定概率密度函數(shù)選擇的適應(yīng)輸入數(shù)據(jù)的一種自組織映射 ， 其最終使得數(shù)據(jù)空間上的不同項(xiàng)有某種同構(gòu) 。 ● 最近相鄰模式分類：通過比較大量的存貯數(shù)據(jù)來進(jìn)行模式分類 ， 但首先應(yīng)通過學(xué)習(xí)樣本模式進(jìn)行分類 。 絕大多數(shù)的神經(jīng)網(wǎng)絡(luò)模型均能進(jìn)行這種計(jì)算 。 ● 數(shù)據(jù)聚類：采用自組織的方法形成所選擇的 “ 顆粒 ”或模式的聚類 ， 以此來響應(yīng)輸人數(shù)據(jù) 。 對(duì)于任何新的目標(biāo) ， 只要系統(tǒng)中沒有對(duì)其提供聚類 ， 都要形成新的聚類 。 ART 模型最適合于這種計(jì)算 。Hopfield模型 、 玻爾茲曼機(jī)模型 (BM)有能力進(jìn)行這種計(jì)算 。 技術(shù)發(fā)達(dá)國家和集團(tuán)推行了一系列有關(guān)的重要研究計(jì)劃 、 投資總額在數(shù)億美元 ， 出現(xiàn)了一批神經(jīng)網(wǎng)絡(luò)企業(yè)和在眾多領(lǐng)域中的應(yīng)用產(chǎn)品 。 在前幾年的熱浪過去之后 ， 當(dāng)前對(duì)于神經(jīng)網(wǎng)絡(luò)的研究正在轉(zhuǎn)入穩(wěn)定 、 但發(fā)展步伐依然是極其迅速的時(shí)期 。 在頭腦冷靜下來之后 ， 可以看到 ， 盡管神經(jīng)網(wǎng)絡(luò)所能做的事情比當(dāng)初一些狂熱鼓吹者所設(shè)想的要少 ， 但肯定比那些悲觀論者要多得多 。 當(dāng)前對(duì)神經(jīng)網(wǎng)絡(luò)的研究目標(biāo) ， 就是從理論上和實(shí)踐上探討一種規(guī)模上可控的系統(tǒng) ， 它的復(fù)雜程度雖然遠(yuǎn)比不上大腦 ， 但又具有類似大腦的某些性質(zhì) ， 這種性質(zhì)如果用常規(guī)手段則難以實(shí)現(xiàn) 。 雖然對(duì)腦工作機(jī)理的理解十分重要 ， 但這種理解是一個(gè)相當(dāng)長(zhǎng)期的過程 。 (2)神經(jīng)網(wǎng)絡(luò)的研究 ， 不僅其本身正在向綜合性發(fā)展 ， 而且愈來愈與其他領(lǐng)域密切結(jié)合起來 ， 發(fā)展出性能更強(qiáng)的結(jié)構(gòu) 。 1991年美國 ward System Group公司推出的軟件產(chǎn)品 Neuro windows(Brain—1)是這方面的典型代表 。 據(jù)稱這是近年來神經(jīng)網(wǎng)絡(luò)發(fā)展方面的一個(gè)躍進(jìn) 。 神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)人工智能方法相結(jié)合是近年來發(fā)展員快的一個(gè)方面 。 采用綜合方法可以取長(zhǎng)補(bǔ)短 ， 更好地發(fā)揮各自的特點(diǎn) 。 最近所出現(xiàn)的把神經(jīng)網(wǎng)絡(luò)與人工智能系統(tǒng)結(jié)合起來的方式大體可分為兩類 ， 一類是把人工智能系統(tǒng)作為神經(jīng)網(wǎng)絡(luò)的前端 ， 一類是把神經(jīng)網(wǎng)絡(luò)作為人工智能系統(tǒng)的前端 。 這方面的第一個(gè)商用系統(tǒng)是美國杜邦公司的LAM系統(tǒng) 。 目前正在建筑行業(yè)大力推廣 。 這種系統(tǒng)已在化工領(lǐng)域中得到應(yīng)用 ， 幫助用戶由所需化合物的性質(zhì)來確定化學(xué)公式 ， 或由公式產(chǎn)生出相應(yīng)的物理特性 ， 或由性質(zhì)產(chǎn)生出相應(yīng)的化合物 ． 等等 。 ，所表達(dá)的函數(shù)是“可以”求出的。 。 第 2章 人工神經(jīng)網(wǎng)絡(luò)基本模型 一 、 MP模型 MP模型屬于一種閾值元件模型 ， 它是由美國 Mc Culloch和 Pitts提出的最早神經(jīng)元模型 之一。 標(biāo)準(zhǔn) MP模型 ????njijjii vwu1?)( ii ufv ? wij ——代表神經(jīng)元 i與神經(jīng)元 j之間的連接強(qiáng)度(模擬生物神經(jīng)元之間突觸連接強(qiáng)度 )， 稱之為連接權(quán)； ui——代表神經(jīng)元 i的活躍值，即神經(jīng)元狀態(tài)； vj——代表神經(jīng)元 j的輸出，即是神經(jīng)元 i的一個(gè)輸入； θi——代表神經(jīng)元 i的閾值。在 MP模型中， f定義為階躍函數(shù)： ??????0,00,1iii uuv如果把閾值 θi看作為一個(gè)特殊的權(quán)值，則可改寫為 : 其中， w0i＝ θi， v0＝ 1 為用連續(xù)型的函數(shù)表達(dá)神經(jīng)元的非線性變換能力 ， 常采用 s型函數(shù) : 該函數(shù)的圖像如下圖所示 )(0jnjjii vwfv ???iui euf ???11)( MP模型在發(fā)表時(shí)并沒有給出一個(gè)學(xué)習(xí)算法來調(diào)整神經(jīng)元之間的連接權(quán) 。 下面介紹的 Hebb學(xué)習(xí)規(guī)則就是一個(gè)常見學(xué)習(xí)算法 。對(duì)于人工神經(jīng)網(wǎng)絡(luò)而言 ， 這種學(xué)習(xí)歸結(jié)為神經(jīng)元連接權(quán)的變化 。 α是表示學(xué)習(xí)速率的比例常數(shù) 。 1 簡(jiǎn)單感知器 簡(jiǎn)單感知器模型實(shí)際上仍然是 MP模型的結(jié)構(gòu) ， 但是它通過采用監(jiān)督學(xué)習(xí)來逐步增強(qiáng)模式劃分的能力 ， 達(dá)到所謂學(xué)習(xí)的目的 。 f取階躍函數(shù) . )(0??? ??iniii xwfv 感知器在形式上與 MP模型差不多，它們之間的區(qū)別在于神經(jīng)元間連接權(quán)的變化。 利用簡(jiǎn)單感知器可以實(shí)現(xiàn)邏輯代數(shù)中的一些運(yùn)算。當(dāng)取 w1＝ w2＝ 1， θ＝ ，上式完成邏輯“與”的運(yùn)算。 (3)“非 ” 運(yùn)算， 當(dāng)取 wl=1， w2＝ 0， θ ＝ 1時(shí)．完成邏輯“非”的運(yùn)算。 對(duì)于一個(gè)兩輸入的簡(jiǎn)單感知器 ， 每個(gè)輸入取值為 0和 1， 如上面結(jié)出的邏輯運(yùn)算 ， 所有輸入樣本有四個(gè) ， 記為 (x1， x2)： (0， 0)， (0， 1)， (1，0)， (1， 1)， 構(gòu)成了樣本輸入空間 。 直線 1*x1+1*x20． 5＝ 0 將二維平面分為兩部分 ， 上部為激發(fā)區(qū) (y，=1， 用 ★ 表示 )， 下部為抑制區(qū) (y＝ 0， 用☆ 表示 )。 該算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的一個(gè)重要算法 ， 并已被廣泛應(yīng)用 。 (2)計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期 望輸出的誤差 δ (3)如果 δ小于給定值，結(jié)束，否則繼續(xù)。 式中 η為在區(qū)間 (0， 1)上的一個(gè)常數(shù)，稱為學(xué)習(xí)步長(zhǎng)，它的取值與訓(xùn)練速度和 w收斂的穩(wěn)定性有關(guān)； d、 y為神經(jīng)元的期望輸出和實(shí)際輸出； xi為神經(jīng)元的第 i個(gè)輸入。 對(duì)于學(xué)習(xí)步長(zhǎng) V的取值一般是在 (0， 1)上的一個(gè)常數(shù)，但是為了改進(jìn)收斂速度，也可以采用變步長(zhǎng)的方法，這里介紹一個(gè)算法如下式： 式中， α為一個(gè)正的常量．這里取值為 。 ))()()((21 21??? ??? ??iii ttxtw同樣的方法，對(duì)其他輸入樣本都進(jìn)行學(xué)習(xí)。 初值 w1(7)＝ —0． 225． w2(7)＝ —0． 0875， θ(7)＝ —0． 1875。 感知器對(duì)線性不可分問題的局限性決定了它只有較差的歸納性，而且通常需要較長(zhǎng)的離線學(xué)習(xí)才能達(dá)到收效。 這里需指出的是：多層感知器只允許調(diào)節(jié)一層的連接權(quán)。 上述三層感知器中，有兩層連接權(quán)，輸入層與隱層單元間的權(quán)值是隨機(jī)設(shè)置的固定值，不被調(diào)節(jié)；輸出層與隱層間的連接權(quán)是可調(diào)節(jié)的。 可以證明，只要隱層和隱層單元數(shù)足夠多，多層感知器網(wǎng)絡(luò)可實(shí)現(xiàn)任何模式分類。 感知器收斂定理 對(duì)于一個(gè) N個(gè)輸入的感知器，如果樣本輸入函數(shù)是線性可分的，那么對(duì)任意給定的一個(gè)輸入樣本 x，要么屬于某一區(qū)域 F+，要么不屬于這一區(qū)域，記為 F—。 [定理 ] 如果樣本輸入函數(shù)是線性可分的，那么下面的感知器學(xué)習(xí)算法經(jīng)過有限次迭代后，可收斂到正確的權(quán)值或權(quán)向量。和一個(gè)較小的正數(shù) δ＞ 0，使得 w* 因此，感知器學(xué)習(xí)迭代次數(shù)是一有限數(shù)，經(jīng)過有限次迭代，學(xué)習(xí)算法可收斂到正確的權(quán)向量 w*。 [定理 ] 假定隱含層單元可以根據(jù)需要自由設(shè)置，那么用雙隱層的感知器可以實(shí)現(xiàn)任意的二值邏輯函數(shù) (證明略 )。