【文章內(nèi)容簡(jiǎn)介】 傳播算法分二步進(jìn)行，即正向傳播和反向傳播。這兩個(gè)過(guò)程的工作簡(jiǎn)述如下。 ① 正向傳播 輸入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。 ② 反向傳播 Z x 華東交通大學(xué)畢業(yè)設(shè)計(jì) 6 2 反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神 經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。 BP 算法的數(shù)學(xué)表達(dá) BP 算法實(shí)質(zhì)是求取誤差函數(shù)的最小值問(wèn)題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負(fù)梯度方向修改權(quán)系數(shù)。 為了說(shuō)明 BP 算法，首先定義誤差函數(shù) e。取期望輸出和實(shí)際輸出之差的平方和為誤差函數(shù)，則有： e=*∑ j (XimYi) (13) 其中： Yi 是輸出單元的期望值；它也在這里用作教師信號(hào)； Xim 是實(shí)際輸 出；因?yàn)榈趍 層是輸出層。 由于 BP 算法按誤差函數(shù) e 的負(fù)梯度方向修改權(quán)系數(shù)，故權(quán)系數(shù) Wij 的修改量 ΔWij，和e； ΔWij∝ ae/aWij (14) 也可寫(xiě)成： ΔWij∝ η ae/aWij (15) 其中：η為學(xué) 習(xí)速率，即步長(zhǎng)。 很明顯，根據(jù) BP 算法原則，求 ae/aWij 最關(guān)鍵的。下面求 ae/aWij；有 ae/aWij= (aek /auik) (auik/aWij) (16) 由于 auik/ aWij=a(∑ j Wij Xjk1)/aWij= Xjk1|i=j (17) 故而 ae/aWij=(aek/auik) Xjk1 (18) 從而有 ΔWij=η ae/aWij=η (ae/auik) Xjk1 (19) 令 dik=ae/auik (110) 則有學(xué)習(xí)公式： ΔWij=η dik Xjk1 (111) 其中： η 為學(xué)習(xí)速率，即步長(zhǎng)，一般取 01 間的數(shù)。從上面可知， dik實(shí)際仍末給出明顯的算法公式，下面求 dik的計(jì)算公式。 dik=ae/auik=(ae/aXik) (aXik/auik) (112) 從式 (12)可知在式 (112)中，有 aXik/auik= f ’ (uik) (113) 為了方便進(jìn)行求導(dǎo)，取 f 為連續(xù)函數(shù)。一般取非線性連續(xù)函數(shù)，例如 Sigmoid 函數(shù) 。當(dāng)取 f 為非對(duì)稱 Sigmoid 函數(shù)時(shí)，有： f ’ (uik)=1/(1+exp(uik)) 則有： f39。(Uik)=f39。(Uik)(1f(Uik)) =Xik(1Xik) (114) 再考慮式 (1— 12)中的偏微分項(xiàng) ae／ aXik，有兩種情況需考慮的：如果 k＝ m，則是輸出層，這時(shí)有 Yi 是輸出期望值，它是常數(shù)。從式 (113)有 ae/aXik=ae/aXim= XimYi (115) 從而有 ： dim = Xim (1 Xim)( Xim Yi) (116) 華東交通大學(xué)畢業(yè)設(shè)計(jì) 7 如果 km，則該層是隱層．這時(shí)應(yīng)考慮上一層對(duì)它的作用，故有： ae/aXik=∑ j (ae/aUik+1) (aUik+1/aXik) (117) 從式 (1— 10)中，可知有： ae/aUik+1 = dik+1 (118) 從式 (1— 2)中，可知有： aUik+1/aXik=a(∑ WijXik)/aXik=Wij|i=j (119) 故而有 ： ae/aXik=∑ j Wij dik+1 (120) 最后有： dik=Xik(1 Xik) ∑ j Wij dik+1 (121) 從上述過(guò)程可知：多層網(wǎng)絡(luò)的訓(xùn)練方法是把一個(gè)樣本加到輸入層，并根據(jù)向前傳播的規(guī)則： Xik=f(Uik) 不斷一層一層向輸出層傳遞，最終在輸出層可以得到輸出 Xim。把 Xim和期望輸出 Yi 進(jìn)行比較．如果兩者不等，則產(chǎn)生誤差信號(hào) e，接著則按下面公式反向傳播修改權(quán)系數(shù)： ΔWij=η dik Xjk1Uik=∑ j Wij Xik1 (122) 其中 dim = Xim (1 Xim)(Xim Yi)， dik = Xik(1 Xik)∑ j Wij dik+1 上面公式中，求取本層 dik時(shí)，要用到高一層的 dik+1；可見(jiàn)，誤差函數(shù)的求取是從輸出層開(kāi)始，到輸入層的反向傳播過(guò)程。在這個(gè)過(guò)程中不斷進(jìn)行遞歸求誤差。 通過(guò)多個(gè)樣本的反復(fù)訓(xùn)練，同時(shí)向誤差漸漸減小的方向?qū)?quán)系數(shù)進(jìn)行修正，以達(dá)最終消除誤差。從上面公式也可以知道， 如果網(wǎng)絡(luò)的層數(shù)較多時(shí)，所用的計(jì)算量就相當(dāng)可觀，故而收斂速度不快。為了加快收斂速度，一般考慮上一次的權(quán)系數(shù)，并以它作為本次修正的依據(jù)之一，故而有修正公式： ΔWij(t+1) = η dik Xjk1 +aΔWij(t) (123) 其中：η為學(xué)習(xí)速率，即步長(zhǎng)，η＝ 0． 1— 0． 4 左右，ɑ為權(quán)系數(shù)修正常數(shù)，取 0． 7— 0． 9左右。在上面，式 (1— 22)也稱為一般化的 Delta 法則。對(duì)于沒(méi)有隱層的神經(jīng)網(wǎng)絡(luò)，可取 ΔWij=η (YiXj) Xi (124) 其中：， Yi 為期望輸出； Xj 為輸出層的實(shí)際輸出； Xi 為輸入層的輸入。這顯然是一種十分簡(jiǎn)單的情況，式 (1— 24)也稱為簡(jiǎn)單 Delta 法則。在實(shí)際應(yīng)用中，只有一般化的 Delta 法則式 (1— 22)或式 (1— 23)才有意義。簡(jiǎn)單 Delta 法則式 (1— 24)只在理論推導(dǎo)上有用。 神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn) ?神經(jīng)網(wǎng)絡(luò)的主要優(yōu)點(diǎn)： ① 信息 處理的并行性 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)決定了其信號(hào)并行處理的特性。這種結(jié)構(gòu)本身所帶來(lái)的并行性特性是其他系統(tǒng)模型所可望不可及的。雖然目前已有一些神經(jīng)網(wǎng)絡(luò)硬件化的研究，有不少成果公布，但也還是實(shí)驗(yàn)室水平，沒(méi)有真正開(kāi)發(fā)成神經(jīng)網(wǎng)絡(luò)芯片。因此，大多數(shù)神經(jīng)網(wǎng)絡(luò)系統(tǒng)還是用華東交通大學(xué)畢業(yè)設(shè)計(jì) 8 計(jì)算機(jī)來(lái)仿真實(shí)現(xiàn)，事實(shí)上是使用串行來(lái)代替并行的。但是，可以相信隨著大規(guī)模集成電路技術(shù)的發(fā)展，不久的將來(lái)將會(huì)有神經(jīng)網(wǎng)絡(luò)芯片誕生，有真正的神經(jīng)網(wǎng)絡(luò)系統(tǒng)問(wèn)世。它們具有無(wú)可以擬的信號(hào)處理速度，為人類信息科學(xué)的進(jìn)步開(kāi)辟新的途徑。 ② 知識(shí)的分布存儲(chǔ) 傳統(tǒng)的人工智能系統(tǒng)的知識(shí)大 多是以知識(shí)庫(kù)的形式儲(chǔ)存的，比較清晰，便于管理和修改。但是，神經(jīng)網(wǎng)絡(luò)通過(guò)設(shè)計(jì)，或通過(guò)學(xué)習(xí)得到的知識(shí)是以各個(gè)神經(jīng)元的連接權(quán)的值來(lái)表現(xiàn)的。從形式上看分布在網(wǎng)絡(luò)的各個(gè)角落，同時(shí)，沒(méi)有任何顯示的信息可以閱讀，對(duì)于人類來(lái)說(shuō)是完全不透明的，無(wú)法理解的，更談不上管理和修改。這一點(diǎn)對(duì)于習(xí)慣于對(duì)自己設(shè)計(jì)的系統(tǒng)了如指掌的人來(lái)說(shuō)，不是一件好事。 ③ 對(duì)于系統(tǒng)本身及環(huán)境變化的容錯(cuò)性 由于系統(tǒng)知識(shí)的分布式處理，使得神經(jīng)網(wǎng)絡(luò)對(duì)于樣本的錯(cuò)誤等原因引起的環(huán)境干擾有很強(qiáng)的魯棒性和容錯(cuò)能力。因?yàn)殄e(cuò)誤也是分布的，不會(huì)集中體現(xiàn)在某一個(gè)地方，也就不會(huì)造成突出的影響。反之變形的實(shí)際樣本，也不會(huì)由于部分不匹配而產(chǎn)生很大的誤差。另外，環(huán)境噪聲也可以理解為樣本的變形，同樣可以有很好的魯棒性。 ④ 學(xué)習(xí)能力 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法與傳統(tǒng)的人工智能機(jī)器學(xué)習(xí)的方法完全不同。即使與實(shí)例學(xué)習(xí)方法相比較也有本質(zhì)上的差別。同樣是在提交的學(xué)習(xí)樣本的指導(dǎo)下進(jìn)行學(xué)習(xí)，實(shí)例學(xué)習(xí)是根據(jù)樣本修改已有的（或假設(shè)的）規(guī)則空間中的規(guī)則，規(guī)則內(nèi)容、范圍、可修改程序完全是人規(guī)定的。而大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)是從隨機(jī)初始值開(kāi)始的，理論上初始值不影響最終結(jié)果。整個(gè)過(guò)程無(wú)人工干預(yù)，系統(tǒng)通過(guò)學(xué)習(xí)發(fā)生的變化也 無(wú)從查看。因此，也有人稱神經(jīng)網(wǎng)絡(luò)是一個(gè)黑盒子。 ?神經(jīng)網(wǎng)絡(luò)的主要缺點(diǎn)： ① 不適合于高精度計(jì)算 神經(jīng)網(wǎng)絡(luò)的魯棒性和它的輸出結(jié)果的不嚴(yán)格性是一致的。如果輸出不能有任何一點(diǎn)偏差，那就很難有什么魯棒性。因此，神經(jīng)網(wǎng)絡(luò)經(jīng)常是給出一個(gè)可信度，或者是一個(gè)相對(duì)最優(yōu)的結(jié)果，而不是精確的結(jié)果數(shù)字。 ② 學(xué)習(xí)問(wèn)題 目前沒(méi)有很完善的學(xué)習(xí)方法，經(jīng)驗(yàn)參數(shù)太多。盡管有了 BP 學(xué)習(xí)算法等訓(xùn)練方法可以設(shè)計(jì)并實(shí)現(xiàn)一定規(guī)模的神經(jīng)網(wǎng)絡(luò)。但是，算法理論上的完備性，并不等于很好的實(shí)用性，同時(shí)算法本身的參數(shù)設(shè)定、學(xué)習(xí)收斂速度等問(wèn)題還有待解決。 C++語(yǔ)言概述及 VC++開(kāi)發(fā)環(huán)境 C++是在 C 的基礎(chǔ)上發(fā)展而來(lái)的。是一門(mén)面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言。 Bjarne Stroustrup是 C++的最初設(shè)計(jì)者和實(shí)現(xiàn)者。它自誕生以來(lái)，經(jīng)過(guò)開(kāi)發(fā)和擴(kuò)充已成一種完全成熟的編程語(yǔ)言?，F(xiàn)在 C++已由 ANSI、 BSI、 DIN、其他幾個(gè)國(guó)家標(biāo)準(zhǔn)機(jī)構(gòu)和 ISO 定為標(biāo)準(zhǔn)。 ISO 標(biāo)準(zhǔn)于 1997 年 11 月 4 日經(jīng)投票正式通過(guò)。 華東交通大學(xué)畢業(yè)設(shè)計(jì) 9 C++標(biāo)準(zhǔn)演變了許多年。 C++模板是近幾年來(lái)對(duì)此語(yǔ)言的一種擴(kuò)展，模板是根據(jù)類型參數(shù)來(lái)產(chǎn)生函數(shù)和類的機(jī)制，有時(shí)也稱模板為 “ 參數(shù)化的類型 ” 。使用模板，可以設(shè)計(jì)一個(gè)對(duì) 許多類型的數(shù)據(jù)進(jìn)行操作的類，而不需要為每個(gè)類型的數(shù)據(jù)建立一個(gè)單獨(dú)的類。標(biāo)準(zhǔn)模板庫(kù) (Standard Tempalte Library， STL )和微軟的活動(dòng)模板庫(kù) (Active Tempalte Library， ATL )都基于這個(gè) C++語(yǔ)言擴(kuò)展。 C++標(biāo)準(zhǔn)可分為兩部分， C++語(yǔ)言本身和 C++標(biāo)準(zhǔn)庫(kù)。 C++標(biāo)準(zhǔn)庫(kù)對(duì)于 Visual C++是相當(dāng)新的，實(shí)際上微軟只是在發(fā)布 Visual C++ 時(shí)去除了一些 “bug” 。標(biāo)準(zhǔn)庫(kù)提供了標(biāo)準(zhǔn)的輸入 /輸出、字符串、容器 (如矢量、列表和映射等 )、非數(shù)值運(yùn)算 (如排序 、搜索和合并等 )和對(duì)數(shù)值計(jì)算的支持。應(yīng)該說(shuō)， C/C++包含了相對(duì)少的關(guān)鍵字，而且很多最有用的函數(shù)都來(lái)源于庫(kù)， C++標(biāo)準(zhǔn)庫(kù)實(shí)現(xiàn)容器和算法的部分就是 STL。 STL 是數(shù)據(jù)結(jié)構(gòu)和算法的一個(gè)框架，數(shù)據(jù)結(jié)構(gòu)包括矢量、列表和映射等，算法包括這些數(shù)據(jù)結(jié)構(gòu)的查找、拷貝和排序等。 1994 年 7 月， ANSI/ISO C++標(biāo)準(zhǔn)委員會(huì)投票決定接受STL 為 C++標(biāo)準(zhǔn)庫(kù)的一部分，這個(gè)建議是根據(jù) Alex Stepanov、 Meng Lee 和 David Musser這三人的編程和軟件庫(kù)研究提出的。 STL 的產(chǎn)生是為了滿足通用性的設(shè)計(jì)目標(biāo)，而 不是為了提高性能。 C++對(duì)面向?qū)ο蟪绦蛟O(shè)計(jì)方法的支持 ? C++支持?jǐn)?shù)據(jù)封裝 支持?jǐn)?shù)據(jù)封裝就是支持?jǐn)?shù)據(jù)抽象。在 C++中，類是支持?jǐn)?shù)據(jù)封裝的工具，對(duì)象則是數(shù)據(jù)封裝的實(shí)現(xiàn)。 面向過(guò)程的程序設(shè)計(jì)方法與面向?qū)ο蟮某绦蛟O(shè)計(jì)方法在對(duì)待數(shù)據(jù)和函數(shù)關(guān)系上是不同的。在面向過(guò)程的程序設(shè)計(jì)中，數(shù)據(jù)只被看成是一種靜態(tài)的結(jié)構(gòu)，它只有等待到調(diào)用函數(shù)來(lái)對(duì)它進(jìn)行處理。在面向?qū)ο蟮某绦蛟O(shè)計(jì)中，將數(shù)據(jù)和對(duì)該數(shù)據(jù)進(jìn)行合法操作的函數(shù)封裝在一起作為一個(gè)類的定義。另外，封裝還提供一種對(duì)數(shù)據(jù)訪問(wèn)嚴(yán)格控制的機(jī)制。因此，數(shù)據(jù)將被隱藏在封裝體中， 該封裝體通過(guò)操作接口與外界交換信息。 對(duì)象被說(shuō)明為具有一個(gè)給定類的變量。每