轉(zhuǎn)sci論文從入門到精通-資料下載頁(yè)
2025-05-07 19:04本頁(yè)面
【正文】 給出網(wǎng)絡(luò)結(jié)構(gòu)； (3)給出人工神經(jīng)元之間信號(hào)強(qiáng)度的定義。歷史上第一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型稱作 MP模型，非常簡(jiǎn)單：其中，表示神經(jīng)元 i在 t時(shí)刻的狀態(tài)，為 1 表示激發(fā)態(tài)，為 0表示抑制態(tài)；是神經(jīng)元 i和 j之間的連接強(qiáng)度；表示神經(jīng)元 i的閾值，超過(guò)這個(gè)值神經(jīng)元 才能激發(fā)。這個(gè)模型是最簡(jiǎn)單的神經(jīng)元模型。但是功能已經(jīng)非常強(qiáng)大：此模型的發(fā)明人 McCulloch 和 Pitts已經(jīng)證明，不考慮速度和實(shí)現(xiàn)的復(fù)雜性，它可以完成當(dāng)前數(shù)字計(jì)算機(jī)的任何工作。以上這個(gè) MP 模型僅僅是一層的網(wǎng)絡(luò)，如果從對(duì)一個(gè)平面進(jìn)行分割的方面來(lái)考慮的話， MP網(wǎng)絡(luò)只能把一個(gè)平面分成個(gè)半平面，卻不能夠選取特定的一部分。而解決的辦法就是 多層前向網(wǎng)路 。為了讓這種網(wǎng)絡(luò)有合適的權(quán)值，必須給網(wǎng)絡(luò)一定的激勵(lì)，讓它自己學(xué)習(xí)，調(diào)整。一種方法稱作 向后傳播算法(Back Propagation， BP)，其基本思想是考察 最后輸出解和理想解的差異，調(diào)整權(quán)值，并把這種調(diào)整從輸出層開(kāi)始向后推演，經(jīng)過(guò)中間層，達(dá)到輸入層?？梢?jiàn)，神經(jīng)網(wǎng)絡(luò)是通過(guò)學(xué)習(xí)來(lái)達(dá)到解決問(wèn)題的目的，學(xué)習(xí)沒(méi)有改變單個(gè)神經(jīng)元的結(jié)構(gòu)和工作方式，單個(gè)神經(jīng)元的特性和要解決的問(wèn)題之間也沒(méi)有直接聯(lián)系，這里學(xué)習(xí)的作用是根據(jù)神經(jīng)元之間激勵(lì)與抑制的關(guān)系，改變它們的作用強(qiáng)度。學(xué)習(xí)樣本中的任何樣品的信息都包含在網(wǎng)絡(luò)的每個(gè)權(quán)值之中。 BP 算法中有考察輸出解和理想解差異的過(guò)程，假設(shè)差距為 w，則調(diào)整權(quán)值的目的就是為了使得 w最小化。這就又包含了前文所說(shuō)的 最小值 問(wèn)題。一般的 BP算法采用的是局部搜 索，比如最速下降法，牛頓法等，當(dāng)然如果想要得到全局最優(yōu)解，可以采用模擬退火，遺傳算法等。當(dāng)前向網(wǎng)絡(luò)采用模擬退火算法作為學(xué)習(xí)方法的時(shí)候，一般成為 波爾茲曼網(wǎng)絡(luò) ，屬于隨機(jī)性神經(jīng)網(wǎng)絡(luò)。在學(xué)習(xí) BP 算法學(xué)習(xí)的過(guò)程中，需要已經(jīng)有一部分確定的值作為理想輸出，這就好像中學(xué)生在學(xué)習(xí)的時(shí)候，有老師的監(jiān)督。如果沒(méi)有了監(jiān)督，人工神經(jīng)網(wǎng)絡(luò)該怎么學(xué)習(xí) ?就像沒(méi)有了宏觀調(diào)控，自由的市場(chǎng)引入了競(jìng)爭(zhēng)一樣，有一種學(xué)習(xí)方法稱作 無(wú)監(jiān)督有競(jìng)爭(zhēng)的學(xué)習(xí) 。在輸入神經(jīng)元 i 的若干個(gè)神經(jīng)元之間開(kāi)展競(jìng)爭(zhēng)，競(jìng)爭(zhēng)之后，只有一個(gè)神經(jīng)元為 1，其他均為 0，而對(duì)于失敗的 神經(jīng)元，調(diào)整使得向?qū)Ω?jìng)爭(zhēng)有利的方向移動(dòng)，則最終也可能在一次競(jìng)爭(zhēng)中勝利；人工神經(jīng)網(wǎng)絡(luò)還有反饋網(wǎng)絡(luò)如 Hopfield 網(wǎng)絡(luò)，它的神經(jīng)元的信號(hào)傳遞方向是雙向的，并且引入一個(gè)能量函數(shù)，通過(guò)神經(jīng)元之間不斷地相互影響，能量函數(shù)值不斷下降，最后能給出一個(gè)能量比較低的解。這個(gè)思想和模擬退火差不多。人工神經(jīng)網(wǎng)絡(luò)應(yīng)用到算法上時(shí)，其正確率和速度與軟件的實(shí)現(xiàn)聯(lián)系不大，關(guān)鍵的是它自身的不斷學(xué)習(xí)。這種思想已經(jīng)和馮諾依曼模型很不一樣?？偨Y(jié)模擬退火，遺傳算法，禁忌搜索，神經(jīng)網(wǎng)絡(luò)在解決全局最優(yōu)解的問(wèn)題上有著獨(dú)到的優(yōu)點(diǎn)，并且，它們有一個(gè)共同的 特點(diǎn)：都是模擬了自然過(guò)程。模擬退火思路源于物理學(xué)中固體物質(zhì)的退火過(guò)程，遺傳算法借鑒了自然界優(yōu)勝劣汰的進(jìn)化思想，禁忌搜索模擬了人類有記憶過(guò)程的智力過(guò)程，神經(jīng)網(wǎng)絡(luò)更是直接模擬了人腦。它們之間的聯(lián)系也非常緊密，比如模擬退火和遺傳算法為神經(jīng)網(wǎng)絡(luò)提供更優(yōu)良的學(xué)習(xí)算法提供了思路。把它們有機(jī)地綜合在一起，取長(zhǎng)補(bǔ)短，性能將更加優(yōu)良。這幾種智能算法有別于一般的按照?qǐng)D靈機(jī)進(jìn)行精確計(jì)算的程序，尤其是人工神經(jīng)網(wǎng)絡(luò)，是對(duì)計(jì)算機(jī)模型的一種新的詮釋，跳出了馮諾依曼機(jī)的圈子，按照這種思想來(lái)設(shè)計(jì)的計(jì)算機(jī)有著廣闊的發(fā)展前景 特別聲明： 1： 資料來(lái)源于互聯(lián)網(wǎng)，版權(quán)歸屬原作者 2：資料內(nèi)容屬于網(wǎng)絡(luò)意見(jiàn)，與本賬號(hào)立場(chǎng)無(wú)關(guān) 3：如有侵權(quán)，請(qǐng)告知，立即刪除。
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1