【正文】 力包括兩方面的內(nèi)容：一、神經(jīng)網(wǎng)絡(luò)信息存貯能力．即要解決這樣的一個(gè)問題：在一個(gè)有 N個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)中，可存貯多少值的信息 ?二、神經(jīng)網(wǎng)絡(luò)的計(jì)算能力。 專用神經(jīng)網(wǎng)絡(luò)并行計(jì)算機(jī)系統(tǒng)。 在通用計(jì)算機(jī)、專用計(jì)算機(jī)或者并行計(jì)算機(jī)上進(jìn)行軟件模擬，或由專用數(shù)字信號處理芯片構(gòu)成神經(jīng)網(wǎng)絡(luò)仿真器。探索包括感知、思考、記憶和語言等的腦信息處理模型。 神經(jīng)元的生物特性如時(shí)空特性、不應(yīng)期、電化學(xué)性質(zhì)等的人工模擬 易于實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)計(jì)算模型。 (5)能接受和處理模糊的、模擬的、隨機(jī)的信息。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制就是基于這種可塑性現(xiàn)象，并通過修正突觸的結(jié)合強(qiáng)度來實(shí)現(xiàn)的。例如在一張照片尋找一個(gè)熟人的面孔，對人腦而言，幾秒鐘便可完成，但如用計(jì)算機(jī)來處理，以現(xiàn)有的技術(shù)，是不可能在短時(shí)間內(nèi)完成的。 以上是從宏觀上分析了人腦信息處理特點(diǎn)。單個(gè)神經(jīng)元可以從別的細(xì)胞接受多個(gè)輸入。 (2)突觸接觸間隙的變化。 人類大腦皮質(zhì)的全部表面積約有 20104mm2，平均厚度約 2． 5mm，皮質(zhì)的體積則約為 50 104mm3。 生物神經(jīng)元之間的相互連接從而讓信息傳遞的部位披稱為突觸 (Synapse)。 人腦信息處理機(jī)制 生物神經(jīng)系統(tǒng)是一個(gè)有高度組織和相互作用的數(shù)量巨大的細(xì)胞組織群體。認(rèn)知問題離不開對低層次信息處理的研究和認(rèn)識。諾依曼計(jì)算機(jī)有以下三個(gè)主要特點(diǎn)： (1)它必須不折不如地按照人們已經(jīng)編制好的程序步驟來進(jìn)行相應(yīng)的數(shù)值計(jì)算或邏輯運(yùn)算，它沒有主動學(xué)習(xí)的能力和自適應(yīng)能力，因此它是被動的。 (1)根據(jù)該問題的特點(diǎn)，建立合適的數(shù)學(xué)模型。因而現(xiàn)有的研究成果僅僅處于起步階段，還需許多有識之士長期的艱苦努力。他引入了 “能量函數(shù) ”的概念，使得網(wǎng)絡(luò)穩(wěn)定性研究有了明確的判據(jù)。 在這一低潮時(shí)期，仍有一些學(xué)者扎扎實(shí)實(shí)地繼續(xù)著神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)算法的基礎(chǔ)理論研究，提出了許多有意義的理論和方法。感知機(jī)雖然比較簡單，卻已具有神經(jīng)網(wǎng)絡(luò)的一些基本性質(zhì)，如分布式存貯、并行處理、可學(xué)習(xí)性、連續(xù)計(jì)算等。 1949年心理學(xué)家 Hebb提出著名的 Hebb學(xué)習(xí)規(guī)則，即由神經(jīng)元之間結(jié)合強(qiáng)度的改變來實(shí)現(xiàn)神經(jīng)學(xué)習(xí)的方法。另一方面，由于 60年代以來集成電路和微電子技術(shù)日新月異的發(fā)展，使得電子計(jì)算機(jī)的計(jì)算速度飛速提高，加上那時(shí)以功能模擬為目標(biāo)、以知識信息處理為基礎(chǔ)的知識工程等研究成果，給人工智能從實(shí)驗(yàn)室走向?qū)嵱脦砹讼Ｍ@些技術(shù)進(jìn)步給人們造成這樣的認(rèn)識：以為串行信息處理及以它為基礎(chǔ)的傳統(tǒng)人工智能技術(shù)的潛力是無窮的，這就暫時(shí)掩蓋了發(fā)展新型計(jì)算機(jī)和尋找新的人工智能途徑的必要性和迫切性。因此，具有并行分布處理模式的神經(jīng)網(wǎng)絡(luò)理論又重新受到人們的重視。神經(jīng)計(jì)算機(jī)的研究也為神經(jīng)網(wǎng)絡(luò)的理論研究提供了許多有利條件，各種神經(jīng)網(wǎng)絡(luò)模擬軟件包、神經(jīng)網(wǎng)絡(luò)芯片以及電子神經(jīng)計(jì)算機(jī)的出現(xiàn)，體現(xiàn)了神經(jīng)網(wǎng)絡(luò)領(lǐng)域的各項(xiàng)研究均取得了長足進(jìn)展。諾依曼型計(jì)算機(jī)在當(dāng)今世界發(fā)揮著巨大的作用，但它在智能化信息處理過程中存在著許多局限性。 (6)反饋信號通知控制器再取第二個(gè)計(jì)算步騾，然后重復(fù)上述的執(zhí)行過程。這就是說，存貯內(nèi)容和存貯地址是不相關(guān)的。 人工神經(jīng)網(wǎng)絡(luò)研究是采用自下而上的方法，從腦的神經(jīng)系統(tǒng)結(jié)構(gòu)出發(fā)來研究腦的功能，研究大量簡單的神經(jīng)元的集團(tuán)信息處理能力及其動態(tài)行為。生物神經(jīng)元學(xué)說認(rèn)為，神經(jīng)細(xì)胞即神經(jīng)元是神經(jīng)系統(tǒng)中獨(dú)立的營養(yǎng)和功能單元。神經(jīng)元對信息的接受和傳遞都是通過突觸來進(jìn)行的。生理學(xué)的研究歸納有以下幾個(gè)方面的變化： (1)突觸傳遞效率的變化。 (4)突觸數(shù)目的增減。 多個(gè)神經(jīng)元以突觸聯(lián)接形成了一個(gè)神經(jīng)網(wǎng)絡(luò)。例如要判定人眼看到的兩個(gè)圖形是否一樣，實(shí)際上約需 400 ms，而在這個(gè)處理過程中，與腦神經(jīng)系統(tǒng)的一些主要功能，如視覺、記億、推理等有關(guān)。從生理學(xué)的角度看，它體現(xiàn)在突觸的可塑性和聯(lián)接狀態(tài)的變化，同時(shí)還表現(xiàn)在神經(jīng)系統(tǒng)的自組織特性上。實(shí)際上，可以將大腦的各個(gè)部位看成是一個(gè)大系統(tǒng)中的許多子系統(tǒng)。但就目前來看，人工神經(jīng)網(wǎng)絡(luò)的研究首先須解決全局穩(wěn)定性、結(jié)構(gòu)穩(wěn)定性、可編程性等問題。神經(jīng)網(wǎng)絡(luò)的基本性能，包括穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性、動力學(xué)復(fù)雜性。 信號處理；自適應(yīng)信號處理 (自適應(yīng)濾波、時(shí)間序列預(yù)測、譜估計(jì)、消噪、檢測、陣列處理 )和非線性信號處理 (非線性濾波、非線性預(yù)測、非線性譜估計(jì)、非線性編碼、中值處理 )。但代表了未來的發(fā)展方向，因此特別受到人們的重視。由于智能本質(zhì)的復(fù)雜性，現(xiàn)代智能研究已超越傳統(tǒng)的學(xué)科界限，成為腦生理學(xué)、神經(jīng)科學(xué)、心理學(xué)、認(rèn)知科學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)，乃至數(shù)理科學(xué)共同關(guān)心的 “焦點(diǎn) ”學(xué)科。神經(jīng)網(wǎng)絡(luò)模型從本質(zhì)上解決了傳統(tǒng)計(jì)算機(jī)的這個(gè)問題。按上面的定義， M1的 RAM的存貯能力為： C＝ 2M(位 )。自組織映射模型 (SOM) 和 CPN模型可以完成這樣的計(jì)算。如自適應(yīng)共振理論模型 (ART)、雙向聯(lián)想記億模型 (BAM)、 BP模型、玻爾茲曼機(jī)模型 (BM)、 BSB模型、 CPN模型、 Hopfield模型等等。 自從 80年代中期人工神經(jīng)網(wǎng)絡(luò)復(fù)蘇以來，其發(fā)展速度及應(yīng)用規(guī)模令人驚嘆?？梢哉f，國際上關(guān)于人工神經(jīng)網(wǎng)絡(luò)研究的主要領(lǐng)域不是對神經(jīng)網(wǎng)絡(luò)建模的基礎(chǔ)研究，而是一個(gè)工程或應(yīng)用領(lǐng)域，即它從對腦的神經(jīng)模型研究中受到啟發(fā)和鼓舞，但試圖解決的卻是工程問題。它在微軟公司的VB上運(yùn)行，被認(rèn)為是近些年來最重要的軟件進(jìn)展和最高水平的智能工具。它把人工智能系統(tǒng)、神經(jīng)網(wǎng)絡(luò)和文本檢索系統(tǒng)結(jié)合起來，供建筑師、玻璃切割與裝配工程師使用，使得對建筑物玻璃結(jié)構(gòu)的設(shè)計(jì)、選配和施工更簡單、靈活、省時(shí)，適應(yīng)性更強(qiáng)。 Hebb學(xué)習(xí)規(guī)則 神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。例如，在二維平面上，對于 “或 ”運(yùn)算，各個(gè)樣本的分布如下圖所示。 (5)返回 (2)，重復(fù)，直到對所有訓(xùn)練樣本模式，網(wǎng)絡(luò)輸出均能滿足要求。 多層感知器 如果在輸入和輸出層間加上一層或多層的神經(jīng)元 (隱層神經(jīng)元 )，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱為多層感知器。 F+， F— 兩類樣本構(gòu)成了整個(gè)線性可分樣本空間。下圖給出了感知器的層數(shù)與模式劃分區(qū)域的關(guān)系。 假設(shè)樣本空間 F是單位長度樣本輸入向量的集合，若存在一個(gè)單位權(quán)向量 w*。這是因?yàn)榘锤兄鞯母拍?，無法給出一個(gè)有效的多層感知器學(xué)習(xí)算法。所以，對應(yīng)于輸入 (0， 0)，修正權(quán)值 (注意： θ=w0 , x0=1) Δw0（ 1） ＝ η[d—y]x 0 ＝ (1—0)(—1) ＝ — ， W0(1)=+ Δw0（ 1） ==依次進(jìn)行。 簡單感知器引入的學(xué)習(xí)算法稱之為誤差學(xué)習(xí)算法。 Y=f(w1x1+w2x2θ)(1)“與 ”運(yùn)算。調(diào)整 wij的原則為：若第 i和第 j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài)，則它們之間的連接應(yīng)當(dāng)加強(qiáng)，即： Δwij＝ αuivj 這一規(guī)則與 “條件反射 ”學(xué)說一致，并已