【正文】 的神經(jīng)模型研究中受到啟發(fā)和鼓舞 ， 但試圖解決的卻是工程問(wèn)題 。 為了更好地把現(xiàn)有各種神經(jīng)網(wǎng)絡(luò)模型的特點(diǎn)綜合起來(lái) ， 增強(qiáng)網(wǎng)絡(luò)解決問(wèn)題的能力 ， 80年代末和 90年代初出現(xiàn)了混合網(wǎng)絡(luò)系統(tǒng) ， 如把多層感知器與自組織特征級(jí)聯(lián)起來(lái) ， 在模式識(shí)別中可以取得比單一網(wǎng)絡(luò)更好的結(jié)果 。 它在微軟公司的VB上運(yùn)行 ， 被認(rèn)為是近些年來(lái)最重要的軟件進(jìn)展和最高水平的智能工具 。 比如 ， 神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)和連接可明確地與規(guī)定的目標(biāo)和關(guān)系聯(lián)系在一起 ， 可把特定的推理規(guī)則作為目標(biāo)節(jié)點(diǎn)之間的規(guī)定聯(lián)接 ， 節(jié)點(diǎn)數(shù)可以由所描寫(xiě)的規(guī)則所決定 ， 可對(duì)節(jié)點(diǎn)的權(quán)及閾值加以選擇以便描寫(xiě)所需的邏輯關(guān)系 ， 利用組合規(guī)則解釋節(jié)點(diǎn)的激活從而解釋網(wǎng)絡(luò)的行為 ， 并按神經(jīng)網(wǎng)絡(luò)方式設(shè)計(jì)專家系統(tǒng) 。 它把人工智能系統(tǒng) 、 神經(jīng)網(wǎng)絡(luò)和文本檢索系統(tǒng)結(jié)合起來(lái) ， 供建筑師 、 玻璃切割與裝配工程師使用 ， 使得對(duì)建筑物玻璃結(jié)構(gòu)的設(shè)計(jì) 、選配和施工更簡(jiǎn)單 、 靈活 、 省時(shí) ， 適應(yīng)性更強(qiáng) 。 神經(jīng)網(wǎng)絡(luò)理論研究重大成果 ：僅有一個(gè)非線性隱層的前饋網(wǎng)絡(luò)就能以任意精度逼近任意復(fù)雜度的函數(shù) 。 。 函數(shù) f表達(dá)了神經(jīng)元的輸入輸出特性。 Hebb學(xué)習(xí)規(guī)則 神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能 。 2 感知器模型 感知器是一種早期的神經(jīng)網(wǎng)絡(luò)模型 ， 由美國(guó)學(xué)者 1957年提出 .感知器中第一次引入了學(xué)習(xí)的概念 ， 使人腦所具備的學(xué)習(xí)功能在基于符號(hào)處理的數(shù)學(xué)到了一定程度的模擬 ， 所以引起了廣泛的關(guān)注 。感知器的連接權(quán)定義為可變的，這樣感知器就被賦予了學(xué)習(xí)的特性。 (2)“或 ” 運(yùn)算， 當(dāng)取 wl＝ w2＝ 1， θ ＝ ，上式完成邏輯 “ 或 ” 的運(yùn)算。 例如 ，在二維平面上 ， 對(duì)于 “ 或 ” 運(yùn)算 ， 各個(gè)樣本的分布如下圖所示 。 現(xiàn)介紹如下： 誤差型學(xué)習(xí)規(guī)則： (1)選擇一組初始權(quán)值 wi(0)。 (5)返回 (2)，重復(fù)，直到對(duì)所有訓(xùn)練樣本模式，網(wǎng)絡(luò)輸出均能滿足要求。整個(gè)學(xué)習(xí)過(guò)程就是某一超平面在樣本空間中幾何位置調(diào)整的過(guò)程 。 多層感知器 如果在輸入和輸出層間加上一層或多層的神經(jīng)元 (隱層神經(jīng)元 )，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱為多層感知器。 對(duì)于上面述及的異或問(wèn)題，用一個(gè)簡(jiǎn)單的三層感知器就可得到解決 實(shí)際上 ， 該三層感知器的輸入層和隱層的連接 ， 就是在模式空間中用兩個(gè)超平面去劃分樣本 ， 即用兩條直線： x1+x2= x1十 x 2＝ 。 F+， F—兩類樣本構(gòu)成了整個(gè)線性可分樣本空間。x= δ對(duì)所有的樣本輸入 x都成立，則權(quán)向量 w按下述學(xué)習(xí)過(guò)程僅需有限步就可收斂。 下圖給出了感知器的層數(shù)與模式劃分區(qū)域的關(guān)系。對(duì)于上述證明，要說(shuō)明的是：正數(shù) δ越小，迭代次數(shù)越多：其次，若樣本輸入函數(shù)不是線性可分的，則學(xué)習(xí)過(guò)程將出現(xiàn)振蕩，得不到正確的結(jié)果。 假設(shè)樣本空間 F是單位長(zhǎng)度樣本輸入向量的集合，若存在一個(gè)單位權(quán)向量 w*。但是，多層網(wǎng)絡(luò)的權(quán)值如何確定，即網(wǎng)絡(luò)如何進(jìn)行學(xué)習(xí)，在感知器上沒(méi)有得到解決：當(dāng)年 Minsky等人就是因?yàn)閷?duì)于非線性空間的多層感知器學(xué)習(xí)算法未能得到解決，使其對(duì)神經(jīng)網(wǎng)絡(luò)的研究作出悲觀的結(jié)論。這是因?yàn)榘锤兄鞯母拍睿瑹o(wú)法給出一個(gè)有效的多層感知器學(xué)習(xí)算法。這樣的一組網(wǎng)絡(luò)參數(shù)滿足計(jì)算要求。所以，對(duì)應(yīng)于輸入 (0， 0)，修正權(quán)值 (注意： θ=w0 , x0=1) Δw0（ 1） ＝ η[d—y]x0 ＝ (1—0)(—1)＝ —， W0(1)=+ Δw0（ 1） == 依次進(jìn)行。 (4)更新權(quán)值 (閾值可視為輸入恒為 1的一個(gè)權(quán)值 )： Δwi（ t+1） ＝ wi（ t+1） wi（ t） ＝ η[d—y(t)]xi。 簡(jiǎn)單感知器引入的學(xué)習(xí)算法稱之為誤差學(xué)習(xí)算法 。 與許多代數(shù)方程一樣 ， 上式中不等式具有一定的幾何意義 。 Y=f(w1x1+w2x2θ) (1)“與 ” 運(yùn)算。 其結(jié)構(gòu)如下圖所示 感知器處理單元對(duì) n個(gè)輸入進(jìn)行加權(quán)和操作v即： 其中 ， Wi為第 i個(gè)輸入到處理單元的連接權(quán)值 θ為閾值 。 調(diào)整 wij的原則為：若第 i和第 j個(gè)神經(jīng)元同時(shí)處于興奮狀態(tài) ， 則它們之間的連接應(yīng)當(dāng)加強(qiáng) ， 即： Δwij＝ αuivj 這一規(guī)則與 “ 條件反射 ” 學(xué)說(shuō)一致 ， 并已得到神經(jīng)細(xì)胞學(xué)說(shuō)的證實(shí) 。 但是 ， 我們可以根據(jù)需要 ， 采用一些常見(jiàn)的算法來(lái)調(diào)整神經(jīng)元連接權(quán) ， 以達(dá)到學(xué)習(xí)目的 。 MP模型是大多數(shù)神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。 。 也可以利用人工智能系統(tǒng)作為信息流的控制器 ， 利用教師機(jī)制和基于規(guī)則的指南 ， 幫助使用者從大量選擇項(xiàng)中選擇正確的神經(jīng)網(wǎng)絡(luò)來(lái)解決某一專門(mén)問(wèn)題 。 在前一類中 ， 人工智能系統(tǒng)可以與使用者交互作用 (如向使用者提出問(wèn)題 ， 了解使用者的需求 )， 然后利用知識(shí)與神經(jīng)網(wǎng)絡(luò)準(zhǔn)備數(shù)據(jù) 。 雖然在人工神經(jīng)網(wǎng)絡(luò)復(fù)蘇之初有人喊過(guò) “ 人工智能已死 ， 神經(jīng)網(wǎng)絡(luò)萬(wàn)歲 ” ，雖然在傳統(tǒng)的人工智能領(lǐng)域工作的許多人對(duì)于神經(jīng)網(wǎng)絡(luò)的發(fā)展抱有懷疑或否定態(tài)度 ． 但這幾年的發(fā)展日益證明 ， 把這兩者結(jié)合起來(lái)是一條最佳途徑 。 它可以產(chǎn)生 128個(gè)交互作用的神經(jīng)網(wǎng)絡(luò) ， 每個(gè)網(wǎng)可是自組織網(wǎng)也可是多層感知器網(wǎng) ， 最多可達(dá) 32層 ， 每層可達(dá) 32個(gè)節(jié)點(diǎn) ， 且可以與其他 8層相聯(lián) 。 而對(duì)于神經(jīng)網(wǎng)絡(luò)的應(yīng)用需求則是大量的和迫切的 。 現(xiàn)在普遍認(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)比較適用于特征提取 、 模式分類 、 聯(lián)想記憶 、 低層次感知 、 自適應(yīng)控制等場(chǎng)合 ，在這些方面 ， 嚴(yán)格的解析方法會(huì)遇到很大困難 。 有關(guān)神經(jīng)網(wǎng)絡(luò)的大型國(guó)際會(huì)議已召開(kāi)了許多次 ， 我國(guó)也召開(kāi)了三次 。 ● 最優(yōu)化問(wèn)題：用來(lái)求解局部甚至是全局最優(yōu)解 。 聚類是可變的 ． 但要限制其鞍點(diǎn)的個(gè)數(shù) 。 可用層次性的存貯模式來(lái)進(jìn)行分類信息的表示 。 腦中盒模型 (BSB)有能力進(jìn)行這種計(jì)算 。 如誤差反播模型 (BP)、 對(duì)向傳播網(wǎng)絡(luò)模型 (CPN)、 小腦模型 (CMAC)等都可以完成這種計(jì)算 。 NN N )2(lo g 2)1(2? [定理 1． 2] N個(gè)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)的信息表達(dá)能力下限為： C (位 )。 定義：一個(gè)存貯器的信息表達(dá)能力定義為其可分辨的信息類型的對(duì)數(shù)值 。 這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)的運(yùn)行是從輸入到輸出的值傳遞過(guò)程 ， 在信息傳遞的同時(shí)也就完成了信息的存貯與計(jì)算 。 這兩個(gè)獨(dú)立部分 ——存貯器與運(yùn)算器之間的通道 ， 就成為提高計(jì)算機(jī)計(jì)算能力的瓶頸 ， 并且只要這兩個(gè)部分是獨(dú)立存在的 ， 這個(gè)問(wèn)題就始終存在 。 展望人工神經(jīng)網(wǎng)絡(luò)的成功應(yīng)用 ， 人類智能有可能產(chǎn)生一次新的飛躍 。 生物實(shí)現(xiàn) 。 計(jì)算機(jī)仿真系統(tǒng) 。 硬件實(shí)現(xiàn)的優(yōu)點(diǎn)是處理速度快 ， 但由于受器件物理因素的限制 ， 根據(jù)目前的工藝條件 ， 網(wǎng)絡(luò)規(guī)模不可能做得太大 。 (4)神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn) 。 認(rèn)知與人工智能 ． 包括模式識(shí)別 、 計(jì)算機(jī)視覺(jué)與聽(tīng)覺(jué) 、 特征提取 、 語(yǔ)音識(shí)別語(yǔ)言翻譯 、 聯(lián)想記憶 、 邏輯推理 、 知識(shí)工程 、 專家系統(tǒng) 、 故障診斷 、 智能機(jī)器人等 。 開(kāi)展認(rèn)知科學(xué)的研究 。 (2)神經(jīng)網(wǎng)絡(luò)基本理論研究 。 神經(jīng)網(wǎng)絡(luò)原型研究 ， 即大腦神經(jīng)網(wǎng)絡(luò)的生理結(jié)構(gòu) 、 思維機(jī)制 。 (7)系統(tǒng)的恰當(dāng)退化和冗余備份 (魯棒性和容錯(cuò)性 )。 例