【導(dǎo)讀】limitations.

　　

【正文】 非線性動(dòng)力系統(tǒng)本身也在不斷變化。經(jīng)常采用迭代過程描寫動(dòng)力系統(tǒng)的演化過程。 （ 4）非凸性 一個(gè)系統(tǒng)的演化方向，在一定條件下將取決于某個(gè)特定的狀態(tài)函數(shù)。例如能量函數(shù)，它的極值相應(yīng)于系統(tǒng)比較穩(wěn)定的狀態(tài)。非凸性是指這種函數(shù)有多個(gè)極值，故系統(tǒng)具有多個(gè)較穩(wěn)定的平衡態(tài)，這將導(dǎo)致系統(tǒng)演化的多樣性。 人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對(duì)象，例如特征、字母、概念 ，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部 世界 的信號(hào)與數(shù)據(jù)；輸出單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，不能 由系統(tǒng)外部觀察的單元。神經(jīng)元間的連接權(quán)值反映了單元間的連接強(qiáng)度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。人工神經(jīng)網(wǎng)絡(luò)是一種非程序化、適應(yīng)性、大腦風(fēng)格的信息處理 ，其本質(zhì)是通過網(wǎng)絡(luò)的變換 和動(dòng)力學(xué)行為得到一種并行分布式的信息處理功能，并在不同程度和層次上模仿人腦神經(jīng)系統(tǒng)的信息處理功能。它是涉及神經(jīng)科學(xué)、 思維科學(xué) 、 人工智能 、計(jì)算機(jī)科學(xué)等多個(gè)領(lǐng)域的交叉學(xué)科。 人工神經(jīng)網(wǎng)絡(luò)是并行 分布式系統(tǒng) ，采用了與傳統(tǒng)人工智能和信息處理技術(shù)完全不同的機(jī)理，克服了傳統(tǒng)的基于邏輯符號(hào)的人工智能在處理直覺、 非結(jié)構(gòu)化信息 方面的缺陷，具有自適應(yīng)、自組織和實(shí)時(shí)學(xué)習(xí)的特點(diǎn)。 發(fā)展歷史 1943 年， 心理學(xué) 家 和數(shù)理 邏輯學(xué) 家 建立了神經(jīng)網(wǎng)絡(luò)和 數(shù)學(xué)模型 ，稱為 MP 模型。他們通過 MP 模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個(gè)神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時(shí)代 。 1949年，心理學(xué)家提出了突觸聯(lián)系強(qiáng)度可變的設(shè)想。 60 年代，人工神經(jīng)網(wǎng)絡(luò)的到了進(jìn)一步發(fā)展，更完善的 神經(jīng)網(wǎng)絡(luò)模型 被提出 ，其中包括感知器和自適應(yīng)線性元件等。 等仔細(xì)分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限后，于 1969 年出版了《 Perceptron》一書，指出感知器不能解決高階謂詞問題。他們的論點(diǎn)極大地影響了神經(jīng)網(wǎng)絡(luò)的研究，加之當(dāng)時(shí)串行 計(jì)算機(jī) 和人工智能所取得的成就，掩蓋了發(fā)展新型計(jì)算機(jī)和人工智能新途徑的必要性和迫切性，使人工神經(jīng)網(wǎng)絡(luò)的研究處于低潮。在此期間，一些人工神經(jīng)網(wǎng)絡(luò)的研究者仍然致力于這一研究，提出了適應(yīng)諧振理論（ ART 網(wǎng)）、自組織映射、認(rèn)知機(jī)網(wǎng)絡(luò)，同時(shí)進(jìn)行了神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)理論的研究。以上研究為神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展奠定了基礎(chǔ)。 1982 年，美國(guó)加州工學(xué)院 物理學(xué)家 提出了 Hopfield 神經(jīng) 網(wǎng)格 模型，引入了“計(jì)算能量”概念，給出了網(wǎng)絡(luò)穩(wěn)定性判斷。 1984 年，他又提出了連續(xù)時(shí)間 Hopfield 神經(jīng)網(wǎng)絡(luò)模型，為 神經(jīng)計(jì)算機(jī) 的研究做了開拓性的工作，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑，有力地推動(dòng)了神經(jīng)網(wǎng)絡(luò)的研究， 1985 年，又有學(xué)者提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計(jì)熱力學(xué)模擬退火技術(shù)，保證整個(gè)系統(tǒng)趨于全局穩(wěn)定點(diǎn)。 1986 年進(jìn)行認(rèn)知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論。人工神經(jīng)網(wǎng)絡(luò)的研究受到了各個(gè) 發(fā)達(dá)國(guó)家 的重視， 美國(guó)國(guó)會(huì) 通過決議將 1990 年 1 月 5 日開始的十年定為“腦的十年”，國(guó)際研究組織號(hào)召它的成員國(guó)將“腦的十年”變?yōu)槿蛐袨?。?日本 的“真實(shí)世界計(jì)算（ RWC）”項(xiàng)目中，人工智能的研究成了一個(gè)重要的組成部分。 網(wǎng)絡(luò)模型 人工神經(jīng)網(wǎng)絡(luò)模型主要考慮網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)、 神經(jīng)元 的特征、學(xué)習(xí)規(guī)則等。目前，已有近 40 種神經(jīng)網(wǎng)絡(luò)模型，其中有反傳網(wǎng)絡(luò)、感知器、自組織映射、 Hopfield網(wǎng)絡(luò)、波耳茲曼機(jī)、適應(yīng)諧振理論等。根據(jù)連接的拓?fù)浣Y(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)模型可以分為： （ 1）前向網(wǎng)絡(luò) 網(wǎng)絡(luò)中各個(gè)神經(jīng)元接受前一級(jí)的輸入，并輸出到下一級(jí)，網(wǎng)絡(luò)中沒有反饋，可以用一個(gè)有向無環(huán)路圖表示。這種網(wǎng)絡(luò)實(shí)現(xiàn)信號(hào)從輸入空間到輸出空間的變換，它的信息處理能力來自于簡(jiǎn)單非線性函數(shù)的多次復(fù)合。網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，易于實(shí)現(xiàn)。反傳網(wǎng)絡(luò)是一種典型的前向網(wǎng)絡(luò)。 （ 2） 反饋 網(wǎng)絡(luò) 網(wǎng)絡(luò)內(nèi)神經(jīng)元間有反饋，可以用一個(gè)無向的完備圖表示。這種神經(jīng)網(wǎng)絡(luò)的信息處理是狀態(tài)的變換，可以用 動(dòng)力學(xué) 系統(tǒng)理論 處理。系統(tǒng)的穩(wěn)定性與聯(lián)想記憶功能有密切關(guān)系。 Hopfield 網(wǎng)絡(luò)、波耳茲曼機(jī)均屬于這種類型。 學(xué)習(xí)類型 學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要內(nèi)容，它的適應(yīng)性是通過學(xué)習(xí)實(shí)現(xiàn)的。根據(jù)環(huán)境的變化，對(duì)權(quán)值進(jìn)行調(diào)整，改善系統(tǒng)的行為。由 Hebb 提出的 Hebb 學(xué)習(xí)規(guī)則為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)。 Hebb 規(guī)則認(rèn)為學(xué)習(xí)過程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的聯(lián)系強(qiáng)度隨著突 觸前后神經(jīng)元的活動(dòng)而變化。在此基礎(chǔ)上，人們提出了各種學(xué)習(xí)規(guī)則和算法，以適應(yīng)不同 網(wǎng)絡(luò)模型 的需要。有效的學(xué)習(xí)算法，使得神 經(jīng)網(wǎng)絡(luò)能夠通過連接權(quán)值的調(diào)整，構(gòu)造 客觀世界 的內(nèi)在表示，形成具有特色的信息處理方法，信息存儲(chǔ)和處理體現(xiàn)在網(wǎng)絡(luò)的連接中。根據(jù)學(xué) 習(xí)環(huán)境不同，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式可分為監(jiān)督學(xué)習(xí)和 非監(jiān)督學(xué)習(xí)。在監(jiān)督學(xué)習(xí)中，將訓(xùn)練樣本的數(shù)據(jù)加到網(wǎng)絡(luò)輸入端，同時(shí)將相應(yīng)的期望輸出與網(wǎng)絡(luò)輸出相比較，得到誤差信號(hào)，以此控制權(quán)值連接強(qiáng)度的調(diào)整，經(jīng)多次訓(xùn)練后收斂到一個(gè)確定的權(quán)值。當(dāng)樣本情況發(fā)生變化時(shí)，經(jīng)學(xué)習(xí)可以修改權(quán)值以適應(yīng)新的環(huán)境。使用監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型有反傳網(wǎng)絡(luò)、感知器等。非監(jiān)督學(xué)習(xí)時(shí)，事先不給定標(biāo)準(zhǔn)樣本，直接將網(wǎng)絡(luò)置于環(huán)境之中，學(xué)習(xí)階段與工作階段成為一體。此時(shí)，學(xué)習(xí)規(guī)律的變化服從連接權(quán)值的演變方程。非監(jiān)督學(xué)習(xí)最簡(jiǎn)單的例子是 Hebb 學(xué)習(xí)規(guī)則。 競(jìng)爭(zhēng)學(xué)習(xí) 規(guī)則是一個(gè)更復(fù)雜的非監(jiān)督學(xué)習(xí)的例子，它是根據(jù)已建立的聚類進(jìn)行權(quán)值調(diào)整。自組織映射、適應(yīng)諧振理論網(wǎng)絡(luò)等都是與競(jìng)爭(zhēng)學(xué)習(xí)有關(guān)的典型模型。 分析方法 研究神經(jīng)網(wǎng)絡(luò)的 非線性動(dòng)力學(xué) 性質(zhì)，主要采用 動(dòng)力學(xué) 系統(tǒng)理論、非線性規(guī)劃理論和統(tǒng)計(jì)理論，來分析神經(jīng)網(wǎng)絡(luò)的演化過程和吸引子的性質(zhì)，探索神經(jīng)網(wǎng)絡(luò)的協(xié)同行為和集體計(jì)算功能，了解神經(jīng) 信息處理 機(jī)制。為了探討神經(jīng)網(wǎng)絡(luò)在整體性和模糊性方面處理信息的可能， 混沌理論 的概念和方法將會(huì)發(fā)揮作用。 混沌 是一個(gè)相當(dāng)難以精確定義的數(shù)學(xué)概念。一般而言，“混沌”是指由確定性方程描述的動(dòng)力學(xué)系統(tǒng)中表現(xiàn)出的非確定性行為，或稱之為確定的隨機(jī)性。“確定性”是因?yàn)樗蓛?nèi)在的原因而不是外來的噪聲或干擾所產(chǎn)生，而“隨機(jī)性”是指其不規(guī)則的、不能預(yù)測(cè)的行為，只可能用統(tǒng)計(jì)的方法描述?；煦鐒?dòng)力學(xué)系統(tǒng)的主要特征是其狀態(tài)對(duì)初始條件的靈敏依賴性，混沌反映其內(nèi) 在的隨機(jī)性?；煦缋碚撌侵该枋鼍哂谢煦缧袨榈姆蔷€性動(dòng)力學(xué)系統(tǒng)的基本理論、概念、方法，它把動(dòng)力學(xué)系統(tǒng)的復(fù)雜行為理解為其自身與其在同外界進(jìn)行物質(zhì)、能量和信息交換過程中內(nèi)在的有結(jié)構(gòu)的行為，而不是外來的和偶然的行為，混沌狀態(tài)是一種定態(tài)?；煦鐒?dòng)力學(xué)系統(tǒng)的定態(tài)包括：靜止、平穩(wěn)量、周期性、準(zhǔn)同 期性和混沌解?；煦畿壘€是整體上穩(wěn)定與局部不穩(wěn)定相結(jié)合的結(jié)果，稱之為奇異吸引子。一個(gè)奇異吸引子有如下一些特征：（ 1）奇異吸引子是一個(gè) 吸引子 ，但它既不是不動(dòng)點(diǎn)，也不是周期解；（ 2）奇異吸引子是不可分割的，即不能分為兩個(gè)以及兩個(gè)以上的吸引子；（ 3）它對(duì)初始值十分敏感，不同的初始值會(huì)導(dǎo)致極不相同的行為。 優(yōu)越性 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)和優(yōu)越性，主要表現(xiàn)在三個(gè)方面： 第一，具有自學(xué)習(xí)功能。例如實(shí)現(xiàn)圖像識(shí)別時(shí)，只在先把許多不同的圖像樣板和對(duì)應(yīng)的應(yīng)識(shí)別的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)就會(huì)通過自學(xué)習(xí)功能，慢慢學(xué)會(huì)識(shí)別類似的圖像。自學(xué)習(xí)功能對(duì)于預(yù)測(cè)有特別重要的意義。預(yù)期未來的人工神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)將為人類提供經(jīng)濟(jì)預(yù)測(cè)、 市場(chǎng)預(yù)測(cè) 、效益預(yù)測(cè)，其應(yīng)用前途是很遠(yuǎn)大的。第二，具有聯(lián)想存儲(chǔ)功能。用人工神經(jīng)網(wǎng)絡(luò)的反饋網(wǎng)絡(luò)就可以實(shí)現(xiàn)這種聯(lián)想。第三，具有高速尋找優(yōu)化解的能力。尋找一個(gè)復(fù)雜問題的優(yōu)化解，往往需要很大的計(jì)算量，利用一個(gè)針對(duì)某問題而設(shè)計(jì)的反饋型人工神經(jīng)網(wǎng)絡(luò)，發(fā)揮計(jì)算機(jī)的高速運(yùn)算能力，可能很快找到優(yōu)化解。 研究方向 神經(jīng)網(wǎng)絡(luò)的研究可以分為理論研究和應(yīng)用研究?jī)纱蠓矫妗? 理論研究可分為以下兩類： 利用神經(jīng)生 理與認(rèn)知科學(xué)研究人類思維以及智能機(jī)理。 利用神經(jīng)基礎(chǔ)理論的研究成果，用數(shù)理方法探索功能更加完善、性能更加優(yōu)越的神經(jīng)網(wǎng)絡(luò)模型，深入研究網(wǎng)絡(luò)算法和性能，如： 穩(wěn)定性 、收斂性、容錯(cuò)性、 魯棒性 等；開發(fā)新的網(wǎng)絡(luò)數(shù)理理論，如：神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng) 等。 應(yīng)用研究可分為以下兩類： 神經(jīng)網(wǎng)絡(luò)的 軟件 模擬和硬件實(shí)現(xiàn)的研究。 神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域中應(yīng)用的研究。這些領(lǐng)域主要包括： 模式識(shí)別 、信號(hào)處理、 知識(shí)工程 、專家系統(tǒng)、優(yōu)化組合、機(jī)器人控制等。隨著 神經(jīng)網(wǎng)絡(luò)理論 本身以及相關(guān)理論、相關(guān)技術(shù)的不斷發(fā)展，神經(jīng)網(wǎng)絡(luò)的應(yīng)用定將更加深入。 發(fā)展趨勢(shì)及研究熱點(diǎn) 人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對(duì)于直覺，如模式、語音識(shí)別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng) 專家系統(tǒng) 、模式識(shí)別、智能控制、組合優(yōu)化、預(yù)測(cè)等領(lǐng)域得到成功應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)與其它傳統(tǒng)方法相結(jié)合，將推動(dòng)人工智能和信息處理技術(shù)不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認(rèn)知的道路上更加深入發(fā)展，與模糊系統(tǒng)、 遺傳算法 、進(jìn)化機(jī)制等結(jié)合，形成 計(jì)算智能 ，成為人工智能的一個(gè)重要方向，將在實(shí)際應(yīng)用中得到發(fā)展。將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了新的途徑。神經(jīng)計(jì)算機(jī)的研究發(fā)展很快，已有產(chǎn)品進(jìn)入市場(chǎng)。光電結(jié)合的神經(jīng)計(jì)算機(jī)為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。 神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域已得到了很好的應(yīng)用，但其需要研究的方面還很多。其中，具有分布存儲(chǔ)、并行處理、自學(xué)習(xí)、自組織以及非線性映射等優(yōu)點(diǎn)的神經(jīng)網(wǎng)絡(luò)與其他技術(shù)的結(jié)合以及由此而來的混合方法和混合系統(tǒng)，已經(jīng)成為一大 研究熱點(diǎn)。由于其他方法也有它們各自的優(yōu)點(diǎn)，所以將神經(jīng)網(wǎng)絡(luò)與其他方法相結(jié)合，取長(zhǎng)補(bǔ)短，繼而可以獲得更好的應(yīng)用效果。目前這方面工作有神經(jīng)網(wǎng)絡(luò)與模糊邏輯、專家系統(tǒng)、遺傳算法、小波分析、混沌、粗集理論、分形理論、證據(jù)理論和灰色系統(tǒng)等的融合。