【正文】 特別神經(jīng)網(wǎng)絡方法在模式識別中取得較大進展。 l 模式識別 l 模式識別是研究如何使機器具有感知能力，主要研究視覺模式和聽覺模式的識別。 l 機器學習的研究，主要在以下三個方面進行：一是研究人類學習的機理、人腦思維的過程；和機器學習的方法；以及建立針對具體任務的學習系統(tǒng)。 可視化就是把數(shù)據(jù)、信息和知識轉化為可視的表示形式的過程。（ 6）遺傳算法 模仿人工選擇培育良種的思路，從一個初始規(guī)則集合開始，迭代的通過交換對象成員產(chǎn)生群體（繁殖），評估并擇優(yōu)復制逐代積累計算，最終得到最有價值的知識集。該新問題被加到范例庫，以便將來參考。 適合于處理非數(shù)值型數(shù)據(jù)，需要在生成決策樹后 再對決策樹進行剪枝處理，最后將決策樹轉化為規(guī)則，用于對新事例進行分類。邊界區(qū)的成員可能是該集合的成員，但不是確定的成員。（ 3）支撐向量機 SVM (support vector machine) 建立在計算學習理論的結構風險最小化原則之上，其主要思想是針對兩類分類問題，在高維空間中尋找一個超平面作為兩類的分割，以保證最小的分類錯誤率。圖 3給出了該模型的 框圖。 Anand從用戶的角度對 KDD處理過程進行了分析。每個處理階段 KDD系統(tǒng)會提供處理工具完成相應的工作。 如果一個表達式比列舉數(shù)據(jù)集中的元素的描述方法更為簡單時，才可稱為模式。會議對 KDD做了確切的定義 。Hopfield網(wǎng)絡的不足l 很難精確分析網(wǎng)絡的性能l 其動力學行為比較簡單 知識發(fā)現(xiàn) 產(chǎn)生的前提 ：從大量數(shù)據(jù)中找出隱藏在其中的、有用的信息和規(guī)律；計算機技術和信息技術的發(fā)展使其有能力處理這樣大量的數(shù)據(jù)。如果網(wǎng)絡的輸入不完全或只有部分正確，則網(wǎng)絡將穩(wěn)定于所期望頂角附近的一個頂角那里。對于上圖，若假設輸出層只有兩個節(jié)點，并用 1和 0分別表示每個節(jié)點的狀態(tài)，則整個網(wǎng)絡共有四種狀態(tài)，分別為： 00， 01， 10， 11110111001 011100000 010101三個神經(jīng)元的八個狀態(tài) 種狀態(tài)，每個狀態(tài)是一個三位的二進制數(shù)，如圖所示。利用神經(jīng)網(wǎng)絡進行優(yōu)化計算，就是在神經(jīng)網(wǎng)絡這一動力系統(tǒng)給出初始的估計點，即初始條件；然后隨網(wǎng)絡的運動傳遞而找到相應極小點。 v，隨著能量函數(shù)E的減少吸引到某個穩(wěn)定狀態(tài)優(yōu)化問題（能量函數(shù) E ） 這表明若函數(shù) E是有界函數(shù)， Hopfield網(wǎng)絡總是吸引到 E函數(shù)的局部最小值上。 聯(lián)想存儲器Associative Memory l Nature of associative memoryl part of information givenl the rest of the pattern is recalled 聯(lián)想存儲器網(wǎng)絡的幾點要素l Hopfield提出，如果把神經(jīng)網(wǎng)絡的各平衡點設想為存儲于該網(wǎng)絡的信息，而且網(wǎng)絡的收斂性保證系統(tǒng)的動態(tài)特性隨時間而達到穩(wěn)定，那么這種網(wǎng)絡稱為 聯(lián)想存儲器 。l 不完備的算法，可能出現(xiàn)局部極小問題l 網(wǎng)絡中隱節(jié)點個數(shù)的選取尚無理論指導l 新樣例的加入會影響已學習過的樣例 基于 Hopfield網(wǎng)絡的學習l 1982年， J． Hopfield提出了可用作 聯(lián)想存儲器的互連網(wǎng)絡，這個網(wǎng)絡稱為 Hopfield網(wǎng)絡模型，也稱 Hopfield模型。當所有采樣輸人產(chǎn)生一個合適的輸出值時的閾值和權值圖 1 認識熟人問題的學習試驗結果權值變化周期均方誤差這個網(wǎng)絡大約經(jīng)過了 255次權值修正后，網(wǎng)絡性能才變得滿意，即均方誤差 。如果網(wǎng)絡的輸出大于 ，那么就判斷這兩個人為相識；如果輸出小于 ，就判斷為不相識；其它結果被認為是模糊不定的。同理可得其中：BP算法（反向傳播算法）1985年，發(fā)展了 BP網(wǎng)絡學習算法，包括正向傳播和反向傳播，正向傳播過程中，輸入信息從輸入層經(jīng)隱單元逐層處理傳向輸出層，每層神經(jīng)元狀態(tài)僅影響下一層神經(jīng)元的狀態(tài)，如圖：如在輸出層得不到期望的輸出，則轉入反向傳播，將誤差信號沿原來的通路返回，修改各層神經(jīng)元的權值使誤差信號最小，如圖：反向傳播學習示例 熟人學習問題H1H2ARobertRaquelRomeoJoanJamesJuliet問題就是要修正網(wǎng)絡的權值，從某個初試值集合開始，直到所有判斷都是一致的l 假設正好有兩個輸入為 1值，而其余輸入為 0值。㈡ BP的學習算法去，令： ； ； ； ； 為了方便起見，在圖 a的網(wǎng)絡中，把閾值寫入連接權中； ；則方程（ 2）改為(2a)(2c)(2b)BP算法屬于 學習律，是一種有教師的學習算法。如 Kohonen和 ART等都采用這類學習方法。⒉ 學習律 這種方法是用已知例子作為教師對網(wǎng)絡的權進行學習。對生物神經(jīng)系統(tǒng)的觀察可以發(fā)現(xiàn)局部相關作用可以導致整體的某種有序性，自組織神經(jīng)網(wǎng)絡。l 輸入： X=（ x1， x2， … ， xn）l 聯(lián)接權： W=（ w1， w2， … ， wn） Tl 網(wǎng)絡輸入： =∑xiwil 向量形式： =XWl 激活函數(shù)： fl 網(wǎng)絡輸出： o=f（ ） 1 一組突觸和聯(lián)結，聯(lián)結具有權值 W1, W2, …, Wn2 通過加法器功能，將計算輸入的權值之和 =∑xiwi3 激勵函數(shù)限制神經(jīng)元輸出的幅度o=f（ ）典型激勵函數(shù)ooc線性函數(shù)（ Liner Function） f（ ） =k*+cγ γ θ θ o 非線性斜面函數(shù)（ Ramp Function）a+b o(0,c)ac=a+b/2 S形函數(shù)（ Sigmoid） 神經(jīng)網(wǎng)絡常見三大類模型 神經(jīng)網(wǎng)絡中常見三大類模型：前向神經(jīng)網(wǎng)絡；反饋神經(jīng)網(wǎng)絡；自組織神經(jīng)網(wǎng)絡。領域知識的完善性l 領域知識對證明的形成起著重要的作用，只有完善的領域知識才能產(chǎn)生正確的學習描述。Fragile (y)→ SafeToStack (x ,y) Lighter (x, y)→ SafeToStack (x ,y) Volume (p, v) ∧ Density (p, d)∧ *(v, d, w)→ Weight (p, w) Isa(p,table)→Weight (p, 15) Weight(p1,w1)∧ Weight(p2,w2)∧ Smaller(w1,w2)→Lighter(p1,p2) SafeToStack(Obj1,obj2)Lighter(Obj1,obj2)Weight(Obj1,) Weight(Obj2,15) Smaller(,15)Isa(Obj2,table)Voume(Obj1,1) Density(Obj1,) *(1,)圖 1 SafeToStack(Obj1,obj2)解釋結構 這是一個由目標概念引導的逆向推理，最終得到了一個解釋結構。解釋學習的學習過程與算法EBG算法可概括為兩步：1. 構造解釋 運用領域知識進行演繹，證明提供給系統(tǒng)的訓練實例為什么是滿足目標概念的一個實例 。l EBL已被廣泛應用于知識庫求精和改善系統(tǒng)的性能。類比學習形式l 已知： a∈ S與 b∈T 具有相似的性質 P， a還具有性質 Ql 推理： b也具有性質 Ql 步驟： （ 1）找出 S和 T的相似性質 P,找出 S的性質 Q和性質 P對 a的關系： P(a)Q(a) (2)推廣： ,P(x） Q(x) (3) ,P(x） Q(x) (4)利用假言推理， P(b)， P(x） Q(x)，得出 b