【正文】 絡(luò)后，網(wǎng)絡(luò)的迭代過(guò)程就不斷地從一個(gè)項(xiàng)角轉(zhuǎn)向另一個(gè)頂角，直至穩(wěn)定于一個(gè)頂角為止。由于引入能量函數(shù) E(t)， Hopfield使神經(jīng)網(wǎng)絡(luò)和問(wèn)題優(yōu)化直接對(duì)應(yīng)。一般在進(jìn)行計(jì)算機(jī)仿真時(shí)采用離散模型，而在用硬件實(shí)現(xiàn)時(shí)則采用連續(xù)模型。通過(guò) BP算法改變初始值，直到所有輸出均方誤差在 。(6)將 (6) 、 (5)代入 (4a)， 得：這里的對(duì)于中間隱層，根據(jù) (4b)式 有：而其中：所以是與輸出層中每個(gè)神經(jīng)元都有關(guān)系。⒋ 相近學(xué)習(xí)設(shè) 為從神經(jīng)元 i到神經(jīng)元 j的權(quán)，為 i 神經(jīng)元的輸出，則 在 這個(gè)學(xué)習(xí)中，使 十分逼近 的值。自組織神經(jīng)網(wǎng)絡(luò) 是一種無(wú)教師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，可以模擬人類(lèi)根據(jù)過(guò)去經(jīng)驗(yàn)自動(dòng)適應(yīng)無(wú)法預(yù)測(cè)的環(huán)境變化，通常利用競(jìng)爭(zhēng)原則進(jìn)行學(xué)習(xí)，可以通過(guò)學(xué)習(xí)提取一組數(shù)據(jù)中的重要特征或某種內(nèi)在規(guī)律性。圖 2為圖 1的一般化解釋結(jié)構(gòu)，可以得到如下一般性知識(shí)： Volume (O1, v1) ∧ Density (O1, d1)∧ *(v1, d1, w1)∧ Isa(O2,table)∧ Smaller(w1,15) → SafeToStack(Obj1,obj2) SafeToStack(O1,O2)Lighter(O1,O2)Weight(O1,w1) Weight(O2,15) Smaller(w1,15)Isa(O2,table)Voume(O1,v1) Density(O1,d1) *(v1,d1,w1)圖 2 SafeToStack(O1,O2)一般化解釋結(jié)構(gòu) 以后求解類(lèi)似問(wèn)題時(shí)，就可以直接利用這個(gè)知識(shí)進(jìn)行求解，提到了系統(tǒng)求解問(wèn)題的效率。 l 例如，學(xué)生根據(jù)教師提供的目標(biāo)概念、該概念的一個(gè)例子、領(lǐng)域理論及可操作準(zhǔn)則，首先構(gòu)造一個(gè)解釋來(lái)說(shuō)明為什該例子滿足目標(biāo)概念，然后將解釋推廣為目標(biāo)概念的一個(gè)滿足可操作準(zhǔn)則的充分條件。l 所以，類(lèi)比學(xué)習(xí)系統(tǒng)可以使一個(gè)已有的計(jì)算機(jī)應(yīng)用系統(tǒng)轉(zhuǎn)變?yōu)檫m應(yīng)于新的領(lǐng)域，來(lái)完成原先沒(méi)有設(shè)計(jì)的相類(lèi)似的功能。羅思 (Hayes Roth)和克拉爾 (Klahr)等人于 1979年提出：可以把機(jī)械學(xué)習(xí)看成是數(shù)據(jù)化簡(jiǎn)分級(jí)中的第一級(jí)。從而 , 要求：(1)需要科學(xué)和高效的問(wèn)題表示，以便將其學(xué)習(xí)建立在科學(xué)的基礎(chǔ)上(2)應(yīng)用驅(qū)動(dòng)成為必然 , 從而針對(duì)某個(gè)或某類(lèi)應(yīng)用給出特定的學(xué)習(xí)方法將不斷涌現(xiàn)(3)對(duì)機(jī)器學(xué)習(xí)的檢驗(yàn)問(wèn)題只能在應(yīng)用中檢驗(yàn)自己(4)對(duì)機(jī)器學(xué)習(xí)的結(jié)果的解釋 , 將逐漸受到重視 現(xiàn)在我們逐一討論幾種比較常用的學(xué)習(xí)算法 …… 機(jī)械學(xué)習(xí)l 機(jī)械學(xué)習(xí)（ Rote Learning） 又稱(chēng)為記憶學(xué)習(xí)或死記硬背式的學(xué)習(xí)。l 比如在基于內(nèi)容的圖像檢索中，當(dāng)特征向量的維數(shù)非常高時(shí)，建立圖像特征庫(kù)時(shí)的存儲(chǔ)高維特征的空間復(fù)雜度和度量圖像之間相似性的運(yùn)算復(fù)雜度都將非常的高。例子 2：不平衡數(shù)據(jù)問(wèn)題l 醫(yī)療：以癌癥診斷為例， “ 健康人 ” 樣本遠(yuǎn)遠(yuǎn)多于 “ 病人 ” 樣本。l 這是目前研究得最多的學(xué)習(xí)方法，其學(xué)習(xí)目的是為了獲得新的概念、構(gòu)造新的規(guī)則或發(fā)現(xiàn)新的理論。或，l 給定世界 W的所有對(duì)象獨(dú)立同分布。信息檢索（ Information Retrieval )5機(jī)器學(xué)習(xí)的任務(wù)l 令 W是這個(gè)給定世界的有限或無(wú)限所有對(duì)象的集合，由于觀察能力的限制，我們只能獲得這個(gè)世界的一個(gè)有限的子集 Q? W，稱(chēng)為樣本集。l 很難想象 : 一個(gè)沒(méi)有學(xué)習(xí)功能的系統(tǒng)是能被稱(chēng)為是具有智能的系統(tǒng)。l 在統(tǒng)計(jì)意義下，一般假設(shè)：l W與 Q具有同分布。用我們通俗的話總結(jié)，就是l 傳統(tǒng)機(jī)器學(xué)習(xí) = “種瓜得瓜，種豆得豆 ”l 遷移學(xué)習(xí) = “舉一反三 ”機(jī)器學(xué)習(xí)是多學(xué)科的交叉機(jī)器學(xué)習(xí)學(xué)科l 1983年， . Michalski等人撰寫(xiě) 《 機(jī)器學(xué)習(xí)：通往人工智能的途徑 》 一書(shū)l 1986年， Machine Learning雜志創(chuàng)刊l 1997年以 Tom Mitchell的經(jīng)典教科書(shū) 《machine learning》 中都沒(méi)有貫穿始終的基礎(chǔ)體系，只不個(gè)是不同方法和技術(shù)的羅列l(wèi) 機(jī)器學(xué)習(xí)還非常年輕、很不成熟機(jī)器學(xué)習(xí)的分類(lèi)l 傳統(tǒng)上，大致可分為 4類(lèi)：l 歸納學(xué)習(xí)l 解釋學(xué)習(xí)l 遺傳學(xué)習(xí)（ GA)l 連接學(xué)習(xí) (神經(jīng)網(wǎng)絡(luò)）歸納學(xué)習(xí)l 是從某一概念的分類(lèi)例子集出發(fā)歸納出一般的概念描述。l 傳統(tǒng)的 ML技術(shù)基本上只考慮同一代價(jià)l 如何處理代價(jià)敏感性？l 在教科書(shū)中找不到現(xiàn)成的答案。和一般的降維分析一樣，流形學(xué)習(xí)把一組在高維空間中的數(shù)據(jù)在低維空間中重新表示。數(shù)據(jù)流機(jī)器學(xué)習(xí)l 在網(wǎng)絡(luò)數(shù)據(jù)分析與處理中，有一類(lèi)問(wèn)題，從一個(gè)用戶(hù)節(jié)點(diǎn)上流過(guò)的數(shù)據(jù)，大多數(shù)是無(wú)意義的，由于數(shù)據(jù)量極大，不能全部存儲(chǔ)，因此，只能簡(jiǎn)單判斷流過(guò)的文件是否有用，而無(wú)法細(xì)致分析l 如何學(xué)習(xí)一個(gè)模型可以完成這個(gè)任務(wù)，同時(shí)可以增量學(xué)習(xí)，以保證可以從數(shù)據(jù)流中不斷改善 (或適應(yīng) )用戶(hù)需求的模型研究現(xiàn)狀l 主要以任務(wù)為驅(qū)動(dòng)力 ,學(xué)習(xí)方法有待創(chuàng)新l 以上這些機(jī)器學(xué)習(xí)方式還處于實(shí)驗(yàn)觀察階段，缺乏堅(jiān)實(shí)的理論基礎(chǔ)l 實(shí)際應(yīng)用效果仍有待研究當(dāng)前機(jī)器學(xué)習(xí)所面臨情況是：l 數(shù)據(jù)復(fù)雜、海量，用戶(hù)需求多樣化。數(shù)據(jù)化簡(jiǎn)級(jí)別圖l 萊納特 (Lenat)，海斯 ，則可通過(guò)觀察消防車(chē)的行為，推斷出這個(gè)人的性格。用來(lái)推斷一個(gè)不完全確定的事物可能還有的其他屬性l 預(yù)測(cè)推理型l傳統(tǒng)的類(lèi)比法l因果關(guān)系型 解釋學(xué)習(xí) l 基于解釋的學(xué)習(xí) (Explanationbased learning, EBL) 解釋學(xué)習(xí)興起于 20世紀(jì) 80年代中期，根據(jù)任務(wù)所在領(lǐng)域知識(shí)和正在學(xué)習(xí)的概念知識(shí)，對(duì)當(dāng)前實(shí)例進(jìn)行分析和求解，得出一個(gè)表征求解過(guò)程的因果解釋樹(shù)，以獲取新的知識(shí)。 方法：將常量換成變量，并把某些不重要的信息去掉，只保留求解問(wèn)題必須的關(guān)鍵信息。l 反饋神經(jīng)網(wǎng)絡(luò) ，其輸入數(shù)據(jù)決定反饋系統(tǒng)的初始狀態(tài)，然后系統(tǒng)經(jīng)過(guò)一系列的狀態(tài)轉(zhuǎn)移后逐漸收斂于平衡狀態(tài)，即為反饋神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)計(jì)算后的輸出結(jié)果。⒊ 自 組織的學(xué)習(xí)和 Hebbian學(xué)習(xí)律兩個(gè)神經(jīng)元之間的連接權(quán)，正比于兩個(gè)神經(jīng)元的活動(dòng)值，如 ，表示兩個(gè)神經(jīng)元的輸出值，則他們之間的權(quán)的變化為這里 為步長(zhǎng)或常數(shù)。具體學(xué)習(xí)算法的解析式推導(dǎo)如下：令 n0為迭代 次數(shù)，根據(jù)（ 3）式和梯度算法，可得到每一層的權(quán)的迭代公式為(4a)(4c)(4b)從 (4a)式 可以看出， 是第 k 個(gè)神經(jīng)元與輸出層第 l個(gè)神經(jīng)元之間的連接權(quán)，它只與輸出層中一個(gè)神經(jīng)元有關(guān)，將 (3)式代入 (4a)中的第二項(xiàng)，利用公式 (1)得：(5)這里為 P1樣本輸入網(wǎng)絡(luò)時(shí)， 的輸出值。表 1 BP網(wǎng)絡(luò)學(xué)習(xí)經(jīng)驗(yàn)數(shù)據(jù)表 2 訓(xùn)練 NN時(shí)觀察到的權(quán)值變化第一個(gè)初始閾值為 ，第二個(gè)為，其他的每次遞增 ，直到 。這兩種模型的許多重要特性是密切相關(guān)的。對(duì) E求微分（省略推導(dǎo)過(guò)程）得優(yōu)化問(wèn)題（能量函數(shù) E ）l 在實(shí)際應(yīng)用中，任何一個(gè)系統(tǒng)，如果其優(yōu)化問(wèn)題可以用能量函數(shù) E(t)作為目標(biāo)函數(shù)，那么，總可以用連續(xù) Hopfield網(wǎng)絡(luò)對(duì)其進(jìn)行求解。 l 如果假設(shè)輸出層有三個(gè)節(jié)點(diǎn)，則整個(gè)網(wǎng)絡(luò)共有八l 一般來(lái)說(shuō)，如果在輸出層有 n個(gè)神經(jīng)元，則網(wǎng)絡(luò)就有 2n個(gè)狀態(tài)，它可以與一個(gè) n維超立體的頂角相聯(lián)系。 l 1989年國(guó)際上第一次關(guān)于數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)的研討會(huì)在美國(guó)的底特律召開(kāi)，在此次會(huì)議上第一次提出了 知識(shí)發(fā)現(xiàn) （ Knowledge Discovery in Database, KDD） 一詞。知識(shí)發(fā)現(xiàn)處理過(guò)程 下面我們介紹兩類(lèi)較具代表性的處理過(guò)程模型l 多處理階段過(guò)程模型（ 1） 多處理階段模型將數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)看做是一個(gè)多階段的處理過(guò)程，圖 1是費(fèi)亞得Usama 。通過(guò)對(duì)很多 KDD用戶(hù)在實(shí)際工作中遇到的問(wèn)題的了解，他們發(fā)現(xiàn)用戶(hù)的很大一部分工作量是與數(shù)據(jù)庫(kù)的交互上。它是一種新的數(shù)學(xué)工具，用來(lái)處理含糊性和不確定性。當(dāng)給定一個(gè)特定問(wèn)題時(shí)，范例推理就檢索范例庫(kù)，尋找相似的范例。主要用于分類(lèi)、聚類(lèi)、特征挖掘、預(yù)測(cè)等方面。依賴(lài)于這些學(xué)科而共同發(fā)