【正文】 依賴于這些學(xué)科而共同發(fā)展。當(dāng)給定一個(gè)特定問題時(shí)，范例推理就檢索范例庫(kù)，尋找相似的范例。通過對(duì)很多 KDD用戶在實(shí)際工作中遇到的問題的了解，他們發(fā)現(xiàn)用戶的很大一部分工作量是與數(shù)據(jù)庫(kù)的交互上。 l 1989年國(guó)際上第一次關(guān)于數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)的研討會(huì)在美國(guó)的底特律召開，在此次會(huì)議上第一次提出了 知識(shí)發(fā)現(xiàn) （ Knowledge Discovery in Database, KDD） 一詞。對(duì) E求微分（省略推導(dǎo)過程）得優(yōu)化問題（能量函數(shù) E ）l 在實(shí)際應(yīng)用中，任何一個(gè)系統(tǒng)，如果其優(yōu)化問題可以用能量函數(shù) E(t)作為目標(biāo)函數(shù)，那么，總可以用連續(xù) Hopfield網(wǎng)絡(luò)對(duì)其進(jìn)行求解。表 1 BP網(wǎng)絡(luò)學(xué)習(xí)經(jīng)驗(yàn)數(shù)據(jù)表 2 訓(xùn)練 NN時(shí)觀察到的權(quán)值變化第一個(gè)初始閾值為 ，第二個(gè)為，其他的每次遞增 ，直到 。⒊ 自 組織的學(xué)習(xí)和 Hebbian學(xué)習(xí)律兩個(gè)神經(jīng)元之間的連接權(quán)，正比于兩個(gè)神經(jīng)元的活動(dòng)值，如 ，表示兩個(gè)神經(jīng)元的輸出值，則他們之間的權(quán)的變化為這里 為步長(zhǎng)或常數(shù)。 方法：將常量換成變量，并把某些不重要的信息去掉，只保留求解問題必須的關(guān)鍵信息。用來推斷一個(gè)不完全確定的事物可能還有的其他屬性l 預(yù)測(cè)推理型l傳統(tǒng)的類比法l因果關(guān)系型 解釋學(xué)習(xí) l 基于解釋的學(xué)習(xí) (Explanationbased learning, EBL) 解釋學(xué)習(xí)興起于 20世紀(jì) 80年代中期，根據(jù)任務(wù)所在領(lǐng)域知識(shí)和正在學(xué)習(xí)的概念知識(shí)，對(duì)當(dāng)前實(shí)例進(jìn)行分析和求解，得出一個(gè)表征求解過程的因果解釋樹，以獲取新的知識(shí)。數(shù)據(jù)化簡(jiǎn)級(jí)別圖l 萊納特 (Lenat)，海斯 和一般的降維分析一樣，流形學(xué)習(xí)把一組在高維空間中的數(shù)據(jù)在低維空間中重新表示。用我們通俗的話總結(jié)，就是l 傳統(tǒng)機(jī)器學(xué)習(xí) = “種瓜得瓜，種豆得豆 ”l 遷移學(xué)習(xí) = “舉一反三 ”機(jī)器學(xué)習(xí)是多學(xué)科的交叉機(jī)器學(xué)習(xí)學(xué)科l 1983年， . Michalski等人撰寫 《 機(jī)器學(xué)習(xí)：通往人工智能的途徑 》 一書l 1986年， Machine Learning雜志創(chuàng)刊l 1997年以 Tom Mitchell的經(jīng)典教科書 《machine learning》 中都沒有貫穿始終的基礎(chǔ)體系，只不個(gè)是不同方法和技術(shù)的羅列l(wèi) 機(jī)器學(xué)習(xí)還非常年輕、很不成熟機(jī)器學(xué)習(xí)的分類l 傳統(tǒng)上，大致可分為 4類：l 歸納學(xué)習(xí)l 解釋學(xué)習(xí)l 遺傳學(xué)習(xí)（ GA)l 連接學(xué)習(xí) (神經(jīng)網(wǎng)絡(luò)）歸納學(xué)習(xí)l 是從某一概念的分類例子集出發(fā)歸納出一般的概念描述。l 很難想象 : 一個(gè)沒有學(xué)習(xí)功能的系統(tǒng)是能被稱為是具有智能的系統(tǒng)?；?，l 給定世界 W的所有對(duì)象獨(dú)立同分布。例子 2：不平衡數(shù)據(jù)問題l 醫(yī)療：以癌癥診斷為例， “ 健康人 ” 樣本遠(yuǎn)遠(yuǎn)多于 “ 病人 ” 樣本。從而 , 要求：(1)需要科學(xué)和高效的問題表示，以便將其學(xué)習(xí)建立在科學(xué)的基礎(chǔ)上(2)應(yīng)用驅(qū)動(dòng)成為必然 , 從而針對(duì)某個(gè)或某類應(yīng)用給出特定的學(xué)習(xí)方法將不斷涌現(xiàn)(3)對(duì)機(jī)器學(xué)習(xí)的檢驗(yàn)問題只能在應(yīng)用中檢驗(yàn)自己(4)對(duì)機(jī)器學(xué)習(xí)的結(jié)果的解釋 , 將逐漸受到重視 現(xiàn)在我們逐一討論幾種比較常用的學(xué)習(xí)算法 …… 機(jī)械學(xué)習(xí)l 機(jī)械學(xué)習(xí)（ Rote Learning） 又稱為記憶學(xué)習(xí)或死記硬背式的學(xué)習(xí)。l 所以，類比學(xué)習(xí)系統(tǒng)可以使一個(gè)已有的計(jì)算機(jī)應(yīng)用系統(tǒng)轉(zhuǎn)變?yōu)檫m應(yīng)于新的領(lǐng)域，來完成原先沒有設(shè)計(jì)的相類似的功能。自組織神經(jīng)網(wǎng)絡(luò) 是一種無教師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，可以模擬人類根據(jù)過去經(jīng)驗(yàn)自動(dòng)適應(yīng)無法預(yù)測(cè)的環(huán)境變化，通常利用競(jìng)爭(zhēng)原則進(jìn)行學(xué)習(xí)，可以通過學(xué)習(xí)提取一組數(shù)據(jù)中的重要特征或某種內(nèi)在規(guī)律性。(6)將 (6) 、 (5)代入 (4a)， 得：這里的對(duì)于中間隱層，根據(jù) (4b)式 有：而其中：所以是與輸出層中每個(gè)神經(jīng)元都有關(guān)系。一般在進(jìn)行計(jì)算機(jī)仿真時(shí)采用離散模型，而在用硬件實(shí)現(xiàn)時(shí)則采用連續(xù)模型。當(dāng)有一個(gè)輸入向量輸入到網(wǎng)絡(luò)后，網(wǎng)絡(luò)的迭代過程就不斷地從一個(gè)項(xiàng)角轉(zhuǎn)向另一個(gè)頂角，直至穩(wěn)定于一個(gè)頂角為止。 圖 1 費(fèi)亞得的知識(shí)處理模型l 在圖 1處理模型中， KDD處理過程共分為九個(gè)處理階段，這九個(gè)處理階段分別是數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)選擇、數(shù)據(jù)預(yù)處理、數(shù)據(jù)縮減、 KDD目標(biāo)確定、挖掘算法確定、數(shù)據(jù)挖掘、模式解釋及知識(shí)評(píng)價(jià)。粗糙集是由集合的下近似、上近似來定義的。通過向一個(gè)訓(xùn)練數(shù)據(jù)集學(xué)習(xí)和應(yīng)用所學(xué)知識(shí)生成分類和預(yù)測(cè)的模式。 。 人工神經(jīng)網(wǎng)絡(luò)方法：前饋式網(wǎng)絡(luò)、反饋式網(wǎng)絡(luò)和自組織網(wǎng)絡(luò)。 (4)粗糙集（ rough set） 由波拉克 （ Pawlak） 在 1982年提出。如 “如果成績(jī)?cè)?81—90之問，則成績(jī)優(yōu)良 ”可稱為個(gè)模式，而 “如果成績(jī)?yōu)?8l， 82． 83， 84， 85， 86． 87， 88， 89或 9D，則成績(jī)優(yōu)良 ”就不能稱為個(gè)模式。在該圖中，立方體的每一個(gè)頂角代表一個(gè)網(wǎng)絡(luò)狀態(tài)。 1984年，他又提出連續(xù)時(shí)間神經(jīng)網(wǎng)絡(luò)模型。 第 P1樣本輸入到圖 a所示的網(wǎng)絡(luò)，得到輸出 yl， l=0,1, …,m1 ， 其誤差為各輸出單元誤差之和，滿足：對(duì)于 P個(gè)樣本的學(xué)習(xí)，其總誤差為(3)這里用梯度法可以使總的誤差向減小的方向變化，直到 △ E總 =0為止，這種學(xué)習(xí)方式其矢量 W能夠穩(wěn)定到一個(gè)解，但并不保證是 E總 的全局最小解，可能是一個(gè)局部極小解。l 前向神經(jīng)網(wǎng)絡(luò) 各神經(jīng)元接受前一層的輸入并輸出給下一層，無反饋，常見的有 BP神經(jīng)網(wǎng)絡(luò)和 RBF徑向基神經(jīng)網(wǎng)絡(luò)。 例如：設(shè)要學(xué)習(xí)的目標(biāo)概念是 “一個(gè)物體（ Obj1）可以安全地放置在另一個(gè)物體（ Obj2）上 ”，即 SafeToStack(Obj1,obj2)l 訓(xùn)練實(shí)例為描述物體 Obj1與 Obj2的下述事實(shí)： On(Obj1,Obj2) Isa(Obj1,book of AI) Isa(Obj2,table) Volume(Obj1,1) Density(Obj1,) l 例如： truck的司機(jī)，只要他有開 car的知識(shí)就可完成開 truck的任務(wù)。解決這種 “ 對(duì)象：描述：類別” 之間 1:N:1關(guān)系的學(xué)習(xí)就是多示例學(xué)習(xí)Ranking機(jī)器學(xué)習(xí)l 其原始說法是 learning for rankingl 問題主要來自信息檢索，假設(shè)用戶的需求不能簡(jiǎn)單地表示為 “ 喜歡 ” 或 “ 不喜歡 ” ，而需要將“ 喜歡 ” 表示為一個(gè)順序，問題是如何通過學(xué)習(xí)，獲得關(guān)于這個(gè) “ 喜歡 ” 順序的模型。l 金融：以信用卡盜用檢測(cè)為例， “ 將盜用誤認(rèn)為正常使用的代價(jià) ” 與 “ 將正常使用誤認(rèn)為盜用的代價(jià) ” 是不同的。l 原則上說，存在各種各樣的一致性假設(shè)。l 機(jī)器學(xué)習(xí)就是根據(jù)這個(gè)有限樣本集 Q ，推算這個(gè)世界的模型，使得其對(duì)這個(gè)世界為真。l 這種方法要求大量的訓(xùn)練例，而且歸納性能受到描述語言、概念類型、信噪比、實(shí)例空間分布、歸納模式等的影響。l 線性方法l – PCA (Principal Component Analysis)l – ICA (Independent Component Analysis)l 非線性方法l – LLE (Local linear Embeding)(Roweis, Science,2022)l – Isomap (Tenenbaum, Science, 2022)l 比較常用的降維算法比如 PCA，是針對(duì)線性分布的高維數(shù)據(jù)進(jìn)行降維的算法，并且有局部最優(yōu)的問題。機(jī)械學(xué)習(xí)與計(jì)算、歸納和推理之間的關(guān)系如下圖所示。l EBL已被廣泛應(yīng)用于知識(shí)庫(kù)求精和改善系統(tǒng)的性能。領(lǐng)域知識(shí)的完善性l 領(lǐng)域知識(shí)對(duì)證明的形成起著重要的作用，只有完善的領(lǐng)域知識(shí)才能產(chǎn)生正確的學(xué)習(xí)描述。如 Kohonen和 ART等都采用這類學(xué)習(xí)方法。當(dāng)所有采樣輸人產(chǎn)生一個(gè)合適的