【正文】 以模擬人類根據(jù)過去經(jīng)驗自動適應無法預測的環(huán)境變化，通常利用競爭原則進行學習，可以通過學習提取一組數(shù)據(jù)中的重要特征或某種內(nèi)在規(guī)律性。l 前向神經(jīng)網(wǎng)絡 各神經(jīng)元接受前一層的輸入并輸出給下一層，無反饋，常見的有 BP神經(jīng)網(wǎng)絡和 RBF徑向基神經(jīng)網(wǎng)絡。人工神經(jīng)元的基本構成InputsignalSynapticweightsSummingfunctionActivationfunctionLocalFieldv Outputox1x2xnw2wnw1w0x0 = +1 人工神經(jīng)元模擬生物神經(jīng)元的一階特性 。但是，不完善是難以避免的，此時有可能出現(xiàn)如下 兩種極端情況： 2. 構造出了多種解釋l 解決辦法： 根本的辦法是提供完善的領域知識力，使問題能盡早地被發(fā)現(xiàn)，盡快地被修正。圖 2為圖 1的一般化解釋結構，可以得到如下一般性知識： Volume (O1, v1) ∧ Density (O1, d1)∧ *(v1, d1, w1)∧ Isa(O2,table)∧ Smaller(w1,15) → SafeToStack(Obj1,obj2) SafeToStack(O1,O2)Lighter(O1,O2)Weight(O1,w1) Weight(O2,15) Smaller(w1,15)Isa(O2,table)Voume(O1,v1) Density(O1,d1) *(v1,d1,w1)圖 2 SafeToStack(O1,O2)一般化解釋結構 以后求解類似問題時，就可以直接利用這個知識進行求解，提到了系統(tǒng)求解問題的效率。2. 獲取一般性的知識 任務：對上一步得到的解釋結構進行一般化的處理，從而得到關于目標概念的一般性知識。l 領域知識是把一個物體放置在另一個物體上面的安全性準則： 172。 例如：設要學習的目標概念是 “一個物體（ Obj1）可以安全地放置在另一個物體（ Obj2）上 ”，即 SafeToStack(Obj1,obj2)l 訓練實例為描述物體 Obj1與 Obj2的下述事實： On(Obj1,Obj2) Isa(Obj1,book of AI) Isa(Obj2,table) Volume(Obj1,1) Density(Obj1,) 其一般性描述為： 給定： 領域知識 DT 目標概念 TC 訓練實例 TE 操作性準則 OC 找出： 滿足 OC的關于 TC的充分條件目標概念 新規(guī)則操作準則訓練例子知識庫l 系統(tǒng)進行學習時，首先運用領域知識 DT找出訓練實例 TE為什么是目標概念 TC的實例的解釋，然后根據(jù)操作性準則 OC對解釋進行推廣，從而得到關于目標概念 TC的一個一般性描述，即一個可供以后使用的形式化表示的一般性知識。著名的 EBL系統(tǒng)有迪喬恩（）的 GENESIS, 米切爾（）的 LEXII和 LEAP, 以及明頓（）等的 PRODIGY。 l 例如，學生根據(jù)教師提供的目標概念、該概念的一個例子、領域理論及可操作準則，首先構造一個解釋來說明為什該例子滿足目標概念，然后將解釋推廣為目標概念的一個滿足可操作準則的充分條件。類比學習研究類型l 問題求解型已知因果關系 S1:AB,現(xiàn)有 A’≌A, 則可能有 B’滿足 A’B’求解一個新問題時，先回憶以前是否求解過類似問題，若是，則以此為依據(jù)求解新問題。l 轉換： 將 S中的知識引到 T中來，建立求解當前問題的方法會學習到關于 T的新知識。類比推理過程l 回憶與聯(lián)想l 選擇 :從找出的相似情況中選出與當前情況最相似的情況及其知識。l 所以，類比學習系統(tǒng)可以使一個已有的計算機應用系統(tǒng)轉變?yōu)檫m應于新的領域，來完成原先沒有設計的相類似的功能。l 例如： truck的司機，只要他有開 car的知識就可完成開 truck的任務。數(shù)據(jù)化簡級別圖 例如，第一次解一個一元二次方程的時候，必須使用很長的一段推導才能得出解方程的求根公式。存儲 計算 推導 歸納算法與理論機械記憶 搜索規(guī)則可以在大量病例的基礎上歸納總結出治療的一般規(guī)律，形成規(guī)則，當遇見 ’— 個新病例時，就使用規(guī)則去處理它，而不必再重新推斷解決辦法，提高了工作效率。羅思 (Hayes Roth)和克拉爾 (Klahr)等人于 1979年提出：可以把機械學習看成是數(shù)據(jù)化簡分級中的第一級。如果在系統(tǒng)的知識庫中沒有找到這樣的汽車，則系統(tǒng)將請求用戶給出大致的費用并進行確認，系統(tǒng)則會將該車的描述和經(jīng)過確認的估算費用存儲到知識庫中，以便將來查找使用。機械學習的過程 l 執(zhí)行機構每解決一個問題，系統(tǒng)就記住這個問題和它的解。l 機械學習是一種基本的學習過程，雖然它沒有足夠的能力獨立完成智能學習，但存儲對于任何智能型的程序來說，都是必要的和基本的。從而 , 要求：(1)需要科學和高效的問題表示，以便將其學習建立在科學的基礎上(2)應用驅動成為必然 , 從而針對某個或某類應用給出特定的學習方法將不斷涌現(xiàn)(3)對機器學習的檢驗問題只能在應用中檢驗自己(4)對機器學習的結果的解釋 , 將逐漸受到重視 現(xiàn)在我們逐一討論幾種比較常用的學習算法 …… 機械學習l 機械學習（ Rote Learning） 又稱為記憶學習或死記硬背式的學習。解決這種 “ 對象：描述：類別” 之間 1:N:1關系的學習就是多示例學習Ranking機器學習l 其原始說法是 learning for rankingl 問題主要來自信息檢索，假設用戶的需求不能簡單地表示為 “ 喜歡 ” 或 “ 不喜歡 ” ，而需要將“ 喜歡 ” 表示為一個順序，問題是如何通過學習，獲得關于這個 “ 喜歡 ” 順序的模型。半監(jiān)督機器學習l 半監(jiān)督的學習 :有少量訓練樣本 ,學習機以從訓練樣本獲得的知識為基礎 ,結合測試樣本的分布情況逐步修正已有知識 ,并判斷測試樣本的類別。而 LLE（ Local Linear Embedding）算法則針對于非線性數(shù)據(jù)。l 比如在基于內(nèi)容的圖像檢索中，當特征向量的維數(shù)非常高時，建立圖像特征庫時的存儲高維特征的空間復雜度和度量圖像之間相似性的運算復雜度都將非常的高。比如人，有中國人、美國人等等；流形就包括各種維數(shù)的曲線曲面等。由此導 致各種學習任務：數(shù)據(jù)流學習、多實例學習 (部分放棄獨立同分布條件 )、 Ranking學習、蛋白質(zhì)功能分析 , DNA數(shù)據(jù)分析， ……. 它們需要使用各種不同方法，解決實際問題。l 傳統(tǒng)的 ML技術基本上只考慮平衡數(shù)據(jù)l 如何處理數(shù)據(jù)不平衡性？l 在教科書中找不到現(xiàn)成的答案例子 3：可理解性問題l 醫(yī)療：以乳腺癌診斷為例，需要向病人解釋 “為什么做出這樣的診斷 ”l 金融：以信用卡盜用檢測為例，需要向保安部門解釋 “ 為什么這是正在被盜用的卡 ”l 傳統(tǒng)的 ML技術基本上只考慮泛化不考慮理解l 如何處理可理解性？l 在教科書中找不到現(xiàn)成的答案機器學習的最新進展l 算法驅動 (建模與數(shù)據(jù)分析 )l 應用驅動算法驅動l 海量非線性數(shù)據(jù) (10810)l 算法的泛化能力考慮l 學習結果數(shù)據(jù)的解釋l 代價加權的處理方法l 不同數(shù)據(jù)類型的學習方法應用驅動l 自然語言分析、網(wǎng)絡與電信數(shù)據(jù)分析、圖像數(shù)據(jù)分析、金融與經(jīng)濟數(shù)據(jù)分析、零售業(yè)數(shù)據(jù)分析、情報分析。例子 2：不平衡數(shù)據(jù)問題l 醫(yī)療：以癌癥診斷為例， “ 健康人 ” 樣本遠遠多于 “ 病人 ” 樣本。l 金融：以信用卡盜用檢測為例， “ 將盜用誤認為正常使用的代價 ” 與 “ 將正常使用誤認為盜用的代價 ” 是不同的。l 它與歸納學習相反，只需要少