【正文】 第 5章 機器學習 2022/2/15 《人工智能》 2 學習能力是人類智能的根本特征。人類通過學習來提高和改進自己的能力。學習的基本機制是把一種情況下成功的表現行為轉移到另一種類似的新情況中。人的認識能力和智慧才能就是在畢生的學習中逐步形成、發(fā)展和完善。任何自然的智能系統(tǒng)都具備學習的能力。 機器學習是繼專家系統(tǒng)之后人工智能應用的又一重要研究領域。本章主要介紹機器學習的有關知識及其主要的幾種學習方法。 2022/2/15 《人工智能》 3 ? 機器學習概述 ? 機械學習 ? 歸納學習 ? 類比學習 ? 解釋學習 ? 強化學習 ? 知識發(fā)現 本章主要內容： 2022/2/15 《人工智能》 4 機器學習概述 ? 什么是學習？ 學習是人類具有的一種重要智能行為，但究竟什么是學習，長期以來卻眾說紛紜。 ? 關于“學習”這一概念的主要觀點： ? 學習是系統(tǒng)改進其性能的過程。這是西蒙的觀點。 ? 西蒙的觀點：學習就是系統(tǒng)在不斷重復的工作中對本身能力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務或類似任務時，會比現在做得更好或效率更高。 ? 學習是獲取知識的過程。這是從事專家系統(tǒng)研究的人們的觀點。 ? 學習是技能的獲取。這是心理學家的觀點。 ? 學習是事物規(guī)律的發(fā)現過程。 2022/2/15 《人工智能》 5 基本的學習形式有 2種： （ 1）知識獲取和技能求精。 例如，我們說某人學過物理。我們的意思是，此人已經掌握了有關物理學的基本概念，并且理解其含義，同時還懂得這些概念之間以及它們與物理世界之間的關系。 一般地，知識獲取可看作學習新的符號信息，而這些符號信息是以有效方式與應用這種信息的能力相適應的。 （ 2）第二類學習形式是通過實踐逐步改進機制和認知技能。 學習的很多過程都是由改進所學的技能組成。這些技能包括意識的或者機制的協調，而這種改進又是通過反復實踐和從失敗的行為中糾正偏差來進行的。例如騎自行車或彈鋼琴等等。 知識獲取的本質可能是一個自覺的過程，其結果產生新的符號知識結構和智力模型。而技能求精則是下意識地借助于反復實踐來實現的。人類的學習一般表現為這兩種活動的結合。 2022/2/15 《人工智能》 6 機器學習的定義 至今，還沒有統(tǒng)一的“機器學習”定義，而且也很難給出一個公認的和準確的定義。 一般認為機器學習是研究如何使用機器來模擬人類學習活動的一門學科。 更為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技能，并識別現有知識的學問。 ? 最早的具有學習能力的程序： 1959年美國的塞繆爾 (Samuel)設計了一個下棋程序，這個程序具有學習能力，它可以在不斷的對奕中改善自己的棋藝。 4年后，這個程序戰(zhàn)勝了設計者本人。又過了3年，這個程序戰(zhàn)勝了美國一個保持 8年之久的常勝不敗的冠軍。 2022/2/15 《人工智能》 7 機器學習的發(fā)展史 機器學習的發(fā)展過程大體上可分為 4個時期： 第一階段是在 50年代中葉到 60年代中葉，屬于熱烈時期。 在這個時期，所研究的是 “ 沒有知識 ” 的學習，即 “ 無知 ”學習；其研究目標是各類自組織系統(tǒng)和自適應系統(tǒng)；指導本階段研究的理論基礎是早在 40年代就開始研究的神經網絡模型。在這個時期，我國研制了數字識別學習機。 第二階段在 60年代中葉至 70年代中葉，被稱為機器學習的冷靜時期。 本階段的研究目標是模擬人類的概念學習過程，并采用邏輯結構或圖結構作為機器內部描述。這個時期正是我國 “ 史無前例 ” 的十年，對機器學習的研究不可能取得實質進展。 2022/2/15 《人工智能》 8 機器學習的發(fā)展史（ 2） 第三階段從 70年代中葉至 80年代中葉，稱為復興時期。 在這個時期，人們從學習單個概念擴展到學習多個概念，探索不同的學習策略和各種學習方法。 ? 1980年 ,在美國召開了第一屆國際機器學習研討會 。1984年 ,《 機器學習 》 雜志問世。 ? 我國于 1987年召開了第一屆全國機器學習研討會 。1989年成立了以中國科技大學蔡慶生教授為理事長的理事會。 機器學習的最新階段始于 1986年。 一方面，由于神經網絡研究的重新興起，另一方面，對實驗研究和應用研究得到前所未有的重視。我國的機器學習研究開始進入穩(wěn)步發(fā)展和逐漸繁榮的新時期。 2022/2/15 《人工智能》 9 機器學習、知識發(fā)現與數據挖掘 ? 知識發(fā)現 (Knowledge Discovering in Database)與數據挖掘 (Data Mining)是人工智能、機器學習 (Machine Learning)與數據庫技術相結合的產物。 KDD一詞是在 1989年于美國底特律市召開的第一屆KDD國際學術會議上正式形成的。 ? 1995年，在加拿大召開了第一屆知識發(fā)現和數據挖掘國際學術會議。由于數據庫中的數據被形象地喻為礦床，因此數據挖掘一詞很快流傳開來。 ? 數據挖掘和知識發(fā)現的研究已形成熱潮，并在生物醫(yī)學、金融管理、商業(yè)銷售等領域得到成功應用，給機器學習注入新的活力。 2022/2/15 《人工智能》 10 機器學習系統(tǒng)的基本結構 ? 環(huán) 境是指系統(tǒng)外部信息的來源，它可以是系統(tǒng)的工作對象，也可以包括工作對象和外界條件。 ? 學習單元處理環(huán)境提供的信息，相當于各種學習算法。學習單元利用環(huán)境提供的信息，并與執(zhí)行單元的反饋信息進行比較，獲取相關知識，對知識庫進行修改。 ? 知識庫用于存放由學習環(huán)節(jié)所得到的知識。知識庫中知識的表示方法可以是：謂詞、產生式、特征向量、神經網絡等。 ? 執(zhí)行單元處理系統(tǒng)所面臨的現實問題，即應用知識庫中的知識求解問題。 機器學習系統(tǒng)的基本結構如圖 2022/2/15 《人工智能》 11 影響學習系統(tǒng)設計的重要因素 (1) 影響學習系統(tǒng)設計的最重要的因素是環(huán)境向系統(tǒng)提供的信息。更具體地說是信息的質量。 (2) 知識庫是影響學習系統(tǒng)設計的第二個因素。 知識的表示有多種形式，在選擇時要兼顧以下 4個方面： ? 表達能力強。所選擇的表示方式能很容易地表達有關的知識。 ? 易于推理。為了使學習系統(tǒng)的計算代價比較低，希望知識表示方式能使推理較為容易。 ? 容易修改知識庫。學習系統(tǒng)的本質要求它不斷地修改自己的知識庫，當推廣得出一般執(zhí)行規(guī)則后，要加到知識庫中。 ? 知識表示易于擴展。每一個學習系統(tǒng)都要求具有某些知識理解環(huán)境提供的信息，分析比較，做出假設，檢驗并修改這些假設。因此，更確切地說，學習系統(tǒng)是對現有知識的擴展和改進。 2022/2/15 《人工智能》 12 機器學習的分類 ? 按學習方法分類（溫斯頓在 1977年提出的分類方法） ①機械式學習：機械學習就是記憶。 ②指導式學習：采用示教式學習策略，也稱為示教學習。 ③示例學習：通過工作例子學習。 ④類比學習：應用類似任務的知識求解當前問題。 ⑤解釋學習：根據領域知識對當前實例分析和求解。 ? 按學習的綜合屬性分類（綜合考慮知識表示、推理方法、應用領域等多種因素）： ①歸納學習：從個體的特征歸納出它們的共性 ②分析學習：從領域理論出發(fā)演繹出更有效的規(guī)則。 ③連接學習：人工神經網絡學習 ④遺傳學習 ： 模擬自然界遺傳與變異機制 2022/2/15 《人工智能》 13 機械學習 機械學習的模式 機械學習是最簡單的機器學習方法。機械學習就是記憶，即把新的知識存儲起來，供需要時檢索調用，而不需要計算和推理。機械學習又是最基本的學習過程。任何學習系統(tǒng)都必須記住它們獲取的知識。在機械學習系統(tǒng)中，知識的獲取是以較為穩(wěn)定和直接的方式進行的，不需要系統(tǒng)進行過多的加工。 (X1,X2,…, Xn) (Y1,Y2,…, Yn) f ((X1,X2,…, Xn),(Y1,Y2,…, Yn)) 存儲 2022/2/15 《人工智能》 14 數據化簡 Lenat,Hayes Roth，和 Klahr等人于 1979年關于機械學習提出一種有趣的觀點。他們指出，可以把機械學習看成是數據化簡分級中的第一級。數據化簡與計算機語言編譯類似；其目的是把原始信息變成可執(zhí)行的信息。在機械學習中我們只記憶計算的輸入輸出，忽略了計算過程，這樣就把計算問題化簡成存取問題。 2022/2/15 《人工智能》 15 機械學習的主要問題 對于機械學習，需要注意 3個重要的問題：存儲組織，穩(wěn)定性和存儲與計算之間的權衡。 （ 1）存儲組織信息：采用適當的存儲方式，使檢索速度盡可能地快，是機械學習中的重要問題。 （ 2）環(huán)境的穩(wěn)定性與存儲信息的適用性問題：機械學習系統(tǒng)必須保證所保存的信息適應于外界環(huán)境變化的需要，這也就是所謂的信息適用性問題。 （ 3）存儲與計算之間的權衡：對于機械學習來說很重要的一點是它不能降低系統(tǒng)的效率。 2022/2/15 《人工智能》 16 歸納學習 歸納學習是目前研究得最多的學習方法，其學習目的是為了獲得新的概念、構造新的規(guī)則或發(fā)現新的理論。這種方法對領域理論沒有要求，甚至可以沒有領域理論，但其需要大量的訓練例子，而且歸納性能受到描述語言、概念類型、信噪比、實例空間分布、 歸納模式等的影響。 （ 1） 歸納 （ induction）是人類拓展認識能力的重要方法，是一種從個別到一般的，從部分到整體的推理行為。 （ 2） 歸納推理 是應用歸納方法，從足夠多的具體事例中歸納出一般性知識，提取事物的一般規(guī)律；它是一種從個別到一般的推理。 （ 3） 歸納學習 （ induction learning）是應用歸納推理進行學習的一種方法。根據歸納學習有無教師指導，可把它分為示例學習和觀察與發(fā)現學習。前者屬于有師學習，后者屬于無師學習。 2022/2/15 《人工智能》 17 歸納學習的模式和規(guī)則 歸納學習的模式 給定： (1) 觀察陳述（事實） F，用以表示有關某些對象、狀態(tài)、過程等的特定知識； (2) 假定的初始歸納斷言（可能為空），是關于目標的泛化項或泛化描述。 (3) 背景知識，用于定義有關觀察陳述、候選歸納斷言以及任何相關問題領域知識、假設和約束，其中包括能夠刻畫所求歸納斷言的性質的優(yōu)先準則。 求：歸納斷言（假設） H，能重言蘊涵或弱蘊涵觀察陳述，并滿足背景知識。 2022/2/15 《人工智能》 18 假設 H永真蘊涵事實 F，說明 F是 H的邏輯推理，則有： H | F （讀作 H特殊化為 F） 或 F | H （讀作 F一般化或消解為 H） 這里，從 H推導 F是演繹推理，因此是保真的；而從事實F推導出假設 H是歸納推理，因此不是保真的。 歸納學習系統(tǒng)的模型如圖所示。 2022/2/15 《人工智能》 19 歸納概括規(guī)則 設 CTX表示任一描述， K表示結論，則有下列幾條常用的選擇性概括規(guī)則： (1) 取消部分條件： 設 S是對事例的一種限制，這種限制可能不必要，因此可以去除。即： CTX∧ S→ K = CTX→ K (2) 放松條件： 一個事例的原因可能不止一條，當出現新的原因時，應該把新的原因包含進去。 CTX1→ K = (CTX1∨ CTX2)→K 2022/2/15 《人工智能》 20 (3) 沿概念樹上溯： 設 L是一結構性描述項， S代表所有條件中的 L值在概念分層樹上最近的共同祖先，則： KSLC T XKiLC T XKbLC T XKaLC T X????????????????????][][][][?(4) 形成閉合區(qū)域： 設 L是一個具有顯性關系的描述項， a,b是它的特殊值，則： KbaLCT XKbLCT X KaLCT X ?????????? ??? ])..[(][ ][(5) 將常量轉化成變量： KxIFxBFxAFKZIFZBFZAF ??????? ),(),(),(),(),(),( ??2022/2/15 《人工智能》 21 歸納學習方法 示例學習 示例學習（ learning from examples）又稱為實例學習，它是通過環(huán)境中若干與某概念有關的例子，經歸納得出一般性概念的一種學習方法。在這種學習方法中，外部環(huán)境提供的