【正文】 樹(shù)學(xué)習(xí)的常見(jiàn)問(wèn)題 ? 確定決策樹(shù)增長(zhǎng)的深度，避免過(guò)度擬合； ? 處理連續(xù)值的屬性； ? 選擇一個(gè)適當(dāng)?shù)膶傩院Y選度量標(biāo)準(zhǔn)； ? 處理屬性值不完整的訓(xùn)練數(shù)據(jù)； ? 處理不同代價(jià)的屬性； ? 提高計(jì)算效率。 ? 訓(xùn)練數(shù)據(jù)可以包含錯(cuò)誤：決策樹(shù)學(xué)習(xí)對(duì)錯(cuò)誤有很好的健壯性，無(wú)論是訓(xùn)練樣例所屬的分類錯(cuò)誤，還是描述這些樣例的屬性值錯(cuò)誤。決策樹(shù)方法很容易擴(kuò)展到學(xué)習(xí)有兩個(gè)以上輸出值的函數(shù)。 上述例子可對(duì)應(yīng)如下析取式： (color=green∧ size=big) ∨ (color=green∧ size=medium) ∨ (color=green∧ size=small) ∨ (color=yellow∧ shape=round∧ size=big) ∨ (color=yellow∧ shape=round∧ size=small) ∨ (color=yellow∧ shape=thin) ∨ (color=red∧ size=medium) ∨ (color=red∧ size=small∧ taste=sweet) ∨ (color=red∧ size=small∧ taste=sour) 2022/2/15 《人工智能》 26 決策樹(shù)的適用問(wèn)題 ? 決策樹(shù)學(xué)習(xí)適合解決具有以下特征的問(wèn)題 ? 實(shí)例是由 “ 屬性 值 ” 對(duì)表示的：實(shí)例是用一系列固定的屬性和它們的值來(lái)描述的。 樣本集：一批水果，知道其特征向量及類別 問(wèn) 題：一個(gè)新的水果，觀測(cè)到了其特征向量，將其分類 2022/2/15 《人工智能》 24 2022/2/15 《人工智能》 25 通常決策樹(shù)代表實(shí)例屬性值約束的合取 (conjunction)的析取式 (disjunction)。然后這個(gè)過(guò)程再以新節(jié)點(diǎn)為根的子樹(shù)上重復(fù)。樹(shù)上的每一個(gè)節(jié)點(diǎn)說(shuō)明了對(duì)實(shí)例的某個(gè)屬性 (attribute)的測(cè)試，并且該節(jié)點(diǎn)的每一個(gè)后繼分枝對(duì)應(yīng)于該屬性的一個(gè)可能值。決策樹(shù)學(xué)習(xí)的歸納偏置是優(yōu)先選擇較小的樹(shù)。決策樹(shù)學(xué)習(xí)算法有很多，比如 ID、 ASSISTANT等等。學(xué)習(xí)得到的決策樹(shù)也能再被表示為多個(gè) ifthen規(guī)則，以提高可讀性。它是一種逼近離散值函數(shù)的方法。前者用于對(duì)事例進(jìn)行聚類，形成概念描述；后者用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則。 觀察發(fā)現(xiàn)學(xué)習(xí) 觀察發(fā)現(xiàn)學(xué)習(xí)又稱為描述性概括，其目標(biāo)是確定一個(gè)定律或理論的一般性描述，刻畫(huà)觀察集，指定某類對(duì)象的性質(zhì)。 CTX1→ K = (CTX1∨ CTX2)→K 2022/2/15 《人工智能》 20 (3) 沿概念樹(shù)上溯： 設(shè) L是一結(jié)構(gòu)性描述項(xiàng)， S代表所有條件中的 L值在概念分層樹(shù)上最近的共同祖先，則： KSLC T XKiLC T XKbLC T XKaLC T X????????????????????][][][][?(4) 形成閉合區(qū)域： 設(shè) L是一個(gè)具有顯性關(guān)系的描述項(xiàng)， a,b是它的特殊值，則： KbaLCT XKbLCT X KaLCT X ?????????? ??? ])..[(][ ][(5) 將常量轉(zhuǎn)化成變量： KxIFxBFxAFKZIFZBFZAF ??????? ),(),(),(),(),(),( ??2022/2/15 《人工智能》 21 歸納學(xué)習(xí)方法 示例學(xué)習(xí) 示例學(xué)習(xí)（ learning from examples）又稱為實(shí)例學(xué)習(xí)，它是通過(guò)環(huán)境中若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。 2022/2/15 《人工智能》 19 歸納概括規(guī)則 設(shè) CTX表示任一描述， K表示結(jié)論，則有下列幾條常用的選擇性概括規(guī)則： (1) 取消部分條件： 設(shè) S是對(duì)事例的一種限制，這種限制可能不必要，因此可以去除。 2022/2/15 《人工智能》 18 假設(shè) H永真蘊(yùn)涵事實(shí) F，說(shuō)明 F是 H的邏輯推理，則有： H | F （讀作 H特殊化為 F） 或 F | H （讀作 F一般化或消解為 H） 這里，從 H推導(dǎo) F是演繹推理，因此是保真的；而從事實(shí)F推導(dǎo)出假設(shè) H是歸納推理，因此不是保真的。 (3) 背景知識(shí)，用于定義有關(guān)觀察陳述、候選歸納斷言以及任何相關(guān)問(wèn)題領(lǐng)域知識(shí)、假設(shè)和約束，其中包括能夠刻畫(huà)所求歸納斷言的性質(zhì)的優(yōu)先準(zhǔn)則。前者屬于有師學(xué)習(xí)，后者屬于無(wú)師學(xué)習(xí)。 （ 3） 歸納學(xué)習(xí) （ induction learning）是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方法。 （ 1） 歸納 （ induction）是人類拓展認(rèn)識(shí)能力的重要方法，是一種從個(gè)別到一般的，從部分到整體的推理行為。 2022/2/15 《人工智能》 16 歸納學(xué)習(xí) 歸納學(xué)習(xí)是目前研究得最多的學(xué)習(xí)方法，其學(xué)習(xí)目的是為了獲得新的概念、構(gòu)造新的規(guī)則或發(fā)現(xiàn)新的理論。 （ 2）環(huán)境的穩(wěn)定性與存儲(chǔ)信息的適用性問(wèn)題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保存的信息適應(yīng)于外界環(huán)境變化的需要，這也就是所謂的信息適用性問(wèn)題。 2022/2/15 《人工智能》 15 機(jī)械學(xué)習(xí)的主要問(wèn)題 對(duì)于機(jī)械學(xué)習(xí)，需要注意 3個(gè)重要的問(wèn)題：存儲(chǔ)組織，穩(wěn)定性和存儲(chǔ)與計(jì)算之間的權(quán)衡。數(shù)據(jù)化簡(jiǎn)與計(jì)算機(jī)語(yǔ)言編譯類似；其目的是把原始信息變成可執(zhí)行的信息。 (X1,X2,…, Xn) (Y1,Y2,…, Yn) f ((X1,X2,…, Xn),(Y1,Y2,…, Yn)) 存儲(chǔ) 2022/2/15 《人工智能》 14 數(shù)據(jù)化簡(jiǎn) Lenat,Hayes Roth，和 Klahr等人于 1979年關(guān)于機(jī)械學(xué)習(xí)提出一種有趣的觀點(diǎn)。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識(shí)。機(jī)械學(xué)習(xí)就是記憶，即把新的知識(shí)存儲(chǔ)起來(lái)，供需要時(shí)檢索調(diào)用，而不需要計(jì)算和推理。 ? 按學(xué)習(xí)的綜合屬性分類（綜合考慮知識(shí)表示、推理方法、應(yīng)用領(lǐng)域等多種因素）： ①歸納學(xué)習(xí)：從個(gè)體的特征歸納出它們的共性 ②分析學(xué)習(xí)：從領(lǐng)域理論出發(fā)演繹出更有效的規(guī)則。 ④類比學(xué)習(xí)：應(yīng)用類似任務(wù)的知識(shí)求解當(dāng)前問(wèn)題。 ②指導(dǎo)式學(xué)習(xí)：采用示教式學(xué)習(xí)策略，也稱為示教學(xué)習(xí)。因此，更確切地說(shuō)，學(xué)習(xí)系統(tǒng)是對(duì)現(xiàn)有知識(shí)的擴(kuò)展和改進(jìn)。 ? 知識(shí)表示易于擴(kuò)展。 ? 容易修改知識(shí)庫(kù)。 ? 易于推理。 知識(shí)的表示有多種形式，在選擇時(shí)要兼顧以下 4個(gè)方面： ? 表達(dá)能力強(qiáng)。更具體地說(shuō)是信息的質(zhì)量。 ? 執(zhí)行單元處理系統(tǒng)所面臨的現(xiàn)實(shí)問(wèn)題，即應(yīng)用知識(shí)庫(kù)中的知識(shí)求解問(wèn)題。 ? 知識(shí)庫(kù)用于存放由學(xué)習(xí)環(huán)節(jié)所得到的知識(shí)。 ? 學(xué)習(xí)單元處理環(huán)境提供的信息，相當(dāng)于各種學(xué)習(xí)算法。 ? 數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的研究已形成熱潮，并在生物醫(yī)學(xué)、金融管理、商業(yè)銷售等領(lǐng)域得到成功應(yīng)用，給機(jī)器學(xué)習(xí)注入新的活力。 ? 1995年，在加拿大召開(kāi)了第一屆知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘國(guó)際學(xué)術(shù)會(huì)議。 2022/2/15 《人工智能》 9 機(jī)器學(xué)習(xí)、知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘 ? 知識(shí)發(fā)現(xiàn) (Knowledge Discovering in Database)與數(shù)據(jù)挖掘 (Data Mining)是人工智能、機(jī)器學(xué)習(xí) (Machine Learning)與數(shù)據(jù)庫(kù)技術(shù)相結(jié)合的產(chǎn)物。 一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興起，另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視。1989年成立了以中國(guó)科技大學(xué)蔡慶生教授為理事長(zhǎng)的理事會(huì)。1984年 ,《 機(jī)器學(xué)習(xí) 》 雜志問(wèn)世。 在這個(gè)時(shí)期，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。這個(gè)時(shí)期正是我國(guó) “ 史無(wú)前例 ” 的十年，對(duì)機(jī)器學(xué)習(xí)的研究不可能取得實(shí)質(zhì)進(jìn)展。 第二階段在 60年代中葉至 70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。 在這個(gè)時(shí)期，所研究的是 “ 沒(méi)有知識(shí) ” 的學(xué)習(xí)，即 “ 無(wú)知 ”學(xué)習(xí)；其研究目標(biāo)是各類自組織系統(tǒng)和自適應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基礎(chǔ)是早在 40年代就開(kāi)始研究的神經(jīng)網(wǎng)絡(luò)模型。又過(guò)了3年，這個(gè)程序戰(zhàn)勝了美國(guó)一個(gè)保持 8年之久的常勝不敗的冠軍。 ? 最早的具有學(xué)習(xí)能力的程序： 1959年美國(guó)的塞繆爾 (Samuel)設(shè)計(jì)了一個(gè)下棋程序，這個(gè)程序具有學(xué)習(xí)能力，它可以在不斷的對(duì)奕中改善自己的棋藝。 一般認(rèn)為機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類學(xué)習(xí)活動(dòng)的一門學(xué)科。人類的學(xué)習(xí)一般表現(xiàn)為這兩種活動(dòng)的結(jié)合。 知識(shí)獲取的本質(zhì)可能是一個(gè)自覺(jué)的過(guò)程，其結(jié)果產(chǎn)生新的符號(hào)知識(shí)結(jié)構(gòu)和智力模型。這些技能包括意識(shí)的或者機(jī)制的協(xié)調(diào)，而這種改進(jìn)又是通過(guò)反復(fù)實(shí)踐和從失敗的行為中糾正偏差來(lái)進(jìn)行的。 （ 2）第二類學(xué)習(xí)形式是通過(guò)實(shí)踐逐步改進(jìn)機(jī)制和認(rèn)知技能。我們的意思是，此人已經(jīng)掌握了有關(guān)物理學(xué)的基本概念，并且理解其含義，同時(shí)還懂得這些概念之間以及它們與物理世界之間的關(guān)系。 2022/2/15 《人工智能》 5 基本的學(xué)習(xí)形式有 2種： （ 1）知識(shí)獲取和技能求精。這是心理學(xué)家的觀點(diǎn)。這是從事專家系統(tǒng)研究的人們的觀點(diǎn)。 ? 西蒙的觀點(diǎn)：學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對(duì)本身能力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或類似任務(wù)時(shí)，會(huì)比現(xiàn)在做得更好或效率更高。 ? 關(guān)于“學(xué)習(xí)”這一概念的主要觀點(diǎn)： ? 學(xué)習(xí)是系統(tǒng)改進(jìn)其性能的過(guò)程。本章主要介紹機(jī)器學(xué)習(xí)的有關(guān)知識(shí)及其主要的幾種學(xué)習(xí)方法。任何自然的智能系統(tǒng)都具備學(xué)習(xí)的能力。學(xué)習(xí)的基本機(jī)制是把一種情況下成功的表現(xiàn)行為轉(zhuǎn)移到另一種類似的新情況中。第 5章 機(jī)器學(xué)習(xí) 2022/2/15 《人工智能》 2 學(xué)習(xí)能力是人類智能的根本特征。人類通過(guò)學(xué)習(xí)來(lái)提高和改進(jìn)自己的能力。人的認(rèn)識(shí)能力和智慧才能就是在畢生的學(xué)習(xí)中逐步形成、發(fā)展和完善。 機(jī)器學(xué)習(xí)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域。 2022/2/15 《人工智能》 3 ? 機(jī)器學(xué)習(xí)概述 ? 機(jī)械學(xué)習(xí) ? 歸納學(xué)習(xí) ? 類比學(xué)習(xí) ? 解釋學(xué)習(xí) ? 強(qiáng)化學(xué)習(xí) ? 知識(shí)發(fā)現(xiàn) 本章主要內(nèi)容： 2022/2/15 《人工智能》 4 機(jī)器學(xué)習(xí)概述 ? 什么是學(xué)習(xí)？ 學(xué)習(xí)是人類具有的一種重要智能行為，但究竟什么是學(xué)習(xí)，長(zhǎng)期以來(lái)卻眾說(shuō)紛紜。這是西蒙的觀點(diǎn)。 ? 學(xué)習(xí)是獲取知識(shí)的過(guò)程。 ? 學(xué)習(xí)是技能的獲取。 ? 學(xué)習(xí)是事物規(guī)律的發(fā)現(xiàn)過(guò)程。 例如，我們說(shuō)某人學(xué)過(guò)物理。 一般地，知識(shí)獲取可看作學(xué)習(xí)新的符號(hào)信息，而這些符號(hào)信息是以有效方式與應(yīng)用這種信息的能力相適應(yīng)的。 學(xué)習(xí)的很多過(guò)程都是由改進(jìn)所學(xué)的技能組成。例如騎自行車或彈鋼琴等等。而技能求精則是下意識(shí)地借助于反復(fù)實(shí)踐來(lái)實(shí)現(xiàn)的。 2022/2/15 《人工智能》 6 機(jī)器學(xué)習(xí)的定義 至今，還沒(méi)有統(tǒng)一的“機(jī)器學(xué)習(xí)”定義，而且也很難給出一個(gè)公認(rèn)的和準(zhǔn)確的定義。 更為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn)。 4年后，這個(gè)程序戰(zhàn)勝了設(shè)計(jì)者本人。 2022/2/15 《人工智能》 7 機(jī)器學(xué)習(xí)的發(fā)展史 機(jī)器學(xué)習(xí)的發(fā)展過(guò)程大體上可分為 4個(gè)時(shí)期： 第一階段是在 50年代中葉到 60年代中葉，屬于熱烈時(shí)期。在這個(gè)時(shí)期，我國(guó)研制了數(shù)字識(shí)別學(xué)習(xí)機(jī)。 本階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過(guò)程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器內(nèi)部描述。 2022/2/15 《人工智能》 8 機(jī)器學(xué)習(xí)的發(fā)展史（ 2） 第三階段從 70年代中葉至 80年代中葉，稱為復(fù)興時(shí)期。 ? 1980年 ,在美國(guó)召開(kāi)了第一屆國(guó)際機(jī)器學(xué)習(xí)研討會(huì) 。 ? 我國(guó)于 1987年召開(kāi)了第一屆全國(guó)機(jī)器學(xué)習(xí)研討會(huì) 。 機(jī)器學(xué)習(xí)的最新階段始于 1986年。我國(guó)的機(jī)器學(xué)習(xí)研究開(kāi)始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時(shí)期。 KDD一詞是在 1989年于美國(guó)底特律市召開(kāi)的第一屆KDD國(guó)際學(xué)術(shù)會(huì)議上正式形成的。由于數(shù)據(jù)庫(kù)中的數(shù)據(jù)被形象地喻為礦床，因此數(shù)據(jù)挖掘一詞很快流傳開(kāi)來(lái)。 2022/2/15 《人工智能》 10 機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu) ? 環(huán) 境是指系統(tǒng)外部信息的來(lái)源，它可以是系統(tǒng)的工作對(duì)象，也可以包括工作對(duì)象和外界條件。學(xué)習(xí)單元利用環(huán)境提供的信息，并與執(zhí)行單元的反饋信息進(jìn)行比較，獲取相關(guān)知識(shí)，對(duì)知識(shí)庫(kù)進(jìn)行修改。知識(shí)庫(kù)中知識(shí)的表示方法可以是：謂詞、產(chǎn)生式、特征向量、神經(jīng)網(wǎng)絡(luò)等。 機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)如圖 2022/2/15 《人工智能》 11 影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的重要因素 (1) 影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要的因素是環(huán)境向系統(tǒng)提供的信息。 (2) 知識(shí)庫(kù)是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。所選擇的表示方式能很容易地表達(dá)有關(guān)的知識(shí)。為了使學(xué)習(xí)系統(tǒng)的計(jì)算代價(jià)比較低，希望知識(shí)表示