【文章內(nèi)容簡(jiǎn)介】 。 ? 略去解釋結(jié)構(gòu)的中間部件 。 ? 應(yīng)用：把葉結(jié)點(diǎn)查一遍 ， 不用中間結(jié)點(diǎn) 。 解釋學(xué)習(xí)例題 學(xué)習(xí)的目標(biāo)：一個(gè)物體 x可以安全的放置在另一個(gè)物體 y的上面 ” 。 ? 目標(biāo)概念： Safetostack(x， y) x在 y上安全堆放 ? 訓(xùn)練實(shí)例：前提：重量 、 體積 、 密度 ， Weight(obj1, )、 Weight(obj2, 5)、 Volume(obj1， 1)、 Density(obj1, ) ? 條件： Lighter(obj1, obj2)、 狀態(tài)： On(obj1， obj2) ? 是什么： Isa(obj1， book) 、 Isa(obj2， table)、 Isa(p, table)→Weight(p, 5) ? 領(lǐng)域知識(shí) （ 安全放置的準(zhǔn)則 、 條件 ） ： 172。Fragile(y)→Safe tostack(x, y)、 Lighter(x, y)→Safe tostack(x, y) 乘法計(jì)算 、 比較計(jì)算 Volume(p, v)ΛDensity(p, d)ΛProduct(v, d, w)→Weight(p, w) Weight(p1, w1)ΛWeight(p 2, w2)ΛSmaller(w 1, w2)→Lighter(p 1, p2) Safetostack(obj1, obj2) Lighter(obj1, obj2) Weight(obj1, ) Weight(obj2, 5) Smaller(, 5) Isa(obj2, table) Volume(obj1, 1) Density(obj1, ) Product(1, , ) 1）由 Safetostack(obj1, obj2)，尋找其條件（前件）。因?yàn)闆](méi)有 172。 Fragile(y)，所以選擇 Lighter(x, y)。得到Lighter(obj1, obj2)。 2）繼續(xù)尋找其前件，由比較計(jì)算公式可知 Lighter(obj1, obj2)的前件（條件）為Weight(p1, w1)Λ Weight(p2, w2)Λ Smaller(w1, w2)。得到Weight(obj1, )Λ Weight(obj2, 5)Λ Smaller(, 5)。 3）在繼續(xù)分別尋找各個(gè)元素的前件。有前件就填上前件，沒(méi)有前件，該結(jié)點(diǎn)就是葉子結(jié)點(diǎn)。直到全部結(jié)點(diǎn)都是葉子結(jié)點(diǎn)，便得到了解的解釋結(jié)構(gòu)樹(shù)。 Safetostack(obj1, obj2)的解釋結(jié)構(gòu) Safetostack(O1, O2) Lighter(O1, O2) Weight(O1, w1) Weight(O2, 5) Smaller(w1, 5) Isa(O 2, table) Volume(O1, v1) Density(O1, d1) Product(v1, d1, w1) Safetostack(O1, O2)的概括化解釋結(jié)構(gòu) 規(guī)則是Volume(O1,v1)Λ Density(O1,d1)Λ Product(v1,d1,w1)Λ Isa(O2,table) Λ smaller(w1,5) → Safetostack(O1,O2) 學(xué)習(xí)后的結(jié)果使用時(shí)把葉結(jié)點(diǎn)查一查就可以了 ， 葉結(jié)點(diǎn)滿足了即可 （ 不考慮中間結(jié)點(diǎn) ） 例如：滿足條件Volume(O1,v1)Λ Density(O1,d1)Λ Product(v1,d1,w1)Λ Isa(O2,table) Λ smaller(w1,5) 即可推出 Safetostack(O1,O2) 基于解釋的學(xué)習(xí) (方法 2) 基于解釋的詳細(xì)說(shuō)明法 (Explanation Based Specialization) ? 1987年 CMU的 Minton和 Carbonell提出 。 開(kāi)發(fā)了 PRODIGY學(xué)習(xí)系統(tǒng) ? 克服了 EBG（ 解釋和概括交替進(jìn)行 ） 的過(guò)分一般化的缺點(diǎn) 。 ? 解釋過(guò)程對(duì)每個(gè)目標(biāo)概念進(jìn)行詳細(xì)的描述 ， 將有關(guān)目標(biāo)概念的描述轉(zhuǎn)換成一條相應(yīng)的控制規(guī)則 。 ? 目標(biāo)概念學(xué)習(xí) :成功 (preference)、 失敗 (rejection)、 唯一的選擇(selection)、 目標(biāo)互相制約 (restricted) 分析問(wèn)題求解軌跡 ， 解釋為何滿足該概念 有解：成功；無(wú)解：失敗；選擇唯一：唯一； 依賴(lài)于別的目標(biāo)：互相制約 ? 得到的結(jié)果就是相應(yīng)種類(lèi) （ 成功 、 無(wú)解 、 唯一 、 制約 ） 的規(guī)則 基于解釋的學(xué)習(xí) (方法 2) ? 具體方法（體系結(jié)構(gòu)圖） ? 解釋過(guò)程：就是詳細(xì)的說(shuō)明過(guò)程 。 以目標(biāo)概念為根 ， 生成一棵自頂向下的證明樹(shù) 。 解釋每一步 ， 從領(lǐng)域庫(kù)中選擇與所給例子一致的規(guī)則 ， 生成一個(gè)結(jié)點(diǎn) 。 每條規(guī)則是對(duì)結(jié)點(diǎn)子目標(biāo)的詳細(xì)描述 。 ? 學(xué)習(xí)控制規(guī)則：四種目標(biāo)概念 ， 有四種固定的控制規(guī)則模式 。 將某個(gè)目標(biāo)概念的詳細(xì)描述與規(guī)則模式匹配 ， 就獲得相應(yīng)的控制規(guī)則 例見(jiàn)書(shū) ? 知識(shí)表示：領(lǐng)域?qū)庸?（ 領(lǐng)域規(guī)則 ） ；構(gòu)筑層公理 （ 推理規(guī)則 ） ? 沒(méi)有明顯的概括化過(guò)程 。 領(lǐng)域規(guī)則 ， 特別是問(wèn)題求解器的推理規(guī)則實(shí)際上已經(jīng)進(jìn)行了概括化處理 。 即不是最原始的領(lǐng)域知識(shí)構(gòu)成 ， 實(shí)際上具有一定的概括性 。 基于解釋的學(xué)習(xí) (方法 3) 由外部指導(dǎo)學(xué)習(xí)控制 chunk方法 ? 1987年斯坦福大學(xué)與密西根大學(xué)教授提出 。 （ SOAR系統(tǒng) ） ? 學(xué)習(xí)機(jī)制：由外部專(zhuān)家的指導(dǎo)來(lái)學(xué)習(xí)一般的搜索控制知識(shí) 。 ? 體系結(jié)構(gòu)圖 ? 外部指導(dǎo) ? 直接的指令式：由專(zhuān)家指定一個(gè)算子求解 。 有解 —〉 可行 ? 間接的簡(jiǎn)單直觀形式：原文體按語(yǔ)法分解成樹(shù)結(jié)構(gòu)的內(nèi)部表示 ， 并附上初始狀態(tài) 。 然后再請(qǐng)求專(zhuān)家勸告 （ 一個(gè)直觀簡(jiǎn)單問(wèn)題 ） 。 ? 學(xué)習(xí)機(jī)制 ? 工作存儲(chǔ)單元收集例子并構(gòu)成 chunk ? 建立子目標(biāo)后 ， 首先將當(dāng)時(shí)的狀態(tài)存入工作存儲(chǔ)單元 ? 得到解后 ， 系統(tǒng)從工作存儲(chǔ)單元中取出子目標(biāo)的初始狀態(tài)刪去與解無(wú)關(guān)的部分 ， 保留部分作為前件 。 ? 以專(zhuān)家指定的算子或求解簡(jiǎn)單問(wèn)題所得出的結(jié)算子作為結(jié)論動(dòng)作 ， 至此生成產(chǎn)生式規(guī)則 。 基于解釋的學(xué)習(xí) (可操作性 ) ? 可操作性：可操作性是一個(gè)輸入要求。 ? 可操作性標(biāo)準(zhǔn)： “ 概念描述應(yīng)該表示為描述訓(xùn)練例的那些謂詞或其它領(lǐng)域理論中挑選出來(lái)的易于估值的謂詞 ” ； “ 如果一個(gè)概念能有效的用于識(shí)別相應(yīng)的概念的例子，則它是可操作的 ” ? PRODIGY ? SOAR系統(tǒng) ? MRSEBG系統(tǒng) ? METALEX系統(tǒng) 可操作性對(duì)于基于解釋的學(xué)習(xí)系統(tǒng)是至關(guān)重要的 。 但是 ， 目前檢測(cè)可操作性的方法決定于能否簡(jiǎn)化系統(tǒng)的性能假設(shè) （ 這些假設(shè)很容易在學(xué)習(xí)過(guò)程中被破壞 ） 。 盡管在這方面國(guó)內(nèi)外的研究人員一直在尋找有效的處理方法 ， 但多數(shù)只是處于理論研究階段 ， 應(yīng)用于實(shí)際系統(tǒng)中的尚未達(dá)到令人滿意的程度 。 第六章 機(jī)器學(xué)習(xí) ? 概述 ? 實(shí)例學(xué)習(xí) ? 基于解釋的學(xué)習(xí) ? 決策樹(shù)學(xué)習(xí) ? 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 第六章 機(jī)器學(xué)習(xí) ? 概述 ? 實(shí)例學(xué)習(xí) ? 基于解釋的學(xué)習(xí) ? 決策樹(shù)學(xué)習(xí) ? 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 決策樹(shù)學(xué)習(xí) ? 決策樹(shù) (Decision Tree) 一種描述概念空間的有效的歸納推理辦法。基于決策樹(shù)的學(xué)習(xí)方法可以進(jìn)行不相關(guān)的多概念學(xué)習(xí)，具有簡(jiǎn)單快捷的優(yōu)勢(shì)，已經(jīng)在各個(gè)領(lǐng)域取得廣泛應(yīng)用。 決策樹(shù)學(xué)習(xí) （概述） ? 決策樹(shù)學(xué)習(xí)是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)。 ? 從一類(lèi)無(wú)序、無(wú)規(guī)則的事物（概念）中推理出決策樹(shù)表示的分類(lèi)規(guī)則。 ? 概念分類(lèi)學(xué)習(xí)算法：來(lái)源于 ? Hunt,Marin和 Stone 于 1966年研制的 CLS學(xué)習(xí)系統(tǒng)，用于學(xué)習(xí)單個(gè)概念。 ? 1979年 , . Quinlan 給出 ID3算法，并在 1983年和 1986年對(duì) ID3 進(jìn)行了總結(jié)和簡(jiǎn)化，使其成為決策樹(shù)學(xué)習(xí)算法的典型。 ? Schlimmer 和 Fisher 于 1986年對(duì) ID3進(jìn)行改造，在每個(gè)可能的決策樹(shù)節(jié)點(diǎn)創(chuàng)建緩沖區(qū)，使決策樹(shù)可以遞增式生成，得到 ID4算法。 ? 1988年， Utgoff 在 ID4基礎(chǔ)上提出了 ID5學(xué)習(xí)算法，進(jìn)一步提高了效率。 ? 1993年， Quinlan 進(jìn)一步發(fā)展了 ID3算法，改進(jìn)成 。 ? 另一類(lèi)決策樹(shù)算法為 CART，與 ， CART的決策樹(shù)由二元邏輯問(wèn)題生成，每個(gè)樹(shù)節(jié)點(diǎn)只有兩個(gè)分枝，分別包括學(xué)習(xí)實(shí)例的正例與反例。 ? 其基本思想是以信息熵為度量構(gòu)造一棵熵值下降最快的樹(shù)，到葉子節(jié)點(diǎn)處的熵值為零，此時(shí)每個(gè)葉節(jié)點(diǎn)中的實(shí)例都屬于同一類(lèi)。 決策樹(shù)學(xué)習(xí) （概述） ? 隨著決策樹(shù)學(xué)習(xí)算法的廣泛應(yīng)用，包括 和 CART的各種算法得到進(jìn)一步改進(jìn)。 ? 當(dāng)前比較引人注目的有斜超平面分割的多變決策樹(shù) (MultiVariance Decision Tree， MDT)算法，將遺傳算法、神經(jīng)元網(wǎng)絡(luò)和 算法， SVM決策樹(shù)算法。 ? 這些改進(jìn)算法旨在結(jié)合各種方案的優(yōu)勢(shì)，取得更合理的分類(lèi)效果，總結(jié)出更通用的規(guī)則。 決策樹(shù)學(xué)習(xí) （概述） ? 決策樹(shù)學(xué)習(xí)采用的是自頂向下的遞歸方法。 ? 決策樹(shù)的每一層節(jié)點(diǎn)依照某一屬性值向下分為子節(jié)點(diǎn)，待分類(lèi)的實(shí)例在每一節(jié)點(diǎn)處與該節(jié)點(diǎn)相關(guān)的屬性值進(jìn)行比較，根據(jù)不同的比較結(jié)果向相應(yīng)的子節(jié)點(diǎn)擴(kuò)展，這一過(guò)程在到達(dá)決策樹(shù)的葉節(jié)點(diǎn)時(shí)結(jié)束，此時(shí)得到結(jié)論。 ? 從根節(jié)點(diǎn)到葉節(jié)點(diǎn)的每一條路經(jīng)都對(duì)應(yīng)著一條合理的規(guī)則，規(guī)則間各個(gè)部分（各個(gè)層的條件）的關(guān)系是合取關(guān)系。整個(gè)決策樹(shù)就對(duì)應(yīng)著一組析取的規(guī)則。 ? 決策樹(shù)學(xué)習(xí)算法的最大優(yōu)點(diǎn)是，它可以自學(xué)習(xí)。在學(xué)習(xí)的過(guò)程中，不需要使用者了解過(guò)多背景知識(shí)，只需要對(duì)訓(xùn)練例子進(jìn)行較好的標(biāo)注，就能夠進(jìn)行學(xué)習(xí)。如果在應(yīng)用中發(fā)現(xiàn)不符合規(guī)則的實(shí)例，程序會(huì)詢(xún)問(wèn)用戶(hù)該實(shí)例的正確分類(lèi)，從而生成新的分枝和葉子，并添加到樹(shù)中。 決策樹(shù)學(xué)習(xí) （決策樹(shù)） ? 樹(shù)是由節(jié)點(diǎn)和分枝組成的層次數(shù)據(jù)結(jié)構(gòu)。節(jié)點(diǎn)用于存貯信息或知識(shí)，分枝用于連接各個(gè)節(jié)點(diǎn)。樹(shù)是圖的一個(gè)特例，圖是更一般的數(shù)學(xué)結(jié)構(gòu)，如貝葉斯網(wǎng)絡(luò)。 ? 決策樹(shù)是描述分類(lèi)過(guò)程的一種數(shù)據(jù)結(jié)構(gòu)，從上端的根節(jié)點(diǎn)開(kāi)始，各種分類(lèi)原則被引用進(jìn)來(lái)，并依這些分類(lèi)原則將根節(jié)點(diǎn)的數(shù)據(jù)集劃分為子集，這一劃分過(guò)程直到某種約束條件滿足而結(jié)束。 根結(jié)點(diǎn) 個(gè)子大 可能是松鼠 可能是老鼠 可能是大象 在水里 會(huì)吱吱叫 鼻子長(zhǎng) 脖子長(zhǎng) 個(gè)子小 不會(huì)吱吱叫 鼻子短 脖子短 可能是長(zhǎng)頸鹿 在陸地上 可能是犀牛 可能是河馬 決策樹(shù)學(xué)習(xí) （決策樹(shù)） ? 可以看到，一個(gè)決策樹(shù)的內(nèi)部結(jié)點(diǎn)包含學(xué)習(xí)的實(shí)例，每層分枝代表了實(shí)例的一個(gè)屬性的可能取值，葉節(jié)點(diǎn)是最終劃分成的類(lèi)。如果判定是二元的，那么構(gòu)造的將是一棵二叉樹(shù)，在樹(shù)中每回答一個(gè)問(wèn)題就降到樹(shù)的下一層，這類(lèi)樹(shù)一般稱(chēng)為CART（ Classification And Regression Tree）。 ? 判定結(jié)構(gòu)可以機(jī)械的轉(zhuǎn)變成產(chǎn)生式規(guī)則。可以通過(guò)對(duì)結(jié)構(gòu)進(jìn)行廣度優(yōu)先搜索，并在每個(gè)節(jié)點(diǎn)生成“ IF…THEN” 規(guī)則來(lái)實(shí)現(xiàn)。如圖 613的決策樹(shù)可以轉(zhuǎn)換成下規(guī)則： IF “個(gè)子大” THEN IF “脖子短” THEN IF “鼻子長(zhǎng)” THEN 可能是大象 形式化表示成 可能是大象鼻子長(zhǎng)脖子短個(gè)子大 ???決策樹(shù)學(xué)習(xí) （決策樹(shù)） ? 構(gòu)造一棵決策樹(shù)要解決四個(gè)問(wèn)題： ? 收集待分類(lèi)的數(shù)據(jù)，這些數(shù)據(jù)的所有屬性應(yīng)該是完全標(biāo)注的。 ? 設(shè)計(jì)分類(lèi)原則，即數(shù)據(jù)的哪些屬性可以被用來(lái)分類(lèi)，以及如何將該屬性量化。 ? 分類(lèi)原則的選擇，即在眾多分類(lèi)準(zhǔn)則中，每一步選擇哪一準(zhǔn)則使最終的樹(shù)更令人滿意。 ? 設(shè)計(jì)分類(lèi)停止條件，實(shí)際應(yīng)用中數(shù)據(jù)的屬性很多，真正有分類(lèi)意義的屬性往往是有限幾個(gè)，因此在必要的時(shí)候應(yīng)該停止數(shù)據(jù)集分裂： ? 該節(jié)點(diǎn)包