【正文】 的一種典型方式，它用正例用來(lái)產(chǎn)生概念，用反例用來(lái)防止概念外延的擴(kuò)大。最常用的解釋方法有以下 4種： (1) 把常量轉(zhuǎn)換為變量 把示例中的常量換成變量而得到一個(gè)一般性的規(guī)則。 前件析取法： 是通過(guò)對(duì)示例的前件的析取來(lái)形成知識(shí)的。例如： 對(duì)示例 示例 5及示例 6，若使用方法 (1) ,則會(huì)歸納出如下的錯(cuò)誤規(guī)則： 規(guī)則 5： （錯(cuò)誤）點(diǎn)數(shù) (c1, x)→ 臉 (c1) 它說(shuō)明，歸納過(guò)程是很容易出錯(cuò)的。上圖的決策樹(shù)可表示為如下規(guī)則集： IF 鳥(niǎo)類(lèi)會(huì)飛 AND 是家養(yǎng)的 THEN 該鳥(niǎo)類(lèi)是和平鴿 IF 鳥(niǎo)類(lèi)會(huì)飛 AND 不是家養(yǎng)的 THEN 該鳥(niǎo)類(lèi)是信天翁 IF 鳥(niǎo)類(lèi)不會(huì)飛 AND 會(huì)游泳 THEN 該鳥(niǎo)類(lèi)是企鵝 IF 鳥(niǎo)類(lèi)不會(huì)飛 AND 不會(huì)游泳 THEN 該鳥(niǎo)類(lèi)是鴕鳥(niǎo) 決策樹(shù)學(xué)習(xí)過(guò)程實(shí)際上是一個(gè)構(gòu)造決策樹(shù)的過(guò)程。若假設(shè)信源為 X，收信者收到的信息為 Y， P(xi/yj)為當(dāng) Y為 yj時(shí) X為 xi的條件概率，則條件熵可定義為： 它表示收信者收到 Y后對(duì) X不確定性的估計(jì)。 )(log)()( 231iii yPyPSH ???? )(||||)/(itti SHSSxSH ?? 決策樹(shù)學(xué)習(xí) 2. ID3算法 (7/11) 26 下面先計(jì)算 S關(guān)于屬性 x1的條件熵： 在表 71中， x1的屬性值可以為 1或 2。通過(guò)計(jì)算可知，該節(jié)點(diǎn)對(duì)屬性 x1和 x2，其條件熵均為 1。 C1 不可操作的 可操作的 D1 D2 ?I1 ?I2 ?I3 概念描述空間 概念空間 例子空間 概念描述空間 是所有概念描述的集合，其中的概念描述可分為兩大類(lèi)，一類(lèi)是可操作的，另一類(lèi)是不可操作的。 其一般性描述為： 已知： 目標(biāo)概念 GC(Goal Concept)； 訓(xùn)練實(shí)例 TE(Training Example)； 領(lǐng)域理論 DT(Domain Theory)； 操作性標(biāo)準(zhǔn) OC(Operationality Criterion)。 解釋學(xué)習(xí)的基本過(guò)程 1. 產(chǎn)生解釋結(jié)構(gòu) (2/3) 36 SafetoStack(obj1 ,obj2) Lighter(obj1 ,obj2) Weight(obj1 , ) Weight(obj2 , 5) Smaller(, 5) Isa(obj2 , table) Volume(obj1 , 1) Density(obj1 , ) Product (1, , ) 解釋學(xué)習(xí)的基本過(guò)程 1. 產(chǎn)生解釋結(jié)構(gòu) (3/3) 37 這一步的主要任務(wù)是對(duì)上一步得到的解釋結(jié)構(gòu)進(jìn)行概括化處理，從而得到關(guān)于目標(biāo)概念的一般性知識(shí)。其中，學(xué)習(xí)表現(xiàn)為突觸連接權(quán)值的修正，記憶則表現(xiàn)為突觸連接權(quán)值的穩(wěn)定。例如習(xí)慣化。 假設(shè) X(k)和 W(k)分別表示學(xué)習(xí)算法在第 k次迭代時(shí)輸入向量和權(quán)值向量 ，為方便 ， 把閾值 θ作為權(quán)值向量 W(k)中的第一個(gè)分量 ， 對(duì)應(yīng)地把 “ 1” 固定地作為輸入向量 X(k)中的第一個(gè)分量 。其中， wi(0)是第 0次迭代時(shí)輸入向量中第 i個(gè)輸入的連接權(quán)值； θ(0)是第 0次迭代時(shí)輸出節(jié)點(diǎn)的閾值； (2) 提供新的樣本輸入 xi(t)(i=1, 2, … , n) 和期望輸出 d(t)； (3) 計(jì)算網(wǎng)絡(luò)的實(shí)際輸出： (4) 若 y(t)=1，不需要調(diào)整連接權(quán)值，轉(zhuǎn) (6)。 算法的學(xué)習(xí)過(guò)程如下： 設(shè)兩個(gè)輸入為 x1(0)=0和 x2(0)=0，其期望輸出為 d(0)=0，實(shí)際輸出為： y(0)=f(w1(0)x1(0)+ w2(0)x2(0)θ(0)) =f(*0+*)=f()=0 實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。 kkk IfIy ???jkkkjkkkkkOIfydwIfyd)()()()(39。 (5) 返回第 (2)步，對(duì)訓(xùn)練模式集中的每一個(gè)訓(xùn)練模式重復(fù)第 (2)到第 (3)步，直到訓(xùn)練模式集中的每一個(gè)訓(xùn)練模式都滿(mǎn)足期望輸出為止。它說(shuō)明離散 Hopfield網(wǎng)絡(luò)在運(yùn)行中，其能量函數(shù)總是在不斷降低的，最終將趨于穩(wěn)定狀態(tài)。 ?????????? ??njijijixxwmssjsiij,1,0,1nixiy ii ??? 1,)( njtywftyniiiji ???? ??1),)(()1(1 Hopfield網(wǎng)絡(luò)學(xué)習(xí) 1. Hopfield網(wǎng)絡(luò)學(xué)習(xí)算法 61 作 業(yè) 題 假設(shè) w1(0)=, w2(0)=, θ(0)=, η=，請(qǐng)用單層感知器完成邏輯或運(yùn)算的學(xué)習(xí)過(guò)程。 解： E=(1/2)(w12v1v2+w13v1v3+w21v2v1+w23v2v3+w31v3v1+w32v3v2) + θ1v1+ θ2v2+ θ3v3 = (w12v1v2+w13v1v3+w23v2v3)+ θ1v1+ θ2v2+ θ3v3 =(110+(2)11+301)+(1) 1+20+11 =2 Q1 Q2 Q3 v1 v2 v3 w12 w13 w23 60 (1) 設(shè)置互連權(quán)值 其中， xis 為 S型樣例（即記憶模式）的第 i個(gè)分量，它可以為 1或 0（或 1），樣例類(lèi)別數(shù)為 m，節(jié)點(diǎn)數(shù)為 n。而網(wǎng)絡(luò)的穩(wěn)定性又是通過(guò)能量函數(shù)來(lái)描述的。???????? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (4/5) 54 如果節(jié)點(diǎn) k不是輸出層上的節(jié)點(diǎn)，則它是隱含層上的節(jié)點(diǎn)的，此時(shí)： 其中， 是一個(gè)隱函數(shù)求導(dǎo)問(wèn)題，略去推導(dǎo)過(guò)程，其結(jié)果為： 所以 這說(shuō)明，低層節(jié)點(diǎn)的 δ值是通過(guò)上一層節(jié)點(diǎn)的 δ值來(lái)計(jì)算的。 感知器學(xué)習(xí) 2. 單層感知器學(xué)的例子 (2/4) 48 再取下一組輸入： x1(1)=1和 x2(1)=1，其期望輸出為 d(1)=1，實(shí)際輸出為： y(1)=f(w1(1) x1(1)+ w2(1) x2(1)θ(1)) =f(*1+*11)=f()=0 實(shí)際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下： θ(2)=θ(1)+η(d(1) y(1))*(1)=1+*(10)*(1)= w1(2)=w1(1)+η(d(1) y(1))x1(1)=+*(10)*1= w2(2)=w2(1)+η(d(1) y(1))x2(1)=+*(10)*1= 取下一組輸入： x1(2)=0和 x2(2)=0，其期望輸出為 d(2)=0，實(shí)際輸出為： y(2)=f(*0+*)=f()=0 實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值 . 感知器學(xué)習(xí) 2. 單層感知器學(xué)的例子 (3/4) 49 再取下一組輸入： x1(2)=0和 x2(2)=1，期望輸出為 d(2)=0，實(shí)際輸出為： y(2)=f(*0+*)=f()=1 實(shí)際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下： θ(3)=θ(2)+η(d(2) y(2))*(1)=+*(01)*(1)=1 w1(3)=w1(2)+η(d(2) y(2))x1(2)=+*(01)*0= w2(3)=w2(2)+η(d(2) y(2))x2(2)=+*(01)*1= 實(shí)際上，由上一章關(guān)于與運(yùn)算的閾值條件可知，此時(shí)的閾值和連接權(quán)值以滿(mǎn)足結(jié)束條件，算法可以結(jié)束。 (6) 判斷是否滿(mǎn)足結(jié)束條件，若滿(mǎn)足，算法結(jié)束；否則，將 t值加 1，轉(zhuǎn) (2)重新執(zhí)行。 單層感知器學(xué)習(xí)是一種有導(dǎo)師學(xué)習(xí) ， 它需要給出輸入樣本的期望輸出 。 最基本的誤差修正規(guī)則為：連接權(quán)值的變化與神經(jīng)元希望輸出和實(shí)際輸出之差成正比。 突觸修正學(xué)派認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程就是一個(gè)不斷調(diào)整網(wǎng)絡(luò)連接權(quán)值的過(guò)程。 對(duì)上圖的解釋結(jié)構(gòu)進(jìn)行概括化處理以后所得到的概括化解釋結(jié)構(gòu)如下： 解釋學(xué)習(xí)的基本過(guò)程 2. 獲取一般性控制知識(shí) (1/2) 38 SafetoStack(O1 ,O2) Lighter(O1 ,O2) Weight(O1 , w1) Weight(O2 , 5) Smaller(w1 , 5) Isa(O2 , table) Volume(O1 , v1) Density(O1 , d1) Product (v1 , d1 , w1) 將該解釋結(jié)構(gòu)中所有的葉節(jié)點(diǎn)的合取作為前件，頂點(diǎn)的目標(biāo)概念做為后件，略去解釋結(jié)構(gòu)的中間部件，就可得到概括化的一般性知識(shí)： Volume(O1,v1)∧ Density(O1,d1)∧ Product(v1,d1,w1)∧ Isa(O2,table)∧ Smaller(w1,5) →Safe tostack(O1,O2) 解釋學(xué)習(xí)的基本過(guò)程 2. 獲取一般性控制知識(shí) (2/2) 39 第 7章 機(jī)器學(xué)習(xí) 機(jī)器學(xué)習(xí)的基本