【正文】 ??????nkjjkjkj vwE1?01?????nkjjkjkj vw ? Hopfield網(wǎng)絡(luò)學(xué)習(xí) 1. Hopfield網(wǎng)絡(luò)的能量函數(shù) (2/3) 59 Hopfield網(wǎng)絡(luò)學(xué)習(xí) 1. Hopfield網(wǎng)絡(luò)的能量函數(shù) (3/3) 例 如圖所示的三個節(jié)點的 Hopfield網(wǎng)絡(luò)，若給定的初始狀態(tài)為： V0={1,0,1} 各節(jié)點之間的聯(lián)結(jié)權(quán)值為： w12=w21=1， w13=w31=2， w23=w32=3 各節(jié)點的閾值為 θ1=1， θ2=2， θ3=1 請計算在此狀態(tài)下的網(wǎng)絡(luò)能量。39。否則，轉(zhuǎn) (5) 調(diào)整連接權(quán)值 其中， η是一個增益因子，用于控制修改速度，其值如果太大，會影響 wi(t)的收斂性；如果太小，又會使 wi(t)的收斂速度太慢 。 神經(jīng)學(xué)習(xí)的概念 2. 神經(jīng)學(xué)習(xí)規(guī)則 (1/3) )]()([)()1( txtxtwtwjiijij ????42 (2) 糾錯學(xué)習(xí) 是一種有導(dǎo)師的學(xué)習(xí)過程，其基本思想：利用神經(jīng)網(wǎng)絡(luò)的期望輸出與實際輸出之間的偏差作為連接權(quán)值調(diào)整的參考，并最終減少這種偏差。 進行概括化處理的常用方法是把常量轉(zhuǎn)換為變量，即把某些具體數(shù)據(jù)換成變量，并略去某些不重要的信息，只保留求解所必須的那些關(guān)鍵信息即可。所謂可操作是指一個概念描述能有效的用于識別相應(yīng)概念的例子。當(dāng) x1=1時， t=1時，有： S1={1， 2， 3， 4} 當(dāng) x1=2時， t=2時，有： S2={5， 6， 7， 8} 其中， S1和 S2中的數(shù)字均為例子集 S中的各個例子的序號，且有 |S|=8，|S1|=|S2|=4。當(dāng)學(xué)習(xí)完成后，就可以利用這棵決策樹對未知事物進行分類。例如： 示例 4： 點數(shù) (c1, J)→ 臉 (c1) 示例 5： 點數(shù) (c1, Q)→ 臉 (c1) 示例 6： 點數(shù) (c1, K)→ 臉 (c1) 將各示例的前件進行析取，就可得到所要求的規(guī)則： 規(guī)則 2： 點數(shù) (c1, J)∨ 點數(shù) (c1, Q)∨ 點數(shù) (c1, K)→ 臉 (c1) 內(nèi)部析取法： 是在示例的表示中使用集合與集合的成員關(guān)系來形成知識的。 示例學(xué)習(xí) 1. 示例學(xué)習(xí)的類型 11 示例空間 規(guī)則空間 驗證過程 解釋過程 示例空間 是我們向系統(tǒng)提供的示教例子的集合。學(xué)習(xí)環(huán)節(jié)再利用反饋信息對知識進行評價，進一步改善執(zhí)行環(huán)節(jié)的行為。 理論性分析 主要目的是要從理論上探索各種可能的學(xué)習(xí)方法，并建立起獨立于具體應(yīng)用領(lǐng)域的學(xué)習(xí)算法。 面向任務(wù)的研究 主要目的是要根據(jù)特定任務(wù)的要求，建立相應(yīng)的學(xué)習(xí)系統(tǒng)。 5 機器學(xué)習(xí)的主要策略 按學(xué)習(xí)策略來分類 即按學(xué)習(xí)中所使用的推理方法來分，可分為記憶學(xué)習(xí)、傳授學(xué)習(xí)、演繹學(xué)習(xí)、歸納學(xué)習(xí)等。研究問題：例子質(zhì)量，搜索方法。例如，有如下關(guān)于“臉牌”的示例： 示例 7： 點數(shù) c1∈ {J}→ 臉 (c1) 示例 8： 點數(shù) c1∈ {Q}→ 臉 (c1) 示例 9： 點數(shù) c1∈ {K}→ 臉 (c1) 用內(nèi)部析取法，可得到如下規(guī)則： 規(guī)則 3： 點數(shù) (c1)∈ {J, Q, K}→ 臉 (c1) 16 (4)曲線擬合 對數(shù)值問題的歸納可采用曲線擬合法。 決策樹學(xué)習(xí) 1. 決策樹的概念 (2/2) 19 決策樹學(xué)習(xí) 2. ID3算法 (1/11) D3算法是昆蘭（ ）于 1979年提出的一種以信息熵（ entropy）的下降速度作為屬性選擇標(biāo)準(zhǔn)的一種學(xué)習(xí)算法。 由 S1可知 ： Ps1(y1)=1/4, Ps1(y2)=1/4, Ps1(y3)=2/4 則有 ： H(S1)= Ps1(y1)log2 Ps1(y1) Ps1(y2)log2 Ps1(y2 ) Ps1(y3)log2 Ps1(y3 ) = (1/4)log2(1/4) (1/4)log2(1/4) (2/4)log2(2/4) = 決策樹學(xué)習(xí) 2. ID3算法 (8/11) 27 再由 S2可知： Ps2(y1)=0/4, Ps2(y2)=1/4, Ps2(y3)=3/4 則有 ： H(S2)=– Ps2(y2)log2 Ps2(y2 ) Ps2(y3)log2 Ps2(y3 ) = (1/4)log2(1/4) (3/4)log2(3/4) = 將 H(S1)和 H(S2)代入條件熵公式，有： H(S/x1)=(|S1|/|S|)H(S1)+ (|S2|/|S|)H(S2) =(4/8)﹡ +(4/8)﹡ = 同樣道理，可以求得： H(S/x2)= H(S/x3)= 可見，應(yīng)該選擇屬性 x3對根節(jié)點進行擴展。否則是不可操作的。 對上圖的解釋結(jié)構(gòu)進行概括化處理以后所得到的概括化解釋結(jié)構(gòu)如下： 解釋學(xué)習(xí)的基本過程 2. 獲取一般性控制知識 (1/2) 38 SafetoStack(O1 ,O2) Lighter(O1 ,O2) Weight(O1 , w1) Weight(O2 , 5) Smaller(w1 , 5) Isa(O2 , table) Volume(O1 , v1) Density(O1 , d1) Product (v1 , d1 , w1) 將該解釋結(jié)構(gòu)中所有的葉節(jié)點的合取作為前件，頂點的目標(biāo)概念做為后件，略去解釋結(jié)構(gòu)的中間部件，就可得到概括化的一般性知識： Volume(O1,v1)∧ Density(O1,d1)∧ Product(v1,d1,w1)∧ Isa(O2,table)∧ Smaller(w1,5) →Safe tostack(O1,O2) 解釋學(xué)習(xí)的基本過程 2. 獲取一般性控制知識 (2/2) 39 第 7章 機器學(xué)習(xí) 機器學(xué)習(xí)的基本概念 記憶學(xué)習(xí) 歸納學(xué)習(xí) 解釋學(xué)習(xí) 神經(jīng)學(xué)習(xí) 神經(jīng)學(xué)習(xí)是一種基于人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法。 最基本的誤差修正規(guī)則為：連接權(quán)值的變化與神經(jīng)元希望輸出和實際輸出之差成正比。 (6) 判斷是否滿足結(jié)束條件，若滿足，算法結(jié)束；否則，將 t值加 1，轉(zhuǎn) (2)重新執(zhí)行。???????? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (4/5) 54 如果節(jié)點 k不是輸出層上的節(jié)點，則它是隱含層上的節(jié)點的，此時： 其中， 是一個隱函數(shù)求導(dǎo)問題，略去推導(dǎo)過程，其結(jié)果為： 所以 這說明，低層節(jié)點的 δ值是通過上一層節(jié)點的 δ值來計算的。 解： E=(1/2)(w12v1v2+w13v1v3+w21v2v1+w23v2v3+w31v3v1+w32v3v2) + θ1v1+ θ2v2+ θ3v3 = (w12v1v2+w13v1v3+w23v2v3)+ θ1v1+ θ2v2+ θ3v3 =(110+(2)11+301)+(1) 1+20+11 =2 Q1 Q2 Q3 v1 v2 v3 w12 w13 w23 60 (1) 設(shè)置互連權(quán)值 其中， xis 為 S型樣例（即記憶模式）的第 i個分量，它可以為 1或 0（或 1），樣例類別數(shù)為 m，節(jié)點數(shù)為 n。它說明離散 Hopfield網(wǎng)絡(luò)在運行中，其能量函數(shù)總是在不斷降低的，最終將趨于穩(wěn)定狀態(tài)。 kkk IfIy ???jkkkjkkkkkOIfydwIfyd)()()()(39。其中， wi(0)是第 0次迭代時輸入向量中第 i個輸入的連接權(quán)值； θ(0)是第 0次迭代時輸出節(jié)點的閾值； (2) 提供新的樣本輸入 xi(t)(i=1, 2, … , n) 和期望輸出 d(t)； (3) 計算網(wǎng)絡(luò)的實際輸出： (4) 若 y(t)=1，不需要調(diào)整連接權(quán)值，轉(zhuǎn) (6)。例如習(xí)慣化。 解釋學(xué)習(xí)的基本過程 1. 產(chǎn)生解釋結(jié)構(gòu) (2/3) 36 SafetoStack(obj1 ,obj2) Lighter(obj1 ,obj2) Weight(obj1 , ) Weight(obj2 , 5) Smaller(, 5) Isa(obj2 , table) Volume(obj1 , 1) Density(obj1 , ) Product (1, , ) 解釋學(xué)習(xí)的基本過程 1. 產(chǎn)生解釋結(jié)構(gòu) (3/3) 37 這一步的主要任務(wù)是對上一步得到的解釋結(jié)構(gòu)進行概括化處理，從而得到關(guān)于目標(biāo)概念的一般性知識。 C1 不可操作的 可操作的 D1 D2 ?I1 ?I2 ?I3 概念描述空間 概念空間 例子空間 概念描述空間 是所有概念描述的集合，其中的概念描述可分為兩大類，一類是可操作的，另一類是不可操作的。 )(log)()( 231iii yPyPSH ???? )(||||)/(itti S