【正文】 y3 6 2 1 2 y2 7 2 2 1 y3 8 2 2 2 y3 決策樹學(xué)習(xí) 2. ID3算法 (6/11) 25 解： 首先對根節(jié)點，其信息熵為： 其中，３為可選的決策方案數(shù)，且有 P(y1)=1/8， P(y2)=2/8， P(y3)=5/8 即有： H(S)= (1/8)log2(1/8) (2/8)log2(2/8) (5/8)log2(5/8) = 按照 ID3算法，需要選擇一個能使 S的期望熵為最小的一個屬性對根節(jié)點進(jìn)行擴展，因此我們需要先計算 S關(guān)于每個屬性的條件熵： 其中， t為屬性 xi的屬性值， St為 xi=t時的例子集， |S|和 |Si|分別是例子集 S和Si的大小。 至于節(jié)點“ x3=2， x1,x2”，其擴展方法與上面的過程類似。三個空間及它們之間的關(guān)系如圖 。 其基本思想： 先對某一情況建立一個解釋結(jié)構(gòu)，然后在對此解釋結(jié)構(gòu)進(jìn)行概括，獲取一般性控制知識。即 目標(biāo)概念： SafetoStack (x, y) 訓(xùn)練實例 （是一些描述物體 obj1與 obj2的事實）： On(obj1 ,obj2) 物體 1在物體 2的上面 Isa(obj1 , book) 物體 1是書 Isa(obj2 , table) 物體 2是桌子 Volume(obj1 , 1) 物體 1的體積是 1 Density(obj1 , ) 物體 1的密度是 解釋學(xué)習(xí)的基本過程 1. 產(chǎn)生解釋結(jié)構(gòu) (1/3) 35 領(lǐng)域知識 是把一個物體安全地放置在另一個物體上面的準(zhǔn)則： ﹁ Fragile(y)→Safe tostack(x, y) 如果 y不是易碎的，則 x可以安全地放到 y的上面 Lighter(x, y)→Safe tostack(x, y) 如果 x 比 y輕，則 x可以安全地放到 y的上面 Volume(p, v)∧ Density(p, d)∧ Product (v, d, w)→Weight(p, w) 如果 p的體積是 v、密度是 d、 v乘以 d的積是 w，則 p的重量是 w Isa(p, table)→Weight(p, 5) 如果 p是桌子，則 p的重量是 5 Weight(p1, w1)∧ Weight(p2,w2)∧ Smaller(w1, w2)→Lighter(p 1, p2) 如果 p1的重量是 w p2的重量是 w w1比 w2小， 則 p1比 p2輕 其證明過程 是一個由目標(biāo)引導(dǎo)的逆向推理，最終得到的解釋樹就是該例的解釋結(jié)構(gòu)（如下圖）。 按照突觸修正學(xué)派的觀點，人腦的學(xué)習(xí)和記憶過程實際上是一個在訓(xùn)練中完成的突觸連接權(quán)值的修正和穩(wěn)定過程。 Hebb學(xué)習(xí)規(guī)則在人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中的影響比較大，但不符合生物機理。 44 單層感知器學(xué)習(xí)實際上是一種基于糾錯學(xué)習(xí)規(guī)則 ， 采用迭代的思想對連接權(quán)值和閾值進(jìn)行不斷調(diào)整 ， 直到滿足結(jié)束條件為止的學(xué)習(xí)算法 。即給 wi(0)(i=1, 2, … ,n) 及 θ(0)分別賦予一個較小的非零隨機數(shù)，作為初值。 解： 根據(jù)“與”運算的邏輯關(guān)系，可將問題轉(zhuǎn)換為：輸入向量： X1=[0, 0, 1, 1] X2=[0, 1, 0, 1] 輸出向量： Y=[0, 0, 0, 1] 為減少算法的迭代次數(shù)，設(shè)初始連接權(quán)值和閾值取值如下： w1(0)=, w2(0)=, θ(0)= 并取增益因子 η=。如果節(jié)點 k是輸出層上的節(jié)點，則有 Ok=yk，因此 由于 所以 kkkkk IyyeIe????????? )(kkkydye ????? )(39。 反復(fù)執(zhí)行上述修正過程，直到滿足期望的輸出模式為止。 可見，無論神經(jīng)元的狀態(tài)由“ 0”變?yōu)椤?1”，還是由“ 1”變?yōu)椤?0”，都總有 ΔE0。否則 (4) 轉(zhuǎn)第 (2)步繼續(xù)。 (2) 對未知類別的樣例初始化 其中， yi(t)為節(jié)點 i時刻 t的輸出， yi(0)是節(jié)點的初值； xi為輸入樣本的第 i個分量。這里主要針對離散 Hopfield網(wǎng)絡(luò)討論其能量函數(shù)和學(xué)習(xí)算法。這樣，我們就可以先計算出輸出層上的 δ值，然后把它返回到較低層上，并計算出各較低層上節(jié)點的 δ值。 對此，可檢驗如下： 對輸入：“ 0 0”有 y=f(*0+*01)=f(1)=0 對輸入：“ 0 1”有 y=f(*0+*)=f()=0 對輸入：“ 1 0”有 y=f(*1+*01)=f()=0 對輸入：“ 1 1”有 y=f(*1+*11)=f()=0 感知器學(xué)習(xí) 2. 單層感知器學(xué)的例子 (4/4) 50 BP網(wǎng)絡(luò)學(xué)習(xí)過程是一個對給定訓(xùn)練模式，利用傳播公式，沿著減小誤差的方向不斷調(diào)整網(wǎng)絡(luò)連接權(quán)值和閾值的過程。這里的結(jié)束條件一般是指 wi(t)對一切樣本均穩(wěn)定不變。 假設(shè)一個樣本空間可以被劃分為 A、 B兩類 。其聯(lián)結(jié)權(quán)值的計算公式為： 其中， wij(t)表示時刻 t的權(quán)值； wij(t+1)表示對時刻 t的權(quán)值修正一次后所得到的新的權(quán)值； η是一正常量，也稱為學(xué)習(xí)因子； yj(t)為神經(jīng)元 j的實際輸出 。 神經(jīng)學(xué)習(xí)的概念 1. 神經(jīng)學(xué)習(xí)的心理學(xué)基礎(chǔ) 41 所謂學(xué)習(xí)規(guī)則可簡單地理解為學(xué)習(xí)過程中聯(lián)結(jié)權(quán)值的調(diào)整規(guī)則。 神經(jīng)學(xué)習(xí)的概念 感知器學(xué)習(xí) BP網(wǎng)絡(luò)學(xué)習(xí) Hopfield網(wǎng)絡(luò)學(xué)習(xí) 40 神經(jīng)生理學(xué)研究表明，人腦的神經(jīng)元既是學(xué)習(xí)的基本單位，同是也是記憶的基本單位。 解釋學(xué)習(xí)的基本原理 34 其任務(wù)是要證明提供給系統(tǒng)的訓(xùn)練實例為什么是目標(biāo)概念的一個實例。解釋學(xué)習(xí)的任務(wù)就是要把不可操作的概念描述轉(zhuǎn)化為可操作的概念描述。在該決策樹中，各節(jié)點的含義與圖 。用 x3對 S擴展后所得到的得到部分決策樹如圖 。該樹中每一條從根節(jié)點到葉節(jié)點的路徑，都代表了一個分類過程，即決策過程。其輸入是一個用來描述各種已知類別的例子集，學(xué)習(xí)結(jié)果是一棵用于進(jìn)行分類的決策樹。 在決策樹中，從根節(jié)點到葉節(jié)點的每一條路徑都代表一個具體的實例，并且同一路徑上的所有屬性之間為合取關(guān)系，不同路徑（即一個屬性的不同屬性值）之間為析取關(guān)系。假設(shè)示例空間中的每個示例 (x, y, z)都是輸入 x, y與輸出 z之間關(guān)系的三元組。常用的增加析取項的方法有前件析取法和內(nèi)部析取法兩種 (4) 曲線擬合 對數(shù)值問題的歸納可采用最小二乘法進(jìn)行曲線擬合 示例學(xué)習(xí) 3. 示例學(xué)習(xí)的解釋方法 (1/5) 13 例： 假設(shè)例子空間中有以下兩個關(guān)于撲克牌中“同花”概念的示例： 示例 1： 花色 (c1，梅花 ) ∧ 花色 (c2，梅花 ) ∧ 花色 (c3，梅花 ) ∧ 花色 (c4，梅花 )∧ 花色 (c5，梅花 ) → 同花 (c1, c2, c3, c4, c5) 示例 2： 花色 (c1，紅桃 ) ∧ 花色 (c2，紅桃 ) ∧ 花色 (c3，紅桃 ) ∧ 花色 (c4，紅桃 )∧ 花色 (c5，紅桃 ) → 同花 (c1, c2, c3, c4, c5) 其中，示例 1表示 5張梅花牌是同花，示例 2表示 5張紅桃牌是同花。 解釋過程 是從搜索到的示例中抽象出一般性的知識的歸納過程。在現(xiàn)有的各種決策樹學(xué)習(xí)算法中，影響較大的是 ID3算法。 按應(yīng)用領(lǐng)域分類 專家系統(tǒng)學(xué)習(xí)、機器人學(xué)習(xí)、自然語言理解學(xué)習(xí)等。 學(xué)習(xí)和機器學(xué)習(xí) 3. 機器學(xué)習(xí)的發(fā)展過程 4 學(xué)習(xí)系統(tǒng) 環(huán)境 學(xué)習(xí)環(huán)節(jié) 知識庫 執(zhí)行環(huán)節(jié) 環(huán)境 是學(xué)習(xí)系統(tǒng)所感知到的外界信息集合，也是學(xué)習(xí)系統(tǒng)的外界來源。 3 神經(jīng)元模型研究 20世紀(jì) 50年代中期到 60年代初期，也被稱為機器學(xué)習(xí)的熱烈時期，最具有代表性的工作是羅森勃拉特 1957年提出的感知器模型。 機器學(xué)習(xí)的基本概念 學(xué)習(xí)和機器學(xué)習(xí) 機器學(xué)習(xí)的發(fā)展過程 學(xué)習(xí)系統(tǒng) 機器學(xué)習(xí)的主要策略 記憶學(xué)習(xí) 歸納學(xué)習(xí) 解釋學(xué)習(xí) 神經(jīng)學(xué)習(xí) 1 學(xué)習(xí)和機器學(xué)習(xí) 1. 學(xué)習(xí)的概念 代表性觀點 (1) 西蒙（ Simon,1983）：學(xué)習(xí)就是系統(tǒng)中的適應(yīng)性變化，這種變化使系統(tǒng)在重復(fù)同樣工作或類似工作時，能夠做得更好。 主要研究內(nèi)容 認(rèn)知模擬 主要目的是要通過對人類學(xué)習(xí)機理的研究和模擬，從根本上解決機器學(xué)習(xí)方面存在的種種問題。人們開始把機器學(xué)習(xí)與各種實際應(yīng)用相結(jié)合，尤其是專家系統(tǒng)在知識獲取方面的需求，也有人稱這一階段為機器學(xué)習(xí)的復(fù)興時期。 執(zhí)行環(huán)節(jié) 根據(jù)知識庫去執(zhí)行一系列任務(wù)，并將執(zhí)行結(jié)果或執(zhí)行過程中獲得的信息反饋給學(xué)習(xí)環(huán)節(jié)。 示例學(xué)習(xí) 是歸納學(xué)習(xí)的一種特例。 ② 利用正例和反例的示例學(xué)習(xí) 這是示例學(xué)習(xí)