【正文】 重復(fù)這一步驟，直到新的迭代不能再改變節(jié)點的輸出為止，即收斂為止。 可以證明，當(dāng)一神經(jīng)元 k的狀態(tài)由“ 0”變?yōu)椤?1”時，網(wǎng)絡(luò)能量的變化為： 此時，由于神經(jīng)元 k的狀態(tài)由“ 0”變?yōu)椤?1”，因此有 即 ΔE0。 kkkkkkk IfOeIOOeIe????????????kOe??kmmmkwOe ???? ? ??mkmmkk wIf ?? )(39。 顯然，對隱含節(jié)點 j有： 在 BP算法學(xué)習(xí)過程中，可以采用如下公式計算各輸出節(jié)點的誤差： )( jjjiiijjIfOOwI???? ? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (1/5) 2)(21kk k yde ?? ?51 連接權(quán)值的修改由下式計算： 其中， wjk(t)和 wjk(t+1)分別是時刻 t和 t+1時，從節(jié)點 j到節(jié)點 k的連接權(quán)值；Δwjk是連接權(quán)值的變化量。否則，該算法將不收斂。 對應(yīng)地也可將期望輸出定義為：當(dāng)輸入樣本屬于 A類時 ， 其期望輸出為 +1， 否則為 1。 (4) 隨機學(xué)習(xí) 基本思想：結(jié)合隨機過程、概率和能量（函數(shù)）等概念來調(diào)整網(wǎng)絡(luò)的變量，從而使網(wǎng)絡(luò)的目標(biāo)函數(shù)達(dá)到最大（或最小）。 (1) Hebb學(xué)習(xí) 基本思想：如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元同另一直接與它連接的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間的連接強度將得到加強，反之應(yīng)該減弱。例如，蛋白質(zhì)、核糖核酸、神經(jīng)遞質(zhì)，就像遺傳信息是記錄在 DNA（脫氧核糖核酸）上一樣。一旦得到解，便完成了該問題的證明，同時也獲得了一個解釋結(jié)構(gòu)。 執(zhí)行過程： 先由 EXL接受輸入的概念描述 D1，然后再根據(jù) KB中的知識對D1進(jìn)行不同描述的轉(zhuǎn)換，并由 PS對每個轉(zhuǎn)換結(jié)果進(jìn)行測試，直到被 PS所接受，即為可操作的概念描述 D2為止；最后輸出 D2。它是在領(lǐng)域知識的指導(dǎo)下，通過對單個問題求解例子的分析來進(jìn)行學(xué)習(xí)的。由于 y3已是具體的決策方案，故該節(jié)點的信息熵為 0，已經(jīng)為葉節(jié)點。 決策樹學(xué)習(xí) 2. ID3算法 (5/11) 24 表 71 關(guān)于選課決策的訓(xùn)練例子集 在該表中，訓(xùn)練例子集 S的大小為８。假設(shè) X為信源， xi為 X所發(fā)出的單個信息， P(xi)為 X發(fā)出 xi的概率，則信息熵可定義為： 其中， k為信源 X發(fā)出的所有可能的信息類型，對數(shù)可以是以各種數(shù)為底的對數(shù)，在 ID3算法中，我們?nèi)∫?2為底的對數(shù)。 圖 。它們都是要擴大條件的適用范圍。例如，有如下示例： 示例 3： 花色 (c1, 紅桃 )∧ 點數(shù) (c1， 2) ∧ 花色 (c2, 紅桃 )∧ 點數(shù) (c2， 3) ∧ 花色 (c3, 紅桃 )∧ 點數(shù) (c3， 4) ∧ 花色 (c4, 紅桃 )∧ 點數(shù) (c4， 5) ∧ 花色 (c5, 紅桃 )∧ 點數(shù) (c5， 6) → 同花 (c1, c2, c3, c4, c5) 示例學(xué)習(xí) 3. 示例學(xué)習(xí)的解釋方法 (3/5) 為了學(xué)習(xí)同花的概念，除了需要把常量變?yōu)樽兞客?，還需要把與花色無關(guān)的“點數(shù)”子條件舍去。 規(guī)則空間 是事務(wù)所具有的各種規(guī)律的集合。 10 按例子的來源分類 ① 例子來源于教師的示例學(xué)習(xí) ② 例子來源于學(xué)習(xí)者本身的示例學(xué)習(xí) 學(xué)習(xí)者明確知道自己的狀態(tài)，但完全不清楚所要獲取的概念。 6 第 7章 機器學(xué)習(xí) 機器學(xué)習(xí)的基本概念 記憶學(xué)習(xí) 歸納學(xué)習(xí) 解釋學(xué)習(xí) 神經(jīng)學(xué)習(xí) 7 記憶學(xué)習(xí) 概 念 記憶學(xué)習(xí) (Rote learning)也叫死記硬背學(xué)習(xí)，是一種最基本的學(xué)習(xí)過程，它沒有足夠的能力獨立完成智能學(xué)習(xí)，但對學(xué)習(xí)系統(tǒng)來說都是十分重要的一個組成部分，原因是任何學(xué)習(xí)系統(tǒng)都必須記住它們所獲取的知識，以便將來使用。 學(xué)習(xí)環(huán)節(jié) 對環(huán)境提供的信息進(jìn)行整理、分析歸納或類比，形成知識，并將其放入知識庫。其主要研究目標(biāo)是模擬人類的概念學(xué)習(xí)過程。 (3) 邁克爾斯基（ Michalski,1986）：學(xué)習(xí)是對經(jīng)歷描述的建立和修改。 一般性解釋： 學(xué)習(xí)是一個有特定目的知識獲取和能力增長過程，其內(nèi)在行為是獲得知識、積累經(jīng)驗、發(fā)現(xiàn)規(guī)律等，其外部表現(xiàn)是改進(jìn)性能、適應(yīng)環(huán)境、實現(xiàn)自我完善等。這一階段神經(jīng)學(xué)習(xí)落入低谷，稱為機器學(xué)習(xí)的冷靜時期。 知識庫 存儲經(jīng)過加工后的信息（即知識）。 記憶學(xué)習(xí)的基本過程是：執(zhí)行元素每解決一個問題，系統(tǒng)就記住這個問題和它的解，當(dāng)以后再遇到此類問題時，系統(tǒng)就不必重新進(jìn)行計算，而可以直接找出原來的解去使用 8 若把執(zhí)行元素比作一個函數(shù) f ，由環(huán)境得到的輸入模式記為 (x1,x2,…,x n)，由該輸入模式經(jīng) F計算后得到的輸出模式記為 (y1,y2,…,y m)，則機械學(xué)習(xí)系統(tǒng)就是要把這一輸入輸出模式對： [(x1,x2,…,x n) ， (y1,y2,…,y m)] 保存在知識庫中，當(dāng)以后再需要計算 f(x1,x2,…,x n)時，就可以直接從存儲器把 (y1,y2,…,y m)檢索出來，而不需要再重新進(jìn)行計算。 ③ 例子來源于學(xué)習(xí)者以外的外部環(huán)境的示例學(xué)習(xí) 例子的產(chǎn)生是隨機的。研究問題：對空間的要求，搜索方法 驗證過程 是要從示例空間中選擇新的示例，對剛剛歸納出的規(guī)則做進(jìn)一步的驗證和修改 。這樣也可得到上述規(guī)則 1： 規(guī)則 1： 花色 (c1， x) ∧ 花色 (c2， x) ∧ 花色 (c3， x) ∧ 花色 (c4， x)∧ 花色 (c5，x)→ 同花 (c1, c2, c3, c4, c5) 15 示例學(xué)習(xí) 3. 示例學(xué)習(xí)的解釋方法 (4/5) (3)增加選擇 在析取條件中增加一個新的析取項。從歸納速度上看，方法 (1)的歸納速度快，但容易出錯；方法 (2)歸納速度慢，但不容易出錯。在該圖中： 根節(jié)點包含各種鳥類，葉節(jié)點是所能識別的各種鳥的名稱； 中間節(jié)點是鳥的一些屬性，邊是鳥的某一屬性的屬性值； 從根節(jié)點到葉節(jié)點的每一條路徑都描述了一種鳥，它包括該種鳥的一些屬性及相應(yīng)的屬性值。 信息熵反應(yīng)的是信源每發(fā)出一個信息所提供的平均信息量。 ID3算法是依據(jù)這些訓(xùn)練例子，以S為根節(jié)點，按照信息熵下降最大的原則來構(gòu)造決策樹的。 節(jié)點“ x3=2， x1,x2”的含義是“當(dāng) x3的屬性值為 2時，還需要考慮屬性x1,x2”，它是一個中間節(jié)點，還需要繼續(xù)擴展。 解釋學(xué)習(xí)概述 解釋的基本原理 解釋學(xué)習(xí)的基本過程 領(lǐng)域知識的完善性 神經(jīng)學(xué)習(xí) 31 解釋學(xué)習(xí)涉及三個不同的空間：例子空間，概念空間和概念描述空間。 結(jié)果是否 可操作 PS D2 N Y EXL 概念描述 的轉(zhuǎn)換 KB D1 解釋學(xué)習(xí)概述 解釋學(xué)習(xí)的模型 33 本節(jié)主要討論米切爾等人提出的解釋泛化學(xué)習(xí)方法。 例如， 假設(shè)要學(xué)習(xí)的目標(biāo)是“一個物體 x可以安全地放置在另一個物體 y的上面”。 突觸修正學(xué)派：認(rèn)為人腦學(xué)習(xí)所獲得的信息是分布在神經(jīng)元之間的突觸連接上的。 Hebb學(xué)習(xí)對連接權(quán)值的調(diào)整可表示為： 其中， wij(t+1)表示對時刻 t的權(quán)值修正一次后所得到的新的權(quán)值； η是一正常量，也稱為學(xué)習(xí)因子，它取決于每次權(quán)值的修正量； xi(t)、 xj(t)分別表示 t時刻第 i個和第 j個神經(jīng)元的狀態(tài)。他不僅可以接受能量函數(shù)減少（性能得到改善）的變化，而且還可以以某種概率分布接受使能量函數(shù)增大（性能變差）的變化。 感知器學(xué)習(xí) 1. 單層感知器學(xué)算法習(xí) (1/2) 45 單層感知器學(xué)習(xí)算法描述： (1) 設(shè) t=0，初始化連接權(quán)和閾值。 nittxtwfty ni ii,...,2,1))()()(()(1??? ??? nitxtytdtwtwiii ,...,2,1)()]()([)()1( ????? ? 感知器學(xué)習(xí) 1. 單層感知器學(xué)算法習(xí) (2/2) 46 例 用單層感知器實現(xiàn)邏輯“與”運算。 為了使連接權(quán)值能沿著 E的梯度變化方向逐漸改善，網(wǎng)絡(luò)逐漸收斂， BP算法按如下公式計算 Δwjk ： 其中， η為增益因子， 由下式計算： jkjkjk wtwtw ???? )()1(jkwe??wjkIIewe kkjk ??????jkjk wew????? ? BP網(wǎng)絡(luò)學(xué)習(xí) 1. BP算法的傳播公式 (2/5) 52 由于 故有 令局部梯度 故有 ?? j jjkk OwI jjjjkjkjkk OOwwwI ?????? ?kk Ie????jkjkjk Owe ??? ???????