【正文】 設(shè)定為 ，沖量設(shè)定為 ? 賦予這兩個(gè)參數(shù)更低的值會(huì)產(chǎn)生大體相當(dāng)?shù)姆夯龋枰L(zhǎng)的訓(xùn)練時(shí)間 ? 如果賦予更高的值，訓(xùn)練將不能收斂到一個(gè)具有可接受誤差的網(wǎng)絡(luò) ? 適用完全的梯度下降 ? 輸出單元的權(quán)值被初始化為小的隨機(jī)值 ? 輸入單元的權(quán)值被初始化為 0 ? 訓(xùn)練的迭代次數(shù)的選擇可以通過(guò)分割可用的數(shù)據(jù)為訓(xùn)練集合和驗(yàn)證集合來(lái)實(shí)現(xiàn) ? 最終選擇的網(wǎng)絡(luò)是對(duì)驗(yàn)證集合精度最高的網(wǎng)絡(luò) ? 最終報(bào)告的精度是在沒(méi)有對(duì)訓(xùn)練產(chǎn)生任何影響的第三個(gè)集合 ——測(cè)試集合上測(cè)量得到的 學(xué)習(xí)到的隱藏層表示 ? 圖中緊挨人臉圖像下的 4個(gè)矩形，每個(gè)矩形描繪了網(wǎng)絡(luò)中4個(gè)輸出單元中的一個(gè)權(quán)值，每個(gè)矩形中的 4個(gè)小方形表示和這個(gè)輸出單元關(guān)聯(lián)的 4個(gè)權(quán)值 ? 隱藏單元的權(quán)值顯示在輸出單元的下邊，每個(gè)隱藏單元接受所有 30x32個(gè)像素輸入。與這些輸入關(guān)聯(lián)的 30x32個(gè)權(quán)值被顯示在它們對(duì)應(yīng)的像素的位置 ? 針對(duì)每一個(gè)訓(xùn)練樣例，梯度下降迭代 100次后的網(wǎng)絡(luò)權(quán)值顯示在圖的下部。 ? 如果一個(gè)人的臉是轉(zhuǎn)向他的右面，那么他的亮度高的皮膚會(huì)大致與這個(gè)隱藏單元中的較大正值對(duì)齊，同時(shí)他的亮度低的頭發(fā)會(huì)大致與負(fù)權(quán)值對(duì)齊，這導(dǎo)致此單元輸出一個(gè)較大的值，同樣的圖像會(huì)使第 3個(gè)隱藏單元輸出一個(gè)接近 0的值。 其他可選的誤差函數(shù) ? 為權(quán)值增加一個(gè)懲罰項(xiàng) ? 把一個(gè)隨著權(quán)向量幅度增長(zhǎng)的項(xiàng)加入到 E中，這導(dǎo)致梯度下降搜尋較小的權(quán)值向量，從而減小過(guò)度擬合的風(fēng)險(xiǎn)，等價(jià)于使用權(quán)衰減策略 ? 對(duì)誤差增加一項(xiàng)目標(biāo)函數(shù)的斜率或?qū)?shù) ? 某些情況下，訓(xùn)練信息中不僅有目標(biāo)值，而且還有關(guān)于目標(biāo)函數(shù)的導(dǎo)數(shù) ? ??? ? ??? Dd ji jio u tp u tsk kdkd wotwE , 22)(21)( ??? ? ?? ? ? ???????????????? ???????? Dd o u tp u tsk in p u tsj jdkdjdkdkdkd xoxtotwE22)(21)( ??其他可選的誤差函數(shù)（ 2） ? 使網(wǎng)絡(luò)對(duì)目標(biāo)值的交叉熵最小化 ? 比如根據(jù)借貸申請(qǐng)者的年齡和存款余額，預(yù)測(cè)他是否會(huì)還貸，目標(biāo)函數(shù)最好以申請(qǐng)者還貸的概率的形式輸出，而不是輸出明確的 0和 1。在這種情況下，可以證明最小化交叉熵的網(wǎng)絡(luò)可以給出最好的概率估計(jì)。交叉熵定義如下： ? 第 6章討論了何時(shí)及為什么最可能的網(wǎng)絡(luò)假設(shè)就是使交叉熵最小化的假設(shè)，并推導(dǎo)了相應(yīng)的 sigmoid單元的梯度下降權(quán)值調(diào)整法則，還描述了在什么條件下最可能的假設(shè)就是使誤差平方和最小化的假設(shè)。 )1l o g ()1(l o g ddDd ddotot ???? ??其他可選的誤差函數(shù)（ 3） ? 通過(guò)權(quán)值共享改變有效誤差函數(shù) ? 把與不同單元或輸入相關(guān)聯(lián)的權(quán) “ 捆綁在一起 ” ，強(qiáng)迫不同的網(wǎng)絡(luò)權(quán)值取一致的值，通常是為了實(shí)施人類設(shè)計(jì)者事先知道的某個(gè)約束 ? 約束了假設(shè)的潛在空間，減小了過(guò)度擬合的風(fēng)險(xiǎn) ? 實(shí)現(xiàn)方法，首先在共享權(quán)值的每個(gè)單元分別更新各個(gè)權(quán)值，然后取這些權(quán)值的平均，再用這個(gè)平均值替換每個(gè)需要共享的權(quán)值。 ? 被共享的權(quán)值比沒(méi)有共享的權(quán)值更有效地適應(yīng)一個(gè)不同的誤差函數(shù) 其他可選的誤差最小化過(guò)程 ? 梯度下降是搜尋使誤差函數(shù)最小化的假設(shè)的最通用的方法之一，但不是最高效的 ? 不妨把權(quán)值更新方法看作是要決定這樣兩個(gè)問(wèn)題： ? 選擇一個(gè)改變當(dāng)前權(quán)值向量的方向（梯度的負(fù)值） ? 選擇要移動(dòng)的距離（學(xué)習(xí)速率） ? 線搜索，每當(dāng)選定了一條確定權(quán)值更新方向的路線，那么權(quán)更新的距離是通過(guò)沿這條線尋找誤差函數(shù)的最小值來(lái)選擇的 ? 共軛梯度，進(jìn)行一系列線搜索來(lái)搜索誤差曲面的最小值，這一系列搜索的第一步仍然使用梯度的反方向，在后來(lái)的每一步中，選擇使誤差梯度分量剛好為 0并保持為 0的方向 ? 像共軛梯度這樣的方法對(duì)最終網(wǎng)絡(luò)的泛化誤差沒(méi)有明顯的影響，唯一可能的影響是，不同的誤差最小化過(guò)程會(huì)陷入不同的局部最小值 遞歸網(wǎng)絡(luò) ? 遞歸網(wǎng)絡(luò)是有如下特征的人工神經(jīng)網(wǎng)絡(luò) ? 適用于時(shí)序數(shù)據(jù) ? 使用網(wǎng)絡(luò)單元在時(shí)間 t的輸出作為其他單元在時(shí)間 t+1的輸入 ? 遞歸網(wǎng)絡(luò)支持在網(wǎng)絡(luò)中使用某種形式的有向環(huán) ? 考慮一個(gè)時(shí)序預(yù)測(cè)任務(wù) ? 根據(jù)當(dāng)天的經(jīng)濟(jì)指標(biāo) x(t)，預(yù)測(cè)下一天的股票平均市值 y(t+1) ? 訓(xùn)練一個(gè)前饋網(wǎng)絡(luò)預(yù)測(cè)輸出 y(t+1)，圖 411a 遞歸網(wǎng)絡(luò) ? 預(yù)測(cè) y(t+1)時(shí)，考慮任意過(guò)去的時(shí)間窗內(nèi)的信息，圖 411b ? 圖 411b那樣的遞歸網(wǎng)絡(luò)可以使用反向傳播算法的簡(jiǎn)單變體來(lái)訓(xùn)練 ? 把遞歸網(wǎng)絡(luò)拷貝成幾份，用不同拷貝間的連接替換掉反饋環(huán)，這個(gè)大的網(wǎng)絡(luò)不再包含回路，所以可以直接使用反向傳播算法來(lái)訓(xùn)練 ? 實(shí)踐中，我們僅保留一份遞歸網(wǎng)絡(luò)和權(quán)值集合的拷貝，在訓(xùn)練了展開(kāi)的網(wǎng)絡(luò)后，可以取不同拷貝中權(quán)值的平均值作為最終網(wǎng)絡(luò)的對(duì)應(yīng)的權(quán)值 ? 實(shí)踐中，遞歸網(wǎng)絡(luò)比沒(méi)有反饋環(huán)的網(wǎng)絡(luò)更難以訓(xùn)練，泛化的可靠性也不如后者，然而它們?nèi)砸蜉^強(qiáng)的表征力而保持著重要性 動(dòng)態(tài)修改網(wǎng)絡(luò)結(jié)構(gòu) ? 動(dòng)態(tài)增長(zhǎng)或壓縮網(wǎng)絡(luò)單元和單元間連接的數(shù)量 ? 從一個(gè)不包含隱藏單元的網(wǎng)絡(luò)開(kāi)始，然后根據(jù)需要增加隱藏單元來(lái)增長(zhǎng)網(wǎng)絡(luò)，直到訓(xùn)練誤差下降到某個(gè)可接受的水平 ? 級(jí)聯(lián)相關(guān)算法，每當(dāng)加入一個(gè)新的隱藏單元，它的輸入包括所有原始的網(wǎng)絡(luò)輸入和已經(jīng)存在的隱藏單元的輸出，網(wǎng)絡(luò)以這種方式增長(zhǎng)，積聚隱藏單元，直到網(wǎng)絡(luò)的殘余誤差下降到某個(gè)可接受的水平 ? 由于每一步僅有一層網(wǎng)絡(luò)在被訓(xùn)練，級(jí)聯(lián)相關(guān)算法顯著減少了訓(xùn)練時(shí)間 ? 算法的一個(gè)實(shí)際困難是，因?yàn)樗惴梢詿o(wú)限制地增加單元，很容易過(guò)度擬合訓(xùn)練數(shù)據(jù)。 動(dòng)態(tài)修改網(wǎng)絡(luò)結(jié)構(gòu) ? 從一個(gè)復(fù)雜的網(wǎng)絡(luò)開(kāi)始修剪掉某些連接 ? 判斷某個(gè)權(quán)是否無(wú)關(guān)緊要的一種方法是看它的值是否接近 0 ? 在實(shí)踐中更加成功的方法是考慮這個(gè)權(quán)值的一個(gè)小的變化對(duì)誤差的影響（連接的顯著性） ? 最不顯著的連接被拆除，重復(fù)這個(gè)過(guò)程，直到遇到某個(gè)終止條件為止（最優(yōu)腦損傷法） ? 一般而言，動(dòng)態(tài)修改網(wǎng)絡(luò)結(jié)構(gòu)的方法能否穩(wěn)定地提高反向傳播算法的泛化精度還有待研究 小結(jié) ? 人工神經(jīng)網(wǎng)絡(luò)為學(xué)習(xí)實(shí)數(shù)值和向量值函數(shù)提供了一種實(shí)際的方法，對(duì)于連續(xù)值和離散值的屬性都可以使用，并且對(duì)訓(xùn)練數(shù)據(jù)中的噪聲具有很好的健壯性。 ? 反向傳播算法是最常見(jiàn)的網(wǎng)絡(luò)學(xué)習(xí)算法 ? 反向傳播算法考慮的假設(shè)空間是固定連接的有權(quán)網(wǎng)絡(luò)所能表示的所有函數(shù)的空間 ? 包含 3層單元的前饋網(wǎng)絡(luò)能夠以任意精度逼近任意函數(shù)，只要每一層有足夠數(shù)量的單元。即使是一個(gè)實(shí)際大小的網(wǎng)絡(luò)也能夠表示很大范圍的高度非線性函數(shù) ? 反向傳播算法使用梯度下降方法搜索可能假設(shè)的空間，迭代減小網(wǎng)絡(luò)的誤差以擬合訓(xùn)練數(shù)據(jù) 小結(jié)（ 2） ? 梯度下降收斂到訓(xùn)練誤差相對(duì)網(wǎng)絡(luò)權(quán)值的局部極小值。只要訓(xùn)練誤差是假設(shè)參數(shù)的可微函數(shù)，梯度下降可用來(lái)搜索很多連續(xù)參數(shù)構(gòu)成的假設(shè)空間 ? 反向傳播算法能夠創(chuàng)造出網(wǎng)絡(luò)輸入中沒(méi)有明確出現(xiàn)的特征。 ? 交叉驗(yàn)證方法可以用來(lái)估計(jì)梯度下降搜索的合適終止點(diǎn)，從而最小化過(guò)度擬合的風(fēng)險(xiǎn) ? 其他 ANN學(xué)習(xí)算法，遞歸網(wǎng)絡(luò)方法訓(xùn)練包含有向環(huán)的網(wǎng)絡(luò)，級(jí)聯(lián)相關(guān)算法改變權(quán)和網(wǎng)絡(luò)結(jié)構(gòu) 補(bǔ)充讀物 ? 本書其他與 ANN學(xué)習(xí)相關(guān)的章節(jié) ? 第 6章給出了選擇最小化誤差平方和的貝葉斯論證，以及在某些情況下，用最小化交叉熵代替最小化誤差平方和的方法 ? 第 7章討論了為可靠學(xué)習(xí)布爾函數(shù)所需要的訓(xùn)練實(shí)例數(shù)量的理論結(jié)果，以及某些類型網(wǎng)絡(luò)的VC維 ? 第 5章討論了過(guò)度擬合和避免過(guò)度擬合的方法 ? 第 12章討論了使用以前知識(shí)來(lái)提高泛化精度的方法 補(bǔ)充讀物（ 2） ? 發(fā)展歷程 ? McCulloch amp。 Pitts ? Widrow amp。 Hoff ? Rosenblatt ? Minsky amp。 Papert ? Rumelhart amp。 McClelland。 Parker ? 教科書 ? Duda amp。 Hart ? Windrow amp。 Stearns ? Rumelhart amp。 McClelland