【正文】 ? ????? ??? ot he r w i s eyy 011)s gn(感知器（ 3） ? 學(xué)習(xí)一個(gè)感知器意味著選擇權(quán) w0,…,w n的值。事實(shí)上，只需要兩層深度的網(wǎng)絡(luò)，比如表示析取范式 ? 注意，要把一個(gè) AND感知器的輸入求反只要簡(jiǎn)單地改變相應(yīng)輸入權(quán)的符號(hào) ? 因?yàn)楦兄骶W(wǎng)絡(luò)可以表示大量的函數(shù)，而單獨(dú)的單元不能做到這一點(diǎn)，所以我們感興趣的是學(xué)習(xí)感知器組成的多層網(wǎng)絡(luò) 網(wǎng)絡(luò)結(jié)構(gòu) ? 無環(huán)網(wǎng)絡(luò) (或前饋網(wǎng)絡(luò) ) ? 表示了當(dāng)前輸入的一個(gè)函數(shù) ,除了權(quán)值自身 ,網(wǎng)絡(luò)沒有其他內(nèi)部狀態(tài) ? 如單層感知器和多層感知器 ? 有環(huán)網(wǎng)絡(luò) (或循環(huán)網(wǎng)絡(luò) ) ? 將其輸出反饋回自己的輸入 ? 網(wǎng)絡(luò)的激勵(lì)層構(gòu)成一個(gè)動(dòng)力學(xué)系統(tǒng) ,它可能到達(dá)一個(gè)穩(wěn)定狀態(tài) ,或發(fā)生振蕩 ,或進(jìn)入混沌狀態(tài) ? 能夠支持短時(shí)間的記憶 前饋網(wǎng)絡(luò) ? 輸出是網(wǎng)絡(luò)輸入的一個(gè)函數(shù) ? 網(wǎng)絡(luò)的權(quán)值就是函數(shù)的參數(shù) ,通過調(diào)整權(quán)值 ,可以改變網(wǎng)絡(luò)所表示的函數(shù) .這就是神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程 . 單層前饋神經(jīng)元網(wǎng)絡(luò) (感知器 ) ? 每個(gè)權(quán)值只影響一個(gè)輸出 ? 除 AND,OR 以及 NOT外 ,還可以很簡(jiǎn)潔地表示許多 ” 復(fù)雜 ”的布爾函數(shù) ,如 :多數(shù)函數(shù) (Wj=1,W0=n/2) ? 右圖是兩輸入 S型激勵(lì)函數(shù)感知器單元的輸出結(jié)果圖 感知器訓(xùn)練法則 ? 雖然我們的目的是學(xué)習(xí)由多個(gè)單元互連的網(wǎng)絡(luò)，但我們還是要從如何學(xué)習(xí)單個(gè)感知器的權(quán)值開始 ? 單個(gè)感知器的學(xué)習(xí)任務(wù)，決定一個(gè)權(quán)向量，它可以使感知器對(duì)于給定的訓(xùn)練樣例輸出正確的 1或 1 ? 我們主要考慮兩種算法 ? 感知器法則 ? delta法則 ? 這兩種算法保證收斂到可接受的假設(shè)，在不同的條件下收斂到的假設(shè)略有不同 ? 這兩種算法提供了學(xué)習(xí)多個(gè)單元構(gòu)成的網(wǎng)絡(luò)的基礎(chǔ) 感知器法則 ? 算法過程 ? 從隨機(jī)的權(quán)值開始 ? 反復(fù)應(yīng)用這個(gè)感知器到每個(gè)訓(xùn)練樣例，只要它誤分類樣例就修改感知器的權(quán)值 ? 重復(fù)這個(gè)過程，直到感知器正確分類所有的訓(xùn)練樣例 ? 感知器訓(xùn)練法則 其中 iii ???ii xotw )( ??? ?感知器法則（ 2） ? 為什么這個(gè)更新法則會(huì)成功收斂到正確的權(quán)值呢？ ? 一些例子 ? 可以證明（ Minskey amp。 ? 如果非閾值輸出能夠被訓(xùn)練到完美擬合這些值，那么閾值輸出也會(huì)完美擬合它們 ? 即使不能完美地?cái)M合目標(biāo)值，只要線性單元的輸出具有正確的符號(hào)，閾值輸出就會(huì)正確擬合目標(biāo)值 ? 盡管這個(gè)過程會(huì)得到使線性單元輸出的誤差最小化的權(quán)值，但這些權(quán)值不能保證閾值輸出的誤差最小化（？） 感知器學(xué)習(xí)小結(jié) ? 感知器法則和 delta法則的關(guān)鍵差異 ? 前者根據(jù)閾值化的感知器輸出的誤差更新權(quán)值 ? 后者根據(jù)輸入的非閾值化線性組合的誤差來更新權(quán)值 ? 這個(gè)差異帶來不同的收斂特性 ? 前者經(jīng)過有限次的迭代收斂到一個(gè)能理想分類訓(xùn)練數(shù)據(jù)的假設(shè)，條件是訓(xùn)練樣例線性可分 ? 后者可能經(jīng)過極長的時(shí)間，漸近收斂到最小誤差假設(shè)，但無論訓(xùn)練樣例是否線性可分都會(huì)收斂 感知器學(xué)習(xí)小結(jié)（ 2） ? 學(xué)習(xí)權(quán)向量的第 3種方法是線性規(guī)劃 ? 線性規(guī)劃是解線性不等式方程組的一種通用的有效方法 ? 這種方法僅當(dāng)訓(xùn)練樣例線性可分時(shí)有解 ? Duda和 Hart給出了一種更巧妙的適合非線性可分的情況的方法 ? 更大的問題是，無法擴(kuò)展到訓(xùn)練多層網(wǎng)絡(luò)，而 delta法則可以很容易擴(kuò)展到多層網(wǎng)絡(luò) 多層網(wǎng)絡(luò)和反向傳播算法 ? 多層網(wǎng)絡(luò)能夠表示種類繁多的非線性曲面 ? 圖 45描述了一個(gè)典型的多層網(wǎng)絡(luò)和它的決策曲面 可微閾值單元 ? 使用什么類型的單元來構(gòu)建多層網(wǎng)絡(luò)？ ? 多個(gè)線性單元的連接仍產(chǎn)生線性函數(shù)，而我們希望構(gòu)建表征非線性函數(shù)的網(wǎng)絡(luò) ? 感知器單元可以構(gòu)建非線性函數(shù)，但它的不連續(xù)閾值使它不可微，不適合梯度下降算法 ? 我們需要的單元滿足的條件 ? 輸出是輸入的非線性函數(shù) ? 輸出是輸入的可微函數(shù) ? Sigmoid單元，類似于感知器單元，但基于一個(gè)平滑的可微閾值函數(shù) 可微閾值單元（ 2） ? 圖 46 ? sigmoid單元先計(jì)算它的輸入的線性組合，然后應(yīng)用到一個(gè)閾值上，閾值輸出是輸入的連續(xù)函數(shù) 其中 )( xwo ?? ??yey ??? 11)(?可微閾值單元（ 3） ? sigmoid函數(shù) ? 也稱 logistic函數(shù) ? 擠壓函數(shù) ? 輸出范圍是 0到 1 ? 單調(diào)遞增 ? 導(dǎo)數(shù)很容易用函數(shù)本身表示 ? sigmoid函數(shù)的變型 ? 其他易計(jì)算導(dǎo)數(shù)的可微函數(shù) ? 增加陡峭性 ? 雙曲正切函數(shù) 反向傳播算法 ? 用來學(xué)習(xí)多層網(wǎng)絡(luò)的權(quán)值 ? 采用梯度下降方法試圖最小化網(wǎng)絡(luò)輸出值和目標(biāo)值之間的誤差平方 ? 網(wǎng)絡(luò)的誤差定義公式，對(duì)所有網(wǎng)絡(luò)輸出的誤差求和 ? ?? ???Dd o u tp u skkdkd otwE2)(21)( ?反向傳播算法（ 2） ? 反向傳播算法面臨的學(xué)習(xí)任務(wù) ? 搜索一個(gè)巨大的假設(shè)空間，這個(gè)空間由網(wǎng)絡(luò)中所有的單元的所有可能的權(quán)值定義，得到類似圖 44的誤差曲面 ? 在多層網(wǎng)絡(luò)中，誤差曲面可能有多個(gè)局部極小值，梯度下降僅能保證收斂到局部極小值 ? 盡管有這個(gè)障礙，已經(jīng)發(fā)現(xiàn)對(duì)于實(shí)踐中很多應(yīng)用，反向傳播算法都產(chǎn)生了出色的結(jié)果 反向傳播算法（ 3） ? 表 42包含兩層 sigmoid單元的前饋網(wǎng)絡(luò)的反向傳播算法 BackPropagation(training_examples, ?, nin, nout, nhidden) training_examples是序偶 , 的集合，是網(wǎng)絡(luò)輸入值向量，是目標(biāo)輸出值。 ? 創(chuàng)建具有 nin個(gè)輸入， nhidden個(gè)隱藏， nout個(gè)輸出單元的網(wǎng)絡(luò) ? 初始化所有的網(wǎng)絡(luò)權(quán)值為小的隨機(jī)值 ? 在遇到終止條件前 ? 對(duì)于訓(xùn)練樣例 training_examples中的每個(gè) , ： ? 把輸入沿網(wǎng)絡(luò)前向傳播 ? 把實(shí)例 輸入網(wǎng)絡(luò)，并計(jì)算網(wǎng)絡(luò)中每個(gè)單元 u的輸出 ou ? 使誤差沿網(wǎng)絡(luò)反向傳播 ? 對(duì)于網(wǎng)絡(luò)的每個(gè)輸出單元 k，計(jì)算它的誤差項(xiàng) ?k?ok(1ok)(tkok) ? 對(duì)于網(wǎng)絡(luò)的每個(gè)隱藏單元 h，計(jì)算它的誤差項(xiàng) ?h?oh(1oh) ? 更新每個(gè)網(wǎng)絡(luò)權(quán)值 wji?wji+?wji，其中 ?wji=??jxji x? t? x? t?x? t?x?反向傳播算法（ 4） ? 表 42給出的反向傳播算法適用于包含兩層sigmoid單元的分層前饋網(wǎng)絡(luò)，并且每一層的單元與前一層的所有單元相連。 表 42的算法解釋 ? 從建立一個(gè)具有期望數(shù)量的隱藏單元和輸出單元的網(wǎng)絡(luò)并初始化所有的網(wǎng)絡(luò)的權(quán)值為小的隨機(jī)數(shù)開始 ? 給定一個(gè)固定的網(wǎng)絡(luò)結(jié)構(gòu)，算法的主循環(huán)就對(duì)訓(xùn)練樣例進(jìn)行反復(fù)的迭代 ? 對(duì)于每一個(gè)訓(xùn)練樣例，它應(yīng)用目前的網(wǎng)絡(luò)到這個(gè)樣例，計(jì)算出對(duì)這個(gè)樣例網(wǎng)絡(luò)輸出的誤差，然后更新網(wǎng)絡(luò)中所有的權(quán)值 ? 對(duì)這樣的梯度下降步驟進(jìn)行迭代，直到網(wǎng)絡(luò)的性能達(dá)到可接受的精度為止 反向傳播算法的梯度下降法則 ? 表 42的梯度下降權(quán)更新法則與 delta訓(xùn)練法則相似 ? 類似 delta法則，依照以下三者來更新每一個(gè)權(quán) ? 學(xué)習(xí)速率 ? ? 該權(quán)值涉及的輸入值 xji ? 該單元的輸出誤差 ? 不同于 delta法則的地方 ? delta法則中的誤差項(xiàng)被替換成一個(gè)更復(fù)雜的誤差項(xiàng) ?j 反向傳播算法的誤差項(xiàng) ? 輸出單元 k的誤差項(xiàng) ? ?k與 delta法則中的 (tkok)相似，但乘上了 sigmoid擠壓函數(shù)的導(dǎo)數(shù) ok(1ok)。這個(gè)權(quán)值刻畫了隱藏單元 h對(duì)于輸出單元 k的誤差應(yīng)負(fù)責(zé)的程度。隨機(jī)近似對(duì)于每個(gè)訓(xùn)練樣例沿一個(gè)不同的誤差曲面有效下降，這些不同的誤差曲面通常有不同的局部極小值，這使得下降過程不太可能陷入一個(gè)局部極小值 ? 使用同樣的數(shù)據(jù)訓(xùn)練多個(gè)網(wǎng)絡(luò)，但用不同的隨機(jī)權(quán)值初始化