【正文】 機(jī)器學(xué)習(xí) 人工神經(jīng)網(wǎng)絡(luò)（ ANN） 概述 ? 人工神經(jīng)網(wǎng)絡(luò)提供了一種普遍且實(shí)用的方法從樣例中學(xué)習(xí)值為實(shí)數(shù)、離散值或向量的函數(shù) ? 反向傳播算法，使用梯度下降來(lái)調(diào)節(jié)網(wǎng)絡(luò)參數(shù)以最佳擬合由輸入 輸出對(duì)組成的訓(xùn)練集合 ? 人工神經(jīng)網(wǎng)絡(luò)對(duì)于訓(xùn)練數(shù)據(jù)中的錯(cuò)誤健壯性很好 ? 人工神經(jīng)網(wǎng)絡(luò)已被成功應(yīng)用到很多領(lǐng)域，例如視覺(jué)場(chǎng)景分析，語(yǔ)音識(shí)別，機(jī)器人控制 簡(jiǎn)介 ? 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)對(duì)于逼近實(shí)數(shù)值、離散值或向量值的目標(biāo)函數(shù)提供了一種健壯性很強(qiáng)的方法 ? 對(duì)于某些類型的問(wèn)題，如學(xué)習(xí)解釋復(fù)雜的現(xiàn)實(shí)世界中的傳感器數(shù)據(jù)，人工神經(jīng)網(wǎng)絡(luò)是目前知道的最有效的學(xué)習(xí)方法 ? 反向傳播算法 ? 成功例子，學(xué)習(xí)識(shí)別手寫字符，學(xué)習(xí)識(shí)別口語(yǔ)，學(xué)習(xí)識(shí)別人臉 生物學(xué)動(dòng)機(jī) ? ANN受到生物學(xué)的啟發(fā)，生物的學(xué)習(xí)系統(tǒng)是由相互連接的神經(jīng)元組成的異常復(fù)雜的網(wǎng)絡(luò)。 ? ANN由一系列簡(jiǎn)單的單元相互密集連接構(gòu)成的，其中每一個(gè)單元有一定數(shù)量的實(shí)值輸入，并產(chǎn)生單一的實(shí)數(shù)值輸出 ? 人腦的構(gòu)成，大約有 1011個(gè)神經(jīng)元，平均每一個(gè)與其他104個(gè)相連 生物學(xué)動(dòng)機(jī)（ 2） ? 神經(jīng)元的活性通常被通向其他神經(jīng)元的連接激活或抑制 ? 最快的神經(jīng)元轉(zhuǎn)換時(shí)間比計(jì)算機(jī)慢很多，然而人腦能夠以驚人的速度做出復(fù)雜度驚人的決策 ? 很多人推測(cè)，生物神經(jīng)系統(tǒng)的信息處理能力一定得益于對(duì)分布在大量神經(jīng)元上的信息表示的高度并行處理 ? ANN系統(tǒng)的一個(gè)動(dòng)機(jī)就是獲得這種基于分布表示的高度并行算法 ? ANN并未模擬生物神經(jīng)系統(tǒng)中的很多復(fù)雜特征 ? ANN的研究分為兩個(gè)團(tuán)體 ? 使用 ANN研究和模擬生物學(xué)習(xí)過(guò)程 ? 獲得高效的機(jī)器學(xué)習(xí)算法，不管這種算法是否反映了生物過(guò)程 適合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的問(wèn)題 ? 訓(xùn)練集合為含有噪聲的復(fù)雜傳感器數(shù)據(jù)，例如來(lái)自攝像機(jī)和麥克風(fēng) ? 需要較多符號(hào)表示的問(wèn)題，例如決策樹(shù)學(xué)習(xí)的任務(wù)，能夠取得和決策樹(shù)學(xué)習(xí)大體相當(dāng)?shù)慕Y(jié)果 ? 反向傳播算法是最常用的 ANN學(xué)習(xí)技術(shù) 反向傳播算法適合問(wèn)題的特征 ? 實(shí)例是用很多 “ 屬性 值 ” 對(duì)表示的 ? 目標(biāo)函數(shù)的輸出可能是離散值、實(shí)數(shù)值或者由若干實(shí)數(shù)屬性或離散屬性組成的向量 ? 訓(xùn)練數(shù)據(jù)可能包含錯(cuò)誤 ? 可容忍長(zhǎng)時(shí)間的訓(xùn)練 ? 可能需要快速求出目標(biāo)函數(shù)值 ? 人類能否理解學(xué)到的目標(biāo)函數(shù)是不重要的 感知器 ? 一些 ANN系統(tǒng)是以感知器為基礎(chǔ) ? 感知器以一個(gè)實(shí)數(shù)值向量作為輸入，計(jì)算這些輸入的線性組合，如果結(jié)果大于某個(gè)閾值，它會(huì)被 ” 激發(fā) ” 其中每個(gè) wj,i是一個(gè)實(shí)數(shù)常量，或叫做權(quán)值，用來(lái)決定輸入 aj對(duì)感知器輸出的貢獻(xiàn)率。特別地， w0,i是閾值。 激勵(lì)函數(shù) ? 激勵(lì)函數(shù)需滿足 : ? 當(dāng)提供了 ” 正確的 ” 輸入時(shí) ,單元是 ” 激活 ” 的 (在 +1附近 ),當(dāng)提供了 ” 錯(cuò)誤的 ” 輸入時(shí) ,單元是 ” 非激活 ”的 (在 0附近 ) ? 非線性 (a) 閾值激勵(lì)函數(shù) (b) S型函數(shù) 1/(1+ex) 感知器（ 2） ? 簡(jiǎn)化形式， 或?qū)懗上蛄啃问? ? 閾值激勵(lì)函數(shù)可以用符號(hào)函數(shù)替換，則感知器函數(shù)寫為 其中， 00???niiiaw0??aw ??)s gn ()( awao ??? ????? ??? ot he r w i s eyy 011)s gn(感知器（ 3） ? 學(xué)習(xí)一個(gè)感知器意味著選擇權(quán) w0,…,w n的值。所以感知器學(xué)習(xí)要考慮的候選假設(shè)空間 H就是所有可能的實(shí)數(shù)值權(quán)向量的集合 }|{ 1??? nRwwH ??感知器的表征能力 ? 可以把感知器看作是 n維實(shí)例空間（即點(diǎn)空間）中的超平面決策面 ? 對(duì)于超平面一側(cè)的實(shí)例，感知器輸出 1，對(duì)于另一側(cè)的實(shí)例，輸出 1(或 0) ? 這個(gè)決策超平面方程是 ? 可以被某個(gè)超平面分割的樣例集合，稱為線性可分樣例集合 0??xw ??感知器的表征能力（ 2） ? 單獨(dú)的感知器可以用來(lái)表示很多布爾函數(shù) ? 表示 mofn函數(shù) ? 感知器可以表示所有的原子布爾函數(shù)：與、或、與非、或非 ? 然而，一些布爾函數(shù)無(wú)法用單一的感知器表示，例如異或 感知器的表征能力（ 3） ? 因?yàn)樗械牟紶柡瘮?shù)都可表示為基于原子函數(shù)的互連單元的某個(gè)網(wǎng)絡(luò)，因此感知器網(wǎng)絡(luò)可以表示所有的布爾函數(shù)。事實(shí)上，只需要兩層深度的網(wǎng)絡(luò)，比如表示析取范式 ? 注意，要把一個(gè) AND感知器的輸入求反只要簡(jiǎn)單地改變相應(yīng)輸入權(quán)的符號(hào) ? 因?yàn)楦兄骶W(wǎng)絡(luò)可以表示大量的函數(shù)，而單獨(dú)的單元不能做到這一點(diǎn)，所以我們感興趣的是學(xué)習(xí)感知器組成的多層網(wǎng)絡(luò) 網(wǎng)絡(luò)結(jié)構(gòu) ? 無(wú)環(huán)網(wǎng)絡(luò) (或前饋網(wǎng)絡(luò) ) ? 表示了當(dāng)前輸入的一個(gè)函數(shù) ,除了權(quán)值自身 ,網(wǎng)絡(luò)沒(méi)有其他內(nèi)部狀態(tài) ? 如單層感知器和多層感知器 ? 有環(huán)網(wǎng)絡(luò) (或循環(huán)網(wǎng)絡(luò) ) ? 將其輸出反饋回自己的輸入 ? 網(wǎng)絡(luò)的激勵(lì)層構(gòu)成一個(gè)動(dòng)力學(xué)系統(tǒng) ,它可能到達(dá)一個(gè)穩(wěn)定狀態(tài) ,或發(fā)生振蕩 ,或進(jìn)入混沌狀態(tài) ? 能夠支持短時(shí)間的記憶 前饋網(wǎng)絡(luò) ? 輸出是網(wǎng)絡(luò)輸入的一個(gè)函數(shù) ? 網(wǎng)絡(luò)的權(quán)值就是函數(shù)的參數(shù) ,通過(guò)調(diào)整權(quán)值 ,可以改變網(wǎng)絡(luò)所表示的函數(shù) .這就是神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程 . 單層前饋神經(jīng)元網(wǎng)絡(luò) (感知器 ) ? 每個(gè)權(quán)值只影響一個(gè)輸出 ? 除 AND,OR 以及 NOT外 ,還可以很簡(jiǎn)潔地表示許多 ” 復(fù)雜 ”的布爾函數(shù) ,如 :多數(shù)函數(shù) (Wj=1,W0=n/2) ? 右圖是兩輸入 S型激勵(lì)函數(shù)感知器單元的輸出結(jié)果圖 感知器訓(xùn)練法則 ? 雖然我們的目的是學(xué)習(xí)由多個(gè)單元互連的網(wǎng)絡(luò)，但我們還是要從如何學(xué)習(xí)單個(gè)感知器的權(quán)值開(kāi)始 ? 單個(gè)感知器的學(xué)習(xí)任務(wù)，決定一個(gè)權(quán)向量，它可以使感知器對(duì)于給定的訓(xùn)練樣例輸出正確的 1或 1 ? 我們主要考慮兩種算法 ? 感知器法則 ? delta法則 ? 這兩種算法保證收斂到可接受的假設(shè)，在不同的條件下收斂到的假設(shè)略有不同 ? 這兩種算法提供了學(xué)習(xí)多個(gè)單元構(gòu)成的網(wǎng)絡(luò)的基礎(chǔ) 感知器法則 ? 算法過(guò)程 ? 從隨機(jī)的權(quán)值開(kāi)始 ? 反復(fù)應(yīng)用這個(gè)感知器到每個(gè)訓(xùn)練樣例，只要它誤分類樣例就修改感知器的權(quán)值 ? 重復(fù)這個(gè)過(guò)程，直到感知器正確分類所有的訓(xùn)練樣例 ? 感知器訓(xùn)練法則 其中 iii ???ii xotw )( ??? ?感知器法則（ 2） ? 為什么這個(gè)更新法則會(huì)成功收斂到正確的權(quán)值呢？ ? 一些例子 ? 可以證明（ Minskey amp。 Papert 1969） ? 如果訓(xùn)練樣例線性可分，并且使用了充分小的 ? ? 否則，不能保證 梯度下降和 delta法則 ? delta法則克服感應(yīng)器法則的不足，在線性不可分的訓(xùn)練樣本上，收斂到目標(biāo)概念的最佳近似 ? delta法則的關(guān)鍵思想是，使用梯度下降來(lái)搜索可能的權(quán)向量的假設(shè)空間，以找到最佳擬合訓(xùn)練樣例的權(quán)向量 ? delta法則為反向傳播算法提供了基礎(chǔ)，而反向傳播算法能夠?qū)W習(xí)多個(gè)單元的互連網(wǎng)絡(luò) ? 對(duì)于包含多種不同類型的連續(xù)參數(shù)化假設(shè)的假設(shè)空間，梯度下降是必須遍歷這樣的空間的所有算法的基礎(chǔ) 梯度下降和 delta法則（ 2） ? 把 delta訓(xùn)練法則理解為訓(xùn)練一個(gè)無(wú)閾值的感知器 ? 指定一個(gè)度量標(biāo)準(zhǔn)來(lái)衡量假設(shè)相對(duì)于訓(xùn)練樣例的訓(xùn)練誤差 xwxo ??? ??)(????Dddd otwE2)(21)( ?可視化假設(shè)空間 ? 圖 44 ? 根據(jù) E的定義，誤差曲面是一個(gè)拋物面，存在一個(gè)單一全局最小值 ? 梯度下降搜索從一個(gè)任意的初始權(quán)向量開(kāi)始，然后沿誤差曲面最陡峭下降的方向，以很小的步伐反復(fù)修改這個(gè)向量，直到得到全局的最小誤差點(diǎn) 梯度下降法則的推導(dǎo) ? 如何發(fā)現(xiàn)沿誤差曲面最陡峭下降的方向？ ? 通過(guò)計(jì)算 E相對(duì)向量 的每個(gè)分量的導(dǎo)數(shù)，這個(gè)向量導(dǎo)數(shù)被稱為 E對(duì)于 的梯度，記作 ? 當(dāng)梯度被解釋為權(quán)空間的一個(gè)向量