神經(jīng)網(wǎng)絡(luò)基礎(chǔ)ppt課件(編輯修改稿)
2025-02-01 15:31 本頁面
【文章內(nèi)容簡介】 人工神經(jīng)網(wǎng)絡(luò)最有吸引力的特點就是它的學(xué)習(xí)能力。學(xué)習(xí)方法是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特征的主要指標(biāo)，離開了學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)就失去了自適應(yīng)、自組織和自學(xué)習(xí)的能力。 ? 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程。所謂 訓(xùn)練 ，就是在將由樣本向量構(gòu)成的樣本集合輸入到人工神經(jīng)網(wǎng)路的過程中，按照一定方式去調(diào)整神經(jīng)元之間的連接權(quán)。使網(wǎng)絡(luò)能將樣本集的內(nèi)涵以連接權(quán)矩陣的方式存儲起來，從而使網(wǎng)絡(luò)在數(shù)據(jù)輸入時可以給出適當(dāng)?shù)妮敵觥? 22 ? 目前神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法有多種，按有無教師信號來分類，可分為有教師學(xué)習(xí)、無教師學(xué)習(xí)和再勵學(xué)習(xí)等幾大類。在有教師的學(xué)習(xí)方式中，網(wǎng)絡(luò)的輸出和期望的輸出（即教師信號）進(jìn)行比較，然后根據(jù)兩者之間的差異調(diào)整網(wǎng)絡(luò)的權(quán)值，最終使差異變小。在無教師的學(xué)習(xí)方式中，輸入模式進(jìn)入網(wǎng)絡(luò)后，網(wǎng)絡(luò)按照預(yù)先設(shè)定的規(guī)則（如競爭規(guī)則）自動調(diào)整權(quán)值，使網(wǎng)絡(luò)最終具有模式分類等功能。再勵學(xué)習(xí)是介于上述兩者之間的一種學(xué)習(xí)方式。 23 有教師學(xué)習(xí) ? 有教師學(xué)習(xí)，也稱有監(jiān)督學(xué)習(xí)，假設(shè)教師和神經(jīng)網(wǎng)絡(luò)同時要對從周圍環(huán)境中抽取出來的訓(xùn)練向量（即例子）做出判斷，教師可以根據(jù)自身掌握的一些知識為神經(jīng)網(wǎng)絡(luò)提供期望響應(yīng)。 ? 期望響應(yīng)一般都代表著神經(jīng)網(wǎng)絡(luò)完成的最優(yōu)動作。神經(jīng)網(wǎng)絡(luò)的參數(shù)可以在訓(xùn)練向量和誤差信號的綜合影響下進(jìn)行調(diào)整。誤差信號可以定義為神經(jīng)網(wǎng)絡(luò)實際響應(yīng)與預(yù)期響應(yīng)之差。這種調(diào)整可以逐步而又反復(fù)地進(jìn)行，其最終目的就是要讓神經(jīng)網(wǎng)絡(luò)模擬教師信號。 24 有教師學(xué)習(xí) 理 理 理 理理 理 理 理 理 理理 理N N理 理W e i g h t 理 理 理 理理 理25 ? 利用這種手段，教師對環(huán)境掌握的知識就可以通過訓(xùn)練最大限度的傳授給神經(jīng)網(wǎng)絡(luò)。當(dāng)條件成熟時，就可以將教師信號排除在外，讓網(wǎng)絡(luò)完全自主地應(yīng)對環(huán)境。 ? 可以采用訓(xùn)練樣本的平方誤差作為性能測試標(biāo)準(zhǔn)，它可以定義為系統(tǒng)的一個帶自由參數(shù)的函數(shù)，該函數(shù)可以看作一個多維誤差 性能曲面，簡稱誤差曲面。 ? 后面將要討論的 Delta學(xué)習(xí)算法屬于有教師學(xué)習(xí)。它是一種閉環(huán)反饋系統(tǒng)，但未知的環(huán)境不包含在循環(huán)中。 26 ? 實際誤差曲面是所有可能的輸入輸出的平均。有教師學(xué)習(xí)系統(tǒng)能夠處理有用信息，根據(jù)系統(tǒng)當(dāng)前的行為計算出誤差曲面的梯度。誤差曲面上任何一點的梯度指的是指向最速下降方向的向量。 ? 給定一個設(shè)計好的算法來使代價函數(shù)最小，而且有足夠的輸入 輸出數(shù)據(jù)集，那么有教師學(xué)習(xí)往往可以很好地完成諸如模式分類、函數(shù)逼近等任務(wù)。 27 無教師學(xué)習(xí) ? 在無教師學(xué)習(xí)范例中，沒有教師監(jiān)視學(xué)習(xí)過程，即神經(jīng)網(wǎng)絡(luò)沒有任何例子可以學(xué)習(xí)。無教師學(xué)習(xí)又可分為兩類： ?自組織學(xué)習(xí) ?無監(jiān)督競爭學(xué)習(xí) 28 無教師學(xué)習(xí) N N理 理 理 理W e i g h t 理 理 理 理理 理 理 理29 (1) 自組織學(xué)習(xí) ? 即網(wǎng)絡(luò)的學(xué)習(xí)過程完全是一種自我學(xué)習(xí)的過程，不存在外部教師的示教，也不存在來自外部環(huán)境的反饋指示網(wǎng)絡(luò)應(yīng)該輸出什么或者是否正確。 ? 自組織學(xué)習(xí)過程中，網(wǎng)絡(luò)根據(jù)某種規(guī)則反復(fù)地調(diào)整連接權(quán)以響應(yīng)輸入模式的激勵，直到網(wǎng)絡(luò)最后形成某種有序狀態(tài)。也就是說，自組織學(xué)習(xí)是靠神經(jīng)元本身對輸入模式的不斷適應(yīng)，抽取輸入信號的規(guī)律 (如統(tǒng)計規(guī)律 )。一旦網(wǎng)絡(luò)顯現(xiàn)出輸入數(shù)據(jù)的統(tǒng)計特征，則網(wǎng)絡(luò)就實現(xiàn)了對輸入特征的編碼，即把輸入特征“記憶”下來。而且在記憶之后，當(dāng)它再出現(xiàn)時，能把它識別出來。 30 自組織學(xué)習(xí)能對網(wǎng)絡(luò)的學(xué)習(xí)過程進(jìn)行度量，并優(yōu)化其中的自由參數(shù)?？梢哉J(rèn)為，這種學(xué)習(xí)的評價準(zhǔn)則隱含于網(wǎng)絡(luò)內(nèi)部。神經(jīng)網(wǎng)絡(luò)的這種自組織特性來源于其結(jié)構(gòu)的可塑性。 (1) 自組織學(xué)習(xí) 31 (2) 無監(jiān)督競爭學(xué)習(xí) ? 在無監(jiān)督競爭學(xué)習(xí)系統(tǒng)中，沒有外部的教師或則評價來監(jiān)督學(xué)習(xí)的過程。要求網(wǎng)絡(luò)學(xué)習(xí)該度量而且自由參數(shù)將根據(jù)這個度量來逐步優(yōu)化。 ? 為了完成無監(jiān)督競爭學(xué)習(xí)規(guī)則，神經(jīng)網(wǎng)絡(luò)包括兩層：輸入層和競爭層。輸入層接受有用的數(shù)據(jù)。競爭層由相互競爭的神經(jīng)元組成，采用“勝者全得”的策略，具有最大總輸入的神經(jīng)元的輸出置 1，贏得競爭而被激活，其它神經(jīng)元置
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1