神經(jīng)網(wǎng)絡分類器(1)-wenkub
2023-06-10 18:03:52 本頁面
【正文】 ，其他輸出為 1；設期望的輸出為： Y=[y1,y2,…, yn]T，實際輸出為： TnyyyY ],...,[ 21 ???? ?某一層第 j個計算單元： ? i：前一層的第 i個計算單元 ? k：后一層的第 k個計算單元 ? Oj：本層的第 j個計算單元的輸出 ? wij：前一層第 i個單元到本層第 j個單元的權(quán)值 正向過程： 輸入某樣本時，從前到后對每個神經(jīng)元計算： ??iijij Own e t2)(11 ? ????jjj yyNE對輸出層， 是實際輸出值， yj是期望輸出值，誤差為： 定義局部梯度： jj E????計算權(quán)值對誤差的影響： ijijjjijOwne tne tEwE ?????? ???? ?jj Oy ??利用梯度下降原理 為使誤差盡快減小，令修正量為： Δwij=ησjOi wij(t+1)=wij(t)+ Δwij(t) t為迭代次數(shù) j jOy??若單元 j為輸出單元： )(39。 ? 前饋網(wǎng)絡通常分為不同的層，第 i層的輸入只與第 i1層的輸出聯(lián)接。 感知器算法推廣 ?????????????0)()(0)()()1(kTkkTxkwxckwxkwkwkw由感知器算法： 進一步：將 cxk變?yōu)閷Ψ诸愬e誤敏感的準則函數(shù) J(w, x) 定義： )(}),({)()()1(kxwJckwJckwkw??????????梯度下降準則 ? 感知機 Perceptron (Rosenblatt 1958) Adaline(Widrow and Hoff) ? 《 Perceptron》 (Minsky amp。 感知器算法收斂性分析 Nixw iT ,. . .2,10* ???收斂定理：如果訓練模式是線性可分的，感知器訓練算法在有限次迭代后便可以收斂到正確的解矢量 w* 若將式中閾值 0改為一非負值 T，則變?yōu)楦话愕男问剑? 設： w*為權(quán)向量的解，則它具有下式的性質(zhì)： NiTxw iT ,. . .2,1* ???感知器算法可寫成： ????????????TxkwxkwTxkwkwkwkTkkT)()()()()1(如果如果取 C=1（不失一般性，可分入樣本中） xk中 k為 N個訓練樣本在多次反復迭代中的累積編號。 ?輸入訓練模式 xk，計算判別函數(shù)值 wT(k)xk ?調(diào)整增廣權(quán)矢量，規(guī)則是： 如果 wT(k)xk≤0, 則 w(k+1)=w(k)+ Cxk 如果 wT(k)xk0, 則 w(k+1)=w(k) ?如果 kN，令 k=k+1，返至第二步。 感知器訓練算法 初始化： ? 給定一個訓練模式集 {x1, x2,… xN}，其中每個類別已知，它們分屬于 ω1,ω2。 算法描述 用樣本訓練時，若 x∈ ωi， g(x)0，則 w不變。因此，它實質(zhì)上是一種線性閾值計算單元。 ?動態(tài)極化原則：在每一個神經(jīng)元中，信息以預知的確定方向流動，即從神經(jīng)元的接收信息部分傳到軸突的電脈沖起始部分，再傳到軸突終端的突觸，以與其它神經(jīng)元通信。 樹突：有大量的分枝，接受來自其他神經(jīng)元的信號。 ? 1982年，提出神經(jīng)網(wǎng)絡的數(shù)學模型，引入了能力的概念，研究了網(wǎng)絡的動力學特性；設計出用電子線路實現(xiàn)網(wǎng)絡的方案，大大促進了神經(jīng)網(wǎng)絡的研究。 人工神經(jīng)網(wǎng)絡研究的發(fā)展： ? 1943年，提出形式神經(jīng)元的數(shù)學模型，人工神經(jīng)網(wǎng)絡研究的開端。 ? 1949年，提出神經(jīng)元的學習準則，為神經(jīng)網(wǎng)絡的學習算法奠定了基礎。 ? 1986年，提出多層感知器的反向傳播算法。 軸突：用以輸出信號。 ?連接的專一性原則：神經(jīng)元之間無細胞質(zhì)的連續(xù)，神經(jīng)元不構(gòu)成隨機網(wǎng)絡，每一個神經(jīng)元與另一些神經(jīng)元構(gòu)成精確的聯(lián)接。 感知器是一個具有單層計算單元的人工神經(jīng)網(wǎng)絡。
畢業(yè)設計相關(guān)推薦
鄂ICP備17016276號-1