【文章內(nèi)容簡介】 ? ? xxx xfxf ??? ????? e1 e1e1 1 或 每個神經(jīng)元的輸入輸出關(guān)系可以分解成線性輸入或非線性輸出兩部分，從線性輸入到非線性輸出之間存在一一對應(yīng)的映射和逆映射關(guān)系。其中逆映射可將輸出信息轉(zhuǎn)換到輸入 端，使用線性參數(shù)估計技術(shù)對神經(jīng)網(wǎng)絡(luò)的連續(xù)權(quán)進(jìn)行訓(xùn)練，便于使用遞推最小二乘法。 2. RLS訓(xùn)練算法 設(shè)輸出層神經(jīng)元的期望輸入 r(k)和期望輸出 d(k)之間有一定的關(guān)系： d(k)=f［ r(k)］ 對 d(k)的逆變換可寫成 r(k)=f－ 1［ d(k)］ 式中， f－ 1()是 f()的反函數(shù)。定義性能指標(biāo)： ??? ?? NkKN knkrJ1))()((21 ?式中， λ稱為遺忘因子。神經(jīng)元的輸入輸出重新寫出如下： ? ?? ? ? ?? ?? ? ? ? ? ? ? ?? ?? ?tintitiittntttititittuWkxkxkxkXkfkxWXk,,n e tn e t21T1,1,21,1T1T1???????????性能指標(biāo)改寫成 ? ???? ?? NkKN WkXkrJ12T )()(21 ?考慮到 0???WJ令 ? ? ? ? ? ???????? ?? kXλ,XλkΦ KNN ?11T可得 W的 LS估計為 W(k)=［ ΦT(k)Φ(k)］ － 1ΦT(k)R(k) 相應(yīng)的 RLS估計為 WL(k)=WL－ 1(k)+ML－ 1(k)［ rL(k)－ XTL－ 1(k)WL－ 1(k－ 1)］ 式中， ? ? ? ? ? ?? ? ? ? ? ?kXkPkX kXkPkMLLLLLL11T1111???????? ?? ? ? ?? ? ? ? ? ?111T111 ??????? kPkXkMIkPLLLL ?遞推時取初值： PL－ 1(0)=(103～ 106)I 對于中間層每個神經(jīng)元，定義其期望輸入與期望輸出滿足 d(k)=f［ r(k)］ 定義反傳誤差為 δit(k)=dit(k)－ xit(k)=f[it(k)][rit(k)－ it(k)] 相應(yīng)神經(jīng)元期望輸入為 Rit(k)=f－ 1［ dit(k)］ 定義 ? ? ? ? ? ?? ?? ?? ? 221 knkrkJ KNit ?式中， λ(k)為非負(fù)遺忘因子。在 t=L－ 1時，對第 i個神經(jīng)元，由于 ? ? ? ? ? ?? ? ? ?? ? ? ?? ? ? ? 0n e tn e t11111T 1???? ?? ?????? ???????? ? LLLLLLLLkNLit W kKkXKX knknkrkW J ?令反傳誤差 δL(k)=rL(k)－ nL(k) 及 δL－ 1(k)=δL(k)wiLf ′[iL(k)] 有 ? ? ? ? ? ?? ????? ????? 021T11 kXkkWJLLKNLL ??求解此式，可得神經(jīng)元 i的連接權(quán)系數(shù) RLS估計： WL－ 1(k)=WL－ 1(k－ 1)+ΔWL－ 1 由此類推直至 t=1，可得 RLS估計如下： Wit(k)=Wit(k－ 1)+Mt－ 1(k)［ rit(k)－ it(k)］ 由此可計算各神經(jīng)元的輸出。 現(xiàn)舉一個仿真實例，設(shè)非線性系統(tǒng)為 ? ? ? ? ? ? ? ? ? ?? ? ? ?? ? ? ?211 213121 22 ???? ???????? kyky kukykukykyky式中， u(k)=sin(2π/250)。 u(k)和 y(k)是該系統(tǒng)的輸入與輸出，而該系統(tǒng)的結(jié)構(gòu)未知。 現(xiàn)在使用 4層前向網(wǎng)絡(luò)描述該非線性系統(tǒng)， 4層的節(jié)點(diǎn)分別為 5 20 10 1，輸入層的輸入矢量 X0T (k)=［ y(k－ 1), y(k－ 2), y(k－ 3), u(k－ 1), u(k－ 2)］ 取初始值 Pi(0)＝ 103I， λt=，使用 RLS估計，經(jīng)過 400步學(xué)習(xí)后均方誤差收斂且小于 ，學(xué)習(xí)時間小于 31 s。 圖 312和圖 313分別是 RLS估計均方誤差和 BP算法均方誤差 , 當(dāng)比較兩條曲線時 , 能夠明顯發(fā)現(xiàn) , RLS估計只要較少的學(xué)習(xí)步驟，例如 400步便產(chǎn)生收斂，誤差就能限制在一個事先確定的較小范圍。而 BP算法要想達(dá)到相同的目的，約需 4000步費(fèi)時 4 min 13 s(仿真結(jié)果 )，收斂才能達(dá)到 。如果要想達(dá)到 RLS估計的收斂值 ，則還需要更長的時間。 圖 312 RLS算法估計均方誤差 圖 313 BP算法估計均方誤差 用 BP算法估計神經(jīng)網(wǎng)絡(luò)的連接權(quán)時，所用的算法為 wij(k)=wij(k－ 1) aδit(k)xji(k) 式中， δit是反傳誤差， a是學(xué)習(xí)步長。輸出層的反傳誤差為 δL(k)=f［ n(k)］［ d(k)－ x(k)］ 中間層的反傳誤差為 δit(k)=f［ n(k)］ ∑δjt(k)wji(k－ 1) 步長為 a(k)=amax+(amin－ amax)e－ λ 非線性模型的預(yù)報誤差神經(jīng)網(wǎng)絡(luò)辨識 除 RLS外，還有諸多提高收斂速度的算法，預(yù)報誤差算法就是其中的一種。 非動態(tài)模型建模 預(yù)報誤差算法簡稱 RPE算法，它具有預(yù)報精度高、收斂速度快等特點(diǎn)，同樣該算法也能用于非動態(tài)模型的神經(jīng)網(wǎng)絡(luò)建模。 考慮圖 414的三層前向網(wǎng)絡(luò)，設(shè)三層結(jié)構(gòu) n1 n2 1，輸入層有 n1個神經(jīng)元，隱層有 n2個神經(jīng)元，輸出層僅一個節(jié)點(diǎn)。 圖 314 三層前向網(wǎng)絡(luò) 網(wǎng)絡(luò)輸入為 xi， i=1， 2， … ， n1。網(wǎng)絡(luò)的輸出為 y。 zj和 qj是隱層中第 j個神經(jīng)元的輸出值和閾值， j=1， 2， … ， n2。Wkij表示第 k－ 1層中第 i個神經(jīng)元，對第 k層中的第 j個神經(jīng)元 的連接權(quán)。 隱含層中節(jié)點(diǎn)的作用函數(shù)取成 S型函數(shù)： ? ? xxg ??? e1 1網(wǎng)絡(luò)的輸入輸出關(guān)系為 y(t)=∑WX X=g(∑WijXi+Qi) 該網(wǎng)絡(luò)能辨識的非線性系統(tǒng)具有如下的輸出輸入關(guān)系： y(t)=f[y(t－ 1)， … ， y(t－ m)， x(t－ 1)， … ， x(t－ n)]+d(t) 其中， y(t)和 x(t)是非線性系統(tǒng)的輸出和輸入； m與 n分別是輸出與輸入的最大滯后； d(t)是影響該系統(tǒng)的非線性隨機(jī)因素，如隨機(jī)噪音； f()是非線性函數(shù)。 在三層前向網(wǎng)絡(luò)中，設(shè) Q=[Q1， Q2， … ， Qn]T是神經(jīng)網(wǎng)絡(luò)中待求的神經(jīng)元閾值， n1+n2是待定的神經(jīng)元個數(shù)。 e(t)是實際輸出與神經(jīng)網(wǎng)絡(luò)輸出之差，又稱為偏差。訓(xùn)練算法讓Q1～ Qn在一定的條件準(zhǔn)則下得到確定值。 RPE算法是一種將預(yù)報誤差極小化來估計參數(shù)的方法。算法中同樣需要準(zhǔn)則函數(shù)。這里不妨設(shè)準(zhǔn)則函數(shù)為 式中， N是數(shù)據(jù)長度， e(t)是預(yù)報誤差。有了準(zhǔn)則函數(shù)， RPE算法便可沿著 J的高斯 — 牛頓 (GaussNewton)方向搜索，不斷修正未知參數(shù)矢量，直至使 J趨近于最小。 ? ? ? ? ? ??? QteQteNQJ ,2 1 T 遞推預(yù)報誤差算法 遞推預(yù)報誤差算法的原則是先選定參數(shù)矢量的修正算式，再求對 Q的一階及二階微分。設(shè)修正算式為 Q(t)=Q(t－ 1)+S(t)μ[Q(t－ 1)] 式中， μ(Q)就是高斯 — 牛頓搜索方向，可定義成 μ(Q)=－ [H(Q)]－ 1 ▽ J(Q) 其中，▽ J(Q)是 J(Q)關(guān)于 Q的梯度， H(Q)是 J(Q)的 Hessian矩陣。▽ J(Q)和 H(Q)表示成 ? ? ? ? ? ?? ? ? ? ? ?????????QteQtteQtNQJ,H,1它們分別是 J(Q)對 Q的一階和二階微分。 1. 遞推預(yù)報流程 遞推預(yù)報誤差算法如下式： e(t)=y(t)－ yq(t) ? ?? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? ? ?tettPtQtQtPtttPttttPtPttPTT?????????????????????1 1)111 11(11式中， λ(t)是遺忘因子，對收斂速度有影響。改變的方法是迭代開始時取 λ(t)＜ 1； t→∞ 時取 λ(t)→1 ?；蛟O(shè)置 λ的初值，例如取 λ(0)=～ ，而后有 λ(t)=λ(0)λ(t－ 1)+(1－ λ(0)) 若將 RPE用于三層前向神經(jīng)網(wǎng)絡(luò)，隱層取一層，相應(yīng)的Ψ為 n 1矩陣，矩陣中各元素為 ? ? ? ?? ? 212211211111ddkikikimkkkkkkkiiwQdQwQxwxxwxxxQyΨ????????????由此設(shè)計的 RPE流程如下： (1) 用較小隨機(jī)值初始化連接權(quán)值和閾值，得： W(0)=a Random() Q(0)=b Random() (2) 選 P(0)為對角矩陣。 (3) 按照網(wǎng)絡(luò)輸入分別計算隱層節(jié)點(diǎn) x1k及輸出節(jié)點(diǎn) yq的值。 (4) 形成 Ψ陣并求預(yù)報誤差 e(t)、 P(t)陣及參數(shù)序列 Q(t)。 (5) 重復(fù)以上 (2)～ (4)，直至收斂。 從以上的分析可以看到， RPE算法實際上是一種求高階導(dǎo)數(shù)的學(xué)習(xí)算法。在計算 H(Q)的逆矩陣上使用遞推最小二乘法，與基本 BP算法 (僅利用一階導(dǎo)數(shù) )相比，高階導(dǎo)數(shù)的計算加快了收斂速度。 2. RPE算法的具體應(yīng)用 例 1 帶電流內(nèi)環(huán)和轉(zhuǎn)速外環(huán)的 PWM直流脈寬調(diào)速系統(tǒng)，具有如圖 415所示的系統(tǒng)結(jié)構(gòu)。轉(zhuǎn)速環(huán)處于外環(huán)，能有效克服環(huán)內(nèi)出現(xiàn)的干擾以及外特性引起的速度變化。但電機(jī) 轉(zhuǎn)速卻會因電機(jī)運(yùn)行工況、電源電壓的波動或畸變、機(jī)械負(fù)荷的突然變化而發(fā)生改變，因此雙環(huán)調(diào)速系統(tǒng)本身是一個非線性時變系統(tǒng)。另外，還有許多非線性因素也廣為存在系統(tǒng) 中，如：時磁滯、齒輪間隙、庫侖摩擦、調(diào)節(jié)器限幅、脈沖調(diào)制放大器和運(yùn)算放大器飽和產(chǎn)生的非線性等。 圖 4315 轉(zhuǎn)速電流雙閉環(huán) PWM調(diào)速系統(tǒng) 在轉(zhuǎn)速環(huán)基礎(chǔ)上增加位置環(huán)，將構(gòu)成位置伺服系統(tǒng)，該系統(tǒng)有一系列典型的非線性特征，這是 PWM調(diào)制所產(chǎn)生的。為了動態(tài)辨識轉(zhuǎn)速環(huán)，便于使用 RPE算法，選用 3 2 1的 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。同時選擇輸入信號為 2 V177。 V，其中 2 V是系統(tǒng)轉(zhuǎn)速環(huán)給定值，對應(yīng)需要恒定運(yùn)轉(zhuǎn)的速度， V是迭加的幅值，用于考慮一定的波動允許范圍。輸入信號可用矢量表示成 X(t)=［ u(t－ 1)， u(t－ 2)， y(t－ 1)］ T 輸出信號為測速發(fā)電機(jī)的輸出電壓。在用 RPE算法訓(xùn)練900次后，神經(jīng)網(wǎng)絡(luò)預(yù)報輸出及殘余序列實測曲線如圖 316所示。實測階躍響應(yīng)擬合曲線如圖 317所示。 圖 316 神經(jīng)網(wǎng)絡(luò)預(yù)報輸出及殘余序列實測曲線 圖 317 實測階躍擬合曲線 對比擬合曲線可以看到，神經(jīng)網(wǎng)絡(luò)辨識 PWM系統(tǒng)動態(tài)模型的效果令人滿意。通常為了評價模型的擬合精度，常引入誤差指數(shù) E，定義成 ? ?? ????tyteE22式中， e(t)是偏差值，為系統(tǒng)實際輸出與神經(jīng)網(wǎng)絡(luò)輸出之差。改變隱層節(jié)點(diǎn)數(shù)目后，不同的 E值如表 44所示。輸入矢量及輸入節(jié)點(diǎn)不同時的 E值如表 45所示。 由此可見，選擇如此結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型較為合理，輸入節(jié)點(diǎn)數(shù)及輸入矢量的合理搭配在很大程度上能影響擬合精度。通常情況下合理選擇隱層節(jié)點(diǎn)數(shù)量，適當(dāng)增加輸入節(jié) 點(diǎn)數(shù)量及延遲 y(t)，對提高辨識精度較為有利。 例 2 設(shè) SISO非線性模型為 ? ? ? ? ? ?? ?? ? xp1 ??????? tytuty 選用辨識的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為 2 1 1，輸入信號為六級偽隨機(jī)二進(jìn)制序列 PRBS，用 u(t)表示，設(shè)輸入矢量為 X(t)=［ u(t－ 1)， y(t－ 1)］ T 參數(shù)矢量 Θ(t)和 Ψ分別為 Θ(t)=［ θ1， θ2， θ3， θ4］ T Ψ=［ ψ1， ψ2， ψ3， ψ4］ T 遞推 1000次后得參數(shù)矢量 Θ(t)=