【正文】 (34)， 可得 再將 (33)代入 (31)可得 比較上面兩個(gè)式子可得到 因?yàn)樯鲜綄?duì)任何狀態(tài) x(t)和任何理想輸出 z(t)都成立 ， 故等式兩端對(duì)應(yīng)項(xiàng)相等 ， 可得到 P(t)和 g(t)滿足 的微分方程 。 x?在 (33)中 ， 令 t=tf, 與 (32)比較 ， 可得結(jié)論中的邊界條件 。 因?yàn)?P(t)與 g(t)均可解 ， 所以將 (33)代入 u*(t)可得到最優(yōu)控制表達(dá)式 ， 再將最優(yōu)控制代入狀態(tài)方程中可得到最優(yōu)軌線x*(t). 無限時(shí)間定常輸出跟蹤系統(tǒng) 定理： 設(shè)線性定常系統(tǒng)方程為 性能指標(biāo)為 e(t)為輸出誤差向量 ， 并且 e(t)= .若矩陣對(duì) {A,B}可控 ， {A,C}可觀 ， 則使性能指標(biāo) J極小的近似最優(yōu)控制為 式中 為對(duì)稱正定常陣 ， 滿足 常值伴隨向量為 將最優(yōu)控制代入系統(tǒng)方程 ， 得到相應(yīng)的閉環(huán)系統(tǒng)的解為最優(yōu)軌線 x*(t). )()(? tytz ?P?解：由條件可知 性能指標(biāo)可表示為 則 因此 ， 可控可觀 。 解 Riccati方程 ， 得 求伴隨向量 確定近似最優(yōu)控制 將最優(yōu)控制律代入系統(tǒng)方程 ， 得到閉環(huán)系統(tǒng)方程 ， 然后判斷是否穩(wěn)定 ， 通過計(jì)算閉環(huán)系統(tǒng)確實(shí)是漸進(jìn)穩(wěn)定的 。 動(dòng)態(tài)規(guī)劃 ? 最優(yōu)性原理 ? 離散動(dòng)態(tài)規(guī)劃 ? 連續(xù)動(dòng)態(tài)規(guī)劃 返回主目錄 動(dòng)態(tài)規(guī)劃法與極小值原理一樣 ， 是處理控制變量受約束時(shí) ， 確定最優(yōu)控制解的有效數(shù)學(xué)方法 。 多級(jí)決策問題 (1) 最優(yōu)性原理 離散系統(tǒng)最優(yōu)性原理 ：不論初始狀態(tài)和初始決策如何 ， 當(dāng)把其中任何一級(jí)和狀態(tài)再作為初始級(jí)和初始狀態(tài)時(shí) ，其余決策對(duì)此必定也是一個(gè)最優(yōu)策略 。 連續(xù)系統(tǒng)最優(yōu)性原理： 若對(duì)于初始時(shí)刻 t0和初始狀態(tài) x(0), u*(t)、 x*(t)是所討論系統(tǒng)的最優(yōu)控制和最優(yōu)軌線 ， 則對(duì)于時(shí)刻 t1(t1t0)和相應(yīng)狀態(tài) x(t1), u*(t)、 x*(t)仍是該系統(tǒng)的最優(yōu)控制和最優(yōu)軌線 。 (2) 動(dòng)態(tài)規(guī)劃的基本遞推方程 問題 ：設(shè) N級(jí)決策過程的動(dòng)態(tài)方程為 式中 ， 控制決策約束 u(k) , k=0,1,2,… ,N1；代價(jià)函數(shù)(性能指標(biāo) )為 假設(shè) f(.)和 L(.)連續(xù) ， L(.)正有界 。 求最優(yōu)控制序列{u(0),u(1),… ,u(N1)},使代價(jià)函數(shù)極小 。 ??(35) 說明： 上述問題中 ， k表示 N級(jí)決策過程中的階段變量 ，x(k)表示第 k+1級(jí)的初始狀態(tài) ， u(k)表示第 k+1級(jí)采用的控制向量 。 問題中的假設(shè)是為了保證最優(yōu)控制序列的存在 。 設(shè)有 Nk級(jí)決策過程 式中 ， j=k,… ,N1,u={u(k),… ,u(N1)}. 則始自第 k級(jí)任一容許狀態(tài) x(k)的最小代價(jià)為 上式中右端第一項(xiàng)是第 k級(jí)所付出的代價(jià)；第二項(xiàng)是從第k+1級(jí)到第 N級(jí)的代價(jià)和 。 因此式中求極小的運(yùn)算分 為兩部分：在本級(jí)決策 u(k)作用下求極小 ， 以及在剩余決 策序列 {u(k+1),… ,u(N1)}作用下求極小 ， 則上式變?yōu)? (36) 根據(jù)最優(yōu)性原理 ， 如下關(guān)系成立 將上式代入 (36)得到動(dòng)態(tài)規(guī)劃基本遞推方程 利用上式求解最優(yōu)控制序列時(shí) ， 從過程的最后一項(xiàng)開始 ， 逐級(jí)逆向遞推：首先令 k=N1則由式 (37)可得到 (37) 式中 J*[x[N],N]表示代價(jià)函數(shù)中的末項(xiàng)值 。 對(duì)于 (35)問題 ， 代價(jià)函數(shù)中無末值項(xiàng) ， J*[x[N],N]=0,故式 (38)為單級(jí)最優(yōu) 決策問題 。 令 k=N2， 則由式 (37)可得到 式中 J*[x(N1),N1]已由式 (38)確定 ， 因此上式也是一個(gè)單級(jí) 最優(yōu)決策問題 。 (38) 根據(jù) (37)逆向逐級(jí)遞推 ， 最后可以得到 J*[x(0),0].最后一步 的遞推解及最優(yōu)策略正是我們要求的最優(yōu)解 。 式中的狀態(tài)及控制均不受約束 。 求最優(yōu)控制序列 {u*(0), u*(1),u*(2)}， 使代價(jià)函數(shù)極小 。 解：本題屬于 N=3級(jí)最優(yōu)決策問題 。 根據(jù)遞推方程 (37) ?令 k=2 根據(jù)代價(jià)函數(shù)的末值項(xiàng)及系統(tǒng)方程 ， 有 所以 因?yàn)?u(k)無約束 ， 令 可得 ?令 k=1 可得 ?令 k=0 可得 代入已知的 x(0)， 按正向順序求出 因此最優(yōu)控制 、 最優(yōu)軌線及最優(yōu)代價(jià)為 采用離散動(dòng)態(tài)規(guī)劃方法 ， 可以方便地求出控制與狀態(tài)變量均有約束時(shí)離散系統(tǒng)的最優(yōu)控制問題 。 (1) 離散最優(yōu)控制問題的動(dòng)態(tài)規(guī)劃解 設(shè)非線性離散系統(tǒng)的狀態(tài)差分方程為 其中 ， k=0,1,… ,N1. 代價(jià)函數(shù)為 求最優(yōu)控制序列 u*(k),使代價(jià)函數(shù)最小 。 離散動(dòng)態(tài)規(guī)劃 (39) 根據(jù)動(dòng)態(tài)規(guī)劃的基本遞推方程 ， 分以下步驟進(jìn)行求解： ?求第 N級(jí)最優(yōu)控制 u*(N1) 求出 ?求第 N1級(jí)最優(yōu)控制 u*(N2) 求出 ?求第 k+1級(jí)最優(yōu)控制 u*(k) 求出 ?求第 1級(jí)最優(yōu)控制 u*(0) 求出 再由已知初值 x(0),順序求出 u*(0),x*(1),… ,u*(N1),x*(N1). 解：本題為 N=4級(jí)最優(yōu)控制問題 。 ?令 k=3 ?令 k=2 ?令 k=1 ?令 k=0 最優(yōu)解為： 連續(xù)動(dòng)態(tài)規(guī)劃 (1) 連續(xù)系統(tǒng)的最優(yōu)控制問題 設(shè)連續(xù)系統(tǒng)的狀態(tài)方程為 性能指標(biāo)為 控制 u(t)有界；在 [t0,tf]上 ， f(.), ,L(.)連續(xù)且可微；并假設(shè)以 t為初始時(shí)刻 ， t∈ [t0,tf]， x(t)為初始狀態(tài)時(shí) ， 函數(shù)J(x,t)連續(xù) ， 且對(duì) x(t)和 t有連續(xù)的一階和二階偏導(dǎo)數(shù) 。求在容許控制域中 ， 確定最優(yōu)控制 u*(t)， 使性能指標(biāo)最小 。 為了求上述問題的最優(yōu)解 ， 除了可以采用極小值原理外 ，還可以用連續(xù)動(dòng)態(tài)規(guī)劃法 ， 該方法的數(shù)學(xué)基礎(chǔ)為哈密爾頓 雅可比方程 。 (2) 哈密爾頓 雅可比方程 設(shè)在區(qū)間 [t,tf]上 ， 控制函數(shù) u[t,tf]存在 ， 則最優(yōu)性能指標(biāo)為 (.)?由于 與 u[t,t+△ t]無關(guān) ， 由最優(yōu)性原理 所以 ? ?]),([),(m i n),( *],[* ttttxJdttuxLtxJ ttttttu?????? ? ????右端第一項(xiàng)由中值定理得 第二項(xiàng)展成泰勒級(jí)數(shù) 其中 O(△ t2)是關(guān)于 △ t的高階小量 ,將這兩項(xiàng)代入原式可得 令 △ t→ 0得到哈密爾頓 雅可比方程的第一種形式 當(dāng) u(t)不受約束時(shí) ， 構(gòu)造 令 ， 可得到最優(yōu)控制的隱含形式 (40) 將上式代入 (40)可得 該偏微分方程的邊界條件為 上兩式構(gòu)成了哈密爾頓 雅可比方程的第二種形式 。 (41) (42) (3) 連續(xù)動(dòng)態(tài)規(guī)劃的基本方程 當(dāng)控制 u(t)受約束時(shí) ， 由哈密爾頓 雅可比方程的第一種形式可得連續(xù)動(dòng)態(tài)規(guī)劃的基本方程 則最優(yōu)解的充分條件可表示為 利用上式求解連續(xù)動(dòng)態(tài)規(guī)劃問題的步驟可以總結(jié)如下： (43) 1) 求解最優(yōu)控制的隱式解 。 當(dāng)控制 u(t)受約束時(shí) ， 在約束范圍內(nèi)取遍 u(t)使得 求出 當(dāng) u(t)無約束時(shí) ， 則由 求出上述隱式解 。 2) 求最優(yōu)性能指標(biāo) 。 將 代入哈密爾頓函數(shù)可得到 則最優(yōu)指標(biāo)為微分方程 及邊界條件 的解 。 3) 求最優(yōu)控制的顯式解 。 由求出的 J*(x,t)計(jì)算 并代入 ， 得到最優(yōu)控制的顯式解 。 4) 求最優(yōu)軌線 。 將求出的最優(yōu)控制并代入狀態(tài)方程 ， 解出最優(yōu)軌線 x*(t)。 解： 本題為無限時(shí)間定常狀態(tài)調(diào)節(jié)器問題 ， 采用連續(xù)動(dòng)態(tài)規(guī)劃求解時(shí) ， 可以按照下面的步驟進(jìn)行計(jì)算： 1) 求最優(yōu)控制的隱式解 。 可知 2) 求最優(yōu)性能指標(biāo) J*[x(t)]。 將上面的控制代入哈密爾頓函數(shù) 由于本題屬于線性二次型問題 ， 可以假設(shè) 則 因此哈密爾頓 雅可比方程為 上式對(duì)所有非零 x(t)都成立 ， 則 可以解出 則最優(yōu)性能指標(biāo)為 令 t=0， 代入初始狀態(tài)條件可得 J*[x(0)]=1。 3) 求 u*(t)的顯式解 。 4) 求 x*(t)。 將 u*(t)代入狀態(tài)方程 ， 得到閉環(huán)系統(tǒng)方程 ，然后解出方程的解即得到最優(yōu)軌線 x*(t)。 通過計(jì)算 ，得到