【正文】 數(shù)情形 如果有n個(gè)變量，比如F(t, y1, y2,…,yn, y’1, y’2,…, y’n)，則一般性橫截條件變?yōu)椋? 高階導(dǎo)數(shù)的情況相對(duì)復(fù)雜，我們只給出F(t, y, y’, y’’)的一般性橫截條件：（四）二階條件（充分條件）（1）固定端點(diǎn)問題的二階條件及其二次型檢驗(yàn) 由，得 被積部分是一個(gè)二次型，那么只在在0到T的每一個(gè)時(shí)刻，二次型都是負(fù)定的，則d2V/dε20，極值曲線使得目標(biāo)泛函取最大值；如果都是正定，則d2V/dε20，極值曲線使得目標(biāo)泛函取最小值。在這種情況下，對(duì)終結(jié)狀態(tài)的擾動(dòng)不是任意的，只能大于零。 從而，我們將代入前面一階條件等式中，后兩項(xiàng)可整理為一般性橫截條件。于是，右邊第一項(xiàng)為 同時(shí)，右邊第二項(xiàng) 于是有=0 因?yàn)閜(t)和ΔT是任意的，要保證等式成立，只能是三項(xiàng)分別為零。同樣地，擾動(dòng)后的曲線為y(t)=y*(t)+εp(t)，為穿過固定的起始點(diǎn)，令p(0)=0，但是因?yàn)閥(T)不固定，所以不要求p(T)=0。但是這里的歐拉方程并不是單變量時(shí)的簡(jiǎn)單推廣，因?yàn)槭撬凶兞考捌鋵?dǎo)數(shù)的函數(shù)。帶入y(0)=0，y(2)=8，可得c1=c2=0，于是最優(yōu)路徑為y*(t)=t3 當(dāng)然，也有可能解不存在，這種情況一般出現(xiàn)在Fy’y’=0的情況。根據(jù)假設(shè)條件可以把積分寫開： 我們先對(duì)后半部分的積分用分部積分如下： 再將其代回原式，可以把積分的差寫成差的積分，并提取公因子p(t)： 于是，因?yàn)閜(t)是任意的，該積分要保持始終為零，只可能是在[0, T]上 該式就是極值曲線（最優(yōu)路徑）所必須滿足的一階條件（必要條件），歐拉方程。從而擾動(dòng)后的曲線為y(t)=y*(t)+εp(t)，如圖 這意味著y’(t)=y*’(t)+εp’(t)，且當(dāng)ε→0，y→y*。但是這些非標(biāo)準(zhǔn)問題可以把形式標(biāo)準(zhǔn)化。（五）目標(biāo)泛函在優(yōu)化問題中，我們需要選擇一個(gè)最優(yōu)路徑，那么最優(yōu)意味著比較，比較的是什么，取決于不同的路徑如何影響我們關(guān)心的問題。后面的變分法也就是這個(gè)思路。（二）泛函及其相關(guān)概念和之前的靜態(tài)優(yōu)化相比，動(dòng)態(tài)優(yōu)化的目標(biāo)依賴于“路徑”的選擇，而不是某個(gè)變量（實(shí)數(shù)）的選擇。本部分內(nèi)容主要來自蔣中一《動(dòng)態(tài)最優(yōu)化基礎(chǔ)》。目錄一、什么是動(dòng)態(tài)優(yōu)化？ 3（一）動(dòng)態(tài)優(yōu)化問題的基本要素 4（二）泛函及其相關(guān)概念 4（三）可變終結(jié)點(diǎn) 5（四）橫截條件 6（五）目標(biāo)泛函 6二、變分法 7（一）基本問題：固定終結(jié)點(diǎn)問題 7（1）基本問題及其假定 7（2）一階條件：歐拉方程 8（二）推廣：多狀態(tài)變量與高階導(dǎo)數(shù) 10（1）多狀態(tài)變量 10（2）高階導(dǎo)數(shù) 10（三）可變端點(diǎn)問題 10（1）一般性橫截條件 11（2）垂直終結(jié)線問題 12（3）水平終結(jié)線問題 12（4）終結(jié)曲線問題，即錯(cuò)誤！不能通過編輯域代碼創(chuàng)建對(duì)象。從而，這個(gè)可優(yōu)化的目標(biāo)是“函數(shù)”到“實(shí)數(shù)”的映射，我們稱之為“目標(biāo)泛函”。（三）可變終結(jié)點(diǎn) 除了上文圖中的固定終結(jié)點(diǎn)之外，還存在以下幾種可變終結(jié)點(diǎn)：（1）固定時(shí)間問題（垂直終結(jié)線問題）：終結(jié)時(shí)間固定，但終結(jié)狀態(tài)自由。類似前面離散時(shí)間問題中不同路徑在不同階段對(duì)應(yīng)著不同的成本，我們抽象出一個(gè)路徑在t時(shí)刻，對(duì)應(yīng)著的對(duì)優(yōu)化目標(biāo)的影響為該時(shí)點(diǎn)上的值為F(t,y,y’)。令z(t)=G[t, y(t)]，且z(0)=0，于是有 二、變分法（一）基本問題：固定終結(jié)點(diǎn)問題（1）基本問題及其假定max（min）V[y]=. y(0)=A y(T)=Z 假定：可行的“路徑”集合限定為具有連續(xù)導(dǎo)數(shù)的連續(xù)曲線；被積函數(shù)F是二階可導(dǎo)的；最優(yōu)解是一條光滑的曲線稱為“極值曲線”。因此，一旦給定y*(t)和p(t)，目標(biāo)泛函V[y]就退化為一個(gè)函數(shù)V(ε)。我們把式中的求導(dǎo)寫開，可以發(fā)現(xiàn)歐拉方程實(shí)際上是一個(gè)二階微分方程。因?yàn)檫@種情況下，微分方程不再是二階，不用確定兩個(gè)常數(shù)，但是卻又給出了兩個(gè)常數(shù)，于是就可能出現(xiàn)不相容的情況。比如F(t, y, z, y’, z’)，于是（2）高階導(dǎo)數(shù)V[y]= 這里出現(xiàn)了高階導(dǎo)數(shù)，因此邊界條件就不應(yīng)該僅僅是y的起止端點(diǎn)，還應(yīng)該包括y’,…y(n)在起止時(shí)刻的狀態(tài)，一共2n個(gè)邊界條件?？梢?，當(dāng)ε→0，y→y*，T→T*。第一項(xiàng)為零，就是歐拉方程。（2）垂直終結(jié)線問題 因?yàn)?，所以橫截條件為=0（3）水平終結(jié)線問題 因?yàn)椋詸M截條件為=0（4）終結(jié)曲線問題，即因?yàn)椋谑谴胍话阈詸M截條件得橫截條件（5）截?cái)嗟拇怪苯K結(jié)線問題在一個(gè)垂直終結(jié)線問題（終結(jié)時(shí)間固定）中，如果最終狀態(tài)受限。給定p(t)大于零，這意味著ε≥0。（2）凹凸性充分條件 定理：對(duì)于固定端點(diǎn)問題，如果被積函數(shù)F(t, y, y’)關(guān)于(y, y’)是聯(lián)合凹（凸）的，則歐拉方程對(duì)于識(shí)別V[y]的最大（?。┲凳浅浞值摹４怪苯K結(jié)線問題的推導(dǎo)中，和固定端點(diǎn)問題不同在于p(T)可以不為零，因此分部積分中有一部分消不掉。但是，在垂直終結(jié)線問題中，橫截條件=0保證了該條件必定滿足。比如，y對(duì)y*的偏離所導(dǎo)致的偏差是 我們將等式右邊第一項(xiàng)被積部分在（t, y*, y*’）處泰勒展開如下： 其中(tt)項(xiàng)為零，我們?cè)俅難y*=εp(t)，y’y*’=εp’(t)，得 將展式代入積分，然后合并積分，可消掉第一項(xiàng)，忽略高階項(xiàng)，得 上式的第一項(xiàng)積分為一階變分： 第二項(xiàng)積分為二階變分： 在求最大值的問題中，需要，則必然需要，因?yàn)棣趴梢匀我馊≌?fù)值。（1）收斂性定理1（充分條件）：給定廣義積分，如果被積函數(shù)F在整個(gè)積分區(qū)間上有限，且存在時(shí)刻t0，當(dāng)t t0時(shí)，F(xiàn)=0，則積分收斂。定理2（經(jīng)濟(jì)學(xué)的耍賴）：給定廣義積分，如果被積部分可以寫成G(t, y, y’)eρt，其中是ρ正的貼現(xiàn)率，而G是有界的，則積分收斂。但是，有些問題隱含著“終結(jié)狀態(tài)”收斂于某值，類似于水平終結(jié)線問題，這意味著ΔyT→0，從而第二項(xiàng)極限部分不要求等于零。 在無限期界問題中，按照同樣的推導(dǎo)過程，補(bǔ)充條件應(yīng)該為：，其中在最優(yōu)路徑上取值。 對(duì)y的歐拉方程有n個(gè)： j=1,…,n 對(duì)拉格朗日乘子的歐拉方程有m個(gè)： i=1,…,m 因?yàn)?，中沒有，所以該歐拉方程為，即約束方程本身。那么，仍然可以適用上述方法，但是要有適當(dāng)?shù)倪吔鐥l件。我們以一個(gè)n=m=1的例子來說明。 我們發(fā)現(xiàn)其中有兩個(gè)變量y和，其歐拉方程分別為：； 第二個(gè)歐拉方程實(shí)際上是，從而乘子是一個(gè)不隨時(shí)間變化常數(shù)。而且控制路徑u(t)不要求連續(xù)，僅要求分段連續(xù)即可，比如下圖。從這個(gè)意義上講，終結(jié)狀態(tài)自由的垂直終結(jié)線問題才是最優(yōu)控制理論的最簡(jiǎn)單情況。其漢密爾頓函數(shù)為： H是非線性且可微的，u要最大化H，于是一階條件為： 可得 檢驗(yàn)二階條件 可見，我們要求出u必須先求出λ，由可知λ是不變常數(shù)，那么根據(jù)橫截條件得λ*(t)=0。由，可知，通解為，k為任意常數(shù)。 在第二階段，有，且作為初始點(diǎn)，解得。于是，有 令 因?yàn)闈h密爾頓函數(shù)為H(t, y, u, λ)=F(t, y, u)+λ(t)f(t, y, u)，所以有 將等式右邊第二項(xiàng)分部積分： 將其重新加回目標(biāo)泛函中：可見，的值取決于y，u，yT，T和。假設(shè)已知u*和y*，對(duì)u施加擾動(dòng)，則根據(jù)運(yùn)動(dòng)方程，y也會(huì)產(chǎn)生對(duì)y*的偏離：則（想想這里當(dāng)趨近零，u趨近u*，而y趨近y*，是由什么條件保證的？）接下來考慮對(duì)終結(jié)時(shí)刻和終結(jié)狀態(tài)的“擾動(dòng)”：以及這意味著和 代入目標(biāo)泛函，于是目標(biāo)泛函可以變?yōu)榈囊粋€(gè)函數(shù)： 最優(yōu)路徑意味著，于是目標(biāo)泛函對(duì)求導(dǎo)，等式右邊積分部分的導(dǎo)數(shù)為：其中第二項(xiàng)可以寫開，其中，該項(xiàng)可以和下面推導(dǎo)部分相加而抵消。垂直終結(jié)線問題中，所以橫截條件為。（ii）水平終結(jié)線問題：（iii）終結(jié)曲線問題：由，于是有，將其帶入一般性橫截條件，可得。在這種情況下，對(duì)y的路徑擾動(dòng)不能在其下方，給定q0這要求。 從而，我們可以得到以下綜合形式：，（v）截?cái)嗟乃浇K結(jié)線問題：yT固定，但要求T*≤Tmax。（4）推廣到多變量. … 漢密爾頓函數(shù)為： 或者，寫成向量形式：，一階條件為（i），即m個(gè)u仍然是要最大化H。于是，優(yōu)化問題為. K(0)=K0，K(T)不定，T給定 我們首先要說明，實(shí)際上是一個(gè)類似于拉格朗日乘子的“影子價(jià)格”。一般為了保證在過程中為正，將其寫作，而不是。垂直終結(jié)線的橫截條件意味著，最優(yōu)決策要使得在規(guī)定的結(jié)束時(shí)刻，資本得到充分運(yùn)用，從而沒有任何價(jià)值。這是因?yàn)椋非罂傮w利潤(rùn)最大化，但結(jié)束時(shí)間上沒有要求，從而我們要盡可能經(jīng)營(yíng)到無法再產(chǎn)生利潤(rùn)為止，即資本存量使得當(dāng)前利潤(rùn)與未來利潤(rùn)的和為零時(shí)。重新定義“現(xiàn)值的拉格朗日乘子”為，從而有現(xiàn)值的漢密爾頓函數(shù) 因?yàn)樯鲜鲂问诫[含了和，所以一階條件很容易轉(zhuǎn)換。另外，必須要提的是，雖然該定理的證明是基于垂直終結(jié)線，但是實(shí)際上對(duì)于具有固定終結(jié)狀態(tài)和截?cái)嗟拇怪苯K結(jié)線問題都是適用的。注意H0