【正文】 策序列終止的原則 。 馬爾可夫決策 解： 記一年后技術(shù)人員在第 j個(gè)部門工作的概率為 Pj(2)，則： ? ???????????????????????????????????????????????245,2411,3131,31,3131,31,31,22)0()2(3)2(2)2(1)2(　　　　PPPPPP一年后，技術(shù)人員在 3個(gè)部門工作的概率 167。 ?馬氏決策 利用馬氏過程分析系統(tǒng)當(dāng)前狀態(tài)并預(yù)測未來狀態(tài)的決策方法，稱為馬爾科夫決策，簡稱馬氏決策。 的期望損失值分別為 ， 均大于抽樣費(fèi)用 ，因此 ， 在此分支上 ， 可進(jìn)行第二次抽樣 ， 抽樣結(jié)果用X2表示 。在下例中，這個(gè)原則就是：不管到?jīng)Q策的哪個(gè)階段，只要有一個(gè)非經(jīng)抽樣的后悔期望值小于進(jìn)行一次抽樣的費(fèi)用，決策序列便可終止。 ?不試銷的收益期望值： ? ? 萬元）　 ()2( ????????aE結(jié)點(diǎn) 3 例 422 決策：（ 1）購買專利； （ 2）不試銷； （ 3）大批生產(chǎn) a2。 3)計(jì)算各方案期望值并將其標(biāo)于該方案對應(yīng)的狀態(tài)結(jié)點(diǎn)上。 動(dòng)態(tài)規(guī)劃的優(yōu)點(diǎn)在于 ， 它把一個(gè)多維決策問題轉(zhuǎn)化為若干個(gè)一維最優(yōu)化問題 ， 而對一維最優(yōu)化問題一個(gè)一個(gè)地去解 ， 這種方法是許多求極值方法所做不到的 ， 它幾乎優(yōu)于所有現(xiàn)存的優(yōu)化方法 。 多階段的決策問題 ， 就是要在所有可能采取的策略中選取一個(gè)最優(yōu)策略 ， 以便得到最佳的效果 。 動(dòng)態(tài)規(guī)劃同前面介紹過的各種優(yōu)化方法不同 ， 它不是一種算法 ，而是考察問題的一種途徑 。 除此之外 ， 動(dòng)態(tài)規(guī)劃能求出全局極大或極小 ， 這一點(diǎn)也優(yōu)于其他優(yōu)化方法 。 4)進(jìn)行剪枝，比較各個(gè)方案的期望值，并標(biāo)于方案枝上，將期望值小的 (即劣等方案剪掉 )所剩的最后方案為最佳方案。 ?購買專利總期望收益＝ － 1＝ ， 大于不買技術(shù)的收益 ， 截去不買專利方案 ，結(jié)點(diǎn) 1的值為 。 ? ? ? ?22,r a E f E? 序貫決策 序貫決策的決策方法 例 431 某工廠的產(chǎn)品每 1000件裝成一箱出售。 X2＝ 0和 X2=1分別表示第二次抽樣抽取一個(gè)樣品為正品和次品 。 167。 馬爾可夫決策 由上例可看出 ??312321221121)2(21331323121311)2(13321322121211)2(12311321121111)2(11pppppppppppppppppppppppppppp????????????????????????從而有 ? ? 2)2( PPPp ij ???一般地，有 ? ? nnij Pp ?)(167。 。 ? ?jxPP nnnjnj ??? ???? limlim )(? ? ? ? ?jnnnn jxPixjxP ?????? ???? lim|lim 0由于初始狀態(tài)對 n步轉(zhuǎn)移后所處狀態(tài)的影響隨 n增大而減少，故： 因此我們可以從 n步轉(zhuǎn)移矩陣的 極限取得穩(wěn)態(tài)概率分布 ??n PPPnn 1?? PPP nnnn1)( limlim ??????稱 167。 含義： {x(tn)}的將來只是通過現(xiàn)在與過去發(fā)生聯(lián)系 ， 一旦現(xiàn)在已知 ， 則將來與過去無關(guān) 。 同樣 ， 對于 X2=1決策點(diǎn)處 ，由于方案 a1的期望損失值 用 ， 則這一分枝也應(yīng)終止 ?，F(xiàn)在的問題是：出廠前是否要對產(chǎn)品進(jìn)行嚴(yán)格檢驗(yàn)，將次品挑出。 第一階段 1 2 7 試銷 不試銷 3 4 5 6 H1 H2 H3 8 9 10 a1 a2 a3 （略） 第二階段 第三階段 例 422 4萬元 2萬元 － 3萬元 1萬 多階段決策 多階段決策問題的決策方法 例 42的決策樹 1H買 不試 試 不買 1 ??2 8 3 120230?30000??340604 1a2 2 36??9 1 ?3 1()H5 2 ??13 ??3406012a2 ??30000?202303 100001011()H6 2 ?13 ?40000?2023030000??340601a2 2 ?30000202303a10000?1213()H7 ???? ??30000?202303 1000014152 1 15000?2780527305500?1000?17305本講內(nèi)容 序貫決策 序貫決策的基本概念 上面的多階段決策，階段數(shù)是確定的。 多階段決策 多階段決策過程的基本概念 （ 1）階段 （ 2）狀態(tài) （ 3）決策與策略 （ 4）指標(biāo)函數(shù)與目標(biāo)函數(shù) （ 5） 多階段決策過程 多階段決策 多階段決策問題的決策方法 多階段決策問題包括確定型與隨機(jī)型兩大類 ， 在確定型多階段決策中 ， 目標(biāo)值都是確定值 ， 在風(fēng)險(xiǎn)型多階段決策中 ， 目標(biāo)值用期望值作為評價(jià)的標(biāo)準(zhǔn) 。 在前面我們學(xué)習(xí)了用單純形法解線性規(guī)劃問題 ， 凡是具有線性規(guī)劃問題那樣統(tǒng)一的數(shù)學(xué)模型都可以用單純形法去求解 ， 而 動(dòng)態(tài)規(guī)劃問題的求解卻沒有統(tǒng)一的方法 （ 類似于單純形法 ） 。 當(dāng)然 ， 由于動(dòng)態(tài)規(guī)劃不是一種特定的算法 ， 因而它不像線性規(guī)劃那樣有一個(gè)標(biāo)準(zhǔn)的數(shù)學(xué)表達(dá)式和明確定義的一組規(guī)則 ，動(dòng)態(tài)規(guī)劃必須對具體問題進(jìn)行具體的分析處理 。 顯然， 由于各個(gè)階段選取的決策不同 ， 對應(yīng)整個(gè)過程可以有一系列不同的策略 。 動(dòng)態(tài)規(guī)劃從創(chuàng)立到現(xiàn)在 50多年來 ， 無論在工程技術(shù) 、 企業(yè)管理還是在工農(nóng)業(yè)生產(chǎn)及軍事等部門都有著廣泛的應(yīng)用 ， 并取得了顯著的效果 。 ? ? ? ?22,r a E f E? 動(dòng)態(tài)決策的基本原