【正文】 暢銷每年可以獲利 100萬元，滯銷時(shí)每年僅獲利 30萬元。輪換辦法采取隨機(jī)形式，每半年輪換一次。 s1 a1 a2 167。 序列決策樹圖不能夠一次繪制成功 ， 而是隨著決策過程序列的延伸和終止依次進(jìn)行 。 序貫決策 序貫決策的基本概念 系統(tǒng)在每次作出決策后下一步可能出現(xiàn)的狀態(tài)是不能確切預(yù)知的，存在兩種情況： 1）系統(tǒng)下一步可能出現(xiàn)的狀態(tài)的概率分布是已知的，可用客觀概率的條件分布來描述。其準(zhǔn)確度（似然分布矩陣）見下表： θ P(θ) P(H1︱ θ) P(H2︱ θ) P(H3︱ θ) θ1 θ2 θ3 多階段決策 多階段決策問題的決策方法 例 422的表格 ?a12（ ） （ 0. 3） （ ） 40000 20230 30000 30000 30000 20230 10000 10000 10000 1?2?3（ ） （ 0. 3） （ ） 1a2a3a 1H23H如不買此項(xiàng)專利 ， 把這筆費(fèi)用用在其他方面 ， 在同樣的時(shí)期可獲利 。 選出一條輸水線路 ， 使得總輸水費(fèi)用最小 。 1961年貝爾曼出版了他的第二部著作 ， 并于 1962年同杜瑞佛思合作出版了第三部著作 。 本講內(nèi)容 多階段決策問題的提出 動(dòng)態(tài)規(guī)劃概述 規(guī)劃問題的最終目的就是確定各決策變量的取值 ， 以使目標(biāo)函數(shù)達(dá)到極大或極小。 1951年貝爾曼首先提出了動(dòng)態(tài)規(guī)劃中解決多階段決策問題的最優(yōu)化原理 ， 并給出了許多實(shí)際問題的解法 。 DP是離散系統(tǒng)最優(yōu)化的一種有效工具，目前動(dòng)態(tài)規(guī)劃已廣泛用于工業(yè)、農(nóng)業(yè)、工程技術(shù)、資源、環(huán)境、經(jīng)濟(jì)、社會(huì)等領(lǐng)域。 單價(jià) 第 1年 第 2年 第 3年 第 4年 第 5年 5元 10 12 15 20 25 6元 12 13 16 20 24 7元 14 14 16 18 18 8元 16 15 15 14 14 多階段決策 多階段決策問題的決策方法 例 421決策圖 73 60 45 84 5元 10 12 15 20 25 73 60 45 84 6元 12 13 16 20 24 73 60 45 84 7元 14 14 16 18 18 73 60 45 84 8元 16 15 15 14 14 多階段決策 多階段決策問題的決策方法 例 422 為了更正確地掌握市場(chǎng)情況，正式投產(chǎn)公司打算先生產(chǎn)少量產(chǎn)品試銷，試銷費(fèi)需要 5000元。這樣決策、情況、決策 ……，這就構(gòu)成一個(gè)序列。 ?試進(jìn)行序列決策： （ 1）是否需要抽樣？（若需要，抽樣幾次？） （ 2）在抽樣或不抽樣的前提下，采用何種方案進(jìn)行檢驗(yàn)？ 【 例 】 解： θ1， θ2， θ3分別表示產(chǎn)品次品率為 ， ， 。 在 s1狀態(tài)點(diǎn)處 ， 期望損失值為： （元） ????在 A1決策點(diǎn)處，最滿意方案的期望損失值為： )( 元??所以截去 a1和 a2。 （ 1）具有有限種狀態(tài)； （ 2）具有馬爾可夫性； （ 3）轉(zhuǎn)移概率具有平穩(wěn)性。另外 ， 三種措施的成本費(fèi)分別為 150萬 ， 40萬 ， 30萬 。 例 2 上例中 ， 若每年是否采取廣告策略需要依據(jù)上一年的經(jīng)營情況而定 ， 應(yīng)該如何決策 ？ 解： 這是一個(gè)三階段決策問題 。 馬爾可夫決策 已知： ? ? ????????31,31,31, )0(3)0(2)0(1)0( PPPP問某人開始在第 1部門工作，一年后在第 2部門工作的概率是多少？一年后，技術(shù)人員在 3個(gè)部門工作的概率各為多少？ 167。 ?其中一種最簡(jiǎn)單、最基本的情形，是每一時(shí)期狀態(tài)參數(shù)的概率分布只與這一時(shí)期的前一時(shí)期實(shí)際所處的狀態(tài)有關(guān)，而與更早的狀態(tài)無關(guān)，這就是所謂的馬爾可夫鏈。 最滿意方案是，應(yīng)抽取一件產(chǎn)品作樣品檢驗(yàn)。用于這類系統(tǒng)的序貫決策屬于決策分析的內(nèi)容。 結(jié)點(diǎn) 8 結(jié)點(diǎn) 9 結(jié)點(diǎn) 10 例 422 ?當(dāng)試銷結(jié)果 為 H2時(shí)： ? ?（萬元）　　　　　　1???????HaE故當(dāng)試銷結(jié)果為 H2時(shí)，應(yīng)選擇中批生產(chǎn) a2，截去方案 a a3 ， 結(jié)點(diǎn) 5的值為 。 決策樹的構(gòu)成有四個(gè)要素： 1)決策結(jié)點(diǎn)； 2)方案枝； 3)狀態(tài)結(jié)點(diǎn)； 4)概率枝。 梅特頓提出了許多對(duì)動(dòng)態(tài)規(guī)劃后來發(fā)展有著重要意義的基礎(chǔ)性觀點(diǎn) ， 并且對(duì)明晰動(dòng)態(tài)規(guī)劃路徑的數(shù)學(xué)性質(zhì)作出了巨大的貢獻(xiàn) 。 將各個(gè)階段的決策綜合起來構(gòu)成一個(gè)決策序列 ， 稱為一個(gè)策略 。 在多階段決策問題中 ， 有些問題對(duì)階段的劃分具有明顯的時(shí)序性 ， 動(dòng)態(tài)規(guī)劃的 “ 動(dòng)態(tài) ” 二字也由此而得名 。 因此在用動(dòng)態(tài)規(guī)劃求解最優(yōu)化問題中 ， 必須對(duì)具體問題具體分析 ， 針對(duì)不同的問題 ， 使用動(dòng)態(tài)規(guī)劃最優(yōu)化原理和方法 ， 建立起與其相應(yīng)的數(shù)學(xué)模型 ， 然后再用動(dòng)態(tài)規(guī)劃方法去求解 。 下面分別以兩個(gè)例子說明其決策方法 。除這種決策外，還有一些決策的階段數(shù)不是事先確定的，它依賴于執(zhí)行決策過程中出現(xiàn)的情況?？梢赃x擇的行動(dòng)有兩個(gè)：① 整箱檢驗(yàn) (a1) ，檢驗(yàn)費(fèi) 為每箱 100元；②整箱不檢驗(yàn) (a２ ) ，但如果顧客在使用中發(fā)現(xiàn)次品，每件次品除條換為合格品外還要賠償 。 于是 ， 到此決策序列全部終止 。 馬爾可夫鏈與轉(zhuǎn)移概率矩陣 ? 條件概率 P{xn=j | xn1=i }稱為轉(zhuǎn)移概率，表示系統(tǒng)在 n1步狀態(tài)為 i時(shí)，第 n步狀態(tài)為 j的概率 — 一 步轉(zhuǎn)移概率 。 馬爾可夫決策 得 ???????????kkk?????????111Pkkk???????????????????111且 ? ?k???? ?21?P?? ?? 11???kii?此方程組稱為穩(wěn)態(tài)方程。 多階段決策分為確定型與風(fēng)險(xiǎn)型兩類 ， 風(fēng)險(xiǎn)型問題要借助于概率以期望值最優(yōu)為目標(biāo)；序貫決策的關(guān)鍵是確定一個(gè)決