馬爾科夫決策ppt課件-資料下載頁(yè)
2025-05-07 12:05本頁(yè)面
【正文】 利潤(rùn)變化 ri1 ri2 rii riN 所以 :從 i轉(zhuǎn)到 1的期望利潤(rùn)值 P11r11 從 i轉(zhuǎn)到 2的期望利潤(rùn)值 P12r12 : : 從 i轉(zhuǎn)到 i的期望利潤(rùn)值 Piirii : : 從 i轉(zhuǎn)到 N的期望利潤(rùn)值 P1Nr1N 而從狀態(tài) i開(kāi)始經(jīng)過(guò)一步轉(zhuǎn)移后所得到的期望利潤(rùn)值為 ∑ Pijrij = Pi1ri1 + Pi2ri2…… PiNriN 這個(gè)值稱為即時(shí)期望利潤(rùn) ,又是一步狀態(tài)轉(zhuǎn)移期望利潤(rùn) ,是概率定義下的利潤(rùn)均值 . 記為 Vi = Vi = ∑P ijrij 特別地 Vi = 0 ,即當(dāng) k = 0, 未轉(zhuǎn)移 ,沒(méi)有利潤(rùn)變化 . [1] [0] 2. k步轉(zhuǎn)移期望利潤(rùn)遞推公式 k步轉(zhuǎn)移期望利潤(rùn)可以分解為兩步 ,即一步和k― 1步 , 一步轉(zhuǎn)移期望利潤(rùn)為 Vi = ∑P ijrij 現(xiàn)考慮 k― 1步 首先 ,從 0時(shí)刻到 1時(shí)刻發(fā)生了一步狀態(tài)轉(zhuǎn)移 ,假定 狀態(tài)已轉(zhuǎn)移 1狀態(tài) (令 Pij = 1)后 ,從 1狀態(tài)開(kāi)始 k― 1 步轉(zhuǎn)移后達(dá)到期望利潤(rùn)為 V1[k1] . 而 i狀態(tài)轉(zhuǎn)移到 1狀態(tài)的發(fā)生概率為 Pi1 , 因此i狀態(tài)先轉(zhuǎn)移到 1狀態(tài)后的 k― 1步實(shí)際期望利潤(rùn)為 Pi1? V1[k1] [k― 1] 同理 i狀態(tài)先轉(zhuǎn)到 2狀態(tài)后的 k― 1步實(shí)際期望利潤(rùn)為 Pi2? V2 即 :各實(shí)際期望利潤(rùn)之和 ,構(gòu)成了初始狀態(tài)為 i的 k― 1步轉(zhuǎn)移后的轉(zhuǎn)移期望利潤(rùn) : ∑P ijVj k步轉(zhuǎn)移期望利潤(rùn) Vi = Vi +∑P ijVj = ∑P ijrij + ∑P ijVj = ∑P ij (rij + Vj ) 以上公式為 k步轉(zhuǎn)移期望利潤(rùn)遞推公式 此公式可改寫(xiě)為矩陣遞推式 : 由 Vi = Vi + ∑P ijVj [k― 1] [k―1 ] [k] [1] [k― 1] [k― 1] [k― 1] [k] [k― 1] V1 定義 V = V2 為 j步轉(zhuǎn)移期望利潤(rùn)列向量 : VN V1 V = V2 為即時(shí)期望利潤(rùn)列向量 :. VN P11 P12 P1N : : : 為一步狀態(tài)轉(zhuǎn)移概率矩陣 PN1 PN2 PNN 有 V = V +PV [j] [j] [j] [j] P = [K] [k―1 ] 例 :設(shè)某商品銷(xiāo)售狀態(tài)分別為暢銷(xiāo) (狀態(tài) 1)及滯銷(xiāo)(狀態(tài) 2),銷(xiāo)售狀態(tài)轉(zhuǎn)移概率矩陣為 P11 P12 P21 P22 利潤(rùn)矩陣 r11 r12 5 1 r21 r22 1 1 試預(yù)測(cè)三個(gè)月后的期望利潤(rùn) . = P = = R = 解 :利用遞推公式順序推出 , 即時(shí)期望利潤(rùn) Vi = ∑P ijrij V1 = ∑P 1jr1j = P11r11 + P12r12 = 5 + 1 = 3(百萬(wàn)元 ) V2 = ∑P 2jr2j = P21r21 + P22r22 = 1 + (1)= (百萬(wàn)元 ) V1: 本月暢銷(xiāo) ,一月后可期望獲利 300萬(wàn) V2: 本月滯銷(xiāo) ,一個(gè)月后預(yù)測(cè)虧損 20萬(wàn) 由 V1 = ∑ P1j (r1j+ Vj ) [k] [k1] V1 = ∑ P1j (r1j+ Vj) = P11( r11 + V1) + P12 ( r12 + V2) = (5 + 3) + (1― ) = (百萬(wàn) ) 即本月暢銷(xiāo) ,預(yù)計(jì)兩個(gè)月后可期望獲利 440萬(wàn)元 V2 = ∑ P2j (r2j+ Vj) = P21(r21 + V1) + P22(r22 + V2) = (1 +3) + (1― ) = (百萬(wàn) ) 即本月滯銷(xiāo) ,兩月后可期望獲利 88萬(wàn)元 . [2] [2] 由此 ,可推出本題結(jié)果 : V1 = ∑ P1j (r1j + Vj) = P11(r11 + V1) + P12(r12 + V2) = (5 + ) + (1+) = (百萬(wàn) ) V2 = ∑ P2j (r2j+ Vj) = P21(r21 + V1) + P22(r22 + V2) = (1 + ) + (1+) = (百萬(wàn) ) 答案 :若本月暢銷(xiāo) ,三月后將期望盈利 564萬(wàn)元 若本月滯銷(xiāo) ,三月后將期望盈利 . [3] [2] [2] [2] [3] [2] [2] [2]
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1