球隊決策策略課件-預覽頁
【正文】 Agent)在場上的戰(zhàn)略跑位 ： SBSP小結(jié) ? SBSP是一個比較成功的球隊整體策略的應用 。當場上狀態(tài)進入戰(zhàn)略狀態(tài)的時候 ， 如進攻時 ， 控球隊員是處于積極狀態(tài) ， 它進行動作的選擇 ， 其他隊員都進入戰(zhàn)略狀態(tài) ， 這時它們的選擇就是跑位 ， 這就是使用 SBSP， 跑到一個戰(zhàn)略位置 。 ? 環(huán)境具有強實時性和動態(tài)性； ? 環(huán)境通訊帶寬很窄； ? 環(huán)境有噪聲； ? 環(huán)境具有部分可觀性； ? 環(huán)境不具有馬爾可夫性； ? 實際上，機器人足球比賽中的動作選擇可以看成是在一定的環(huán)境下Agent在自己獲取的世界狀態(tài) (s)情況下的選擇什么樣的 a,由于系統(tǒng)實現(xiàn)的時候引入了噪音，因此環(huán)境不具有 Markov性，也就是不可再現(xiàn)性，原則上說他就不具有使用強化學習的可能。 無論何時防守方獲得控球權(quán)或球離開此區(qū)域 ， 這個時間段就結(jié)束 ， 球員便放置到另一個時間段（ 進攻方再次被給予控球權(quán) ） 。 ? GotoBall( )：跑向球 。 在每個 時間段開始 ， 他在區(qū)域內(nèi)隨機的置球和球員的位置 ， 兩個防守方隊員從區(qū)域的一個角落開始 ， 而每個進攻球員隨機放在其他三個角落 ， 每個角落一個球員 。 1000( ) | , { , }tTttV s E r s s E s s? ? ? ? ??????? ? ? ? ??????策略學習 ? 強化學習去完善進攻隊員的策略以達到盡可能長的時間控球 。 策略學習 ? 給出一個被用于每個進攻隊員的學習算法。 If (counter 0) UpdateRL(1) ? else if (球不可踢 ) ? ? else if (球可控 ) ? { ? If (counter 0),UpdateRL(0) { LastAction=Max(ActionValue(a,current state variables))。 counter=1。 小結(jié)： ? 使用強化學習進行局部 能力強，也就是對球的截球能力強，這方面存在兩個困難：（ 1）跟自己比賽，提高有限，（ 2）和強隊比賽，高層策略無法控制。 ? 進攻體系考慮的問題持球隊員進行備選動作的選擇 ， 其他隊員或進行策應 ， 或進行合理的跑位 。 ? 基于效用對策論進行動作選擇。上節(jié)介紹了使用強化學習的方法來進行動作的選擇。它的研究方法和其他很多利用數(shù)學工具研究社會經(jīng)濟現(xiàn)象的學科一樣，是從復雜的現(xiàn)象中抽象出基本的元素，對這些基本元素構(gòu)成的數(shù)學模型進行詳盡分析，而后逐步引入對其形勢產(chǎn)生影響的其他因素，從而分析其結(jié)果。 基于效用的對策論 ? 設(shè)影響的因素 cond1, cond2 , ……,cond n， 確定它們對動作的影響 P（ act| condi），計算 P（ act｜ cond1, cond2, ……,cond n），求出的 ? 動作。 它主要包含陣型和進攻的傾向性 。 用 attackness、 leftness和aggressiveness三個取值在 0和 1之間的量來表示一個隊員的類型屬性 。 影響因素 (續(xù) )： (3)陣型 。 ? 傳球隊員一旦準備傳球，就向需要響應的接球隊員喊話(say)，可以出球的目標狀態(tài)通過一定的通訊協(xié)議傳遞給接球隊員，指導接球隊員的跑位。更進一步就是考慮加入了守門員的防守體系。目標點離本位點遠，說明隊員要離開自己的防守的區(qū)域去防守，這對整體的防守利益帶來不好的影響。顯然防守威脅程度越高的隊員，防守動作的利益越大。 防守規(guī)劃： ? 在體系中還對防守進行了規(guī)劃，使用的方法是基于局部視覺的全局規(guī)劃。 具體算法： ? (1)判斷球被控制的類型 。 如果是爭球情況 ， 根據(jù)各種信息判斷最有可能控球的人 。 ? (5)從防守任務和可用人手配對生成最優(yōu)的防守方案 （ 最大化防守效益和 ） ， 然后提交自己有關(guān)的防守請求 。當然，守門員的防單刀球、邊路防守等動作也比較重要。 守門員的站位： ? 1）經(jīng)驗公式法： [注 ]L1為球的位置到左門柱的距離 ， L2為球的位置到右門柱的距離 ， sp_goal_width為球門的寬度 。所以，在守門員得到球后，應該用大約20個左右的周期對場上情況進行收集。 但實際上 ， 這種方法遠比上面所述的方法
教學課件相關(guān)推薦
鄂ICP備17016276號-1