球隊決策策略-文庫吧資料
2025-02-15 18:14本頁面
【正文】 的 ） 、 戰(zhàn)術是否要改變等方面的內容 。 ? 其中 U（ a）為采取某種動作后的效用， P（ act｜ cond1, cond2, ……,cond n）表示條件概率，只有高于特定的閾值的動作才被我們考慮作為備選動作。 ? MAS中的對策論就是求參與 MAS協作和規(guī)劃的所有 Agent的整體效用，針對 Robocup，選擇動作的影響因素，以及選擇該動作的效用作為對策論的基礎，持球者計算得出所有參與進攻的球員的效用最大值，并把最大值對應下的動作作為該持球隊員的輸出動作。為建立沖突對抗條件下決策的數學模型，必須數學化地描述沖突的參與者所有可能的行為方式及其行為結果，因此它也被視為數學的一個分支。 對策論 ? 對策論，又稱博弈論，是使用嚴謹的數學模型研究沖突對抗條件下最優(yōu)決策問題的理論。本節(jié)討論一下使用對策論的方法來進行動作的選擇。歸根結底，在選擇這些動作的時候必須考慮其他球員的利益，這就是多 Agent的協作問題了。 基于效用對策論 ? 前面介紹了 HfutAgent的個體技術，一個球員在控球以后，它可以選擇帶球、開球、傳球（包括選擇哪個隊友進行傳球）等動作。 ? 接球隊員的響應設計 ? 一般隊員的跑位設計 ? 決策樹（ if else規(guī)則）：這實際上是 MAS中的策略學選取中的 比較匹配函數、興趣或愛好函數的方法。 ? 可以分為戰(zhàn)術配合 （ 局部的幾個球員 ） 和戰(zhàn)略配合 。 ? 進攻是從本方隊員控球開始 ， 直到本方失去控球權為止 。另外， 的策略，理論上是可以擴充到全局 ()，這時一個實際需要解決的問題是就是怎么解決龐大的狀態(tài)空間。由于任何沒有試過的動作往往看上去比已經試過多次并被確切賦值的動作更好，這就使所有動作都有機會被嘗試。 ? } 函數 UpdateRL(r) ? UpdateRL(r): 用 TDError來更新狀態(tài)評價函數 。 } } ? Else (這時球被另外一個前鋒控制 ) { If (counter 0) UpdateRL(0)。 Execute LastAction 。 ? else GetOpen()。 { ? If (counter ≥ 0) counter++。 ? If (球出界或防守方得到球 ) ? 函數UpdateRL(r)在后面定義。每個進攻隊員有三個動作選擇，對應于控球時的每個可能動作（ GetOpen( )， GotoBall( )， {HoldBall(),PassBall(f)}）這是我們的策略評價試驗中最有效的情況。 ? 使用 Qlearning，即每個進攻隊員獨立學習。規(guī)定，進攻隊員能確切控球的狀態(tài)有最高值 0；所有其他狀態(tài)是負值，立即失球的狀態(tài)值接近 1。 學習過程 學習過程（續(xù)） 學習過程（續(xù)） 13個函數表示狀態(tài)（ WS） ? dist(F1,C) ? dist(F1,F2) ? dist(F1,F3) ? dist(F1,D1) ? dist(F1,D2) ? dist(F2,C) ? dist(F3,C) ? dist(D1,C) ? dist(D2,C) ? Minimum(dist(F2,D1),dist(F2,D2)) ? Minimum(dist(F3,D1),dist(F3,D2)) ? Minimum(ang(F2,F1,D1),ang(F2,F1,D2)) ? Minimum(ang(F3,F1,D1),ang(F3,F1,D2)) Tile Coding ? 采用 Tile coding方法來進行，狀態(tài)用一個 13維的空間來表示，用網格表示每個具體狀態(tài)， 在分析的時候，每個格對應一個二進制狀態(tài)，或是 1（當狀態(tài)在這個格內）或是 0（狀態(tài)不在這個格內）。 ? 在學習的時候 ， 使用一個全能的教練 Trainer(也是 agent)在控制比賽 ， 當防守隊員在設定時間里獲得控球權或球離開區(qū)域時 Trainer就結束此時間段 ， 就完成了一次對抗 。 ? GetOpen( )：跑位 ， 跑到一個空曠的位置 ， 在這個位置能得到傳出的球 。 ? PassBall(f)：傳球 ， 將球直接踢給 f。 ? 區(qū)域設定為 20M*20M的正方形 ， 并總有 3個進攻隊員和 2個防守隊員 。
教學課件相關推薦
鄂ICP備17016276號-1