球隊(duì)決策策略課件-文庫吧資料
2025-02-15 17:56本頁面
【正文】 的 ） 、 戰(zhàn)術(shù)是否要改變等方面的內(nèi)容 。 ? 其中 U（ a）為采取某種動(dòng)作后的效用， P（ act｜ cond1, cond2, ……,cond n）表示條件概率，只有高于特定的閾值的動(dòng)作才被我們考慮作為備選動(dòng)作。 ? MAS中的對策論就是求參與 MAS協(xié)作和規(guī)劃的所有 Agent的整體效用，針對 Robocup，選擇動(dòng)作的影響因素，以及選擇該動(dòng)作的效用作為對策論的基礎(chǔ)，持球者計(jì)算得出所有參與進(jìn)攻的球員的效用最大值，并把最大值對應(yīng)下的動(dòng)作作為該持球隊(duì)員的輸出動(dòng)作。為建立沖突對抗條件下決策的數(shù)學(xué)模型，必須數(shù)學(xué)化地描述沖突的參與者所有可能的行為方式及其行為結(jié)果，因此它也被視為數(shù)學(xué)的一個(gè)分支。 對策論 ? 對策論，又稱博弈論，是使用嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)模型研究沖突對抗條件下最優(yōu)決策問題的理論。本節(jié)討論一下使用對策論的方法來進(jìn)行動(dòng)作的選擇。歸根結(jié)底，在選擇這些動(dòng)作的時(shí)候必須考慮其他球員的利益，這就是多 Agent的協(xié)作問題了。 基于效用對策論 ? 前面介紹了 HfutAgent的個(gè)體技術(shù)，一個(gè)球員在控球以后，它可以選擇帶球、開球、傳球（包括選擇哪個(gè)隊(duì)友進(jìn)行傳球）等動(dòng)作。 ? 接球隊(duì)員的響應(yīng)設(shè)計(jì) ? 一般隊(duì)員的跑位設(shè)計(jì) ? 決策樹（ if else規(guī)則）：這實(shí)際上是 MAS中的策略學(xué)選取中的 比較匹配函數(shù)、興趣或愛好函數(shù)的方法。 ? 可以分為戰(zhàn)術(shù)配合 （ 局部的幾個(gè)球員 ） 和戰(zhàn)略配合 。 ? 進(jìn)攻是從本方隊(duì)員控球開始 ， 直到本方失去控球權(quán)為止 。另外， 的策略，理論上是可以擴(kuò)充到全局 ()，這時(shí)一個(gè)實(shí)際需要解決的問題是就是怎么解決龐大的狀態(tài)空間。由于任何沒有試過的動(dòng)作往往看上去比已經(jīng)試過多次并被確切賦值的動(dòng)作更好，這就使所有動(dòng)作都有機(jī)會(huì)被嘗試。 ? } 函數(shù) UpdateRL(r) ? UpdateRL(r): 用 TDError來更新狀態(tài)評(píng)價(jià)函數(shù) 。 } } ? Else (這時(shí)球被另外一個(gè)前鋒控制 ) { If (counter 0) UpdateRL(0)。 Execute LastAction 。 ? else GetOpen()。 { ? If (counter ≥ 0) counter++。 ? If (球出界或防守方得到球 ) ? 函數(shù)UpdateRL(r)在后面定義。每個(gè)進(jìn)攻隊(duì)員有三個(gè)動(dòng)作選擇，對應(yīng)于控球時(shí)的每個(gè)可能動(dòng)作（ GetOpen( )， GotoBall( )， {HoldBall(),PassBall(f)}）這是我們的策略評(píng)價(jià)試驗(yàn)中最有效的情況。 ? 使用 Qlearning，即每個(gè)進(jìn)攻隊(duì)員獨(dú)立學(xué)習(xí)。規(guī)定，進(jìn)攻隊(duì)員能確切控球的狀態(tài)有最高值 0；所有其他狀態(tài)是負(fù)值，立即失球的狀態(tài)值接近 1。 學(xué)習(xí)過程 學(xué)習(xí)過程（續(xù)） 學(xué)習(xí)過程（續(xù)） 13個(gè)函數(shù)表示狀態(tài)（ WS） ? dist(F1,C) ? dist(F1,F2) ? dist(F1,F3) ? dist(F1,D1) ? dist(F1,D2) ? dist(F2,C) ? dist(F3,C) ? dist(D1,C) ? dist(D2,C) ? Minimum(dist(F2,D1),dist(F2,D2)) ? Minimum(dist(F3,D1),dist(F3,D2)) ? Minimum(ang(F2,F1,D1),ang(F2,F1,D2)) ? Minimum(ang(F3,F1,D1),ang(F3,F1,D2)) Tile Coding ? 采用 Tile coding方法來進(jìn)行，狀態(tài)用一個(gè) 13維的空間來表示，用網(wǎng)格表示每個(gè)具體狀態(tài)， 在分析的時(shí)候，每個(gè)格對應(yīng)一個(gè)二進(jìn)制狀態(tài)，或是 1（當(dāng)狀態(tài)在這個(gè)格內(nèi)）或是 0（狀態(tài)不在這個(gè)格內(nèi)）。 ? 在學(xué)習(xí)的時(shí)候 ， 使用一個(gè)全能的教練 Trainer(也是 agent)在控制比賽 ， 當(dāng)防守隊(duì)員在設(shè)定時(shí)間里獲得控球權(quán)或球離開區(qū)域時(shí) Trainer就結(jié)束此時(shí)間段 ， 就完成了一次對抗 。 ? GetOpen( )：跑位 ， 跑到一個(gè)空曠的位置 ， 在這個(gè)位置能得到傳出的球 。 ? PassBall(f)：傳球 ， 將球直接踢給 f。 ? 區(qū)域設(shè)定為 20M*20M的正方形 ， 并總有 3個(gè)進(jìn)攻隊(duì)員和 2個(gè)防守隊(duì)員 。
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1