球隊(duì)決策策略(完整版)
【正文】 勵策略空間的擴(kuò)展，可以使用簡單的初始條件：未經(jīng)過訓(xùn)練的逼近函數(shù)開始輸出為 0，這在所有真實(shí)值為負(fù)的情況下是可行的。 ? If (可以跑向球達(dá)到控球 ) GoToBall()。這樣，所有的進(jìn)攻隊(duì)員都能學(xué)會相似的策略或不同的策略。 ? 所有防守方都采用固定的策略 GOTOBALL( )， 也就是說他們試圖阻截球 ， 拿到球后用HOLDBALL( )保持控球權(quán) 。 ? 強(qiáng)化學(xué)習(xí)的關(guān)鍵是 Agent與環(huán)境的交互可以看成是一個馬爾可夫模型 ，也就是說 ， 環(huán)境應(yīng)該具有再現(xiàn)性 。 球員的策略也分積極的和戰(zhàn)略的 。 Robocup球隊(duì)策略綜述 ? (4)．場上是否處于關(guān)鍵狀態(tài)。 如球員在比賽中如果自己的體力特別低 ， 除非萬不得已一般盡量減少跑動以恢復(fù)體力 。 ? (2)．整體策略定義了陣型中不同的角色，并把角色分配給不同位置的球員，同時確定哪種異構(gòu)球員適合哪種角色。 ? 一個經(jīng)典的跑位規(guī)劃方法 ― FC Portugal的 SBSP(Situation Based Strategic Positioning) ? 介紹了一個局部戰(zhàn)術(shù)配合 。 Remco在他的論文中對球隊(duì)的整體策略進(jìn)行了一下歸納 。 ? (5)． 整體策略應(yīng)該指定如何協(xié)調(diào)各個球員的行為 ． 因?yàn)椴煌那騿T由于感知的不同 ， 在策略的執(zhí)行上可能出現(xiàn)不協(xié)調(diào) 。 如對手是傾向于進(jìn)攻還是傾向于防守。 (SBSP) ? SBSP首先是由 FC Portugal提出的，它是結(jié)合了 Peter Stone在 CMU球隊(duì)里面的陣型和位置的概念，并在此基礎(chǔ)上面引入了戰(zhàn)術(shù)、場上情況、隊(duì)員類型等概念。 SBSP的一般算法 ? IF 場上是戰(zhàn)略狀態(tài) ? IF 本方進(jìn)攻 ? 進(jìn)攻球員進(jìn)行動作選擇、其他隊(duì)員按 SBSP跑位 ? ELSE ? 防守隊(duì)員截球、盯人、按 SBSP跑位 ? ELSE ? 采用積極狀態(tài)下的即時動作 設(shè)計 RoboCup仿真比賽程序的主要難點(diǎn)： ? 在連續(xù)空間作連續(xù)的決策； ? 多個 Agent的存在給狀態(tài)空間帶來維數(shù)災(zāi)難； ? 環(huán)境的反饋延遲太長 。 ? PassBall(f)：傳球 ， 將球直接踢給 f。規(guī)定，進(jìn)攻隊(duì)員能確切控球的狀態(tài)有最高值 0；所有其他狀態(tài)是負(fù)值，立即失球的狀態(tài)值接近 1。 ? If (球出界或防守方得到球 ) ? } } ? Else (這時球被另外一個前鋒控制 ) { If (counter 0) UpdateRL(0)。 ? 進(jìn)攻是從本方隊(duì)員控球開始 ， 直到本方失去控球權(quán)為止 。歸根結(jié)底，在選擇這些動作的時候必須考慮其他球員的利益，這就是多 Agent的協(xié)作問題了。 ? MAS中的對策論就是求參與 MAS協(xié)作和規(guī)劃的所有 Agent的整體效用，針對 Robocup，選擇動作的影響因素，以及選擇該動作的效用作為對策論的基礎(chǔ)，持球者計算得出所有參與進(jìn)攻的球員的效用最大值，并把最大值對應(yīng)下的動作作為該持球隊(duì)員的輸出動作。 同人類的足球比賽一樣 ， 我們給 每個仿真隊(duì)員 定義了 一個類型 。目前對對手模型考慮的較少，還沒有一個比較成熟的基于對手的建模機(jī) 制 。 ? 該體系用防守動作的目標(biāo)點(diǎn)（對于 Mark來說，防守動作的目標(biāo)點(diǎn)在被盯隊(duì)員附近；對于 Intercept來說，防守動作的目標(biāo)點(diǎn)在阻截點(diǎn)上）離本位點(diǎn)的遠(yuǎn)近、目標(biāo)點(diǎn)離球員當(dāng)前位置的遠(yuǎn)近和防守目標(biāo)的對防守的威脅程度來作為一個防守動作的特征。 每個防守隊(duì)員在一個時刻只能執(zhí)行上述防守動作中的一個 。 ? (2)判斷對方控球球員 。經(jīng)過實(shí)踐證明，在守門員的防守當(dāng)中，最重要的是守門員的站位和守門員得球后的開球動作。當(dāng)守門員剛得到球時，場上的情況必然是對方的球員都壓在禁區(qū)附近，同時由于前幾個周期，守門員剛作過撲球動作，對場上的信息的可信度不高。 。然后，根據(jù)場上的信息，對本方后場內(nèi)的所有的對方球員之間的空當(dāng)進(jìn)行記錄和統(tǒng)計，找到一個最大的空當(dāng)，如果該空當(dāng)?shù)拇笮M足一給定的閾值，并且對手接到球的可能比我方低，則將球沿著這個空當(dāng)?shù)慕瞧椒志€開出，這時球往往會傳到中場的本方球員腳下。下面首先給出守門員在比賽過程中的決策過程，然后著重介紹守門員的站位和開球動作。 ? (3)判斷防守任務(wù)和可用人手 。在該防守規(guī)劃中，每個防守隊(duì)員均考慮場上所有隊(duì)員的防守策略。目標(biāo)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1