【正文】 Agent與環(huán)境的交互可以看成是一個(gè)馬爾可夫模型 ，也就是說(shuō) ， 環(huán)境應(yīng)該具有再現(xiàn)性 。這樣，所有的進(jìn)攻隊(duì)員都能學(xué)會(huì)相似的策略或不同的策略。 11= + Ma x ( Ac ti o nVa lu e( ) ) Ac ti o nVa lu e ( )c ount e r c ount e rT dErr or ra, c urr e nt , st at e , v ari abl e s L ast Ac ti on, L ast Vari abl e s?? ???注意事項(xiàng)： ? 為了鼓勵(lì)策略空間的擴(kuò)展，可以使用簡(jiǎn)單的初始條件：未經(jīng)過(guò)訓(xùn)練的逼近函數(shù)開(kāi)始輸出為 0，這在所有真實(shí)值為負(fù)的情況下是可行的。 ? 基于效用的對(duì)策論是 MAS協(xié)作是的一種常用的方法 。 Attackness區(qū)分隊(duì)員的任務(wù)偏重于進(jìn)攻的程度 。威脅程度大致可以用被防守的對(duì)手離球門(mén)的遠(yuǎn)近來(lái)衡量，離球門(mén)越近，威脅程度越大。 根據(jù)世界模型和內(nèi)部狀態(tài) ， 判斷有進(jìn)攻威脅的對(duì)方球員并確定防守任務(wù)和確定可用來(lái)防守的我方球員 。否則，將球直接開(kāi)到中場(chǎng)位置的邊線(xiàn)附近?？梢猿浞值睦眠@ 25個(gè)周期進(jìn)行開(kāi)球的判斷。 如果是對(duì)方控球或者無(wú)人控球但對(duì)方會(huì)先得球 ， 我方隊(duì)員就采取防守策略 ， 并預(yù)測(cè)球下一次被控制的位置 。 ? Intercept(截球 ) ? 其它 ? [注 ]：盯人的目的是防止被盯的對(duì)手接到傳球； Block的目的是阻礙對(duì)方控球隊(duì)員帶球前進(jìn)；跑本位點(diǎn)是指球員站在本位點(diǎn)處防守，即進(jìn)行區(qū)域防守。 在真實(shí)的足球比賽中 ， 隊(duì)員之間的屬性是不同的 。如何恰當(dāng)?shù)剡x擇合適的動(dòng)作是比較重要的問(wèn)題。 counter=0。 ? 狀態(tài)評(píng)價(jià)函數(shù) ? 這里 γ 是學(xué)習(xí)率，一個(gè)固定的參數(shù)， T是從 s開(kāi)始的時(shí)間段內(nèi)經(jīng)過(guò)了 T個(gè)時(shí)間步。 這時(shí)使用的也是 SBSP。 ? (2)．對(duì)方球隊(duì)的整體傾向。 當(dāng) Agent間的意愿一致的時(shí)候他們就會(huì)進(jìn)行協(xié)作 ， 當(dāng)他們的意愿不一致的時(shí)候 ， 就要進(jìn)行協(xié)商 ， 處理矛盾 。 ? (3)．對(duì)于每種類(lèi)型的球員（后衛(wèi)，中場(chǎng)，前鋒等）球隊(duì)策略應(yīng)該根據(jù)它的角色確定分配給他哪些相應(yīng)的行為。 如我們已經(jīng)攻入對(duì)方禁區(qū)或?qū)κ止ト胛曳降慕麉^(qū)采取緊急動(dòng)作。 ? 在 Robocup中 ， 我們考慮 “ 戰(zhàn)術(shù) ” 任務(wù)是這樣一種情況：進(jìn)攻一方在一活動(dòng)范圍內(nèi)試圖保持控球權(quán) ， 同時(shí)另一方試圖奪回控球權(quán) 。每個(gè)進(jìn)攻隊(duì)員有三個(gè)動(dòng)作選擇，對(duì)應(yīng)于控球時(shí)的每個(gè)可能動(dòng)作（ GetOpen( )， GotoBall( )， {HoldBall(),PassBall(f)}）這是我們的策略評(píng)價(jià)試驗(yàn)中最有效的情況。由于任何沒(méi)有試過(guò)的動(dòng)作往往看上去比已經(jīng)試過(guò)多次并被確切賦值的動(dòng)作更好，這就使所有動(dòng)作都有機(jī)會(huì)被嘗試。 對(duì)策論 ? 對(duì)策論，又稱(chēng)博弈論，是使用嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)模型研究沖突對(duì)抗條件下最優(yōu)決策問(wèn)題的理論。Leftness區(qū)分隊(duì)員所在區(qū)域的偏左的程度 ， Aggressiveness標(biāo)明的是一個(gè)隊(duì)員的動(dòng)作侵略性 。 一種防守方法的介紹 ? 如果考慮的細(xì)致些的話(huà)，可以把場(chǎng)上的區(qū)域離散化，根據(jù)足球?qū)＜业慕?jīng)驗(yàn)標(biāo)明每個(gè)區(qū)域大致的威脅程度，通過(guò)插值可以得到每個(gè)點(diǎn)的威脅程度。 ? (4)考慮所有用一個(gè)可用人手執(zhí)行一個(gè)防守任務(wù)的情況 ， 判斷所應(yīng)該采取的防守類(lèi)型和相應(yīng)的防守細(xì)節(jié) ， 并確定該次防守行為的效益 。 守門(mén)員的開(kāi)球動(dòng)作 (續(xù) ) ? 或許 ， 找一個(gè)本方球員 ， 將球直接傳給他 ， 表面上看來(lái)更合理些 。 守門(mén)員位置的 y坐標(biāo)為上面公式計(jì)算 ? 2）黃金分割點(diǎn)法 1212__2LL SP goal w i dt hLL? ??守門(mén)員的開(kāi)球動(dòng)作 ? 在比賽中，守門(mén)員在得到球時(shí)并不要求立刻就將球發(fā)出去，而是要求在 25個(gè)周期內(nèi)將球發(fā)出去就可以了。 分為四種 ， 雙方同時(shí)控球 （ 爭(zhēng)球 ） 、 對(duì)方控球 、 我方控球 、無(wú)人控球 （ 搶球 ） 。 防守動(dòng)作 ? Mark（盯人，主要是指盯無(wú)球隊(duì)員） ? Block（卡位 ,堵截帶球隊(duì)員，防止其推進(jìn)） ? Press(貼身回追帶球隊(duì)員 ) ? Formation（跑本位點(diǎn)）。 (2)球員類(lèi)型 。 基于效用對(duì)策論 ? 前面介紹了 HfutAgent的個(gè)體技術(shù)，一個(gè)球員在控球以后，它可以選擇帶球、開(kāi)球、傳球（包括選擇哪個(gè)隊(duì)