【導(dǎo)讀】行研究所取得的研究成果。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文。不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫的成果。本人完全意識(shí)到本聲。明的法律后果由本人承擔(dān)。

　　

【正文】 對(duì)方腳下斷下。如果自己是所有隊(duì)員中最快截球的，那么執(zhí)行相應(yīng)的截球動(dòng)作即可。對(duì)第三種情況，則直接實(shí)行對(duì)對(duì)手預(yù)計(jì)截球點(diǎn)的封斷，但是考慮到對(duì)手可能存在截球失誤，有時(shí)候我們不進(jìn)行對(duì)預(yù)計(jì)截球點(diǎn)的封斷，仍然執(zhí)行截球動(dòng)作。 （ 2）自己不是本方最快截球的隊(duì)員 這意味著對(duì)足球的處理將交由本方最快截球的隊(duì)友來完成，所以候選動(dòng)作成為了跑位和盯人。 滁州學(xué)院本科畢業(yè)設(shè)計(jì) 15 一般情況下選擇跑位，跑位的依據(jù)是當(dāng)前的足球位置和自身扮演的角色。當(dāng)足球靠近我方禁區(qū)附近，就需要先考慮盯人，由于我們采用 433 陣型，有四個(gè)后衛(wèi)，必要時(shí)三個(gè)中場(chǎng)也可以回撤，防守人數(shù)將超過對(duì)方進(jìn)攻人數(shù)，因此，只要實(shí)現(xiàn)人盯人的防守，就可以減少對(duì)方的傳接球配合，降低被破門的概率。 盯防對(duì)象的選擇是個(gè)需要全局考慮的結(jié)果，既要保證在禁區(qū)附近的對(duì)手都被盯防，又不能出現(xiàn)我方兩個(gè)隊(duì)員去盯防同一個(gè)對(duì)手的情況。通過對(duì)距離遠(yuǎn)近的排序，然后依次對(duì)應(yīng)得到盯防對(duì)象。這里的關(guān)鍵是世界模型的完備性，利用局部通訊模型進(jìn)行世界模型的共享和輔助決策信息的共享，較好的完成了防守任務(wù)。 對(duì)于控球狀態(tài)的隊(duì)員，則體現(xiàn)在帶球、傳球、過人、射門等動(dòng)作的選擇上，對(duì)各個(gè)動(dòng)作的選擇采用從上到下結(jié)構(gòu)，而每個(gè)動(dòng)作內(nèi)部的參數(shù)調(diào)整則參考從下到上的思路。決策主要是建立的角色的基礎(chǔ)上，同時(shí)會(huì)考慮球員所處位置等情況，球隊(duì)的整體決策樹如圖 34 所示。 圖 34 球隊(duì)決策樹 上圖中 play_on 代表是正常踢球模式，如果是非 play_on 模式（例如角球、界外球等）則執(zhí)行相應(yīng)模式下 的決策過程，主要是采用繞前盯人防守， 最后，不管是控球者還是非控球者，都會(huì)因?yàn)閳?zhí)行（ dash power）指令奔跑而消耗體力，而體力 充沛與否對(duì)隊(duì)友的后續(xù)表現(xiàn)有極大的影響，所以 dash指令的 power 參數(shù)需要進(jìn)行最后的調(diào)整： adjust_power=powerf（ stamina, agent_pos, ball_pos, action_type） 其中 stamina 是智能體的當(dāng)前體力值， agent_pos 是智能體的當(dāng)前位置， ball_pos 則是足球的當(dāng)前位置， action_type 是智能體所選擇的動(dòng)作類型（跑位、盯人、截球等）， f 函數(shù)的返回值介于 [， ]。如果現(xiàn)有 stamina非常充足 ,則 f函數(shù)直接返回 ；如果 action_type是截球動(dòng)作，則盡可能的滿足 power的要求， f 返回值接近 ；如果 agent_pos和 ball_pos 相距較遠(yuǎn)，而且智能體不處于重要位置，則函數(shù) f 的返回值向 0 靠攏。 4異構(gòu)智能體的選擇和辨識(shí) 從仿真平臺(tái)版本 7 開始，引入了異構(gòu)智能體的概念，可以根據(jù)球隊(duì)的整體策略，配備更能發(fā)揮特長(zhǎng)的異構(gòu)智能體。異構(gòu)智能體的選擇標(biāo)準(zhǔn)和領(lǐng)域知識(shí)密切相關(guān)，要在團(tuán)隊(duì)整體策略的指導(dǎo)下才能進(jìn)行有效的使用。因此，本章從結(jié)構(gòu)上說，屬于 節(jié)的陣型和角色、 節(jié)的規(guī)劃決策兩部分P l a y _ o n 模 式球 不 可 知 球 可 知 amp。 球 可 踢 球 可 知 amp。 球 不 可 踢找 球 射 門 傳 球 帶 球進(jìn) 攻 防 守跑 位 截 球 防 守 跑 位滁州學(xué)院本科畢業(yè)設(shè)計(jì) 16 的補(bǔ)充，異構(gòu)智能體的選擇建立在角色的基礎(chǔ)上 ，并為規(guī)劃決策模塊中的策略服務(wù)。比如防守為主的球隊(duì)要加強(qiáng)后衛(wèi)的素質(zhì)，進(jìn)攻為主的球隊(duì)則要加快前鋒的速度等。 異構(gòu)智能體的選擇和辨識(shí)都由在線教練完成，本章首先討論了在線教練的設(shè)計(jì)，然后介紹了異構(gòu)智能體類型，接下去是異構(gòu)智能體的評(píng)價(jià)標(biāo)準(zhǔn)和分配算法，最后說明如何對(duì)對(duì)方的異構(gòu)智能體進(jìn)行在線辨識(shí)。 在仿真比賽時(shí)，比賽不能被場(chǎng)外的因素打斷，所以除了場(chǎng)上比賽的隊(duì)員和裁判以外，沒有其他人（在 RoboCup 中表現(xiàn)為應(yīng)用程序）能控制 /影響整個(gè)比賽的進(jìn)行，但是教練程序除外。 RoboCup仿真比賽中的教練程序分成 兩類：離線教練（ Trainer）和在線教練（ Online Coach）。 離線教練在正式比賽中被禁止使用，其主要目的是在平時(shí)幫助球員得到更好的訓(xùn)練。例如，為了訓(xùn)練在特定場(chǎng)景中的某一特定動(dòng)作，需要不斷再現(xiàn)該場(chǎng)景，通過多次自動(dòng)反復(fù)的樣本采集才能應(yīng)用機(jī)器學(xué)習(xí)的方法來訓(xùn)練隊(duì)員。在線教練的引入是為了模擬現(xiàn)實(shí)足球中的教練，經(jīng)?？梢栽谌祟愖闱虮荣愔锌吹揭粋€(gè)在球場(chǎng)旁邊大喊大叫的教練，雖然他不能控制隊(duì)員的每一步行動(dòng)，但是至少能給隊(duì)員一些戰(zhàn)略上的信息。由于在線教練并不能具體指導(dǎo)隊(duì)員的行動(dòng)，并且在線教練發(fā)出的信息在play_on 模式下有 50 個(gè)周期的延遲，避免了由于過度使用在線教練而造成的實(shí)際上的集中式控制，所以允許在線教練的存在并不違反智能體個(gè)體自治的原則。 在線教練作為和仿真平臺(tái)連接的又一個(gè)智能體，同樣可以獲取來自仿真平臺(tái)的感知消息，也可以向仿真平臺(tái)發(fā)送指令請(qǐng)求執(zhí)行。但是，在線教練和普通隊(duì)員之間存在著明顯的差異，表 41 比較了兩者的不同 [13]。 從中可以看出在線教練的優(yōu)勢(shì)在于能夠得到比賽的全部的準(zhǔn)確信息，并且可以經(jīng)由仿真平臺(tái)與普通隊(duì)員通信。這樣，在線教練就可以通過統(tǒng)計(jì)和對(duì)手建模等方法對(duì)本方球隊(duì)進(jìn)行全局性的重新規(guī)劃，也可以調(diào)整隊(duì) 員的個(gè)體動(dòng)作技術(shù)。本章描述的在線教練主要完成對(duì)異構(gòu)智能體的選擇和辨識(shí)。 在比賽開始前，在線教練可以無限次的為每個(gè)角色選擇異構(gòu)智能體，比賽過程中只可以在定位球模式下最多三次更換角色的異構(gòu)類型。同時(shí)，仿真平臺(tái)規(guī)定守門員必須是默認(rèn)類型。因此，在比賽開始前，在線教練根據(jù)球隊(duì)的整體策略，賦予不同的角色不同的異構(gòu)類型。在比賽過程中，如果敵我勢(shì)均力敵，則將前鋒調(diào)整為奔跑速度更快的異構(gòu)智能體，增強(qiáng)沖擊力；如果我方較大落后，已難以取勝，則將后衛(wèi)調(diào)整為奔跑速度更快的異構(gòu)智能體，增加防守力量；如果我方領(lǐng)先優(yōu)勢(shì)明顯，則暫不進(jìn)行換人 操作。 表 41 在線教練與普通隊(duì)員的比較 在線教練 普通隊(duì)員 不在場(chǎng)上顯示 直接對(duì)比賽產(chǎn)生影響 每個(gè)周期都能獲取視覺消息 視覺參數(shù)決定獲取頻率，可能整個(gè)周期內(nèi)都沒有收到視覺消息 準(zhǔn)確全局的視覺消息 帶有干擾、局部的視覺消息 能夠收到所有球員的說話 只能關(guān)注單個(gè)球員的說話；可以經(jīng)由仿真平臺(tái)收到來自在線教練的建議 滁州學(xué)院本科畢業(yè)設(shè)計(jì) 17 次數(shù)有限的給球員發(fā) 128 字節(jié)的消息 每個(gè)周期都能發(fā)送 10 個(gè)字節(jié)的消息 在線教練除了為角色選擇異構(gòu)類型外，還需要對(duì)對(duì)方所使用的異構(gòu)類型進(jìn)行辨識(shí)，并將辨識(shí)結(jié)果廣播給本方隊(duì)員。目前，普通隊(duì)員需要 首先向仿真平臺(tái)注冊(cè) “（ clang（ ver 8 8）） ”，才能收到本方在線教練的廣播消息，而對(duì)方在線教練的廣播消息是無法完整獲知的。 基于第三章 介紹的普通球員的智能體結(jié)構(gòu)，在線教練的體系結(jié)構(gòu)以此為基礎(chǔ)，感知 口稍作變動(dòng)，建模模塊維持不變，得到完備的世界模型，包括賽場(chǎng)上足球和所有隊(duì)員的準(zhǔn)確位置和速度；根據(jù)在線教練的功能調(diào)整規(guī)劃決策模塊、動(dòng)作模塊；取消反應(yīng)模塊。在線教練的程序設(shè)計(jì)也基于 節(jié)所述的普通球員的控制流程，采用兩線程技術(shù)，由于在線教練每個(gè)周期能會(huì)接收到視覺消息，因此取消了其中的定時(shí)器設(shè)置。這樣的方法實(shí)現(xiàn) 了設(shè)計(jì)結(jié)果、代碼文檔的重用，提高了效率。 仿真平臺(tái)啟動(dòng)后，隨機(jī)生成 18 種類型的異構(gòu)智能體，從類型 0 到類型 17，并將參數(shù)廣播至所有的隊(duì)員和教練。其中類型 0 是默認(rèn)類型，對(duì)應(yīng)的參數(shù)是固定而且廣為人知的。其余 17 種類型即117 是異構(gòu)類型，對(duì)應(yīng)的參數(shù)是隨機(jī)的，在仿真平臺(tái)剛剛啟動(dòng)時(shí)在指定范圍內(nèi)隨機(jī)生成，因此賽前無法預(yù)知哪一種類型適合球隊(duì)的整體打法。根據(jù)異構(gòu)參數(shù)的不同，異構(gòu)智能體都有不同的能力，但都是不完美的，參數(shù)取值如下表 42 所示。 表 42 異構(gòu)智能體的參數(shù)參考值 參數(shù)名 參考值 注視 player_speed_max 球員最大速度參考（常數(shù)） player_decay 球員速度衰減 inertia_moment 5 球員速度大小對(duì)轉(zhuǎn)身角度的影響 player_size 球員身體大小（半徑）（常數(shù)） dash_power_rate dash 的力量利用率 stamina_inc_max 45 每周體力增加最大值 kickable_margin 可踢球范圍（不含球員、足球的半徑） kick_rand kick 的隨機(jī)量 kick_power_rate kick 的力量利用率 extra_stamina 50 額外體力值 effort_max 1 體力利用率最大值 effort_min 體力利用率最小值 foul_detect_probability 球員強(qiáng)制鏟球被判犯規(guī)概率 catchable_area_l_stretch 1 守門員 catch 范圍 以上為異構(gòu)球員各個(gè)異構(gòu)的參考值，也就是說，這些以后參數(shù)的具體設(shè)置不會(huì)與這些值相差太大，其中參數(shù) player_speed_max=、 player_size= 為常數(shù)。此表來自對(duì)于仿真平臺(tái)源代碼的分析，隨機(jī)參數(shù)服從均勻分布。除去 player_speed_max 和 player_size 這兩個(gè)暫時(shí)被仿真平臺(tái)固定的參數(shù)外，選擇異構(gòu)智能體的任務(wù)就是評(píng)價(jià)剩下的 12 個(gè)參數(shù)并進(jìn)行分配（目前有的參數(shù)對(duì)于比賽影響甚微的暫時(shí)沒有被考慮）。 異構(gòu)智能體的能力通過其參數(shù)體現(xiàn)，因此，需要總結(jié) 12 個(gè)參數(shù)得出每種異構(gòu)類型的特性。在整體策略的指導(dǎo)下為不同的角色選擇不同的異構(gòu)類型，稱為異構(gòu)智能體的選擇。本節(jié)首先將異構(gòu)參數(shù)滁州學(xué)院本科畢業(yè)設(shè)計(jì) 18 提煉出三個(gè)指標(biāo)：奔跑啟動(dòng)時(shí)間、全速 時(shí)的體力消耗量、踢球能力；為了能夠?qū)@三個(gè)指標(biāo)進(jìn)行綜合評(píng)價(jià)，進(jìn)行了指標(biāo)歸一化操作；最后給出了分配算法。 球隊(duì)整體策略是 433 陣型，強(qiáng)調(diào)前鋒的快速推進(jìn)，抓住破門良機(jī)，精準(zhǔn)射門而贏球。因此，考慮了奔跑啟動(dòng)時(shí)間、全速時(shí)的體力消耗量、踢球能力這三個(gè)指標(biāo)。 ●奔跑啟動(dòng)時(shí)間 player_start_cyc 奔跑啟動(dòng)時(shí)間是球員達(dá)到最大速度需要的周期數(shù)，表征了球員的速度能力， player_start_cyc 越小，表示奔跑能力越好。異構(gòu)智能體的參數(shù)表中表明球員的最大速度 player_speed_max 是固 定數(shù)值為 ，實(shí)際上，并不是所有異構(gòu)類型都能達(dá)到 ， player_speed_max 只是一個(gè)速度的上限。而且，能夠達(dá)到速度最大值的異構(gòu)智能體還有啟動(dòng)速度的差別。球員的奔跑效果取決于每個(gè)周期能獲得的最大加速度和本身的速度固有衰減。 最大加速度是指球員全力奔跑時(shí)能夠達(dá)到的加速度： acc_max=dash_powereffort_maxdash_power_rate （ 41） 結(jié)合球員的運(yùn)動(dòng)模型，推知球員能夠達(dá)到的最大速度為： speed_max_ab=acc_max/（ ） （ 42） speed_max_ab= （ 43） 奔跑啟動(dòng)時(shí)間計(jì)算如下 tmp=（ ） /acc_max （ 44） if tmp player_start_cyc=ceil（ log10（ tmp） /log10（ player_decay）） （ 45） else （ 46） end if 其中，如果 tmp，表示該異構(gòu)類型能夠達(dá)到 player_speed_max；否則，表示該異構(gòu)類型能達(dá)到的最大速度 speed_max_abplayer_speed_max。因此，為了讓所有異構(gòu)類型的 player_start_cyc可以相互比較，公式 46 做了特別處理，對(duì)最大速度達(dá)不到 的異構(gòu)類型，額外增加了啟動(dòng)周期數(shù)。 ●全速時(shí)的體力消耗量 player_sta_lost 球員的體力決定其在后繼比賽中的表現(xiàn)，充沛的體力可 以保證球員在必要時(shí)以最大速度奔跑。player_sta_lost 是指球員在全速奔跑時(shí)每個(gè)周期消耗的體力值，因此是越小越好，越節(jié)約體力。 每個(gè)周期球員因?yàn)?dash 而消耗體力，也會(huì)自動(dòng)補(bǔ)充體力 stamina_inc_max，結(jié)合球員的體力模型，球員全速時(shí)每個(gè)周期的體力消耗量如下所示： 滁州學(xué)院本科畢業(yè)設(shè)計(jì) 19 （ 47） ●踢球能力 player_kick_abil 踢球能力包含兩個(gè)方面： kickable_margin，即可踢范圍，越大越好； kick_rand，即踢球噪聲，越小越好。這兩個(gè)參數(shù)共同構(gòu)成了踢球能力指標(biāo)，在我們 的實(shí)現(xiàn)中這個(gè)指標(biāo)僅對(duì)前兩個(gè)指標(biāo)起輔助選擇作用。 kickable_margin 和 kick_rand 綜合為踢球能力，以及將在下面要談及的 player_start_cyc和 player_sta_lost 的綜合考慮，兩種綜合方法是相同的，都是先進(jìn)行歸一化處理，然后根據(jù)收益函數(shù)進(jìn)行綜合排序。 指標(biāo)歸一化 經(jīng)過對(duì)參數(shù)的指標(biāo)提煉后，已經(jīng)極大的降低了維數(shù)，接下去要對(duì)這些指標(biāo)進(jìn)行歸一化處理，然后根據(jù)收益函數(shù)綜合考慮。 假設(shè)存在某指標(biāo) m，該指標(biāo)在所有異構(gòu)類型中的最大值是 m_max，最小值是 m_min，且 m 的數(shù)值越 大越符合期望要求（如果 m 是越小越好，可先進(jìn)行逆序調(diào)整，統(tǒng)一為越大越好）。則 m 被歸一化為： （ 48） 對(duì)所有的指標(biāo)