【正文】 威脅都是人們難以應(yīng)對的問題。由于現(xiàn)有技術(shù)對地震的預(yù)測以及控制均不可行，因此尋求一種良好的災(zāi)后救援方式成為一項(xiàng)值得研究的問題。 在這種環(huán)境下， RoboeupRescue( 機(jī)器人救援仿真 ) 項(xiàng)目應(yīng)運(yùn)而生。它是國際上的一項(xiàng)為提高人工智能、機(jī)器人技術(shù)相關(guān)領(lǐng)域的教育和研究水平而舉行的大型比賽和學(xué)術(shù)活動，同時也是一個國際性的研究機(jī)構(gòu)和教育組織。RoboCupRescue 項(xiàng)目作為 RoboCup 的一個新的研究領(lǐng)域，它的主要目標(biāo)是建立理性智能的搜救和調(diào)度系統(tǒng)，并在災(zāi)難來臨時，使社會損失盡可能減少到最低。這次地震對神戶這座城市造成了極大的破壞，大量的市民在地震中傷亡，公共設(shè)施被毀壞，直接經(jīng)濟(jì)損失高達(dá) 10 億多美元。由于災(zāi)區(qū)交通阻塞并且沒有充足、準(zhǔn)確的信息，救火隊(duì)，救護(hù)隊(duì)和救援隊(duì)不能及時到達(dá)災(zāi)難現(xiàn)場而無法進(jìn)行救援，進(jìn)一步的加大了地震災(zāi)害的破壞程度。機(jī)器人救援仿真系統(tǒng)正是能夠充分模擬地震等復(fù)雜的災(zāi)難環(huán)境的平臺。還可以模擬消防隊(duì)員、救 護(hù)隊(duì)員、警察這樣的可移動智能體。它致力于得到一種能夠應(yīng)用于實(shí)際救災(zāi)過程中的高效的智能體協(xié)作和規(guī)劃模型。 伊朗作為最早參與到該項(xiàng)目研究的國家，其優(yōu)勢壟斷地位是無法撼動的，來自伊朗的參賽隊(duì)伍獲得了 20 20 20 20 20 20 2020 年度 RoboCup世界杯救援仿真項(xiàng)目冠軍，加上每年度獲得亞軍和季軍的成績，伊朗在該項(xiàng)目的實(shí)力是顯而易見的，比較著名的主要包括以下三只隊(duì)伍： 伊朗沙力 夫理工大學(xué)的 Impossibles 隊(duì) [4](曾用名 Arian)取得了 RoboCup 世界杯救援仿真項(xiàng)目冠軍 2 次、亞軍 2 次、季軍 1 次的輝煌成績。任務(wù)分配采用了拍賣和合作的機(jī)制，路徑規(guī)劃則主要依靠啟發(fā)式強(qiáng)化學(xué)習(xí)，具體采用 BFS、 Dijkstar、 MST 等算法實(shí)現(xiàn)。 伊朗 Amirkabir 科技大學(xué)的 隊(duì) [5]。該隊(duì)最大的特色在于使用了聚類的方法把建筑物群進(jìn)行歸類分區(qū)，根據(jù)建筑物材料、距離屬性劃分其滅火等級，從而達(dá)到對建筑物分區(qū)的目的。 伊朗的 MRL 隊(duì) [6]是伊斯蘭阿扎德大學(xué)管理下的一個獨(dú)立研究實(shí)驗(yàn)室，其主要活動之一就是參加機(jī)器人世界杯競賽并取得了驕人的成績，獲得了 RoboCup世界杯救援仿真項(xiàng)目冠軍 2 次，亞軍 2 次，該隊(duì)采用簡單的線性預(yù)測方法預(yù)測火災(zāi)在不同建筑物之間的蔓延。根據(jù)此優(yōu)先級消防Agent 可以有輕重緩急的撲救不同優(yōu)先級的火災(zāi)。 國內(nèi)研究現(xiàn)狀及分析 隨著 RoboCup 救援仿真項(xiàng)目的不斷發(fā)展，其影響力在國內(nèi)也不斷擴(kuò)大，先后吸引了中南大學(xué)、東南大學(xué)、浙江大學(xué)、大連理工大學(xué)、廣東工業(yè)大學(xué)等隊(duì)伍隊(duì)加入其研究，通過國內(nèi)比賽選拔出來的優(yōu)秀隊(duì)伍同時也在國際賽場大放異彩，先后取得 RoboCup 世界杯 RoboCup 救援仿真項(xiàng)目 20 2020 年度冠軍 、 2020年度亞軍，具備了與國外傳統(tǒng)強(qiáng)隊(duì)對抗的實(shí)力，并為 RoboCup 機(jī)器人世界杯在中國的發(fā)展起到了推動與模范作用。在國內(nèi)比賽表現(xiàn)突出的 ZJUBase 隊(duì)于 2020 年參加了 RoboCup 世界杯救援仿真項(xiàng)目比賽并獲得了冠軍，開創(chuàng)了中國參賽隊(duì)獲得該項(xiàng)目世界冠軍的歷史，同時分別于 20 2020 年取得了 RoboCup 世界杯該項(xiàng)目的季軍、亞軍，并逐步成為活躍在該項(xiàng)目研究領(lǐng)域的新興強(qiáng)隊(duì)?；馂?zāi)的預(yù)測則采用計(jì)算建筑物之間的距離同時考慮附近建筑物的數(shù)量來確定救援的優(yōu)先級，最后利用閉環(huán) PID 策略完成消防滅火任務(wù)。該隊(duì)最突出的地方在于使用了粒子濾波算法來預(yù)測市民的生命值和死亡周期，獲得了最為接近于真實(shí)情景的市民生命值和死亡周期機(jī)器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第一章 緒論 4 參數(shù)，此兩項(xiàng)參數(shù)對于救護(hù)和消防 Agent 的決策起到了非常重要的指導(dǎo)性作用。比賽隊(duì)伍的通信則構(gòu)建了一個自適應(yīng)的通信模型，根據(jù)有無中心 Agent 自適應(yīng)的選用通信方案，完成了優(yōu)先級高的消息優(yōu)先收發(fā)的目的，實(shí)現(xiàn)了各個 Agent 的有效信息最大化共享。該隊(duì)為 RoboCup 救援仿真項(xiàng)目在中國的發(fā)展與推廣 做出了巨大的貢獻(xiàn)，采用基于拍賣算法的多 Agent 任務(wù)分配方案和狀態(tài)預(yù)測方案構(gòu)建了一個基于模糊 Q 函數(shù)的機(jī)器人合作模型，同時建立任務(wù)評價函數(shù)，結(jié)合帶權(quán)與或樹和 AOE網(wǎng)的動態(tài)任務(wù)規(guī)劃，實(shí)現(xiàn)最優(yōu)的任務(wù)分配。 經(jīng)過近一段時間的發(fā)展， RoboCup 救援仿真項(xiàng)目已經(jīng)成為了驗(yàn)證各種先進(jìn)算法和策略的理想平臺，為人工智能、救援等學(xué)科的發(fā)展提供持續(xù)可靠的動力。各個國家新的參賽隊(duì)伍的加入，使這個項(xiàng)目向各個領(lǐng)域的發(fā)展成為可能，其研究成果能夠指導(dǎo)人們在災(zāi)后的救援中實(shí)施安全、有效的救援方案。 因此，本文的主要研究內(nèi)容就是如何制定良好的智能體行為策略與協(xié)作機(jī)制，從而使整個系統(tǒng)的救援效率達(dá)到最高。并通過系統(tǒng)運(yùn)行結(jié)果證明本文所制定策略的正確性與有效機(jī)器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第一章 緒論 5 性。文章的具體安排如下： 第二章從服務(wù)器端和客戶端分別介紹了 RoboCup 救援仿真比賽系統(tǒng)各個部分的結(jié)構(gòu)與功能。 第四章是論文總結(jié)，總結(jié)了本文主要的研究工作以及下一步需要研究解決的問題。它屬于分布式控制的實(shí)時的多 Agent 系統(tǒng)，為模擬救援提供仿真平臺。各個開發(fā)隊(duì)伍通過建立自己的客戶端 Agent 的體系框架，研究救援的先進(jìn)算法，使仿真 Agent 的救援行為更加理性智能。 救援仿真系統(tǒng)簡介 RoboCup 救援仿真系統(tǒng) (RoboCupRescue Simulation System，簡稱 RCRSS)是一個由多個模塊通過網(wǎng)絡(luò)連接起來 而構(gòu)成的實(shí)時分布式的仿真系統(tǒng)，它為機(jī)器人救援仿真比賽提供比賽平臺 [9]，其開發(fā)模式采用典型的 C/S 體系結(jié)構(gòu)由于系統(tǒng)是分布式的仿真系統(tǒng)，因此可以將仿真系統(tǒng)的不同模塊做為一個獨(dú)立的程序運(yùn)行在不同的計(jì)算機(jī)上，從而能夠?qū)⒂?jì)算任務(wù)分散到不同的計(jì)算機(jī)上。整體的仿真系統(tǒng)是由五個模塊組成：子仿真器 (SubSimulators)、地理信息系統(tǒng) (GIS)、監(jiān)視器 (Viewer)、內(nèi)核 (Kernel)和 Agent(Agents)，其中 ，地理信息系統(tǒng) (GIS)、監(jiān)視器 (Viewer)、內(nèi)核 (Kernel)和子仿真器 (SubSimulators)屬于仿真系統(tǒng)的服務(wù)器端， Agent (Agents)屬于仿真系統(tǒng)的客戶端。在救援仿真比賽中，由仿真服務(wù)器負(fù)責(zé)加載運(yùn)行比賽專用地圖，目前比賽專用地圖分為 6 類地圖，根據(jù)不同地圖的置參數(shù)來確定該地圖下的比賽分?jǐn)?shù)和Agent 總數(shù)?？蛻舳说?Agent 分為三大類：警察 Agent、消防 Agent和救護(hù) Agent，正常情況下將每種 Agent 運(yùn)行到一臺計(jì)算機(jī)上，也可將二種以上的 Agent 連接運(yùn)行到一臺計(jì)算機(jī)上，不過這樣對計(jì)算機(jī)的硬件要求較高。 機(jī)器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第二章 救援仿真系統(tǒng)簡介 7 圖 21 救援仿真系統(tǒng)結(jié)構(gòu)圖 救援仿真系統(tǒng)服務(wù)器端詳解 服務(wù)器端的內(nèi)部模塊 服務(wù)器由子仿真器 (SubSimulators)、地理信息系統(tǒng) (GIS)、監(jiān)視器 (Viewer)、內(nèi)核 (Kernel)四個模塊組成。本仿真系統(tǒng)的子仿真器主要由火災(zāi)仿真器、建筑倒塌仿真器、道路阻塞仿真器、交通環(huán)境仿真器和其他仿真器等構(gòu)成。根據(jù)仿真器內(nèi)部的狀態(tài)和從內(nèi)核接收到的信息和命令來計(jì)算世界模型中將要發(fā)生的事情，包括 Agent 的動作，以及他們的動作帶來的效果，機(jī)器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第二章 救援仿真系統(tǒng)簡介 8 然后把結(jié)果返回給內(nèi)核。在仿真開始初期，為系統(tǒng)提供世界模型的最初配置，像房屋、道路、市民和 Agent 的坐標(biāo)值等。 (Viewer) 圖 22 系統(tǒng)監(jiān)視界面 監(jiān)視器負(fù)責(zé)對仿真系統(tǒng)內(nèi)發(fā)生的一切仿真動作進(jìn)行動態(tài)地映射，把仿真系統(tǒng)的世界模型通過一個 2D 圖形界面形式顯示出來。監(jiān)視器界面每一個仿真周期更新一次。監(jiān)視器界面如圖 22 所示，圖中采用的是 Kobe 地圖。圖中，有顏色 的實(shí)心圓代表 Agent：藍(lán)色實(shí)心圓代表警察 Agent，紅色實(shí)行圓代表消防Agent，白色實(shí)心圓代表救護(hù) Agent，綠色實(shí)心圓代表市民；塊狀四邊形代表建機(jī)器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第二章 救援仿真系統(tǒng)簡介 9 筑物：淺藍(lán)色塊狀四邊形代表已經(jīng)被撲滅的建筑物，黃色塊狀四邊形代表剛著火的建筑，紅色塊狀四邊形代表燃燒旺盛的建筑，黑色塊狀四邊形代表已經(jīng)燒過的建筑；縱橫交錯的長方形細(xì)線條代表道路；黑色的十字交叉代表路障；用實(shí)心圓有發(fā)光的光圈代表 Agent 在執(zhí)行任務(wù)，其中紅色實(shí)習(xí)圓與著火建筑之間的連線代表消防員正在滅火。 4．內(nèi)核 (Kernel) 內(nèi)核是整個仿真系統(tǒng)的核心，所有的通信均由內(nèi)核調(diào)度，主要是各類信息的轉(zhuǎn)發(fā)，因此仿真系統(tǒng)內(nèi)的通信屬于異步通信機(jī)制。在仿真系統(tǒng)中，一次完整的仿真實(shí)驗(yàn)是由多個仿真周期組成的，具體的仿真周期要根據(jù)不同的地圖參數(shù)來確定，一般一個仿真周期約為 l000ms，通常略大于 l000ms。 模塊之間的工作原理 救援仿真開始前，各模塊要與內(nèi)核連接進(jìn)行初始化操作，其連接整合步驟下： (1)地理信息系統(tǒng)首先與內(nèi)核進(jìn)行連接，地理信息系統(tǒng)通過讀取地圖 文件配置信息把災(zāi)難現(xiàn)場的初始化數(shù)據(jù)發(fā)送給內(nèi)核； (2)子仿真器和監(jiān)視器分別與內(nèi)核進(jìn)行連接，接收由內(nèi)核發(fā)來的一些系統(tǒng)初始化條件； (3)開發(fā)的救援 Agent 和系統(tǒng)的 Agent (市民 Agent)與內(nèi)核進(jìn)行連接，接收由內(nèi)核發(fā)來的一些系統(tǒng)初始化條件。以上只是完成仿真前的各個模塊連接初始化步驟，在這些初始化動作完成 后仿真才正式開始。下面介紹每個仿真周期中的各個模塊間的通信流程： 機(jī)器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第二章 救援仿真系統(tǒng)簡介 10 (1)內(nèi)核根據(jù)每個 Agent 的位置收集該坐標(biāo)點(diǎn)周圍的感知信息，感知信息包括視覺信息和聽覺信息，視覺信息指該 Agent 所處位置半徑為 10 米以內(nèi)所能看見的空間視覺量，聽覺信息指該 Agent 所處位置半徑為 30 米以內(nèi)所能聽見的任何聲音，通常為了盡可能接近現(xiàn)實(shí)情況，內(nèi)核會給發(fā)送給每個 Agent 相應(yīng)的聽覺信息中加入一定的噪聲 。 (2)各個 Agent 根據(jù)由內(nèi)核發(fā)送來的對應(yīng)位置的感知信息進(jìn)行行為決策并將決策后的原子命令 (供開發(fā)使用的 API，例如移動、清理、救護(hù)和滅火等，能夠被底層識別與執(zhí)行 )發(fā)送給內(nèi)核，若 Agent 由于各種原因沒有發(fā)送原子命令則內(nèi)核視為無動作。需要注意的是，若在 Agent 向內(nèi)核發(fā)送消息的過程中出現(xiàn)丟包的情況，內(nèi)核不予處理，將會轉(zhuǎn)發(fā)接受到的完整信息包。如果內(nèi)核在發(fā)送 Agent 原子命令到各子仿真器的 500ms 內(nèi)沒有收到相應(yīng)的反饋信息的話，仿真狀態(tài)將不會發(fā)生變化，也就是說本仿真周期和上個仿真周期 的仿真結(jié)果相同。同時，內(nèi)核將仿真時鐘增加。 (7)地理信息系統(tǒng)得到監(jiān)視器的請求后，將更新的地理信息發(fā)送給監(jiān)視器。 仿真平臺的評分標(biāo)準(zhǔn) 仿真周期結(jié)束后，仿真的服務(wù)器端會給出每個隊(duì)伍的比賽得分，該分?jǐn)?shù)能夠客觀地評價各個隊(duì)伍開發(fā)的各類 Agent 的優(yōu)劣。其分?jǐn)?shù)隨著仿真周期的增加而遞減，仿真完畢的最后得分就是該隊(duì)伍的比賽分?jǐn)?shù)。由以上分?jǐn)?shù)計(jì)算公式可以看出，存活的市民數(shù)量和未被燒毀的建筑總面積是取得較高分?jǐn)?shù)的兩個關(guān)鍵因素。在仿真中對應(yīng)的比賽分?jǐn)?shù)越高，說明消防 Agent 的滅火性能和救護(hù) Agent 的救援性能越高，同時也反映出警察 Agent 前期清障工作的性能優(yōu)越。從可否移動角度來分，客戶端 Agent 包括兩大類：可移動Agent 和中心 Agent (不能移動只能發(fā)消息 )；從功能角度來分，客戶端 Agent 分為三大類：清理路障的警察 Agent、滅火的消防 Agent 和救護(hù)其他 Agent 的救護(hù)Agent。不同 Agent 所擁有的行為動作能力存在異同：所有 Agent (包括市民 Agent)均具有了解周圍環(huán)境的感知能力 (Sense)、聽見周圍聲音的聽覺能力 (Hear)和通過語言溝通的說話能力 (Say)；除了三個中心 Agent 不具有移動行走能力 (Move)其他均具備該能力；除了市民 Agent 不具有 無線通訊能力 (Tell)，其他 6 種 Agent 均具備該能力；另外，警察 Agent 還具有清理路障的專業(yè)能力 (Clear)，消防 Agent 具有滅火的專業(yè)能力 (Extinguish)，救護(hù) Agent 具有救援 (Rescue)、載上 (Load)、載下 (Unload)的專業(yè)能力。仿真服務(wù)器連接客戶端 Agent 的最大數(shù)量為 70 個。 表 21 各類 agent 的能力 類型 能力 Civilian Sense,Hear,Say,Move Ambulance Team Sense,Hear,Say,Tell,Move,Rescue, Load,Unload Fire Brigade Sense,Hear,Say,Tell,Move,Extinguish Police Force Sense,Hear,Say,Tell,Move,Clear Ambulance Center Sense,Hear,Say,Tell,Speak Fire Station Sense,H