【正文】 Rescue, Load,Unload Fire Brigade Sense,Hear,Say,Tell,Move,Extinguish Police Force Sense,Hear,Say,Tell,Move,Clear Ambulance Center Sense,Hear,Say,Tell,Speak Fire Station Sense,Hear,Say,Tell,Speak Police Office Sense,Hear,Say,Tell,Speak Ambulance Team 行為代碼示例： 機器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第二章 救援仿真系統(tǒng)簡介 13 客戶端 Agent 總體框架 客戶端 Agent 代碼組織框架釆用分層的框架模型，包括三層：底層、技術層和策略層，如圖 24 所示。底層與服務器端交互緊密，主要是與內(nèi)核進行通信，包括原子命令的發(fā)送、視覺和聽覺信息的接收和綜合分析世界模型；技術層中封裝了開發(fā)隊伍的一些先進算法，包括火災蔓延的預測、市民生命值的預測、路徑規(guī)劃和市民探索等主要技術，為高層的策略層提供技術支持；最上層為策略層，是開發(fā)隊伍進行策略邏輯組合的一層，例如，分區(qū)的消防策略、基于拍賣的多Agent協(xié)作方法和基于粒子濾波的紅外目標跟蹤方法等策略邏輯策略的好壞直接影響開發(fā) Agent 性能的優(yōu)劣。在這三層結(jié)構中，技術層和策略層是需要比賽隊伍重點研究和開發(fā)的，在這過程中能夠研究出很多先進的算法和優(yōu)良的策略，這兩層也是 Agent 體系結(jié)構中的核心部分?？蛻舳?Agent 內(nèi)部維護著七大模塊：感知模塊、狀態(tài)模塊、推理模塊、決策模塊、合作協(xié)議模塊、通信模塊和執(zhí)行模塊。正是這七大模塊的存在，才使得 Agent 的行為模擬機制得以建立，能夠完成視覺、聽覺、推理、說話、行走、執(zhí)行任務和相互合作等類人行為。 圖 24 Agent 框架結(jié)構 機器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第二章 救援仿真系統(tǒng)簡介 14 客戶端 Agent 的通信模型 客戶端 Agent 具有一定的通訊能力 ，能夠加強 Agent 之間任務的合作，使得救援任務能夠快速有效地完成。 Agent 彼此之間的信息交互主要是靠語音通信進行的，仿真系統(tǒng)是不允許通過內(nèi)存的方式來實現(xiàn)信息的共享，語音通信包括有中心通信和無中心通信兩種情況下的通信方式。 Agent 的通信模型如圖 25 所示。 在有中心 Agent 的情況下可以進行有中心通信?？梢苿?Agent 能夠與中心Agent 通信，并且三類中心 Agent 彼此也可以進行信息共享。從 2020 年開始，仿真系統(tǒng)用信道進行通信，共計有 10 條信道，其中 9 條用于無線電通信，另外1 條用于普通 聲音通信。由于每條信道的通信容量大小有限，因此每個 Agent 的通信能力受到限制。同時需要一提的是，每條信道都有丟包的可能性，內(nèi)核將不予處理。 中心 Agent 就好像一根“天線”一樣，能夠收集轄下的移動 Agent 動態(tài)信息并且能夠向他們進行廣播中心消息。每個 Agent 在發(fā)送信息時需要指定信道。在有中心通信的情況下，移動 Agent 擁有兩種通訊方式：使用無線電通信 (Tell)可以實現(xiàn)全局范圍的通信和使用說話方式 (Say)進行局部有效范圍為 30 米的語言交流。在某些地圖上會出現(xiàn)缺乏某類中心 Agent 的情況，該類中心 Agent 下屬的移動 Agent 的通信帶寬將受到限制，此時可利用其它中心 Agent 來收集該類移動Agent 的通信信息，因為中心 Agent 的通信帶寬是移動 Agent 的兩倍，所以中心Agent 有足夠的信道容量允許多類 Agent 的同時通信。 圖 25 Agent 通信模型 當服務器端加載的某張地圖中沒有中心 Agent只有移動 Agent時，移動 Agent只能通過說話方式 (Say)進行局部有效范圍為 30 米的語言交流來實現(xiàn)信息的共享。此時， Agent 接收到其他移動 Agent 的語音信息后更新自身災難現(xiàn)場的世界模 型，機器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第二章 救援仿真系統(tǒng)簡介 15 并且將 些重要的空間狀態(tài)變化如有新的著火建筑、某建筑物已被撲滅、道路上的路障被清理完畢、發(fā)現(xiàn)有市民被障礙物掩埋等再通過說話的方式來告知該Agent 周圍的 Agent。 在無中心通信的情況下，為了能夠盡可能拿到最新最準確的災難世界模型(相當于每個 Agent 手上的地圖 )，除了說話告知的方式外， Agent 還可以釆取巡查的方式通過獲取更多的可靠的視覺信息來更新自身的災難世界模型。 客戶端 Agent 的感知模型 所謂移動 Agent 的感知 (Sense)是指像人類一樣能夠獲取到當前所在位置周圍的環(huán)境變化，這就 包括視覺和聽覺量。移動 Agent 是通過自身的感知模塊來進行決策的，可以感知仿真系統(tǒng)災難環(huán)境中建筑的變化、道路路況的變化、市民的健康狀況以及其他 Agent 的行動包括呼叫和說話等。移動 Agent 用視覺采集來的信息是絕對可靠的，而用聽覺采集來的信息不一。 圖 26 Agent 的感知模型 定可靠，因為聽覺信息中有內(nèi)核添加的噪音并且聽到的消息也有可能是其他Agent 轉(zhuǎn)發(fā)的錯誤消息。移動 Agent 的感知是有范圍的，視覺范圍為半徑 10 米以內(nèi)的實體對象，聽覺范圍為半徑 30 米以內(nèi)的任何聲音。移動 Agent 的感知模型如圖 26 所示。 事實上，對于移動 Agent 的聽覺來說是由內(nèi)核把該 Agent 所在位置 30 米以內(nèi)的所以的聲音加上噪音發(fā)給 Agent 的，而對于視覺來說移動 Agent 并非真正拿到其所在位置 10 米以內(nèi)的所有物體。內(nèi)核對移動 Agent 視覺信息的處理是這樣機器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第二章 救援仿真系統(tǒng)簡介 16 的：以該 Agent 所在坐標為中心做射線，從這些射 線上截取 10 米的線段，線段與某物體相交的距離最短則為看見的物體，若該線段上沒有與任何物體相交則視為該方向上無物體存在于視野。 客戶端 Agent 的行動模型 移動 Agent 的行動是經(jīng)過幾個模塊層層執(zhí)行的，主要有這幾個模塊：感知模塊、世界模型模塊、行為決策模塊、路徑探索模塊和動作執(zhí)行模塊。移動 Agent 的決策模型如圖 27 所示。 移動 Agent 通過自身感知周圍的環(huán)境情況與外界信息進行交互，同時還可以通過其他 Agent 發(fā)來的感知信息來實現(xiàn)信息的共享。 移動 Agent 的世界模 型模塊相當于手中的“地圖”，對感知模塊釆集來的信息在原有的世界模型的基礎上進行分析和融合，維護一個最新的世界模型。 行為決策模塊內(nèi)部維護的是開發(fā)隊伍的決策系統(tǒng)，根據(jù)當前世界模型模塊提供的最新災難模型做出行為決策。決策的結(jié)果將決定 Agent 的任務目標。決策系統(tǒng)的做出的決策需要技術層提供的算法技術支撐，因此技術層提供的算法技術好壞直接影響到?jīng)Q策層決策的好壞。 路徑搜索模塊為 Agent 尋找目標提供最優(yōu)路徑方案，該模塊內(nèi)部維護技術層的路徑搜索等算法技術。該模塊提供的路徑搜索技術直 接影響到整體的救援效率。 動作執(zhí)行模塊根據(jù)路徑搜索模塊提供的最優(yōu)路徑方案加上行為決策模塊提供的任務策略執(zhí)行相應的動作行為，控制 Agent 的未來發(fā)展。 機器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第二章 救援仿真系統(tǒng)簡介 17 圖 27 Agent 的決策模型 本章小結(jié) 本章首先對救援仿真系統(tǒng)做了概況性的介紹，然后對仿真系統(tǒng)的服務器端和客戶端進行了詳細地介紹。介紹了服務器端的模塊組成、各模塊間的連接與工作原理以及介紹了客戶端 Agent 的組成、總體框架、通信模型、感知模型和行動模型。還介紹了比賽平臺的評分標準。 機器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第三章 策略制定與協(xié)作研究 18 第三章策略制定和協(xié)作研究 警察 Agent 協(xié)作策略 多 Agent 環(huán)境下，需要處理好系統(tǒng)中 Agent 間的任務合作問題。其中，在仿真前期警察 Agent 的清障任務最為關鍵，主要表現(xiàn)為對一些關鍵任務的處理上，比如說某些路障塊掩埋了其他 Agent、路障塊阻礙市民前往避難所、路障塊阻礙消防隊員前往避難所取水、路障塊阻礙消防隊員前往火災區(qū)、路障塊阻礙救護隊員前去救護受傷的市民等，因此 其自身的任務合作處理顯得極其重要。在多 Agent系統(tǒng)中，任務是通過各個 Agent 間協(xié)同工作來完成的。協(xié)作的成功與否，任務完成的質(zhì)量好壞，在很大程度上取決于子任務分配時 Agent 之間所進行的協(xié)商。在Agent 相互協(xié)作問題上，目前流行研究采用 Bam 的模糊控制、 MRL 的線性加權模型以及共享規(guī)劃模型等評價模型或控制方法來完成所有 Agent 間的協(xié)作。本章提出一種基于任務優(yōu)先級的任務合作機制，通過該機制能夠使重要任務得到優(yōu)先完成，提高整體救援效率。 警察 Agent 的清障任務 在救援仿真中，由子仿真器模擬出地 震建筑倒塌等產(chǎn)生的道路上的障礙塊區(qū)，是警察 Agent 的任務目標，而警察 Agent 間屬于同構 Agent，因此每個警察 Agent獨立完成清障任務的能力相同。一個障礙物塊區(qū)是由多個路障體組成的，這就需要一個或多個警察 Agent 才能把它清除，如圖 31 所示。清障的總?cè)蝿諡槿康穆氛蠅K區(qū)集合，而在考慮救援效率的情況下，通常選取價值最高的路障塊區(qū)作為清理目標。因此警察 Agent 的清障任務完成對整體救援影響問題可描述為：有 n 圖 31 多警察 Agent 合作清理路障塊示意圖 個清障任務需要分配給 m 個警察 Agent 完成 (通常 n 的值要遠遠大于 m)，要從 n機器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第三章 策略制定與協(xié)作研究 19 個任務中實時地找出最重要的任務優(yōu)先完成，該任務可以分配給一個或多個警察Agent 合作處理，從而達到協(xié)作其他異構 Agent 任務的順利完成，提高整體救援效率的目的。 清障任務的優(yōu)先級設置 如何選擇最重要的清障目標 (阻塞塊區(qū) )取決于 Agent、建筑物和避難所這 3個因素： (1)消防 Agent、救護 Agent 和市民。若其被路障塊區(qū)阻塞不能移動時，消防和 Agent 則無法執(zhí)行任務，市民則無法得到救助和走向避難所。 (2)建筑物。主要是著火建筑和有被埋 Agent 建筑。消防 Agent 前往著火建筑滅火和救護 Agent 前往有被埋 Agent 建筑進行救護，此時需要保證通往這些建筑的道路暢通。 (3)避難所。消防 Agent 到避難所取水，救護 Agent 運送受傷市民到避難所以及受傷的 Agent 到避難所休息治療等需要保證道路的暢通。基于以上 3 個因素的阻塞對災害救援的全局影響，計算清障任務的優(yōu)先級采用如下公式： V=a+b+c 公式 () V 是 3 個優(yōu)先級數(shù)值的線性加和。其中， a 的數(shù)值代表由于障礙物掩埋消防、救護 Agent 和市民等 Agent 無法行動所導致的該清障任務急需完成的緊急程度；b 的數(shù)值代表由于障礙物阻塞著 Agent 通往著火建筑和有被埋 Agent 建筑所導致的該清障任務急需完成的緊急程度； c 的數(shù)值代表由于障礙物阻塞著 Agent 通往避難所所導致的該清障任務急需完成的緊急程度。 a、 b 和 c 三個優(yōu)先級數(shù)值的設置需要通過比賽經(jīng)驗加以確定，通常，這 3 個數(shù)值關系滿足： ab0。對于以上 3 個因素的阻塞所設定的優(yōu)先級數(shù)值可以形成 8 種優(yōu)先級別： (1)優(yōu)先級別 8，即 V=a+b+c：該優(yōu)先級別代表著該任務最為緊急，阻塞塊區(qū)即掩埋 Agent 又阻塞其他 Agent 前往著火建筑、有被埋 Agent 建筑和避難所等多個目標。 (2)優(yōu)先級別 7，即 V=a+b：阻塞塊區(qū)即掩埋 Agent 又阻塞其他 Agent 前往著火建筑和有被埋 Agent 建筑和避難所。 (3)優(yōu)先級別 6，即 V=a+0：阻塞塊區(qū)即掩埋 Agent 又阻塞其他 Agent 前往避難所。 (4)優(yōu)先級別 5，即 V=b+c：阻塞塊區(qū)阻塞其他 Agent 前往著火、有被埋 Agent的建筑和避難所。 (5)優(yōu)先級別 4，即 V=a：阻塞塊區(qū)只掩埋 Agent 使其無法行動。 (6)優(yōu)先級別 3，即 V=b：阻塞塊區(qū)只阻塞 Agent 前往著火建筑和有被埋 Agent機器人救援仿真系統(tǒng)中策略制定和協(xié)作研究 第三章 策略制定與協(xié)作研究 20 建筑。 (7)優(yōu)先級別 2，即 V=c：阻塞塊區(qū)只阻塞 Agent 前往避難所。 (8)優(yōu)先級別 1，即 V=0：阻塞塊區(qū)處于閑空區(qū)，非重要路段。 由于阻塞塊的大小不同，可以根據(jù)阻塞塊包含的路障多少分配每個優(yōu)先級別的清障任務所需要的警察 Agent 數(shù)量的最大值。 多警察 Agent 的合作方法 在沒有警察中心的情況下，警察 Agent 之間的通信只能通過說話實現(xiàn) 30m范圍內(nèi)短距離的通信，任何一個警察 Agent 很難通過通信實現(xiàn)全局地圖信息的融合 ，因而不適合采取集中式的任務分配，故可采用分布式分配。在警察