【正文】 這個(gè)值是機(jī)器人對(duì)狀態(tài)的本質(zhì)需求，也就是獎(jiǎng)勵(lì)。然后球員的任務(wù)就 是去設(shè)計(jì)一個(gè)策略，使踢球效果達(dá)到最好，也就是說同時(shí)控制球并踢好球。這個(gè)規(guī)則可以使獎(jiǎng)勵(lì)的期望和最大。強(qiáng)化學(xué)習(xí)的機(jī)制如圖 9 所示。解決的辦法是確定背景的信息的接收使得雙方具有共同的信息。解決這個(gè)問題的辦法是讓接收方知道他或她的位置。要解 決這個(gè)問題，需要很多附加的知識(shí)和一個(gè)句子的上下文。用人類語言的人能通過知識(shí)資源來區(qū)分具有不同含義的字和詞組 所要表達(dá)的真正含義。盡管這只是做了很少的節(jié)約，但是大量的節(jié)約加起 來就提高了效率。 首先是利用背景信息。 MAS 的通訊技術(shù) MAS 研究中的通訊技術(shù)同樣是一個(gè)非常重要的問題，它可以決定 智能體 通訊的優(yōu)勢(shì)和缺陷。 作為一種隱性方法，集體目標(biāo)不僅可以用來降低成本，同時(shí)也可以用來嵌入MAS 集體行為并平衡個(gè)體和集體的獲益?，F(xiàn)在 MAS 群體性研 究者已經(jīng)取得了一部分成就。如果可以被恰當(dāng)?shù)亟鉀Q，那將會(huì)給 MAS 帶來很多好處比如：降低協(xié)調(diào)的花費(fèi) ； 加快整個(gè)系統(tǒng)的反應(yīng)速度 ； 確立集體和個(gè)體行動(dòng)的效用關(guān)系 ； 保護(hù)缺乏推理能力的機(jī)器人并給帶有強(qiáng)烈冒險(xiǎn)精神的 智能體 帶來好處。而且這些與 智能體 研究的一些技術(shù)密切相關(guān)。這些技術(shù)是 MAS 的核心技術(shù)。但 AOP和發(fā)展工具或者 AOP 平臺(tái)目的是為了 MAS 研究服務(wù)。人們同樣把由多個(gè) 智能體 組成的可相互交流和互動(dòng)的系統(tǒng)叫做 MAS。這些技術(shù)正是 MAS 的核心技術(shù)。傳感器部分將會(huì)被隨意放置，比如，它可以擁有六個(gè)眼睛，并利用聲納和無線通訊網(wǎng)絡(luò)。 － 機(jī) 器人 智能 。現(xiàn)在兩腿機(jī)器人能夠爬樓梯 。但是只能用幾分鐘。如果機(jī)器人充滿了 鐵 和塑料，人們將會(huì)害怕接觸它。現(xiàn)在機(jī)器人利用輪子 和軌道 來組成形體，而人類球員不會(huì)用這些東西來在球場(chǎng)上踢球。機(jī)器人足球賽不僅是一種具有高科技水平的前沿競(jìng)賽，同樣也提供了真正比賽提供的休閑娛樂及 樂趣 。因此，在國(guó)際人工智能領(lǐng)域，機(jī)器人足球賽被認(rèn)作是一個(gè)在未來 50 年內(nèi)的一個(gè)標(biāo)準(zhǔn)的課題，就像在人和電腦間進(jìn)行的國(guó)際象棋賽一樣。 5 機(jī)器人的相關(guān)問題 ： 機(jī)器人足球比賽的實(shí)現(xiàn)是基于硬件或是模仿 式 機(jī)器人。很難找到一個(gè)學(xué)習(xí)這些行為（也就是集體性行為）的簡(jiǎn)單方法。 Fredrik提出一種學(xué)習(xí)避開守門員 并 射門 的 行為的方法 (Fredrik00)射門和躲避是分別獨(dú)立學(xué)習(xí)得到的，并且這兩種行為在學(xué)習(xí)過程中相互協(xié)作，由于有限的視覺區(qū)域，他們的方法仍然需要承受巨大的狀態(tài)空間，并且存在觀察 及 聯(lián)絡(luò)方面的問題。對(duì)強(qiáng)化學(xué)習(xí)來說機(jī)器人杯是一個(gè)很好 的平臺(tái)，因?yàn)閺?qiáng)化學(xué)習(xí)的優(yōu)勢(shì)大部分取決于機(jī)器人所能達(dá)到的大型和復(fù)雜任務(wù)的程度。作為一種機(jī)器人學(xué)習(xí)方法，強(qiáng)化學(xué)習(xí)最近引起了人們的廣泛注意。因此，粗略利用多傳感器 整 合系統(tǒng)的直接辦法看起來并不適合。我們不建議采取專用的視覺系統(tǒng)，因?yàn)橐曈X系統(tǒng)是一種用特殊方式與周圍世界交互作用的復(fù)雜系統(tǒng)。它 可以用在很多應(yīng)用中。并且它可以用頭來頂球。這種控制技術(shù)應(yīng)能使多重活動(dòng)部件盡可能少。 由于機(jī)器人杯球員應(yīng)當(dāng)能夠快速移動(dòng)因此它必須緊湊些。大體上說有兩種方法去建造機(jī)器人杯機(jī)器人： －分別設(shè)計(jì)每個(gè)部分，每個(gè)部分專門為一個(gè)動(dòng)作而設(shè)計(jì)，然后將它們組裝成一體 。 (1) 設(shè)計(jì)機(jī)器人杯球員和控制指令：現(xiàn)存機(jī)器人球員己經(jīng)被設(shè)計(jì)得能執(zhí)行大部分單一的行為動(dòng)作。 在動(dòng)態(tài)問題空間中的反應(yīng)式協(xié)作計(jì)劃安排已經(jīng)多次在基于追逐模式比賽 (捕獵者－獵物模式 )中提出并評(píng)估。 在通訊耗費(fèi)和全局計(jì)劃的準(zhǔn)確性上有一個(gè)折中 (這被叫做預(yù)期 /執(zhí)行折中 )。 通過對(duì)這些問題的總結(jié)，我們可以認(rèn) 為 機(jī)器人足球是一種基于高動(dòng)態(tài)特性環(huán)境的協(xié)作的分布式的實(shí)時(shí)計(jì)劃方案。這個(gè)環(huán)境可以妨礙全隊(duì)的目標(biāo)實(shí)現(xiàn)。 3 把足球看作是一個(gè)多 智能體 的環(huán)境 ： 從分布式人工智能和多 智能體 研究方面來看，機(jī)器人杯足球賽是一個(gè)特殊的但卻非常吸引人的實(shí)時(shí)多 智能體 環(huán)境。因此，如果想通過編程來實(shí)現(xiàn)更復(fù)雜的策略，就必須 將擴(kuò)大場(chǎng)地的 研究作為 主要的問題。 對(duì)機(jī)器人行為的良好編程 。并且在過去這 導(dǎo)致了嚴(yán)重的干擾問題。 近兩年機(jī)器人結(jié)構(gòu)設(shè)計(jì)方面有了一些新的重點(diǎn)，那就是方向選擇性驅(qū)動(dòng)和帶有允許機(jī)器人控球的帶球棍。 四足機(jī)器人賽 四足機(jī)器人賽中參賽隊(duì)伍必須用競(jìng)賽委員指定的沒有任何硬件改動(dòng)的機(jī) 器人。場(chǎng)外 PC 是用來傳達(dá) 裁判 指令，并在置 頂視覺系統(tǒng)中傳遞位置信息給機(jī)器人， 典型的場(chǎng)外 PC 同樣做好許多協(xié)作和控制的處理工作 即使 它沒有做全部的工作。利用一個(gè)置頂?shù)恼障鄼C(jī)和場(chǎng)外的PC 機(jī)去判定和追蹤在場(chǎng)內(nèi)移動(dòng)的機(jī)器人。一個(gè)小型的機(jī)器人杯比賽在兩組機(jī)器人中進(jìn)行，每組５個(gè)人，每個(gè)機(jī)器人必須限制在一定的尺寸內(nèi)，該尺寸規(guī)定在 F180 條規(guī)定中進(jìn)行了詳細(xì)的說明：機(jī)器人必須能放在直徑為 180mm 的圓圈內(nèi)，并且不高于 15cm，除非利用機(jī)載可視化系統(tǒng)。 (4) ode －可運(yùn)行版本： ； －可從 下載； －描述：用來模擬關(guān)節(jié) 連 接的剛體的動(dòng)態(tài)特性。在完整安裝方式下，你得到一個(gè)附加的庫(kù)(叫做 kerosin)這個(gè)庫(kù)對(duì)顯示對(duì)象具有良好的效果，特別是關(guān)節(jié) 型對(duì)象 (這是 由 一個(gè)以上的幾何體組成的對(duì)象，幾何體之間都是以關(guān)節(jié)連接的 )，這些特性并不是虛擬足球中必須的，在系統(tǒng)默認(rèn)的簡(jiǎn)捷方式安裝中，你得到的一個(gè)不是那么吸引人的 openGL，圖像要改為完全安裝，需要充許“ enablekerosin”標(biāo)簽，直到確認(rèn)殼體腳本。為使比賽能夠順利完成，許多電腦以網(wǎng)絡(luò)聯(lián)接了起來，比賽共持續(xù) 10 分鐘，每個(gè)半場(chǎng) 5 分鐘。并為人類提供一個(gè)二維的比賽視圖，其他 類型 終端可以以相同的方式 與服務(wù)器 聯(lián)系，完成一些功能，如三維視圖，自動(dòng)實(shí)況報(bào)道及統(tǒng)計(jì)分析。足球服務(wù)器模擬 (不完全的 )球員的感知，并每隔 150ms 向各個(gè)終端發(fā)送簡(jiǎn)要的分析（如目標(biāo)，球隊(duì)員和球，方向距離及相對(duì)速度），終端的場(chǎng)地視野 僅 限于整 個(gè) 場(chǎng)地的一部分。 機(jī)器人杯的 2D 模擬賽 機(jī)器人杯 2D 模擬 賽用一個(gè)叫做足球服務(wù)器的模擬器去做足球賽的仿真。機(jī)器人杯的主要目標(biāo)是提出一個(gè)具有挑戰(zhàn)性的研究課題，以便促進(jìn)機(jī)器人學(xué)的發(fā)展。機(jī)器人杯發(fā)起機(jī)器人 的 營(yíng)救項(xiàng)目，是專門為促進(jìn)機(jī)器人在社會(huì)重大問題及事件方面的 應(yīng)用的 研究。機(jī)器人杯的終極目標(biāo)是在 2050 年，開發(fā)出一支 能夠在與人類足球冠軍隊(duì)的比賽中贏得勝利的 具有全自動(dòng) 特性的 類人機(jī)器人 隊(duì)伍 。機(jī)器人杯選取了足球作為研究的中心課題， 目的在于 促進(jìn)創(chuàng)新，以便應(yīng)用于社會(huì)重大問題和工業(yè)生產(chǎn)。 機(jī)器人杯技術(shù)的一個(gè)主要 應(yīng) 用是在大規(guī)模災(zāi)難中 執(zhí)行 尋找和營(yíng)救的任務(wù)。 2 機(jī)器人杯的起源，組織和比賽形式 ： 機(jī)器人杯的概念是 Alan Mackworth 在 1993 年首先提出來的。一年一次的盛事吸引了許多參賽者和觀眾。這個(gè)信道在服務(wù)器中是內(nèi)置的。 足球顯示器 (圖 2)作為又 一個(gè)終端與足球服務(wù)器交換信息。每個(gè)模擬機(jī)器人可以擁有自