【正文】 在環(huán)境為 S，把任意 智能體 可能執(zhí)行的動作叫做 A。強化學(xué)習(xí)可以解決大量沒有優(yōu)先級的動態(tài)程序。 機器人杯 雖然只是 幾個球員的高科技球賽，但它卻向我們 展示了令人費解 的場景，比如機器人撞墻，兩個機器人相互糾纏，并且有些機器人顯得很迷亂，并不關(guān)心球在哪里。 Automation Magazine. Jun. 2021: 3138. [4]Cai Qingsheng, Zhang Bo (2021), An agent team reinforcement learning model and its application. (J). Journal of Computer Research and Development. 2021,37(9): 1087 1093. In China. [5]Cheng Xianyi (2021), Agent Computing. Haerbin(China): Hei Longjiang science and technology press. 2021. [6]Cheng Xianyi et al(2021),.Reinforcement Learning in Simulation RoboCup Soccer. Proceeding of 2021 International Conference on Machine Learning and Cyberics (ICML2021),in China, IEEE Catalog Number:04EX826. pp244248. [7]Fredrik Heintz (2021), RoboSoc a System for Developing RoboCup Agents for Educational Use. Master39。從第一架萊特兄弟的飛機試飛成功到阿波羅號飛船登陸月球，大約僅有半個世紀，同樣從第一臺電腦的誕生到“深藍”電腦打敗人類天才也是半個世紀。在強化學(xué)習(xí)中單個 智能體 的目標是在漫長的學(xué)習(xí)過程中將整個獎勵最大化，而評價功能顯示了在學(xué)習(xí)過程中什么是有用的。 7 機器人的學(xué)習(xí) ： 圖 9 強化學(xué)習(xí)的略圖 機器人杯研究的關(guān)鍵問題是如何通過學(xué)習(xí)來提高 智能體 的智能，也就是提高球員的競爭能力。在這里背景環(huán)境同樣也可以叫做語言的預(yù)定義。但是由于缺少進一步的 MAS 群體性研究，當前的協(xié)作和控制研究仍然存在許多 未 解決的問題，比如： －很難判定各個方法的優(yōu)缺點； －過分注重個體研究等。因此，從某種程度 上說，我們可以說這三個項目對 MAS 研究來說是一體的，這種說法與我們現(xiàn)實環(huán)境相一致，因為大多數(shù)現(xiàn)實系統(tǒng)屬于 MAS。高級球員用他們的大腦來踢球，所以 明星 球員的智力必定很高。所以我們必須把機器人建造得跟人類相似。我們將不會定義某種情況為所有球員及球的準確位置，僅僅是可 能將他們分類為某種模式，或者我們可以考慮模仿式協(xié)作。我們就為機器人杯開發(fā)一種傳感器整合集成的方法。并使能量消耗達到最少。然而追逐賽是一個相對簡單的比賽，這種比賽環(huán)境一般是為了便于單 智能體結(jié)構(gòu)的研究。如果我們把一個足球隊看作多 智能體 的系統(tǒng)，許多有趣味的研究就會浮現(xiàn)出來。 可靠的無線通訊 。機器人在一個鋪有綠地毯的 米長 ，球是一個桔黃色的 高爾夫球。 圖 2 機器人杯 2D 模擬賽 在比賽中并沒有實際的機器人，但觀眾可以通過大屏幕來 觀看比賽。 圖 1 未來的足球?qū)?zhàn) 在下一部分我們將介紹機器人杯的起源，組織及比賽情況。在第三部分我們將討論機器人杯的相關(guān)技術(shù)。這看起來有點像一個巨大的電腦游戲。機器人分為兩種類型，一種是有局部機載視覺傳感器的機器人，一種是具有全局視覺的機器人。這個可能是 SSL 中單個未解決的最困難的問題。 圖 7 類人機器人比賽 在一場比賽中，我們有兩個競爭隊伍，每個隊伍有一個全隊的共有目標，那就是贏得比賽。 我們可以看出，機器人杯足球賽將會為分布式人工智能和多 智能體 研究提 供 一個更強勁，集成度更高的令人激動的先驅(qū)評價環(huán)境。機器人杯 參賽者 的終極目標是建造一種類人機器人，它可用自己的腿 腳來跑和踢，并傳 球。 (3) 學(xué)習(xí)型機器人行為 ： 單個球員必須能夠執(zhí)行幾種動作，其中的每一個動作都都是根據(jù)當前周圍環(huán)境來選定的，考慮到傳感器信息處理和行動執(zhí)行的不確定性，為所有的情況編定機器人行為是不可行的。 另外，與機器人杯相關(guān)的問題比如任務(wù)描述和環(huán)境建模也是一些具有挑戰(zhàn)性的課題。比如具有相同的姿態(tài)，結(jié)構(gòu)和體重。在 1977 年 IBM 的深藍電腦擊敗了卡斯帕羅夫，但是 IBM 只用了 16RISK6000，所以在將來內(nèi)置足球機器人球員的內(nèi)置微型計算機一定會非常優(yōu)秀。 MAS 是機器人杯的基礎(chǔ)技術(shù)，機器人杯是 MAS 系統(tǒng)的一個典型。 協(xié)作法可以被分為如圖８所示的幾種方法。并且預(yù)定義將會對正確發(fā)送信息起到幫助作用 ， 并且使得信息接收方能夠正確的理解接收的通話。在許多學(xué)習(xí)方法中，強化學(xué)習(xí)法有望解決能感知環(huán)境的自律機器人智能體 怎樣選擇進球最佳方案的問題。獎勵決定最直接的對環(huán)境的本質(zhì)需求?，F(xiàn)在我們應(yīng)該明白， 在 50 年后， 我們在“人類和機器之間的比賽”面前 將不會 說不。s thesis, Department of Computer and Information Science, university, March 2021. [8]Hiroaki Y et al (2021), A Distributed Control Scheme for Multiple Robotic Vehicles to Make Group Forma and Autonomous systems,2021, 125 –147. Silvia Coradeschi and Jacek Malec(1999), How to make achallenging AI course enjoyable using the RoboCup soccer simulation system. In RoboCup98:The Second Robot World Cup Soccer Games and Conference, pages 120{124. Springer verlag, 1999. [9]Johan Kummeneje, David , and H_akan L. Younes (1999), UBU – an object oriented RoboCup Team. In Johan Kummeneje and Magnus Boman, editors, Int7 1999 Papers. 1999. [10]Johan Kummeneje (1999), Simulated Robotic Soccer and the Use of Sociology in Real Time Mission