【正文】 selecting actions. Furthermore, using heterogeneous multiagent systems, different agents can have different sensors, goals, behaviors, and learning capabilities, thus allowing us to experiment with a very wide range of (microscopic) traffic models. Dia (2021) used a CMAS based on a study of real drivers to model the drivers’ response to travel information. In a survey taken at a congested corridor, factors influencing the choice of route and departure time were studied. The results were used to model a driver population, where drivers respond to presented travel information differently. Using this population, the effect of different information systems on the area where the survey was taken could be simulated. The research seems promising, though no results were presented. A traffic prediction model that has been applied to a reallife situation, is described in [Wahle and Schreckenberg, 2021]. The model is a multiagent system (MAS) where driving agents occupy a simulated infrastructure similar to a real one. Each agent has two layers of control。因此就需要有關(guān)交通控制的模擬與優(yōu)化算法，來(lái)更好的地適應(yīng)日益增長(zhǎng)的需求。 我們已經(jīng)實(shí)行了一個(gè)交通等模擬器，綠燈區(qū)，這允許我們用不同的基礎(chǔ)設(shè)施和 不同的交通控制器去實(shí)驗(yàn)。 關(guān)鍵字 ： 智能交通燈控制 ，強(qiáng)化學(xué)習(xí)，多代理系統(tǒng)（ MAS），智能基礎(chǔ)設(shè)施，運(yùn)輸研究 1 介紹 運(yùn)輸研究的目的是優(yōu)化人流和物流。 然而，一些交通智能控制使用受限問題的存在。[萊文森， 2021]。在我們的研究中，我們專注于那些具有個(gè)體車輛行為的微觀模型，從而更好的模擬群體車輛的動(dòng)力學(xué)。 汽車在城市交通中經(jīng)歷了漫長(zhǎng)的運(yùn)行時(shí)間，要?dú)w因于低效的交通燈控制。 優(yōu)化的交通燈切換 增加了道路的容量和人流，能阻止交通堵塞 。在本文中，我們描述了一種對(duì)交通燈控制，基于模型的、多代理的強(qiáng)化學(xué)習(xí)算法。 這個(gè)決定是基于道路使用者站了一個(gè)交叉路口 的 累積投票 ， 在那里每輛汽車使用其估計(jì)選票的優(yōu)勢(shì) (或 增益 )設(shè)置 它的光的 綠色。 汽車直到到達(dá)目的地后 的等待時(shí)間 ， 是通過 監(jiān)測(cè)汽車流過基礎(chǔ)設(shè)施和 應(yīng)用 強(qiáng)化學(xué)習(xí) (RL)算法 而估算出來(lái)的 。第二部分描述了交通是如何被建立、預(yù)測(cè)和控制的。第四部分調(diào)查了幾個(gè)以前交通控制的 方法，介紹了我們的新算法。在第七部分我們得出結(jié)論。在這個(gè)區(qū)域增加了大量的土地，并且一些政府和商業(yè)公司在交通智能系統(tǒng)（ ITS）方面獲得了利 潤(rùn)。 交通智能系統(tǒng)（ ITS） 研究包 括 車內(nèi)安全系統(tǒng) ， 基礎(chǔ)設(shè)施改變所引起的仿真效果 ，路途規(guī)劃， 優(yōu)化運(yùn)輸和 智能的基礎(chǔ)設(shè)施 。這種改進(jìn)有益健康 、 經(jīng)濟(jì)、環(huán)境 ， 這表現(xiàn)在交通智能系統(tǒng)的 分配預(yù)算 方面 。一種常見的分析交通的工具就是交通仿真器。 然后 我們將描述 模型是如何用來(lái)獲取實(shí)時(shí)交通信息或者預(yù)測(cè)交通情況的 。最后 ,我們描述 了所有的汽車都使用計(jì)算機(jī)進(jìn)行控制的研究 。建立車流模型的不同方法是用來(lái)解釋交通的特殊現(xiàn)象的，就像自發(fā)形成的交通堵塞狀況。 宏觀模型 宏觀交通模型是基于 gaskiic模型的，利用了關(guān)于交通密度和速度的 方程式 [Lighthill and Whitham， 1955， Helbing et al.， 2021]。 [Helbing et al.， 2021， Jin and Zhang, 2021， Broucke and Varaiya， 1996]。 微觀 模型 與宏觀 模型相對(duì)比的，微觀交通模型提供了一種仿真各種各樣司機(jī)行為的方法。每輛車都根據(jù)自己的規(guī)則，和周圍的環(huán)境產(chǎn)生作用。 元胞自動(dòng) 機(jī) 。 元胞自動(dòng)機(jī)運(yùn)用離散的部分連接細(xì)胞，那些細(xì)胞就能處于一種特殊的狀態(tài)下。 當(dāng)?shù)氐霓D(zhuǎn)換規(guī)則決定了系統(tǒng)的動(dòng)力學(xué)，甚至簡(jiǎn)單的規(guī)則可以導(dǎo)致混沌動(dòng)力學(xué)。 在每個(gè)離散的時(shí)間 步長(zhǎng)內(nèi)，車輛在一定 數(shù)值上 增加自身的速度，直到他們的最大速度。一些無(wú)規(guī)則性是通過增加每輛車的小幾率減速而被介紹的。 認(rèn)知的多代理系統(tǒng) 。一個(gè) 認(rèn)知代理是一個(gè)整體，這個(gè)整體利用最小的努力，試著去達(dá)成一些目標(biāo)狀態(tài)。因?yàn)槊總€(gè)代理都是一個(gè)單獨(dú)的整體，他可以優(yōu)化他的選擇行為（例如使用學(xué)習(xí)能力）。 Dia（ 2021）使用了一個(gè)基于真正司機(jī)模型的、認(rèn)知多代理系統(tǒng)的運(yùn)行信息回應(yīng)。 這個(gè)結(jié)果以前被用于建立一個(gè)司機(jī)數(shù)量模型， 司機(jī)對(duì)現(xiàn)有的運(yùn)行信息回應(yīng)不同。盡管目前沒有結(jié)論，但是這樣的研究似乎是有 希望 的。例如，如果我們?cè)诂F(xiàn)有的條件下，能夠知道哪些道路將會(huì)在未來(lái)堵塞，這些信息能夠傳輸給道路使用者，那么他們就能規(guī)避這條道路，從而緩解整個(gè)系統(tǒng)的擁堵現(xiàn)象。 在一個(gè)交叉路口，最簡(jiǎn)單形式的交通預(yù)測(cè)就是通過在某段時(shí)間內(nèi)測(cè)量交通，或者假設(shè)下一時(shí)段的交通和現(xiàn)在相同 [Ledoux， 1996]，一個(gè)交通燈下，神經(jīng)網(wǎng)絡(luò)被用于表示對(duì)一列排隊(duì)的長(zhǎng)期預(yù)測(cè)。當(dāng)預(yù)測(cè)以十個(gè)步長(zhǎng)進(jìn)行時(shí)，生成的網(wǎng)絡(luò)將十分精確，但是它還沒有被納入到控制器里。該模型是一種占用一個(gè)仿真基礎(chǔ)設(shè)施的多代理系統(tǒng) （ MAS） 。 利用已經(jīng)安裝好的探測(cè)裝置，真實(shí)世界的情況就能被建立成模型。 利用這些信息，在每個(gè)交叉路口轉(zhuǎn)彎的車輛數(shù)量能夠被推斷。一個(gè)被安裝在杜伊斯堡的系統(tǒng)，使用存在的交通控制中心的信息，在互聯(lián)網(wǎng)上產(chǎn)生實(shí)時(shí)信息。 指導(dǎo)教師評(píng)語(yǔ)： 指導(dǎo)教師簽字： 年 月 日