【正文】 ry wide range of (microscopic) traffic models. Dia (2021) used a CMAS based on a study of real drivers to model the drivers’ response to travel information. In a survey taken at a congested corridor, factors influencing the choice of route and departure time were studied. The results were used to model a driver population, where drivers respond to presented travel information differently. Using this population, the effect of different information systems on the area where the survey was taken could be simulated. The research seems promising, though no results were presented. A traffic prediction model that has been applied to a reallife situation, is described in [Wahle and Schreckenberg, 2021]. The model is a multiagent system (MAS) where driving agents occupy a simulated infrastructure similar to a real one. Each agent has two layers of control。 研究表明， 這種模型的出 現(xiàn)具有現(xiàn)實意義 [Nagel and Schreckenberg， 1992， Wahle and Schreckenberg， 2021]。 2 建立和控制交通 在這一部分，我們專注于在交通運輸方面所使用的信息技術(shù)。 這些方程式可以延長積累和放松壓力 ， 歸因于類似 的 停停走走的交通和 自發(fā)的擁堵 的 現(xiàn)象 。 實驗表明，在單一路段上，當(dāng)交通密度增加時，元胞自動機模型的現(xiàn)實行為會以起始波浪那樣的形式出現(xiàn)。一個多感知層 [Rumelhart et al.， 1986]被訓(xùn)練來預(yù)測下一個時間 步長的排隊長度，長期預(yù)測可以由迭代法一步預(yù)測制成。 從這些裝置中，這段路進入和離開的車輛數(shù)量的信息能被獲得。此外，不同的代理有不同的傳感器、目標(biāo)、行為和學(xué)習(xí)能力， 利用異構(gòu)多代理系統(tǒng)， 從而使我們利用一個非常廣泛的（微觀）交通模型去實驗 。 根據(jù)這些規(guī)則，當(dāng)很多車輛互相作用時，不同種類的行為就會出現(xiàn) 。 在本文中 ,我們主要 對車流的優(yōu)化感興趣 ,從而有效減少平均運行 (或者等待 )的車輛次數(shù)。 我們的方法，強化學(xué)習(xí) [Sutton and Barto， 1998， Kaelbling， 1996]和基于道路使用者的價值功能 [威寧， 2021]被用來決定每個交通燈的優(yōu)化選擇。 在文中，我們學(xué)習(xí)了在城市中的模擬與優(yōu)化的交通燈控制器，以及目前基于強化學(xué)習(xí)的自適應(yīng)優(yōu)化算法。[萊文森， 2021]。第四部分調(diào)查了幾個以前交通控制的 方法，介紹了我們的新算法。建立車流模型的不同方法是用來解釋交通的特殊現(xiàn)象的，就像自發(fā)形成的交通堵塞狀況。 在每個離散的時間 步長內(nèi)，車輛在一定 數(shù)值上 增加自身的速度，直到他們的最大速度。例如，如果我們在現(xiàn)有的條件下，能夠知道哪些道路將會在未來堵塞，這些信息能夠傳輸給道路使用者，那么他們就能規(guī)避這條道路，從而緩解整個系統(tǒng)的擁堵現(xiàn)象。一個被安裝在杜伊斯堡的系統(tǒng)，使用存在的交通控制中心的信息，在互聯(lián)網(wǎng)上產(chǎn)生實時信息。 這個結(jié)果以前被用于建立一個司機數(shù)量模型， 司機對現(xiàn)有的運行信息回應(yīng)不同。 元胞自動機運用離散的部分連接細胞，那些細胞就能處于一種特殊的狀態(tài)下。 然后 我們將描述 模型是如何用來獲取實時交通信息或者預(yù)測交通情況的 。 汽車直到到達目的地后 的等待時間 ， 是通過 監(jiān)測汽車流過基礎(chǔ)設(shè)施和 應(yīng)用 強化學(xué)習(xí) (RL)算法 而估算出來的 。 關(guān)鍵字 ： 智能交通燈控制 ，強化學(xué)習(xí)，多代理系統(tǒng)（ MAS），智能基礎(chǔ)設(shè)施，運輸研究 1 介紹 運輸研究的目的是優(yōu)化人流和物流。隨著道路使用者的數(shù)量不斷上漲，當(dāng)前基礎(chǔ)設(shè)施所提供的資源受到限制，在未來，交通智能控制將會成為一個非常重要的問題。 本文寫作安排如下。后來 ,我們描述 信息是如何作為一種控制交通的手段來進行溝通的 ,在這樣的交通條件下，溝通產(chǎn)生了什么樣的影響 。例如，一個道路細胞可以包含一輛汽車或者也可以是空的。利用這一數(shù)量，在研究的區(qū)域內(nèi)，不同信息系統(tǒng)的影響能被仿真出來。 另一個系統(tǒng)被安裝在北 威斯特法倫州 的高速公路上， 它使用了 的感應(yīng)線圈來預(yù)測 6000 千米的道路交通。 預(yù)測交通 對于優(yōu)化控制來說，預(yù)測交通條件的能力是重要的 。Nagel and Schreckenberg (1992)描述了這種用于交通仿真的元胞自動機模型。 建立交通 與交通動力學(xué)僅有的相似之處是，例如，流體力學(xué)和管內(nèi)的沙子 。在第三部分解釋了什么是強化學(xué)習(xí)和一些它的應(yīng)用。避免交通堵塞，例如，被認為是對環(huán)境和經(jīng)濟有益的，但是增加的交通流也可能導(dǎo)致資源需求的增加。 我們已經(jīng)實行了一個交通等模擬器，綠燈區(qū)，這允許我們用不同的基礎(chǔ)設(shè)施和 不同的交通控制器去實驗。 這個決定是基于道路使用者站了一個交叉路口 的 累積投票 ， 在那里每輛汽車使用其估計選票的優(yōu)勢 (或 增益 )設(shè)置 它的光的 綠色。一種常見的分析交通的工具就是交通仿真器。 元胞自動 機 。 Dia（ 2021）使用了一個基于真正司機模型的、認知多代理系統(tǒng)的運行信息回應(yīng)。 利用這些信息，在每個交叉路口轉(zhuǎn)彎的車輛數(shù)量能夠被推斷。 在一個交叉路口，最簡單形式的交通預(yù)測就是通過在某段時間內(nèi)測量交通，或者假設(shè)下一時段的交通和現(xiàn)在相同 [Ledoux， 1996]，一個交通燈下，神經(jīng)網(wǎng)絡(luò)被用于表示對一列排隊的長期預(yù)測。一些無規(guī)則性是通過增加每輛車的小幾率減速而被介紹的。 宏觀模型 宏觀交通模型是基于 gaskiic模型的，利用了關(guān)于交通密度和速度的 方程式 [Lighthill and Whitham， 1955， Helbing et al.， 2021]。在第七部分我們得出結(jié)論。在我們的研究中，我們專注于那些具有個體車輛行為的微觀模型，從而更好的模擬群體車輛的動力學(xué)。 one for the (simple) driving decision, and one for tactical decisi