【正文】 達(dá)目的地后 的等待時(shí)間 ， 是通過(guò) 監(jiān)測(cè)汽車流過(guò)基礎(chǔ)設(shè)施和 應(yīng)用 強(qiáng)化學(xué)習(xí) (RL)算法 而估算出來(lái)的 。在這個(gè)區(qū)域增加了大量的土地，并且一些政府和商業(yè)公司在交通智能系統(tǒng)（ ITS）方面獲得了利 潤(rùn)。 然后 我們將描述 模型是如何用來(lái)獲取實(shí)時(shí)交通信息或者預(yù)測(cè)交通情況的 。 [Helbing et al.， 2021， Jin and Zhang, 2021， Broucke and Varaiya， 1996]。 元胞自動(dòng)機(jī)運(yùn)用離散的部分連接細(xì)胞，那些細(xì)胞就能處于一種特殊的狀態(tài)下。 認(rèn)知的多代理系統(tǒng) 。 這個(gè)結(jié)果以前被用于建立一個(gè)司機(jī)數(shù)量模型， 司機(jī)對(duì)現(xiàn)有的運(yùn)行信息回應(yīng)不同。當(dāng)預(yù)測(cè)以十個(gè)步長(zhǎng)進(jìn)行時(shí)，生成的網(wǎng)絡(luò)將十分精確，但是它還沒(méi)有被納入到控制器里。一個(gè)被安裝在杜伊斯堡的系統(tǒng)，使用存在的交通控制中心的信息，在互聯(lián)網(wǎng)上產(chǎn)生實(shí)時(shí)信息。 利用已經(jīng)安裝好的探測(cè)裝置，真實(shí)世界的情況就能被建立成模型。例如，如果我們?cè)诂F(xiàn)有的條件下，能夠知道哪些道路將會(huì)在未來(lái)堵塞，這些信息能夠傳輸給道路使用者，那么他們就能規(guī)避這條道路，從而緩解整個(gè)系統(tǒng)的擁堵現(xiàn)象。因?yàn)槊總€(gè)代理都是一個(gè)單獨(dú)的整體，他可以優(yōu)化他的選擇行為（例如使用學(xué)習(xí)能力）。 在每個(gè)離散的時(shí)間 步長(zhǎng)內(nèi)，車輛在一定 數(shù)值上 增加自身的速度，直到他們的最大速度。每輛車都根據(jù)自己的規(guī)則，和周圍的環(huán)境產(chǎn)生作用。建立車流模型的不同方法是用來(lái)解釋交通的特殊現(xiàn)象的，就像自發(fā)形成的交通堵塞狀況。這種改進(jìn)有益健康 、 經(jīng)濟(jì)、環(huán)境 ， 這表現(xiàn)在交通智能系統(tǒng)的 分配預(yù)算 方面 。第四部分調(diào)查了幾個(gè)以前交通控制的 方法，介紹了我們的新算法。在本文中，我們描述了一種對(duì)交通燈控制，基于模型的、多代理的強(qiáng)化學(xué)習(xí)算法。[萊文森， 2021]。因此就需要有關(guān)交通控制的模擬與優(yōu)化算法，來(lái)更好的地適應(yīng)日益增長(zhǎng)的需求。 在文中，我們學(xué)習(xí)了在城市中的模擬與優(yōu)化的交通燈控制器，以及目前基于強(qiáng)化學(xué)習(xí)的自適應(yīng)優(yōu)化算法。 這有幾個(gè) 交通仿真 模型。 我們的方法，強(qiáng)化學(xué)習(xí) [Sutton and Barto， 1998， Kaelbling， 1996]和基于道路使用者的價(jià)值功能 [威寧， 2021]被用來(lái)決定每個(gè)交通燈的優(yōu)化選擇。第五部分描述了我們實(shí)驗(yàn)中所使用的仿真器，以及第六部分給出我們的實(shí)驗(yàn)和實(shí)驗(yàn)結(jié)果。 在本文中 ,我們主要 對(duì)車流的優(yōu)化感興趣 ,從而有效減少平均運(yùn)行 (或者等待 )的車輛次數(shù)。有兩種普遍的方法去建立交通：宏觀和微觀模型。 根據(jù)這些規(guī)則，當(dāng)很多車輛互相作用時(shí)，不同種類的行為就會(huì)出現(xiàn) 。 萬(wàn)一如果車速較慢的車行駛在前面，那么車輛的速度將會(huì)降低，避免沖撞。此外，不同的代理有不同的傳感器、目標(biāo)、行為和學(xué)習(xí)能力， 利用異構(gòu)多代理系統(tǒng)， 從而使我們利用一個(gè)非常廣泛的（微觀）交通模型去實(shí)驗(yàn) 。 另外，如果我們能準(zhǔn)確的預(yù)測(cè)不同駕駛策略的后果，一個(gè)優(yōu)化決定（或者至少對(duì)這個(gè)區(qū)間路段的優(yōu)化預(yù)測(cè)）就能通過(guò)預(yù) 測(cè)結(jié)果進(jìn)行比較。 從這些裝置中，這段路進(jìn)入和離開(kāi)的車輛數(shù)量的信息能被獲得。 通過(guò)舉例說(shuō)明這種信息的速度要快于實(shí)時(shí)模擬系統(tǒng)， 預(yù)測(cè)實(shí)際的交通就能被做到。一個(gè)多感知層 [Rumelhart et al.， 1986]被訓(xùn)練來(lái)預(yù)測(cè)下一個(gè)時(shí)間 步長(zhǎng)的排隊(duì)長(zhǎng)度，長(zhǎng)期預(yù)測(cè)可以由迭代法一步預(yù)測(cè)制成。在調(diào)查中，采取了一個(gè)擁擠的走廊，選擇了有影響因素的路線和 起飛時(shí)間來(lái) 研究。 實(shí)驗(yàn)表明，在單一路段上，當(dāng)交通密度增加時(shí)，元胞自動(dòng)機(jī)模型的現(xiàn)實(shí)行為會(huì)以起始波浪那樣的形式出現(xiàn)。一個(gè)在基礎(chǔ)設(shè)施上的具體設(shè)計(jì)和仿真（簡(jiǎn)單的）汽車駕駛規(guī)則，利用了元胞自動(dòng) 機(jī) （ CA） 。 這些方程式可以延長(zhǎng)積累和放松壓力 ， 歸因于類似 的 停停走走的交通和 自發(fā)的擁堵 的 現(xiàn)象 。在這部分中 ,我們將首先描述兩種 常用于交通 模型的技術(shù) 。 2 建立和控制交通 在這一部分，我們專注于在交通運(yùn)輸方面所使用的信息技術(shù)。 在其余路程，它的所有等待時(shí)間里，如果信號(hào)燈現(xiàn)在是紅色的或者綠色的，那么增益的值是不同的。 研究表明， 這種模型的出 現(xiàn)具有現(xiàn)實(shí)意義 [Nagel and Schreckenberg， 1992， Wahle and Schreckenberg， 2021]。實(shí)驗(yàn)結(jié)果表明，在所有基礎(chǔ)設(shè)施的研究領(lǐng)域內(nèi)，我們的自適應(yīng)交通燈控制器優(yōu)于其他固定的控制器。 macroscopic and microscopic models. Macroscopic models. Macroscopic traffic models are based on gaskiic models and use equations relating traffic density to velocity [Lighthill and Whitham, 1955, Helbing et al., 2021]. These equations can be extended with terms for buildup and relaxation of pressure to account for phenomena like stopandgo traffic and spontaneous congestions [Helbing et al., 2021, Jin and Zhang, 2021, Broucke and Varaiya, 1996]. Although macroscopic models can be tuned to simulate certain driver behaviors, they do not offer a direct, flexible, way of modelling and optimizing them, making them less suited for our research. Microscopic models. In contrast to macroscopic models, microscopic traffic models offer a way of simulating various driver behaviors. A microscopic model consists of an infrastructure that is occupied by a set of vehicles. Each vehicle interacts with its environment according to its own rules. Depending on these rules, different kinds of behavior emerge when groups of vehicles interact. Cellular Automata. One specific way of designing and simulating (simple) driving rules of cars on an infras