【導(dǎo)讀】專業(yè)班級：測控技術(shù)與儀器0703班

　　

【正文】 信號燈現(xiàn)在是紅色的或者綠色的，那么增益的值是不同的。 汽車直到到達(dá)目的地后 的等待時間 ， 是通過 監(jiān)測汽車流過基礎(chǔ)設(shè)施和 應(yīng)用 強化學(xué)習(xí) (RL)算法 而估算出來的 。 本文寫作安排如下。第二部分描述了交通是如何被建立、預(yù)測和控制的。在第三部分解釋了什么是強化學(xué)習(xí)和一些它的應(yīng)用。第四部分調(diào)查了幾個以前交通控制的 方法，介紹了我們的新算法。第五部分描述了我們實驗中所使用的仿真器，以及第六部分給出我們的實驗和實驗結(jié)果。在第七部分我們得出結(jié)論。 2 建立和控制交通 在這一部分，我們專注于在交通運輸方面所使用的信息技術(shù)。在這個區(qū)域增加了大量的土地，并且一些政府和商業(yè)公司在交通智能系統(tǒng)（ ITS）方面獲得了利 潤。 [TenT expert group on ITS， 2021， 白皮書 ， 2021， EPA98， 1998]。 交通智能系統(tǒng)（ ITS） 研究包 括 車內(nèi)安全系統(tǒng) ， 基礎(chǔ)設(shè)施改變所引起的仿真效果 ，路途規(guī)劃， 優(yōu)化運輸和 智能的基礎(chǔ)設(shè)施 。其主要目標(biāo)是 ： 提高安全 性、 減少 運行時間、增加基礎(chǔ)設(shè)施的能力 。這種改進(jìn)有益健康 、 經(jīng)濟、環(huán)境 ， 這表現(xiàn)在交通智能系統(tǒng)的 分配預(yù)算 方面 。 在本文中 ,我們主要 對車流的優(yōu)化感興趣 ,從而有效減少平均運行 (或者等待 )的車輛次數(shù)。一種常見的分析交通的工具就是交通仿真器。在這部分中 ,我們將首先描述兩種 常用于交通 模型的技術(shù) 。 然后 我們將描述 模型是如何用來獲取實時交通信息或者預(yù)測交通情況的 。后來 ,我們描述 信息是如何作為一種控制交通的手段來進(jìn)行溝通的 ,在這樣的交通條件下，溝通產(chǎn)生了什么樣的影響 。最后 ,我們描述 了所有的汽車都使用計算機進(jìn)行控制的研究 。 建立交通 與交通動力學(xué)僅有的相似之處是，例如，流體力學(xué)和管內(nèi)的沙子 。建立車流模型的不同方法是用來解釋交通的特殊現(xiàn)象的，就像自發(fā)形成的交通堵塞狀況。有兩種普遍的方法去建立交通：宏觀和微觀模型。 宏觀模型 宏觀交通模型是基于 gaskiic模型的，利用了關(guān)于交通密度和速度的 方程式 [Lighthill and Whitham， 1955， Helbing et al.， 2021]。 這些方程式可以延長積累和放松壓力 ， 歸因于類似 的 停停走走的交通和 自發(fā)的擁堵 的 現(xiàn)象 。 [Helbing et al.， 2021， Jin and Zhang, 2021， Broucke and Varaiya， 1996]。 盡管宏觀模型可以來模擬一些特定的可調(diào)驅(qū)動行為，但是他們不能提供一個直接的、靈活的建立和優(yōu)化交通的方法，這使他們不太適合我們的研究。 微觀 模型 與宏觀 模型相對比的，微觀交通模型提供了一種仿真各種各樣司機行為的方法。一個微觀模型由一組車輛占據(jù)的基礎(chǔ)設(shè)施組成。每輛車都根據(jù)自己的規(guī)則，和周圍的環(huán)境產(chǎn)生作用。 根據(jù)這些規(guī)則，當(dāng)很多車輛互相作用時，不同種類的行為就會出現(xiàn) 。 元胞自動 機 。一個在基礎(chǔ)設(shè)施上的具體設(shè)計和仿真（簡單的）汽車駕駛規(guī)則，利用了元胞自動 機 （ CA） 。 元胞自動機運用離散的部分連接細(xì)胞，那些細(xì)胞就能處于一種特殊的狀態(tài)下。例如，一個道路細(xì)胞可以包含一輛汽車或者也可以是空的。 當(dāng)?shù)氐霓D(zhuǎn)換規(guī)則決定了系統(tǒng)的動力學(xué)，甚至簡單的規(guī)則可以導(dǎo)致混沌動力學(xué)。Nagel and Schreckenberg (1992)描述了這種用于交通仿真的元胞自動機模型。 在每個離散的時間 步長內(nèi)，車輛在一定 數(shù)值上 增加自身的速度，直到他們的最大速度。 萬一如果車速較慢的車行駛在前面，那么車輛的速度將會降低，避免沖撞。一些無規(guī)則性是通過增加每輛車的小幾率減速而被介紹的。 實驗表明，在單一路段上，當(dāng)交通密度增加時，元胞自動機模型的現(xiàn)實行為會以起始波浪那樣的形式出現(xiàn)。 認(rèn)知的多代理系統(tǒng) 。一個更先進(jìn)的交通仿真和優(yōu)化方法是認(rèn)知多代理系統(tǒng)方式（ CMAS），這些代理互相作用并且與其他代理和基礎(chǔ)設(shè)施相溝通。一個 認(rèn)知代理是一個整體，這個整體利用最小的努力，試著去達(dá)成一些目標(biāo)狀態(tài)。他利用自己的傳感器接收來自環(huán)境的信息，對這些來自環(huán)境的信息產(chǎn)生信任，利用這些信任，輸入信號來選擇一個行動。因為每個代理都是一個單獨的整體，他可以優(yōu)化他的選擇行為（例如使用學(xué)習(xí)能力）。此外，不同的代理有不同的傳感器、目標(biāo)、行為和學(xué)習(xí)能力， 利用異構(gòu)多代理系統(tǒng)， 從而使我們利用一個非常廣泛的（微觀）交通模型去實驗 。 Dia（ 2021）使用了一個基于真正司機模型的、認(rèn)知多代理系統(tǒng)的運行信息回應(yīng)。在調(diào)查中，采取了一個擁擠的走廊，選擇了有影響因素的路線和 起飛時間來 研究。 這個結(jié)果以前被用于建立一個司機數(shù)量模型， 司機對現(xiàn)有的運行信息回應(yīng)不同。利用這一數(shù)量，在研究的區(qū)域內(nèi)，不同信息系統(tǒng)的影響能被仿真出來。盡管目前沒有結(jié)論，但是這樣的研究似乎是有 希望 的。 預(yù)測交通 對于優(yōu)化控制來說，預(yù)測交通條件的能力是重要的 。例如，如果我們在現(xiàn)有的條件下，能夠知道哪些道路將會在未來堵塞，這些信息能夠傳輸給道路使用者，那么他們就能規(guī)避這條道路，從而緩解整個系統(tǒng)的擁堵現(xiàn)象。 另外，如果我們能準(zhǔn)確的預(yù)測不同駕駛策略的后果，一個優(yōu)化決定（或者至少對這個區(qū)間路段的優(yōu)化預(yù)測）就能通過預(yù) 測結(jié)果進(jìn)行比較。 在一個交叉路口，最簡單形式的交通預(yù)測就是通過在某段時間內(nèi)測量交通，或者假設(shè)下一時段的交通和現(xiàn)在相同 [Ledoux， 1996]，一個交通燈下，神經(jīng)網(wǎng)絡(luò)被用于表示對一列排隊的長期預(yù)測。一個多感知層 [Rumelhart et al.， 1986]被訓(xùn)練來預(yù)測下一個時間 步長的排隊長度，長期預(yù)測可以由迭代法一步預(yù)測制成。當(dāng)預(yù)測以十個步長進(jìn)行時，生成的網(wǎng)絡(luò)將十分精確，但是它還沒有被納入到控制器里。 應(yīng)用于真實生活情況的交通預(yù)測模型被描述在 [Wahle and Schreckenberg， 2021]。該模型是一種占用一個仿真基礎(chǔ)設(shè)施的多代理系統(tǒng) （ MAS） 。 每個代理都有兩層控制：一個是（簡單的）駕駛決定，另一個是類似于路徑選擇的決定戰(zhàn)術(shù)策略。 利用已經(jīng)安裝好的探測裝置，真實世界的情況就能被建立成模型。 從這些裝置中，這段路進(jìn)入和離開的車輛數(shù)量的信息能被獲得。 利用這些信息，在每個交叉路口轉(zhuǎn)彎的車輛數(shù)量能夠被推斷。 通過舉例說明這種信息的速度要快于實時模擬系統(tǒng)， 預(yù)測實際的交通就能被做到。一個被安裝在杜伊斯堡的系統(tǒng)，使用存在的交通控制中心的信息，在互聯(lián)網(wǎng)上產(chǎn)生實時信息。 另一個系統(tǒng)被安裝在北 威斯特法倫州 的高速公路上， 它使用了 的感應(yīng)線圈來預(yù)測 6000 千米的道路交通。 指導(dǎo)教師評語： 指導(dǎo)教師簽字： 年 月 日