【導(dǎo)讀】專業(yè)班級(jí)：測(cè)控技術(shù)與儀器0703班

　　

【正文】 信號(hào)燈現(xiàn)在是紅色的或者綠色的，那么增益的值是不同的。 汽車直到到達(dá)目的地后 的等待時(shí)間 ， 是通過(guò) 監(jiān)測(cè)汽車流過(guò)基礎(chǔ)設(shè)施和 應(yīng)用 強(qiáng)化學(xué)習(xí) (RL)算法 而估算出來(lái)的 。 本文寫作安排如下。第二部分描述了交通是如何被建立、預(yù)測(cè)和控制的。在第三部分解釋了什么是強(qiáng)化學(xué)習(xí)和一些它的應(yīng)用。第四部分調(diào)查了幾個(gè)以前交通控制的 方法，介紹了我們的新算法。第五部分描述了我們實(shí)驗(yàn)中所使用的仿真器，以及第六部分給出我們的實(shí)驗(yàn)和實(shí)驗(yàn)結(jié)果。在第七部分我們得出結(jié)論。 2 建立和控制交通 在這一部分，我們專注于在交通運(yùn)輸方面所使用的信息技術(shù)。在這個(gè)區(qū)域增加了大量的土地，并且一些政府和商業(yè)公司在交通智能系統(tǒng)（ ITS）方面獲得了利 潤(rùn)。 [TenT expert group on ITS， 2021， 白皮書 ， 2021， EPA98， 1998]。 交通智能系統(tǒng)（ ITS） 研究包 括 車內(nèi)安全系統(tǒng) ， 基礎(chǔ)設(shè)施改變所引起的仿真效果 ，路途規(guī)劃， 優(yōu)化運(yùn)輸和 智能的基礎(chǔ)設(shè)施 。其主要目標(biāo)是 ： 提高安全 性、 減少 運(yùn)行時(shí)間、增加基礎(chǔ)設(shè)施的能力 。這種改進(jìn)有益健康 、 經(jīng)濟(jì)、環(huán)境 ， 這表現(xiàn)在交通智能系統(tǒng)的 分配預(yù)算 方面 。 在本文中 ,我們主要 對(duì)車流的優(yōu)化感興趣 ,從而有效減少平均運(yùn)行 (或者等待 )的車輛次數(shù)。一種常見(jiàn)的分析交通的工具就是交通仿真器。在這部分中 ,我們將首先描述兩種 常用于交通 模型的技術(shù) 。 然后 我們將描述 模型是如何用來(lái)獲取實(shí)時(shí)交通信息或者預(yù)測(cè)交通情況的 。后來(lái) ,我們描述 信息是如何作為一種控制交通的手段來(lái)進(jìn)行溝通的 ,在這樣的交通條件下，溝通產(chǎn)生了什么樣的影響 。最后 ,我們描述 了所有的汽車都使用計(jì)算機(jī)進(jìn)行控制的研究 。 建立交通 與交通動(dòng)力學(xué)僅有的相似之處是，例如，流體力學(xué)和管內(nèi)的沙子 。建立車流模型的不同方法是用來(lái)解釋交通的特殊現(xiàn)象的，就像自發(fā)形成的交通堵塞狀況。有兩種普遍的方法去建立交通：宏觀和微觀模型。 宏觀模型 宏觀交通模型是基于 gaskiic模型的，利用了關(guān)于交通密度和速度的 方程式 [Lighthill and Whitham， 1955， Helbing et al.， 2021]。 這些方程式可以延長(zhǎng)積累和放松壓力 ， 歸因于類似 的 停停走走的交通和 自發(fā)的擁堵 的 現(xiàn)象 。 [Helbing et al.， 2021， Jin and Zhang, 2021， Broucke and Varaiya， 1996]。 盡管宏觀模型可以來(lái)模擬一些特定的可調(diào)驅(qū)動(dòng)行為，但是他們不能提供一個(gè)直接的、靈活的建立和優(yōu)化交通的方法，這使他們不太適合我們的研究。 微觀 模型 與宏觀 模型相對(duì)比的，微觀交通模型提供了一種仿真各種各樣司機(jī)行為的方法。一個(gè)微觀模型由一組車輛占據(jù)的基礎(chǔ)設(shè)施組成。每輛車都根據(jù)自己的規(guī)則，和周圍的環(huán)境產(chǎn)生作用。 根據(jù)這些規(guī)則，當(dāng)很多車輛互相作用時(shí)，不同種類的行為就會(huì)出現(xiàn) 。 元胞自動(dòng) 機(jī) 。一個(gè)在基礎(chǔ)設(shè)施上的具體設(shè)計(jì)和仿真（簡(jiǎn)單的）汽車駕駛規(guī)則，利用了元胞自動(dòng) 機(jī) （ CA） 。 元胞自動(dòng)機(jī)運(yùn)用離散的部分連接細(xì)胞，那些細(xì)胞就能處于一種特殊的狀態(tài)下。例如，一個(gè)道路細(xì)胞可以包含一輛汽車或者也可以是空的。 當(dāng)?shù)氐霓D(zhuǎn)換規(guī)則決定了系統(tǒng)的動(dòng)力學(xué)，甚至簡(jiǎn)單的規(guī)則可以導(dǎo)致混沌動(dòng)力學(xué)。Nagel and Schreckenberg (1992)描述了這種用于交通仿真的元胞自動(dòng)機(jī)模型。 在每個(gè)離散的時(shí)間 步長(zhǎng)內(nèi)，車輛在一定 數(shù)值上 增加自身的速度，直到他們的最大速度。 萬(wàn)一如果車速較慢的車行駛在前面，那么車輛的速度將會(huì)降低，避免沖撞。一些無(wú)規(guī)則性是通過(guò)增加每輛車的小幾率減速而被介紹的。 實(shí)驗(yàn)表明，在單一路段上，當(dāng)交通密度增加時(shí)，元胞自動(dòng)機(jī)模型的現(xiàn)實(shí)行為會(huì)以起始波浪那樣的形式出現(xiàn)。 認(rèn)知的多代理系統(tǒng) 。一個(gè)更先進(jìn)的交通仿真和優(yōu)化方法是認(rèn)知多代理系統(tǒng)方式（ CMAS），這些代理互相作用并且與其他代理和基礎(chǔ)設(shè)施相溝通。一個(gè) 認(rèn)知代理是一個(gè)整體，這個(gè)整體利用最小的努力，試著去達(dá)成一些目標(biāo)狀態(tài)。他利用自己的傳感器接收來(lái)自環(huán)境的信息，對(duì)這些來(lái)自環(huán)境的信息產(chǎn)生信任，利用這些信任，輸入信號(hào)來(lái)選擇一個(gè)行動(dòng)。因?yàn)槊總€(gè)代理都是一個(gè)單獨(dú)的整體，他可以優(yōu)化他的選擇行為（例如使用學(xué)習(xí)能力）。此外，不同的代理有不同的傳感器、目標(biāo)、行為和學(xué)習(xí)能力， 利用異構(gòu)多代理系統(tǒng)， 從而使我們利用一個(gè)非常廣泛的（微觀）交通模型去實(shí)驗(yàn) 。 Dia（ 2021）使用了一個(gè)基于真正司機(jī)模型的、認(rèn)知多代理系統(tǒng)的運(yùn)行信息回應(yīng)。在調(diào)查中，采取了一個(gè)擁擠的走廊，選擇了有影響因素的路線和 起飛時(shí)間來(lái) 研究。 這個(gè)結(jié)果以前被用于建立一個(gè)司機(jī)數(shù)量模型， 司機(jī)對(duì)現(xiàn)有的運(yùn)行信息回應(yīng)不同。利用這一數(shù)量，在研究的區(qū)域內(nèi)，不同信息系統(tǒng)的影響能被仿真出來(lái)。盡管目前沒(méi)有結(jié)論，但是這樣的研究似乎是有 希望 的。 預(yù)測(cè)交通 對(duì)于優(yōu)化控制來(lái)說(shuō)，預(yù)測(cè)交通條件的能力是重要的 。例如，如果我們?cè)诂F(xiàn)有的條件下，能夠知道哪些道路將會(huì)在未來(lái)堵塞，這些信息能夠傳輸給道路使用者，那么他們就能規(guī)避這條道路，從而緩解整個(gè)系統(tǒng)的擁堵現(xiàn)象。 另外，如果我們能準(zhǔn)確的預(yù)測(cè)不同駕駛策略的后果，一個(gè)優(yōu)化決定（或者至少對(duì)這個(gè)區(qū)間路段的優(yōu)化預(yù)測(cè)）就能通過(guò)預(yù) 測(cè)結(jié)果進(jìn)行比較。 在一個(gè)交叉路口，最簡(jiǎn)單形式的交通預(yù)測(cè)就是通過(guò)在某段時(shí)間內(nèi)測(cè)量交通，或者假設(shè)下一時(shí)段的交通和現(xiàn)在相同 [Ledoux， 1996]，一個(gè)交通燈下，神經(jīng)網(wǎng)絡(luò)被用于表示對(duì)一列排隊(duì)的長(zhǎng)期預(yù)測(cè)。一個(gè)多感知層 [Rumelhart et al.， 1986]被訓(xùn)練來(lái)預(yù)測(cè)下一個(gè)時(shí)間 步長(zhǎng)的排隊(duì)長(zhǎng)度，長(zhǎng)期預(yù)測(cè)可以由迭代法一步預(yù)測(cè)制成。當(dāng)預(yù)測(cè)以十個(gè)步長(zhǎng)進(jìn)行時(shí)，生成的網(wǎng)絡(luò)將十分精確，但是它還沒(méi)有被納入到控制器里。 應(yīng)用于真實(shí)生活情況的交通預(yù)測(cè)模型被描述在 [Wahle and Schreckenberg， 2021]。該模型是一種占用一個(gè)仿真基礎(chǔ)設(shè)施的多代理系統(tǒng) （ MAS） 。 每個(gè)代理都有兩層控制：一個(gè)是（簡(jiǎn)單的）駕駛決定，另一個(gè)是類似于路徑選擇的決定戰(zhàn)術(shù)策略。 利用已經(jīng)安裝好的探測(cè)裝置，真實(shí)世界的情況就能被建立成模型。 從這些裝置中，這段路進(jìn)入和離開的車輛數(shù)量的信息能被獲得。 利用這些信息，在每個(gè)交叉路口轉(zhuǎn)彎的車輛數(shù)量能夠被推斷。 通過(guò)舉例說(shuō)明這種信息的速度要快于實(shí)時(shí)模擬系統(tǒng)， 預(yù)測(cè)實(shí)際的交通就能被做到。一個(gè)被安裝在杜伊斯堡的系統(tǒng)，使用存在的交通控制中心的信息，在互聯(lián)網(wǎng)上產(chǎn)生實(shí)時(shí)信息。 另一個(gè)系統(tǒng)被安裝在北 威斯特法倫州 的高速公路上， 它使用了 的感應(yīng)線圈來(lái)預(yù)測(cè) 6000 千米的道路交通。 指導(dǎo)教師評(píng)語(yǔ)： 指導(dǎo)教師簽字： 年 月 日