【正文】 據(jù)類型上處理更多種類的查詢?nèi)蝿?wù)。智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測3 交通流數(shù)據(jù)質(zhì)量檢測算法研究 交通流數(shù)據(jù)質(zhì)量檢測理論 交通流數(shù)據(jù)常見問題交通流數(shù)據(jù)常見問題分為數(shù)據(jù)缺失、數(shù)據(jù)失真和數(shù)據(jù)時間點(diǎn)3類問題，針對這些問題,提出了一種交通流數(shù)據(jù)質(zhì)量檢驗(yàn)方法。(1)數(shù)據(jù)缺失由于設(shè)備老化、線路故障等原因，交通流數(shù)據(jù)中偶爾會發(fā)生數(shù)據(jù)點(diǎn)缺失的現(xiàn)象，屬于比較常見的問題。通常是丟失一個時間點(diǎn)的一組數(shù)據(jù)。雖然丟失的數(shù)據(jù)不多，但如果沒有及時發(fā)現(xiàn)此問題，對于間隔固定行數(shù)循環(huán)提取數(shù)據(jù)的交通流分析方法，有著嚴(yán)重的影響。(2)數(shù)據(jù)無效數(shù)據(jù)無效指的是獲得的交通流數(shù)據(jù)有數(shù)據(jù)突變點(diǎn)或不符合交通流三要素相互關(guān)系，主要依據(jù)閾值理論和交通流理論判定數(shù)據(jù)的有效性，由于無效的概念比較模糊，相對不易判別。另一個比較常見的問題是，在車流量比較少的時候， 常測得不符合實(shí)際情況的較高速度，顯然是錯誤數(shù)據(jù)，需要有針對性地予以處理。(3)數(shù)據(jù)時間點(diǎn)問題比如理論上一些交通流數(shù)據(jù)獲取頻率應(yīng)為120s(秒)一次，但實(shí)際上間隔通常小于120s，如1 19s、1 18s等， 而且因?yàn)榫W(wǎng)絡(luò)傳輸問題， 沒有明顯的規(guī)律可循。經(jīng)過時間的積累，會帶來比較大的誤差。如6車道一周的數(shù)據(jù)理論上應(yīng)為6 (車道) 30 (次／每小時)*24(小時) 7 (天)=30240條，而實(shí)際獲得30462條，多了222條，即37組，74分鐘的數(shù)據(jù)。此外， 還發(fā)現(xiàn)交通流數(shù)據(jù)記錄順序有時會改變， 如本來各道路記錄順序?yàn)椋?113， 會突然改變?yōu)椋?111。這對于不識別路段編號，直接間隔固定的行數(shù)、循環(huán)提取數(shù)據(jù)的方法也有很嚴(yán)重的影響。智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測如果各個監(jiān)測點(diǎn)記錄順序的差異較大，沒有統(tǒng)一的順序，就造成了對于不同的檢測點(diǎn)數(shù)據(jù)需使用不同的分析程序代碼，也會給科研人員帶來了不必要的工作量。 交通數(shù)據(jù)故障識別方法在城市道路交通數(shù)據(jù)采集過程中，由于存在各種干擾，使采集到的數(shù)據(jù)信息常出現(xiàn)丟失和偏離真值等情況。因此要進(jìn)行交通流數(shù)據(jù)的質(zhì)量檢測，首先需要對其中的丟失數(shù)據(jù)、不精確數(shù)據(jù)、和錯誤數(shù)據(jù)進(jìn)行判別。（1） 丟失數(shù)據(jù)故障識別無論是固定檢測器，還是移動檢測器都是按照一定的時間間隔來采集數(shù)據(jù)，但是在實(shí)際情況中，檢測器掃描頻率不固定，傳輸線路出現(xiàn)故障，車輛過度密集造成檢測器無法檢測車輛等多種原因都會使采集到的交通數(shù)據(jù)無法嚴(yán)格按照一定的時間間隔上傳，甚至?xí)胁糠謹(jǐn)?shù)據(jù)丟失，給以后的數(shù)據(jù)處理和交通預(yù)測工作帶來不利的影響。本文設(shè)計(jì)了一種丟失數(shù)據(jù)的識別方法，把在一定時間段內(nèi)得到的數(shù)據(jù)定義成某一時段的數(shù)據(jù)，例如，將采集數(shù)據(jù)的時間間隔規(guī)定為5min，則在8:00到8:05這個時間段內(nèi)得到的數(shù)據(jù)均視為8:00的數(shù)據(jù)，然后對數(shù)據(jù)的時間段進(jìn)行掃描，如果在某一時間段內(nèi)沒有得到數(shù)據(jù)，則認(rèn)為該時段的數(shù)據(jù)產(chǎn)生了丟失，按照第一類數(shù)據(jù)故障的修復(fù)方法對其進(jìn)行處理。（2） 失真數(shù)據(jù)故障識別當(dāng)交通檢測器或傳輸線路出現(xiàn)故障時，采集到的數(shù)據(jù)通常都是錯誤的，不能反應(yīng)真實(shí)的交通狀況。錯誤的數(shù)據(jù)通常表現(xiàn)為0，或是數(shù)值超過路段允許的最大流量，將數(shù)值等于0和超過流量允許最大值的數(shù)據(jù)定義為第二類異常數(shù)據(jù)。定義允許的流量最大值為 Q = fCT/60 (31)式中: f為修正系數(shù)。C為道路通行能力(veh/h)。T為檢測時間間隔(min)。由于車輛的計(jì)數(shù)是在一個相當(dāng)短的時間內(nèi)完成的(數(shù)十秒或數(shù)分鐘)，所以測得的隨機(jī)流量值可能會大于道路的通行能力，因此，用道路的通行能力 C與修正系數(shù)f的乘積來確定流量的最大值。智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測（3） 異常數(shù)據(jù)故障識別在正常交通狀態(tài)下，網(wǎng)絡(luò)交通流的變化是一個平穩(wěn)的隨機(jī)過程，流量數(shù)據(jù)的幅值應(yīng)該在某一區(qū)間內(nèi)變化，但是當(dāng)?shù)缆分谐霈F(xiàn)交通事件時，流量數(shù)據(jù)與正常情況下的數(shù)據(jù)之間會出現(xiàn)很大的偏差。本文采用t時段之前n個數(shù)據(jù)的平均值和方差 來識別此類數(shù)據(jù)故障。當(dāng) 時，認(rèn)為數(shù)據(jù)是正常的，否則認(rèn)為此時的交通數(shù)據(jù)為第三類故障數(shù)據(jù)。 數(shù)據(jù)問題的處理方法針對以上問題，我們提出了一種交通流數(shù)據(jù)檢驗(yàn)與修復(fù)方法：為了方便的檢測數(shù)據(jù)點(diǎn)的缺失情況，先把數(shù)據(jù)的時間點(diǎn)標(biāo)準(zhǔn)化， 使所有數(shù)據(jù)具有相同的記錄順序； 然后修復(fù)丟失數(shù)據(jù)和無效數(shù)據(jù)。本檢驗(yàn)程序已使用Matlab 7實(shí)現(xiàn)，總體流程如圖3l所示。圖31 交通流數(shù)據(jù)檢驗(yàn)與修復(fù)方法總體流程1) 數(shù)據(jù)時間點(diǎn)順序標(biāo)準(zhǔn)化。統(tǒng)一記錄順序標(biāo)準(zhǔn)為:由外環(huán)到內(nèi)環(huán),路編號由小到大。標(biāo)準(zhǔn)化后, 不但有利于下一步準(zhǔn)確發(fā)現(xiàn)缺失的數(shù)據(jù),而且也為編寫后期分析程序提供了較大便利。算法的詳細(xì)流程如下:(1)相關(guān)變量初始化。(2)導(dǎo)入交通流數(shù)據(jù)。(3)初始化交通流數(shù)據(jù)車道數(shù)、編號等特征信息。(4)由特征信息確定一個標(biāo)準(zhǔn)車道編號排序,如1113。(5)從第1條數(shù)據(jù)開始,將每2 m in內(nèi)的數(shù)據(jù)分為1組。(6)將每組內(nèi)以道路編號為準(zhǔn)將數(shù)據(jù)順序標(biāo)準(zhǔn)化。(7)如組內(nèi)的數(shù)據(jù)值小于應(yīng)有車道數(shù),將相應(yīng)的數(shù)據(jù)缺失情況記錄到日志文件。智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測(8)依次處理每組數(shù)據(jù),直至結(jié)束。(9)輸出標(biāo)準(zhǔn)化后的數(shù)據(jù)至文件。現(xiàn)以北京市環(huán)路數(shù)據(jù)為例,詳細(xì)介紹本文所提算法的數(shù)據(jù)處理效果。表31所示為未經(jīng)處理的2022203204北京市環(huán)路交通流原數(shù)據(jù)的2組(每2min為1組)數(shù)據(jù),來自二環(huán)路上編號為02023的檢測點(diǎn),地點(diǎn)為左安門橋西800 m處。表31　交通流原數(shù)據(jù)(檢測點(diǎn)02023)由表31可以看出,數(shù)據(jù)庫中的數(shù)據(jù)是按照記錄到來的時間先后排序的,并不是按照道路編號的順序排序。以表31所示數(shù)據(jù)為例,所示數(shù)據(jù)道路順序?yàn)? 1113,而且此順序還可能會因?yàn)榫€路傳輸?shù)葐栴}產(chǎn)生變化。這就給數(shù)據(jù)的使用帶來了很多不便,我們通過1. 2所述的方法將其標(biāo)準(zhǔn)化為1113的順序。效果如表32所列。智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測表32　順序標(biāo)準(zhǔn)化后的交通流數(shù)據(jù)(檢測點(diǎn)02023)雖然修正了時間點(diǎn)順序,但因未檢測缺失的數(shù)據(jù),這會導(dǎo)致數(shù)據(jù)讀取時造成了“串行”的現(xiàn)象。需要在下一步進(jìn)行解決。2)缺失/無效數(shù)據(jù)的判別與補(bǔ)充。將數(shù)據(jù)時間點(diǎn)標(biāo)準(zhǔn)化后,再判別缺失或無效的數(shù)據(jù),并予以補(bǔ)充。通過線性插值法對錯誤數(shù)據(jù)和丟失數(shù)據(jù)進(jìn)行修正和補(bǔ)齊。若tj對應(yīng)的數(shù)據(jù)組是錯誤數(shù)據(jù),ti和tk分別是與tj最為接近的左鄰和右鄰正確數(shù)據(jù)組對應(yīng)的時間點(diǎn)。則 (32)式中: xtj為tj所對應(yīng)的交通量、速度和占有率修正后的數(shù)據(jù)值。算法的詳細(xì)流智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測程如下:① 相關(guān)變量初始化。② 導(dǎo)入標(biāo)準(zhǔn)化后的交通流數(shù)據(jù)。③ 初始化交通流數(shù)據(jù)車道數(shù)、編號等特征信息。④ 依據(jù)標(biāo)準(zhǔn)數(shù)據(jù)判斷數(shù)據(jù)是否缺失。⑤ 如缺失則依據(jù)線性插值法補(bǔ)充數(shù)據(jù)。⑥ 判斷數(shù)據(jù)的有效性并修正。⑦ 依次處理每組數(shù)據(jù),直至結(jié)束。⑧ 輸出標(biāo)準(zhǔn)化后的數(shù)據(jù)至文件。此交通流數(shù)據(jù)檢驗(yàn)與修復(fù)方法的整體流程如圖32所示。圖32 交通流數(shù)據(jù)檢驗(yàn)與修復(fù)方法整體流程經(jīng)過上一節(jié)的數(shù)據(jù)時間點(diǎn)標(biāo)準(zhǔn)化后,再對標(biāo)準(zhǔn)化后的數(shù)據(jù)進(jìn)行缺失 無效數(shù)據(jù)的判別與補(bǔ)充,如在表表32中第2組缺失的11車道數(shù)據(jù)使用線性插值法得到了補(bǔ)充,如表33所列。表33　修復(fù)缺失的交通流數(shù)據(jù)(檢測點(diǎn)02023)分別打開原始數(shù)據(jù)與完成修正的數(shù)據(jù),可以發(fā)現(xiàn)修正數(shù)據(jù)的時間點(diǎn)已被標(biāo)準(zhǔn)化,實(shí)現(xiàn)了統(tǒng)一的記錄順序,并且之前缺失或無效的數(shù)據(jù)也得到了補(bǔ)充和修正。智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測處理后的數(shù)據(jù)即為最終完成修正的數(shù)據(jù),將原始數(shù)據(jù)與最終完成修正的數(shù)據(jù)進(jìn)行比較,效果分別如圖3圖34所示。圖33　05: 00～09: 00原始數(shù)據(jù)與修正數(shù)據(jù)對比圖34　15: 00～19: 00原始數(shù)據(jù)與修正數(shù)據(jù)對比 故障數(shù)據(jù)檢測算法利用最小二乘法對歷史交通流數(shù)據(jù)進(jìn)行離線曲線擬合，對實(shí)時交通流數(shù)據(jù)進(jìn)行在線故障數(shù)據(jù)檢測，對交通流密度、速度和流量三項(xiàng)指標(biāo)進(jìn)行綜合檢測，智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測即基于交通流量速度時間占有率的交通流故障數(shù)據(jù)檢測算法VSOADDM (Abnormal Data Detection Method based on the Traffic Volume、Traffic Speed and Time Occupancy，VSOADDM)。首先，根據(jù)原始交通流數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，確定相應(yīng)指標(biāo)變化均值；其次，得到不同速度均值對應(yīng)的平均流量值，按照速度值進(jìn)行變換，得到一致的平均密度、平均速度和平均流量值，并對其進(jìn)行曲線擬合；然后根據(jù)均方差進(jìn)行閾值估算，得到一定確信度的安全區(qū)域和待定安全區(qū)域；在安全區(qū)域范圍內(nèi)數(shù)據(jù)為正常數(shù)據(jù)，待定安全區(qū)域數(shù)據(jù)再次進(jìn)行二次檢測；超出待定安全區(qū)域數(shù)據(jù)認(rèn)定為交通流指標(biāo)間不合理異常數(shù)據(jù)，即故障數(shù)據(jù)。MATLAB 作為一種應(yīng)用廣泛的科學(xué)計(jì)算軟件，不僅可以通過直接交互的指令和操作方式進(jìn)行強(qiáng)大的數(shù)值計(jì)算、繪圖等，還可以像 C、C++ 等高級程序語言一樣，根據(jù)自己的語法規(guī)則來進(jìn)行程序設(shè)計(jì)。編寫的程序文件以 .m 作為擴(kuò)展名，稱之為 M 文件。通過編寫 M 文件，用戶可以像編寫批處理命令一樣，將多個 MATLAB 命令集中在一個文件中，既能方便地進(jìn)行調(diào)用，又便于修改；還可以根據(jù)用戶自身的情況，編寫用于解決特定問題的 M 文件，這樣就實(shí)現(xiàn)了結(jié)構(gòu)化程序設(shè)計(jì)，并降低代碼重用率。實(shí)際上，MATLAB 自帶的許多函數(shù)就是 M 函數(shù)文件。MATLAB 提供的編輯器可以使用戶方便地進(jìn)行 M 文件的編寫。本課題采用 MATLAB M 文件編程實(shí)現(xiàn)故障數(shù)據(jù)檢測算法，具體操作步驟如下,先打開 MATLAB，如圖 35 所示:智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測圖 35 MATLAB 原始界面然后新建 M 文件編程: File — New — MFile，M 文件如圖 36 所示：圖 36 M 文件編程智能交通系統(tǒng)交通流數(shù)據(jù)質(zhì)量檢測 故障數(shù)據(jù)檢測步驟故障檢測部分分為歷史交通流數(shù)據(jù)離線曲線擬合，得到相應(yīng)閾值；在線獲得實(shí)時交通流數(shù)據(jù)，對其進(jìn)行在線檢測。歷史交通流數(shù)據(jù)樣本，首先對其進(jìn)行聚類分析，確定其高速交通流聚類中心和低速交通流聚類中心；然后確定不同速度安全區(qū)域范圍；通過判斷交通流數(shù)據(jù)所處的區(qū)域進(jìn)行檢測；最后對檢測結(jié)果進(jìn)行按誤差比糾正偏差。Step1 將原始數(shù)據(jù)樣本按照高速交通流速度和低速交通流速度進(jìn)行更新數(shù)據(jù)，將原數(shù)據(jù)更新為對應(yīng)高速交通流速度的高速交通流和低速交通流速度的低速交通流；按照時間占有率對平面進(jìn)行區(qū)域劃分得到 L 個區(qū)域，按照平均速度和分別進(jìn)行流量調(diào)整，獲得不同速度條件下不同占有率的平均流量值； Step2 按照平均時間占有率平均交通流量進(jìn)行曲線擬合，得到相應(yīng)平均速度對應(yīng)的 擬合曲線；擬合曲線將 L 個區(qū)域又劃分為高區(qū)域和低區(qū)域共 2Lqo?個高速交通流子區(qū)域；按照平均時間占有率平均交通流量進(jìn)行曲