【文章內(nèi)容簡介】 正態(tài)分布中，%，%，%。圖33標準正態(tài)分布曲線Figure 33 Standard normal distribution curve在實際應用中，常?？紤]具有或近似于正態(tài)分布特性的數(shù)據(jù)，如果這種假設準確無誤，那么就可以應用以上規(guī)則，就是我們常說的“”或“經(jīng)驗法則”。總的來說，在以μ為均值，以σ為標準差的正態(tài)分布中，圖像的對稱軸為x=μ，3??準則即為：數(shù)值分布在區(qū)間μσ,μ+，數(shù)值分布在區(qū)間μ2σ,μ+，數(shù)值分布在區(qū)間μ3σ,μ+。我們近似認為，幾乎所有Y的取值都在區(qū)間μ3σ,μ+3σ內(nèi)，%，即以三倍測量列的標準偏差限為依據(jù)，如果誤差超過了界限，就認定此誤差為非隨機誤差，認為是粗大誤差，即為異常數(shù)據(jù)，既然數(shù)據(jù)異常，就不能作為實際應用，應予剔除。3??原則是一種檢查異常數(shù)據(jù)的準則，假若事先已經(jīng)修正系統(tǒng)誤差，使其在標準范圍內(nèi)，在處理數(shù)據(jù)的時候主要考慮的是偶然誤差，如果某一測量的偶然誤差服從正態(tài)分布，根據(jù)正態(tài)分布公式可以求出標準偏差??，3??為極限誤差，在數(shù)據(jù)服從正態(tài)分布的情況下，偶然誤差不在177。3??%，若用平均值取代真值，%的數(shù)據(jù)都會在177。3??的區(qū)域中，不在此區(qū)間的數(shù)據(jù)，就被認定為異常數(shù)據(jù)，予以剔除。正如以上以三倍標準差為界限的判別標準，就是3??原則。 閾值法“閾”就是某個領域或系統(tǒng)的界限或極限的數(shù)值，是指一個效應能夠產(chǎn)生的最低值或最高值。簡單地說，在一些不重要的場合或?qū)纫蟛桓叩臅r候，只要將控制對象的一些參數(shù)限定在某個區(qū)間之內(nèi)，不做精確的處理和控制，即便略有溢出規(guī)定區(qū)間的數(shù)值也不會對整體造成嚴重后果。在閾值控制的系統(tǒng)中，由于多種因素的影響會使被控對象的狀態(tài)發(fā)生變化，它的某些值常常會超出所規(guī)定的閾值區(qū)間，此時系統(tǒng)就會利用傳感器進行檢測，在某些值超出規(guī)定閾值區(qū)間時就會發(fā)出信號，再經(jīng)由執(zhí)行機構將數(shù)據(jù)控制在預定區(qū)間，在數(shù)值剛剛超過上限時，執(zhí)行機構便啟動，但若在數(shù)據(jù)剛恢復正常范圍時就關閉執(zhí)行機構，數(shù)據(jù)又會再次超出范圍，造成執(zhí)行機構頻繁地啟動，這樣會增加系統(tǒng)能耗、降低系統(tǒng)效率、縮短設備使用壽命。因此我們要解決這個問題，即使執(zhí)行機構持續(xù)工作，保證被控對象的數(shù)值在接近下限的時候再關閉執(zhí)行機構。智能交通中一些參數(shù)不可以超過規(guī)定界限，僅可以在其規(guī)定范圍內(nèi)上下浮動。例如：占有率Od，其范圍區(qū)間為0≤Od≤100%，如果采集到的數(shù)據(jù)不在這個范圍內(nèi)，則被視為異常數(shù)據(jù)，應予剔除；速度vd，理論上應該大于0，小于道路規(guī)定最大速度；流量qd應該大于0，小于道路的極限通行能力。這里所說的閾值法就是限定了數(shù)據(jù)的極限值，包括最大值與最小值，如果數(shù)據(jù)不在此范圍內(nèi)，就被認定是異常數(shù)據(jù)，應剔除之。閾值法有其自身的優(yōu)點，容易計算，適用于在線計算，但另一方面，閾值法也只能作為一種基礎的剔除方法，它對于異常數(shù)據(jù)的處理能力相當有限，即使某些數(shù)據(jù)并不在閾值區(qū)間之外，但這些數(shù)據(jù)也不一定是正確的，只能剔除掉錯誤得很離譜的數(shù)據(jù)，我們可以先利用閾值法，再應用其他更精確的算法，這樣可以減少工作量。所以我們建議做精確處理時不單獨使用閾值法，而是結合其他方法，先粗略篩選再作精確處理。 t分布法對同一信號進行反復測量，多數(shù)情況下測量數(shù)據(jù)符合正態(tài)分布[18]。如n個采樣值為x1，x2，?，xn，并且它們獨立分布，即X~Nμ?σ2。則樣本的平均值為：X=1ni=1nxi~Nμ,σ2n (34)樣本方差為：S2=1n1i=1nxiX2 (35)根據(jù)期望與方差的點估計理論，X是μ的無偏估計值；S2是σ2的無偏估計值，構造統(tǒng)計量：T=XμS2n~tn1 (36)對于給定的α0α1，又因為PXμS2∕n≤tα∕2n1=1α (37)通過查t分布表，得tα∕2n1的值，可得μ的置信度是1α的置信區(qū)間，即：Xtα∕2n1s∕n,X+tα∕2n1S∕n (38)對于給定置信度1α0α1，有：Ptα2n1Ttα2n1 (39)=tα/2tα2ft?t=1α 上式中，tα2n1是tn1分布上的α2分位點，可查表得出，可得：Xtα∕2n1nμX+tα∕2n1S∕n (310)而μ落在該區(qū)間之外的概率很小，屬于小概率事件，在正常的測量過程中不會發(fā)生。因此取δ=tα∕2n1n為臨界值，若xi?=1,2,…,71滿足：xiXδ，則xi可判為含有粗大誤差的數(shù)據(jù)，應予以剔除，所以，把xiXδ作為新的判別異常數(shù)據(jù)的判據(jù)?；谠摲椒ǖ奶蕹襟E如下：(1)將n個測量數(shù)據(jù)按從小到大的順序排列，最小值為xL，最大值xH；(2)計算出所有測量數(shù)據(jù)的算術平均值X=1ni=1nxi (311)和測量數(shù)據(jù)的方差S2=1n1i=1nxiX2 (312)則S=1n1i=1nxiX2 (313)(3)查t分布表得到tα∕2n1。(4)計算tα∕2n1S/n，若xiXδ，則可判定xi為異常數(shù)據(jù)，應予以剔除，若xiXδ，則此xi就不是異常數(shù)據(jù)，應予以保留。數(shù)據(jù)缺失時常發(fā)生，其引發(fā)原因也有很多，可能是由于檢測設備的故障等等。而數(shù)據(jù)的缺失會使最終結果造成偏差，因此對于道路交通的數(shù)據(jù)預處理來說，應該及時對缺失的數(shù)據(jù)進行補償，一下介紹幾種簡單可行的方法。 依據(jù)歷史上相應時刻的數(shù)據(jù)按比例采用或直接采用歷史數(shù)據(jù)來代替缺失的數(shù)據(jù)。這種方法比較簡單、方便，而且易于實現(xiàn)。但對于多變的交通狀況來說，這種方法的精度就會大打折扣。由此可見，歷史均值法適用于交通狀態(tài)穩(wěn)定的情況[19]。 這種方法的主要思想就是將收集到的交通數(shù)據(jù)作為時間序列，再利用不同的時間序列預測法，例如，簡單平均、加權平均、指數(shù)平滑等，由過去到現(xiàn)在的波動趨勢來作為預測的依據(jù)，但它有一個要求，就是在未來預測目標的發(fā)展規(guī)律不會發(fā)生太大的變化。數(shù)據(jù)的變化有著規(guī)律性，也有其不規(guī)律性。每個時期的數(shù)據(jù)，都是由很多不同因素同時發(fā)生作用的綜合結果。時間序列法簡化了預測對象和各種因素之間的復雜聯(lián)系，這種方法在分析現(xiàn)在、過去、未來的聯(lián)系，和將來結果與過去多種因素之間的關系時，效果顯著。用這種方法進行數(shù)據(jù)處理時簡單易行，適應性比較強，是一種常用的缺失數(shù)據(jù)補充算法。但也有其自身的局限性，這種方法反映了對象單向和線性的聯(lián)系，適用于預測穩(wěn)定且需要在時間方面能夠穩(wěn)定持續(xù)的階段，若進行長期預測，準確性便會降低[20]。算術平均數(shù)法：在被測對象的歷史數(shù)據(jù)增長情況穩(wěn)定的短期預測。移動平均預測與算術平均法類似，綜合了多個歷史實際數(shù)據(jù)，求得平均值來預測未來的值，它有一個前提，就是假設平均值中的所有觀察值對將來的影響是相同的，但在實際應用中，觀察值對將來數(shù)值的影響是隨著觀察值與預測期之間距離減小而增大的，這也是這種方法的不足之處，還需要一些方法來修正。加權移動平均預測的歷史數(shù)據(jù)是按照時間順序排列的，不同的數(shù)據(jù)對預測未來的重要程度不同，所有的數(shù)據(jù)都會被賦予各自的權重，可以做到精準預測，可知這種方法的思想是認為接近預測時間點的變動對未來預測的影響較大，可見更為合理，但偶爾會在權重的選擇上受到影響。加權移動平均預測是要將采集到的歷史數(shù)據(jù)按照時間排列，對預測值來說不同的數(shù)據(jù)會有不同的重要性，把不同的權重分配給所有數(shù)據(jù)，可以使預測結果更準確，由此可知，這種方法認為越近期的數(shù)據(jù)對未來的影響越大，也更為合理，但在權重的選擇上需要斟酌[21]。指數(shù)平滑是加權平均的一種特殊形式，其給予待預測數(shù)據(jù)近期的數(shù)據(jù)更大的權值，權重由遠到近是指數(shù)增加的趨勢，指數(shù)平滑的名字也正是由此得來。時間序列法比較適用于缺失交通數(shù)據(jù)的在線補償，只要有足夠的歷史數(shù)據(jù)，就可以推測出未來數(shù)據(jù)，這種算法操作簡單、比較可靠，而且運行速度較快，符合交通數(shù)據(jù)預處理的各方面要求。前面幾種方法都是利用一種算法進行數(shù)據(jù)補充，而本算法的基本思想是：對于同一組數(shù)據(jù)進行預處理，可以用多種方法，不同的方法有其各自的優(yōu)勢與劣勢，這種方法的思想就是將多種方法組合在一起并選擇不同的權值，可以有效改善不同方法的缺點。大量實踐表明，即使在效果一般的模型中，只要將它的獨立信息和一種合適的方法結合在一起，就可以提高結果精度和可靠性。對于多種算法的處理，其中一種方法就是將不同方法的結果進行加權平均，大量實驗表明，通過組合可以提高準確性[22]。由于這種方法需要分別計算不同的算法，計算繁瑣且使用不方便，因此在要求不高的情況下，不建議使用這種方法。本文采用1:1權重計算。判定補償效果優(yōu)劣的方法為：先刪除錯誤數(shù)據(jù)，進行補償，運行程序后將所得結果與原數(shù)據(jù)相比較，通過計算所有數(shù)據(jù)與原數(shù)據(jù)的均方差，均方差較小的比較穩(wěn)定，補償效果好。均方差，即為標準差，標準差是離均差平方和平均后的方根，用σ表示。標準差在概率統(tǒng)計中最常使用作為統(tǒng)計分布程度上的測量。標準差定義是總體各單位標準值與其平均數(shù)離差平方的算術平均數(shù)的平方根。標準差可以反映數(shù)據(jù)集的離散程度，標準差越小，說明數(shù)據(jù)越穩(wěn)定；反之標準差越大，數(shù)據(jù)波動越大[23]。假設有一組數(shù)值X?，X?，X?……Xn（皆為實數(shù)），其平均值（算術平均值）為μ，均方差公式如下：σ=1Ni=1Nxiμ2 (314)4 智能交通系統(tǒng)數(shù)據(jù)預處理相關算法設計接下來是本文的重點部分，詳細介紹了所選方法的程序、數(shù)據(jù)結果和方法對比。數(shù)據(jù)來自交通道路的真實數(shù)據(jù)，并選取其中五分鐘的交通數(shù)據(jù)，如下表：表41 原始數(shù)據(jù)Table 41 Raw data 序號序號123456781355360346358340346345322233332829238922543827831426284327727