【文章內(nèi)容簡介】 正態(tài)分布中，%，%，%。圖33標準正態(tài)分布曲線Figure 33 Standard normal distribution curve在實際應(yīng)用中，常?？紤]具有或近似于正態(tài)分布特性的數(shù)據(jù)，如果這種假設(shè)準確無誤，那么就可以應(yīng)用以上規(guī)則，就是我們常說的“”或“經(jīng)驗法則”?？偟膩碚f，在以μ為均值，以σ為標準差的正態(tài)分布中，圖像的對稱軸為x=μ，3??準則即為：數(shù)值分布在區(qū)間μσ,μ+，數(shù)值分布在區(qū)間μ2σ,μ+，數(shù)值分布在區(qū)間μ3σ,μ+。我們近似認為，幾乎所有Y的取值都在區(qū)間μ3σ,μ+3σ內(nèi)，%，即以三倍測量列的標準偏差限為依據(jù)，如果誤差超過了界限，就認定此誤差為非隨機誤差，認為是粗大誤差，即為異常數(shù)據(jù)，既然數(shù)據(jù)異常，就不能作為實際應(yīng)用，應(yīng)予剔除。3??原則是一種檢查異常數(shù)據(jù)的準則，假若事先已經(jīng)修正系統(tǒng)誤差，使其在標準范圍內(nèi)，在處理數(shù)據(jù)的時候主要考慮的是偶然誤差，如果某一測量的偶然誤差服從正態(tài)分布，根據(jù)正態(tài)分布公式可以求出標準偏差??，3??為極限誤差，在數(shù)據(jù)服從正態(tài)分布的情況下，偶然誤差不在177。3??%，若用平均值取代真值，%的數(shù)據(jù)都會在177。3??的區(qū)域中，不在此區(qū)間的數(shù)據(jù)，就被認定為異常數(shù)據(jù)，予以剔除。正如以上以三倍標準差為界限的判別標準，就是3??原則。 閾值法“閾”就是某個領(lǐng)域或系統(tǒng)的界限或極限的數(shù)值，是指一個效應(yīng)能夠產(chǎn)生的最低值或最高值。簡單地說，在一些不重要的場合或?qū)纫蟛桓叩臅r候，只要將控制對象的一些參數(shù)限定在某個區(qū)間之內(nèi)，不做精確的處理和控制，即便略有溢出規(guī)定區(qū)間的數(shù)值也不會對整體造成嚴重后果。在閾值控制的系統(tǒng)中，由于多種因素的影響會使被控對象的狀態(tài)發(fā)生變化，它的某些值常常會超出所規(guī)定的閾值區(qū)間，此時系統(tǒng)就會利用傳感器進行檢測，在某些值超出規(guī)定閾值區(qū)間時就會發(fā)出信號，再經(jīng)由執(zhí)行機構(gòu)將數(shù)據(jù)控制在預(yù)定區(qū)間，在數(shù)值剛剛超過上限時，執(zhí)行機構(gòu)便啟動，但若在數(shù)據(jù)剛恢復(fù)正常范圍時就關(guān)閉執(zhí)行機構(gòu)，數(shù)據(jù)又會再次超出范圍，造成執(zhí)行機構(gòu)頻繁地啟動，這樣會增加系統(tǒng)能耗、降低系統(tǒng)效率、縮短設(shè)備使用壽命。因此我們要解決這個問題，即使執(zhí)行機構(gòu)持續(xù)工作，保證被控對象的數(shù)值在接近下限的時候再關(guān)閉執(zhí)行機構(gòu)。智能交通中一些參數(shù)不可以超過規(guī)定界限，僅可以在其規(guī)定范圍內(nèi)上下浮動。例如：占有率Od，其范圍區(qū)間為0≤Od≤100%，如果采集到的數(shù)據(jù)不在這個范圍內(nèi)，則被視為異常數(shù)據(jù)，應(yīng)予剔除；速度vd，理論上應(yīng)該大于0，小于道路規(guī)定最大速度；流量qd應(yīng)該大于0，小于道路的極限通行能力。這里所說的閾值法就是限定了數(shù)據(jù)的極限值，包括最大值與最小值，如果數(shù)據(jù)不在此范圍內(nèi)，就被認定是異常數(shù)據(jù)，應(yīng)剔除之。閾值法有其自身的優(yōu)點，容易計算，適用于在線計算，但另一方面，閾值法也只能作為一種基礎(chǔ)的剔除方法，它對于異常數(shù)據(jù)的處理能力相當有限，即使某些數(shù)據(jù)并不在閾值區(qū)間之外，但這些數(shù)據(jù)也不一定是正確的，只能剔除掉錯誤得很離譜的數(shù)據(jù)，我們可以先利用閾值法，再應(yīng)用其他更精確的算法，這樣可以減少工作量。所以我們建議做精確處理時不單獨使用閾值法，而是結(jié)合其他方法，先粗略篩選再作精確處理。 t分布法對同一信號進行反復(fù)測量，多數(shù)情況下測量數(shù)據(jù)符合正態(tài)分布[18]。如n個采樣值為x1，x2，?，xn，并且它們獨立分布，即X~Nμ?σ2。則樣本的平均值為：X=1ni=1nxi~Nμ,σ2n (34)樣本方差為：S2=1n1i=1nxiX2 (35)根據(jù)期望與方差的點估計理論，X是μ的無偏估計值；S2是σ2的無偏估計值，構(gòu)造統(tǒng)計量：T=XμS2n~tn1 (36)對于給定的α0α1，又因為PXμS2∕n≤tα∕2n1=1α (37)通過查t分布表，得tα∕2n1的值，可得μ的置信度是1α的置信區(qū)間，即：Xtα∕2n1s∕n,X+tα∕2n1S∕n (38)對于給定置信度1α0α1，有：Ptα2n1Ttα2n1 (39)=tα/2tα2ft?t=1α 上式中，tα2n1是tn1分布上的α2分位點，可查表得出，可得：Xtα∕2n1nμX+tα∕2n1S∕n (310)而μ落在該區(qū)間之外的概率很小，屬于小概率事件，在正常的測量過程中不會發(fā)生。因此取δ=tα∕2n1n為臨界值，若xi?=1,2,…,71滿足：xiXδ，則xi可判為含有粗大誤差的數(shù)據(jù)，應(yīng)予以剔除，所以，把xiXδ作為新的判別異常數(shù)據(jù)的判據(jù)?；谠摲椒ǖ奶蕹襟E如下：(1)將n個測量數(shù)據(jù)按從小到大的順序排列，最小值為xL，最大值xH；(2)計算出所有測量數(shù)據(jù)的算術(shù)平均值X=1ni=1nxi (311)和測量數(shù)據(jù)的方差S2=1n1i=1nxiX2 (312)則S=1n1i=1nxiX2 (313)(3)查t分布表得到tα∕2n1。(4)計算tα∕2n1S/n，若xiXδ，則可判定xi為異常數(shù)據(jù)，應(yīng)予以剔除，若xiXδ，則此xi就不是異常數(shù)據(jù)，應(yīng)予以保留。數(shù)據(jù)缺失時常發(fā)生，其引發(fā)原因也有很多，可能是由于檢測設(shè)備的故障等等。而數(shù)據(jù)的缺失會使最終結(jié)果造成偏差，因此對于道路交通的數(shù)據(jù)預(yù)處理來說，應(yīng)該及時對缺失的數(shù)據(jù)進行補償，一下介紹幾種簡單可行的方法。 依據(jù)歷史上相應(yīng)時刻的數(shù)據(jù)按比例采用或直接采用歷史數(shù)據(jù)來代替缺失的數(shù)據(jù)。這種方法比較簡單、方便，而且易于實現(xiàn)。但對于多變的交通狀況來說，這種方法的精度就會大打折扣。由此可見，歷史均值法適用于交通狀態(tài)穩(wěn)定的情況[19]。 這種方法的主要思想就是將收集到的交通數(shù)據(jù)作為時間序列，再利用不同的時間序列預(yù)測法，例如，簡單平均、加權(quán)平均、指數(shù)平滑等，由過去到現(xiàn)在的波動趨勢來作為預(yù)測的依據(jù)，但它有一個要求，就是在未來預(yù)測目標的發(fā)展規(guī)律不會發(fā)生太大的變化。數(shù)據(jù)的變化有著規(guī)律性，也有其不規(guī)律性。每個時期的數(shù)據(jù)，都是由很多不同因素同時發(fā)生作用的綜合結(jié)果。時間序列法簡化了預(yù)測對象和各種因素之間的復(fù)雜聯(lián)系，這種方法在分析現(xiàn)在、過去、未來的聯(lián)系，和將來結(jié)果與過去多種因素之間的關(guān)系時，效果顯著。用這種方法進行數(shù)據(jù)處理時簡單易行，適應(yīng)性比較強，是一種常用的缺失數(shù)據(jù)補充算法。但也有其自身的局限性，這種方法反映了對象單向和線性的聯(lián)系，適用于預(yù)測穩(wěn)定且需要在時間方面能夠穩(wěn)定持續(xù)的階段，若進行長期預(yù)測，準確性便會降低[20]。算術(shù)平均數(shù)法：在被測對象的歷史數(shù)據(jù)增長情況穩(wěn)定的短期預(yù)測。移動平均預(yù)測與算術(shù)平均法類似，綜合了多個歷史實際數(shù)據(jù)，求得平均值來預(yù)測未來的值，它有一個前提，就是假設(shè)平均值中的所有觀察值對將來的影響是相同的，但在實際應(yīng)用中，觀察值對將來數(shù)值的影響是隨著觀察值與預(yù)測期之間距離減小而增大的，這也是這種方法的不足之處，還需要一些方法來修正。加權(quán)移動平均預(yù)測的歷史數(shù)據(jù)是按照時間順序排列的，不同的數(shù)據(jù)對預(yù)測未來的重要程度不同，所有的數(shù)據(jù)都會被賦予各自的權(quán)重，可以做到精準預(yù)測，可知這種方法的思想是認為接近預(yù)測時間點的變動對未來預(yù)測的影響較大，可見更為合理，但偶爾會在權(quán)重的選擇上受到影響。加權(quán)移動平均預(yù)測是要將采集到的歷史數(shù)據(jù)按照時間排列，對預(yù)測值來說不同的數(shù)據(jù)會有不同的重要性，把不同的權(quán)重分配給所有數(shù)據(jù)，可以使預(yù)測結(jié)果更準確，由此可知，這種方法認為越近期的數(shù)據(jù)對未來的影響越大，也更為合理，但在權(quán)重的選擇上需要斟酌[21]。指數(shù)平滑是加權(quán)平均的一種特殊形式，其給予待預(yù)測數(shù)據(jù)近期的數(shù)據(jù)更大的權(quán)值，權(quán)重由遠到近是指數(shù)增加的趨勢，指數(shù)平滑的名字也正是由此得來。時間序列法比較適用于缺失交通數(shù)據(jù)的在線補償，只要有足夠的歷史數(shù)據(jù)，就可以推測出未來數(shù)據(jù)，這種算法操作簡單、比較可靠，而且運行速度較快，符合交通數(shù)據(jù)預(yù)處理的各方面要求。前面幾種方法都是利用一種算法進行數(shù)據(jù)補充，而本算法的基本思想是：對于同一組數(shù)據(jù)進行預(yù)處理，可以用多種方法，不同的方法有其各自的優(yōu)勢與劣勢，這種方法的思想就是將多種方法組合在一起并選擇不同的權(quán)值，可以有效改善不同方法的缺點。大量實踐表明，即使在效果一般的模型中，只要將它的獨立信息和一種合適的方法結(jié)合在一起，就可以提高結(jié)果精度和可靠性。對于多種算法的處理，其中一種方法就是將不同方法的結(jié)果進行加權(quán)平均，大量實驗表明，通過組合可以提高準確性[22]。由于這種方法需要分別計算不同的算法，計算繁瑣且使用不方便，因此在要求不高的情況下，不建議使用這種方法。本文采用1:1權(quán)重計算。判定補償效果優(yōu)劣的方法為：先刪除錯誤數(shù)據(jù)，進行補償，運行程序后將所得結(jié)果與原數(shù)據(jù)相比較，通過計算所有數(shù)據(jù)與原數(shù)據(jù)的均方差，均方差較小的比較穩(wěn)定，補償效果好。均方差，即為標準差，標準差是離均差平方和平均后的方根，用σ表示。標準差在概率統(tǒng)計中最常使用作為統(tǒng)計分布程度上的測量。標準差定義是總體各單位標準值與其平均數(shù)離差平方的算術(shù)平均數(shù)的平方根。標準差可以反映數(shù)據(jù)集的離散程度，標準差越小，說明數(shù)據(jù)越穩(wěn)定；反之標準差越大，數(shù)據(jù)波動越大[23]。假設(shè)有一組數(shù)值X?，X?，X?……Xn（皆為實數(shù)），其平均值（算術(shù)平均值）為μ，均方差公式如下：σ=1Ni=1Nxiμ2 (314)4 智能交通系統(tǒng)數(shù)據(jù)預(yù)處理相關(guān)算法設(shè)計接下來是本文的重點部分，詳細介紹了所選方法的程序、數(shù)據(jù)結(jié)果和方法對比。數(shù)據(jù)來自交通道路的真實數(shù)據(jù)，并選取其中五分鐘的交通數(shù)據(jù)，如下表：表41 原始數(shù)據(jù)Table 41 Raw data 序號序號123456781355360346358340346345322233332829238922543827831426284327727