【正文】 了多方面高新技術(shù)的復(fù)雜系統(tǒng)的總稱，它的出現(xiàn)解決了很多道路交通問題，目前國際上將ITS項目分為七大類。進入新世紀(jì)后，已經(jīng)建立了智能交通的四個系統(tǒng)及眾多下屬系統(tǒng)的行業(yè)標(biāo)準(zhǔn)，信息平臺的建設(shè)也越來越完善。我國最初涉足智能交通領(lǐng)馭的時間可以上溯到上世紀(jì)八十年代，當(dāng)時，交通部提出分批次對五個交通領(lǐng)域進行研究，并系統(tǒng)地應(yīng)用于實際。數(shù)據(jù)預(yù)處理是指在主要的處理以前對數(shù)據(jù)進行的一些處理。在數(shù)據(jù)挖掘的過程中會由于噪聲和冗余造成混亂，造成不準(zhǔn)確的輸出。通過大量的數(shù)據(jù)處理可以抹去噪音。要在數(shù)據(jù)挖掘前應(yīng)用這些技術(shù)，由此提高挖掘質(zhì)量，減少數(shù)據(jù)挖掘的時間。對于一些工程企業(yè)（例如汽輪機廠等），客觀存在著某些現(xiàn)象，比如，反復(fù)設(shè)計后的零件進入生產(chǎn)，這就導(dǎo)致了零件和文件的數(shù)量過于龐大，生產(chǎn)過程雜亂無章，抬升了成本，不能按時完成任務(wù)。交通系統(tǒng)的重要特征之一就是其變化性，因為它是一個由人類干預(yù)、隨時變化且繁復(fù)的系統(tǒng)，數(shù)據(jù)會隨時間地點的變化而變化，交通的占有率、速度、流量等數(shù)據(jù)也會隨之變化，由此造成相應(yīng)誤差。312 面向智能交通系統(tǒng)的數(shù)據(jù)預(yù)處理技術(shù)隨著傳感器技術(shù)的日益進步，我們能輕松地在特定環(huán)境下采集一些數(shù)據(jù)，但其自身并不完美，加上外界環(huán)境的干擾，通過儀器收集到的數(shù)據(jù)不能保證準(zhǔn)確，而這些不準(zhǔn)確的數(shù)據(jù)勢必會影響到接下來對于數(shù)據(jù)的處理，因此在應(yīng)用前，我們要對數(shù)據(jù)進行預(yù)處理，主要分為兩大部分，對于異常數(shù)據(jù)就要將不合乎常理的數(shù)據(jù)進行剔除，對于缺失數(shù)據(jù)就要依靠手段來進行補償。而動態(tài)指系統(tǒng)可以將不斷變化的信息之間做出對比、分析，通過結(jié)果交管人員和駕駛員就可以知道道路狀態(tài)的異常[11]?？偟膩碇v，城市中智能交通要實現(xiàn)的四個目標(biāo)如下圖：圖22城市交通的四個目標(biāo)Figure 22 Four goals of urban transport、目的及意義數(shù)據(jù)預(yù)處理的原因是：在現(xiàn)實世界中存在著大量的缺失的不潔凈的數(shù)據(jù)，其中一些屬性不總是可應(yīng)用，一些數(shù)據(jù)由于錄入時被認(rèn)為無關(guān)緊要而沒有包含在其中。數(shù)據(jù)預(yù)處理的主要目的是清除掉數(shù)據(jù)中的噪聲、空缺值、不一致數(shù)據(jù)等。（3）因為對于數(shù)據(jù)精度和質(zhì)量的規(guī)定標(biāo)準(zhǔn)不同，就需要系統(tǒng)有針對性地給出不同的解決方案。所以，在應(yīng)用之前，我們要對采集到的數(shù)據(jù)進行整理，對數(shù)據(jù)進行整理的階段就叫數(shù)據(jù)預(yù)處理，智能交通數(shù)據(jù)預(yù)處理主要包括兩個部分：異常數(shù)據(jù)的剔除和缺失數(shù)據(jù)的補償。②交通流機理法：根據(jù)交通流機理的一些規(guī)則，比如流量和占有率的關(guān)系，流量和速度的關(guān)系，行程時間和擁擠長度的關(guān)系等等，如果采集到的數(shù)據(jù)不符合這些規(guī)則，則某些數(shù)據(jù)就是異常的。需要注意的是，這種方法最好應(yīng)用在傳感器較多時，若較少則誤差較大。②車道比值法：這種方法的原理是依據(jù)已記錄的不同車道流量之比，對缺失車道的數(shù)據(jù)進行預(yù)估補償，這種方法綜合考慮了過去和現(xiàn)在的各個參數(shù)，準(zhǔn)確度較高，適用于車流比較大，車道狀況穩(wěn)定的情況。3 本文算法基本理論對于數(shù)據(jù)預(yù)處理中的異常數(shù)據(jù)的剔除和缺失數(shù)據(jù)的補償，本文各介紹了三種方法，異常數(shù)據(jù)的剔除，本文主要介紹了3??準(zhǔn)則法、閾值法、t分布法；缺失數(shù)據(jù)的補償，本文介紹了歷史均值法、時間序列法和一種數(shù)據(jù)補償新方法多種補償方法的權(quán)重計算下面給出了本文算法的理論基礎(chǔ)和相關(guān)介紹。給出正態(tài)分布或者近似正態(tài)分布，如果平均值和標(biāo)準(zhǔn)差已知，就可大致估計出它的頻數(shù)分布。圖32鐘形曲線Figure 32 Bell curve我們知道一些標(biāo)準(zhǔn)正態(tài)分布的特性：其本質(zhì)仍然是正態(tài)分布，只是它的位置參數(shù)μ的值為0，尺度參數(shù)σ2的值為1。我們近似認(rèn)為，幾乎所有Y的取值都在區(qū)間μ3σ,μ+3σ內(nèi)，%，即以三倍測量列的標(biāo)準(zhǔn)偏差限為依據(jù)，如果誤差超過了界限，就認(rèn)定此誤差為非隨機誤差，認(rèn)為是粗大誤差，即為異常數(shù)據(jù)，既然數(shù)據(jù)異常，就不能作為實際應(yīng)用，應(yīng)予剔除。正如以上以三倍標(biāo)準(zhǔn)差為界限的判別標(biāo)準(zhǔn)，就是3??原則。因此我們要解決這個問題，即使執(zhí)行機構(gòu)持續(xù)工作，保證被控對象的數(shù)值在接近下限的時候再關(guān)閉執(zhí)行機構(gòu)。閾值法有其自身的優(yōu)點，容易計算，適用于在線計算，但另一方面，閾值法也只能作為一種基礎(chǔ)的剔除方法，它對于異常數(shù)據(jù)的處理能力相當(dāng)有限，即使某些數(shù)據(jù)并不在閾值區(qū)間之外，但這些數(shù)據(jù)也不一定是正確的，只能剔除掉錯誤得很離譜的數(shù)據(jù)，我們可以先利用閾值法，再應(yīng)用其他更精確的算法，這樣可以減少工作量。則樣本的平均值為：X=1ni=1nxi~Nμ,σ2n (34)樣本方差為：S2=1n1i=1nxiX2 (35)根據(jù)期望與方差的點估計理論，X是μ的無偏估計值；S2是σ2的無偏估計值，構(gòu)造統(tǒng)計量：T=XμS2n~tn1 (36)對于給定的α0α1，又因為PXμS2∕n≤tα∕2n1=1α (37)通過查t分布表，得tα∕2n1的值，可得μ的置信度是1α的置信區(qū)間，即：Xtα∕2n1s∕n,X+tα∕2n1S∕n (38)對于給定置信度1α0α1，有：Ptα2n1Ttα2n1 (39)=tα/2tα2ft?t=1α 上式中，tα2n1是tn1分布上的α2分位點，可查表得出，可得：Xtα∕2n1nμX+tα∕2n1S∕n (310)而μ落在該區(qū)間之外的概率很小，屬于小概率事件，在正常的測量過程中不會發(fā)生。數(shù)據(jù)缺失時常發(fā)生，其引發(fā)原因也有很多，可能是由于檢測設(shè)備的故障等等。但對于多變的交通狀況來說，這種方法的精度就會大打折扣。每個時期的數(shù)據(jù)，都是由很多不同因素同時發(fā)生作用的綜合結(jié)果。算術(shù)平均數(shù)法：在被測對象的歷史數(shù)據(jù)增長情況穩(wěn)定的短期預(yù)測。指數(shù)平滑是加權(quán)平均的一種特殊形式，其給予待預(yù)測數(shù)據(jù)近期的數(shù)據(jù)更大的權(quán)值，權(quán)重由遠(yuǎn)到近是指數(shù)增加的趨勢，指數(shù)平滑的名字也正是由此得來。對于多種算法的處理，其中一種方法就是將不同方法的結(jié)果進行加權(quán)平均，大量實驗表明，通過組合可以提高準(zhǔn)確性[22]。均方差，即為標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)差是離均差平方和平均后的方根，用σ表示。假設(shè)有一組數(shù)值X?，X?，X?……Xn（皆為實數(shù)），其平均值（算術(shù)平均值）為μ，均方差公式如下：σ=1Ni=1Nxiμ2 (314)4 智能交通系統(tǒng)數(shù)據(jù)預(yù)處理相關(guān)算法設(shè)計接下來是本文的重點部分，詳細(xì)介紹了所選方法的程序、數(shù)據(jù)結(jié)果和方法對比。,39。disp(Y)。 %計算平均值theta=std(X)。 %顯示處理后數(shù)據(jù)xlswrite(39。圖41算法流程圖Figure 41 Algorithm flowchart用Matlab編程，相關(guān)程序如下。F632:F69739。ave=mean(X)。 %計算離群值的個數(shù)并顯示X(outliers)=NaN。,X)。C:\Users\孫顯治\Desktop\39。Y=X。 %自由度lambda=tinv(1alpha/2,n1)。 %數(shù)據(jù)從小到大排列ave=mean(X)。 %將異常數(shù)據(jù)賦為缺省值endendoutliers=(isnan(X))。C:\Users\孫顯治\Desktop\39。X=xlsread(39。)。 %求出缺省值的位置outliers2=(outliers1==0)。 %顯示處理后數(shù)據(jù)xlswrite(39。X=xlsread(39。)。 %獲得有效時間點time2=find(outliers2==1)。 %進行數(shù)據(jù)補償disp(X)。 %把結(jié)果導(dǎo)入到新Excel中用時間序列法補償后的數(shù)據(jù)見下表： 表47 時間序列法補償后數(shù)據(jù)Table 47 Time series data after pensation 序號序號1234567813553603463583523463453222333313292278284277280283327928127936444944443327143263813783843833833823715374362343323324326311308630430931231231030731030873042852654274264314304288271248237317397402381365補償后仿真圖形如下：圖45時間序列法補償后圖形Figure 45 Sequentially method pensated graphics用Matlab編程，相關(guān)程序如下。 B=xlsread(39。pB=1。C:\Users\孫顯治\Desktop\39。根據(jù)圖像對比發(fā)現(xiàn)：雖然3??法并沒有剔除掉所有異常數(shù)據(jù)，但綜合來看在所選方法中其效果是最好的。（2）對于面向智能交通系統(tǒng)的數(shù)據(jù)預(yù)處理技術(shù)進行介紹，表明進行數(shù)據(jù)預(yù)處理的原因及意義，介紹了智能交通系統(tǒng)數(shù)據(jù)預(yù)處理的常用方法，包括異常數(shù)據(jù)的剔除和缺失數(shù)據(jù)的補償，并對各算法的優(yōu)劣作了簡單介紹。接著對不同算法進行分析，通過計算所得數(shù)據(jù)的剔除率、補償率和圖表對比不同算法的優(yōu)劣。（4）除本文介紹之外，還有更精確算法，由于本人的理論水平和時間的限制，并沒有進行詳細(xì)地介紹與分析