【文章內(nèi)容簡(jiǎn)介】 正態(tài)分布中，%，%，%。圖33標(biāo)準(zhǔn)正態(tài)分布曲線Figure 33 Standard normal distribution curve在實(shí)際應(yīng)用中，常常考慮具有或近似于正態(tài)分布特性的數(shù)據(jù)，如果這種假設(shè)準(zhǔn)確無(wú)誤，那么就可以應(yīng)用以上規(guī)則，就是我們常說(shuō)的“”或“經(jīng)驗(yàn)法則”?？偟膩?lái)說(shuō)，在以μ為均值，以σ為標(biāo)準(zhǔn)差的正態(tài)分布中，圖像的對(duì)稱軸為x=μ，3??準(zhǔn)則即為：數(shù)值分布在區(qū)間μσ,μ+，數(shù)值分布在區(qū)間μ2σ,μ+，數(shù)值分布在區(qū)間μ3σ,μ+。我們近似認(rèn)為，幾乎所有Y的取值都在區(qū)間μ3σ,μ+3σ內(nèi)，%，即以三倍測(cè)量列的標(biāo)準(zhǔn)偏差限為依據(jù)，如果誤差超過(guò)了界限，就認(rèn)定此誤差為非隨機(jī)誤差，認(rèn)為是粗大誤差，即為異常數(shù)據(jù)，既然數(shù)據(jù)異常，就不能作為實(shí)際應(yīng)用，應(yīng)予剔除。3??原則是一種檢查異常數(shù)據(jù)的準(zhǔn)則，假若事先已經(jīng)修正系統(tǒng)誤差，使其在標(biāo)準(zhǔn)范圍內(nèi)，在處理數(shù)據(jù)的時(shí)候主要考慮的是偶然誤差，如果某一測(cè)量的偶然誤差服從正態(tài)分布，根據(jù)正態(tài)分布公式可以求出標(biāo)準(zhǔn)偏差??，3??為極限誤差，在數(shù)據(jù)服從正態(tài)分布的情況下，偶然誤差不在177。3??%，若用平均值取代真值，%的數(shù)據(jù)都會(huì)在177。3??的區(qū)域中，不在此區(qū)間的數(shù)據(jù)，就被認(rèn)定為異常數(shù)據(jù)，予以剔除。正如以上以三倍標(biāo)準(zhǔn)差為界限的判別標(biāo)準(zhǔn)，就是3??原則。 閾值法“閾”就是某個(gè)領(lǐng)域或系統(tǒng)的界限或極限的數(shù)值，是指一個(gè)效應(yīng)能夠產(chǎn)生的最低值或最高值。簡(jiǎn)單地說(shuō)，在一些不重要的場(chǎng)合或?qū)纫蟛桓叩臅r(shí)候，只要將控制對(duì)象的一些參數(shù)限定在某個(gè)區(qū)間之內(nèi)，不做精確的處理和控制，即便略有溢出規(guī)定區(qū)間的數(shù)值也不會(huì)對(duì)整體造成嚴(yán)重后果。在閾值控制的系統(tǒng)中，由于多種因素的影響會(huì)使被控對(duì)象的狀態(tài)發(fā)生變化，它的某些值常常會(huì)超出所規(guī)定的閾值區(qū)間，此時(shí)系統(tǒng)就會(huì)利用傳感器進(jìn)行檢測(cè)，在某些值超出規(guī)定閾值區(qū)間時(shí)就會(huì)發(fā)出信號(hào)，再經(jīng)由執(zhí)行機(jī)構(gòu)將數(shù)據(jù)控制在預(yù)定區(qū)間，在數(shù)值剛剛超過(guò)上限時(shí)，執(zhí)行機(jī)構(gòu)便啟動(dòng)，但若在數(shù)據(jù)剛恢復(fù)正常范圍時(shí)就關(guān)閉執(zhí)行機(jī)構(gòu)，數(shù)據(jù)又會(huì)再次超出范圍，造成執(zhí)行機(jī)構(gòu)頻繁地啟動(dòng)，這樣會(huì)增加系統(tǒng)能耗、降低系統(tǒng)效率、縮短設(shè)備使用壽命。因此我們要解決這個(gè)問(wèn)題，即使執(zhí)行機(jī)構(gòu)持續(xù)工作，保證被控對(duì)象的數(shù)值在接近下限的時(shí)候再關(guān)閉執(zhí)行機(jī)構(gòu)。智能交通中一些參數(shù)不可以超過(guò)規(guī)定界限，僅可以在其規(guī)定范圍內(nèi)上下浮動(dòng)。例如：占有率Od，其范圍區(qū)間為0≤Od≤100%，如果采集到的數(shù)據(jù)不在這個(gè)范圍內(nèi)，則被視為異常數(shù)據(jù)，應(yīng)予剔除；速度vd，理論上應(yīng)該大于0，小于道路規(guī)定最大速度；流量qd應(yīng)該大于0，小于道路的極限通行能力。這里所說(shuō)的閾值法就是限定了數(shù)據(jù)的極限值，包括最大值與最小值，如果數(shù)據(jù)不在此范圍內(nèi)，就被認(rèn)定是異常數(shù)據(jù)，應(yīng)剔除之。閾值法有其自身的優(yōu)點(diǎn)，容易計(jì)算，適用于在線計(jì)算，但另一方面，閾值法也只能作為一種基礎(chǔ)的剔除方法，它對(duì)于異常數(shù)據(jù)的處理能力相當(dāng)有限，即使某些數(shù)據(jù)并不在閾值區(qū)間之外，但這些數(shù)據(jù)也不一定是正確的，只能剔除掉錯(cuò)誤得很離譜的數(shù)據(jù)，我們可以先利用閾值法，再應(yīng)用其他更精確的算法，這樣可以減少工作量。所以我們建議做精確處理時(shí)不單獨(dú)使用閾值法，而是結(jié)合其他方法，先粗略篩選再作精確處理。 t分布法對(duì)同一信號(hào)進(jìn)行反復(fù)測(cè)量，多數(shù)情況下測(cè)量數(shù)據(jù)符合正態(tài)分布[18]。如n個(gè)采樣值為x1，x2，?，xn，并且它們獨(dú)立分布，即X~Nμ?σ2。則樣本的平均值為：X=1ni=1nxi~Nμ,σ2n (34)樣本方差為：S2=1n1i=1nxiX2 (35)根據(jù)期望與方差的點(diǎn)估計(jì)理論，X是μ的無(wú)偏估計(jì)值；S2是σ2的無(wú)偏估計(jì)值，構(gòu)造統(tǒng)計(jì)量：T=XμS2n~tn1 (36)對(duì)于給定的α0α1，又因?yàn)镻XμS2∕n≤tα∕2n1=1α (37)通過(guò)查t分布表，得tα∕2n1的值，可得μ的置信度是1α的置信區(qū)間，即：Xtα∕2n1s∕n,X+tα∕2n1S∕n (38)對(duì)于給定置信度1α0α1，有：Ptα2n1Ttα2n1 (39)=tα/2tα2ft?t=1α 上式中，tα2n1是tn1分布上的α2分位點(diǎn)，可查表得出，可得：Xtα∕2n1nμX+tα∕2n1S∕n (310)而μ落在該區(qū)間之外的概率很小，屬于小概率事件，在正常的測(cè)量過(guò)程中不會(huì)發(fā)生。因此取δ=tα∕2n1n為臨界值，若xi?=1,2,…,71滿足：xiXδ，則xi可判為含有粗大誤差的數(shù)據(jù)，應(yīng)予以剔除，所以，把xiXδ作為新的判別異常數(shù)據(jù)的判據(jù)?；谠摲椒ǖ奶蕹襟E如下：(1)將n個(gè)測(cè)量數(shù)據(jù)按從小到大的順序排列，最小值為xL，最大值xH；(2)計(jì)算出所有測(cè)量數(shù)據(jù)的算術(shù)平均值X=1ni=1nxi (311)和測(cè)量數(shù)據(jù)的方差S2=1n1i=1nxiX2 (312)則S=1n1i=1nxiX2 (313)(3)查t分布表得到tα∕2n1。(4)計(jì)算tα∕2n1S/n，若xiXδ，則可判定xi為異常數(shù)據(jù)，應(yīng)予以剔除，若xiXδ，則此xi就不是異常數(shù)據(jù)，應(yīng)予以保留。數(shù)據(jù)缺失時(shí)常發(fā)生，其引發(fā)原因也有很多，可能是由于檢測(cè)設(shè)備的故障等等。而數(shù)據(jù)的缺失會(huì)使最終結(jié)果造成偏差，因此對(duì)于道路交通的數(shù)據(jù)預(yù)處理來(lái)說(shuō)，應(yīng)該及時(shí)對(duì)缺失的數(shù)據(jù)進(jìn)行補(bǔ)償，一下介紹幾種簡(jiǎn)單可行的方法。 依據(jù)歷史上相應(yīng)時(shí)刻的數(shù)據(jù)按比例采用或直接采用歷史數(shù)據(jù)來(lái)代替缺失的數(shù)據(jù)。這種方法比較簡(jiǎn)單、方便，而且易于實(shí)現(xiàn)。但對(duì)于多變的交通狀況來(lái)說(shuō)，這種方法的精度就會(huì)大打折扣。由此可見(jiàn)，歷史均值法適用于交通狀態(tài)穩(wěn)定的情況[19]。 這種方法的主要思想就是將收集到的交通數(shù)據(jù)作為時(shí)間序列，再利用不同的時(shí)間序列預(yù)測(cè)法，例如，簡(jiǎn)單平均、加權(quán)平均、指數(shù)平滑等，由過(guò)去到現(xiàn)在的波動(dòng)趨勢(shì)來(lái)作為預(yù)測(cè)的依據(jù)，但它有一個(gè)要求，就是在未來(lái)預(yù)測(cè)目標(biāo)的發(fā)展規(guī)律不會(huì)發(fā)生太大的變化。數(shù)據(jù)的變化有著規(guī)律性，也有其不規(guī)律性。每個(gè)時(shí)期的數(shù)據(jù)，都是由很多不同因素同時(shí)發(fā)生作用的綜合結(jié)果。時(shí)間序列法簡(jiǎn)化了預(yù)測(cè)對(duì)象和各種因素之間的復(fù)雜聯(lián)系，這種方法在分析現(xiàn)在、過(guò)去、未來(lái)的聯(lián)系，和將來(lái)結(jié)果與過(guò)去多種因素之間的關(guān)系時(shí)，效果顯著。用這種方法進(jìn)行數(shù)據(jù)處理時(shí)簡(jiǎn)單易行，適應(yīng)性比較強(qiáng)，是一種常用的缺失數(shù)據(jù)補(bǔ)充算法。但也有其自身的局限性，這種方法反映了對(duì)象單向和線性的聯(lián)系，適用于預(yù)測(cè)穩(wěn)定且需要在時(shí)間方面能夠穩(wěn)定持續(xù)的階段，若進(jìn)行長(zhǎng)期預(yù)測(cè)，準(zhǔn)確性便會(huì)降低[20]。算術(shù)平均數(shù)法：在被測(cè)對(duì)象的歷史數(shù)據(jù)增長(zhǎng)情況穩(wěn)定的短期預(yù)測(cè)。移動(dòng)平均預(yù)測(cè)與算術(shù)平均法類似，綜合了多個(gè)歷史實(shí)際數(shù)據(jù)，求得平均值來(lái)預(yù)測(cè)未來(lái)的值，它有一個(gè)前提，就是假設(shè)平均值中的所有觀察值對(duì)將來(lái)的影響是相同的，但在實(shí)際應(yīng)用中，觀察值對(duì)將來(lái)數(shù)值的影響是隨著觀察值與預(yù)測(cè)期之間距離減小而增大的，這也是這種方法的不足之處，還需要一些方法來(lái)修正。加權(quán)移動(dòng)平均預(yù)測(cè)的歷史數(shù)據(jù)是按照時(shí)間順序排列的，不同的數(shù)據(jù)對(duì)預(yù)測(cè)未來(lái)的重要程度不同，所有的數(shù)據(jù)都會(huì)被賦予各自的權(quán)重，可以做到精準(zhǔn)預(yù)測(cè)，可知這種方法的思想是認(rèn)為接近預(yù)測(cè)時(shí)間點(diǎn)的變動(dòng)對(duì)未來(lái)預(yù)測(cè)的影響較大，可見(jiàn)更為合理，但偶爾會(huì)在權(quán)重的選擇上受到影響。加權(quán)移動(dòng)平均預(yù)測(cè)是要將采集到的歷史數(shù)據(jù)按照時(shí)間排列，對(duì)預(yù)測(cè)值來(lái)說(shuō)不同的數(shù)據(jù)會(huì)有不同的重要性，把不同的權(quán)重分配給所有數(shù)據(jù)，可以使預(yù)測(cè)結(jié)果更準(zhǔn)確，由此可知，這種方法認(rèn)為越近期的數(shù)據(jù)對(duì)未來(lái)的影響越大，也更為合理，但在權(quán)重的選擇上需要斟酌[21]。指數(shù)平滑是加權(quán)平均的一種特殊形式，其給予待預(yù)測(cè)數(shù)據(jù)近期的數(shù)據(jù)更大的權(quán)值，權(quán)重由遠(yuǎn)到近是指數(shù)增加的趨勢(shì)，指數(shù)平滑的名字也正是由此得來(lái)。時(shí)間序列法比較適用于缺失交通數(shù)據(jù)的在線補(bǔ)償，只要有足夠的歷史數(shù)據(jù)，就可以推測(cè)出未來(lái)數(shù)據(jù)，這種算法操作簡(jiǎn)單、比較可靠，而且運(yùn)行速度較快，符合交通數(shù)據(jù)預(yù)處理的各方面要求。前面幾種方法都是利用一種算法進(jìn)行數(shù)據(jù)補(bǔ)充，而本算法的基本思想是：對(duì)于同一組數(shù)據(jù)進(jìn)行預(yù)處理，可以用多種方法，不同的方法有其各自的優(yōu)勢(shì)與劣勢(shì)，這種方法的思想就是將多種方法組合在一起并選擇不同的權(quán)值，可以有效改善不同方法的缺點(diǎn)。大量實(shí)踐表明，即使在效果一般的模型中，只要將它的獨(dú)立信息和一種合適的方法結(jié)合在一起，就可以提高結(jié)果精度和可靠性。對(duì)于多種算法的處理，其中一種方法就是將不同方法的結(jié)果進(jìn)行加權(quán)平均，大量實(shí)驗(yàn)表明，通過(guò)組合可以提高準(zhǔn)確性[22]。由于這種方法需要分別計(jì)算不同的算法，計(jì)算繁瑣且使用不方便，因此在要求不高的情況下，不建議使用這種方法。本文采用1:1權(quán)重計(jì)算。判定補(bǔ)償效果優(yōu)劣的方法為：先刪除錯(cuò)誤數(shù)據(jù)，進(jìn)行補(bǔ)償，運(yùn)行程序后將所得結(jié)果與原數(shù)據(jù)相比較，通過(guò)計(jì)算所有數(shù)據(jù)與原數(shù)據(jù)的均方差，均方差較小的比較穩(wěn)定，補(bǔ)償效果好。均方差，即為標(biāo)準(zhǔn)差，標(biāo)準(zhǔn)差是離均差平方和平均后的方根，用σ表示。標(biāo)準(zhǔn)差在概率統(tǒng)計(jì)中最常使用作為統(tǒng)計(jì)分布程度上的測(cè)量。標(biāo)準(zhǔn)差定義是總體各單位標(biāo)準(zhǔn)值與其平均數(shù)離差平方的算術(shù)平均數(shù)的平方根。標(biāo)準(zhǔn)差可以反映數(shù)據(jù)集的離散程度，標(biāo)準(zhǔn)差越小，說(shuō)明數(shù)據(jù)越穩(wěn)定；反之標(biāo)準(zhǔn)差越大，數(shù)據(jù)波動(dòng)越大[23]。假設(shè)有一組數(shù)值X?，X?，X?……Xn（皆為實(shí)數(shù)），其平均值（算術(shù)平均值）為μ，均方差公式如下：σ=1Ni=1Nxiμ2 (314)4 智能交通系統(tǒng)數(shù)據(jù)預(yù)處理相關(guān)算法設(shè)計(jì)接下來(lái)是本文的重點(diǎn)部分，詳細(xì)介紹了所選方法的程序、數(shù)據(jù)結(jié)果和方法對(duì)比。數(shù)據(jù)來(lái)自交通道路的真實(shí)數(shù)據(jù)，并選取其中五分鐘的交通數(shù)據(jù)，如下表：表41 原始數(shù)據(jù)Table 41 Raw data 序號(hào)序號(hào)123456781355360346358340346345322233332829238922543827831426284327727