應(yīng)用于智能交通中的大數(shù)據(jù)技術(shù)(參考版)
2025-07-16 23:14本頁(yè)面
【正文】 參考文獻(xiàn)[1]“愛(ài)上”大數(shù)據(jù)[J].農(nóng)經(jīng),2014,12:3839.[2]姬倩倩,[J].電子科技,2015,02:127130.[3][J].中國(guó)安防,2014,06:3336.[4][J].北京聯(lián)合大學(xué)學(xué)報(bào),2014,04:4447.[5][D].成都理工大學(xué),2014.[6]岳建明,[J].生產(chǎn)力研究,2013,06:137138+165.[7]鄧春新,[J].電腦知識(shí)與技術(shù),2013,20:46894691+4702.[8][J].中國(guó)交通信息化,2013,10:106110.[9][J].圖書(shū)與情報(bào),2012,06:2228.[10][J].交通世界(),2013,12:126127.[11]葉亮.“大數(shù)據(jù)”背景下我國(guó)交通數(shù)據(jù)管理應(yīng)用的轉(zhuǎn)型與發(fā)展[J].交通與運(yùn)輸(學(xué)術(shù)版),2013,02:6568.[12][D].復(fù)旦大學(xué),2011.。除此之外，我還要感謝這四年來(lái)給予我關(guān)心和幫助的諸位老師，我許多寶貴的知識(shí)和思想都是在他們的指導(dǎo)下學(xué)習(xí)和積累的，同時(shí)開(kāi)闊了我的視野。臨近畢業(yè)，我首先要感謝我的論文指導(dǎo)導(dǎo)師，老師求是的學(xué)術(shù)風(fēng)格，嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度和幽默的語(yǔ)言影響著我，從論文的選題到最終定稿，老師為我提出了很多重要的意見(jiàn)和建議。從今天到未來(lái)大數(shù)據(jù)在智能交通的應(yīng)用中必須要使用云計(jì)算等大數(shù)據(jù)處理技術(shù)，而利用該技術(shù)就必須對(duì)其進(jìn)行海量數(shù)據(jù)平臺(tái)的建設(shè)，只有平臺(tái)的充分利用才可以有效解決海量數(shù)據(jù)爆炸問(wèn)題，為此做好海量數(shù)據(jù)平臺(tái)的建設(shè)，保持其能夠可持續(xù)發(fā)展，其必須要從系統(tǒng)架構(gòu)、遷移數(shù)據(jù)方案的確定、存儲(chǔ)數(shù)據(jù)方案以及處理數(shù)據(jù)方案的確定入手，進(jìn)而構(gòu)建一個(gè)智能化、安全化、低成本、高效便捷化的智能交通系統(tǒng)。與此同時(shí)隨著信息時(shí)代的到來(lái)，在智能交通領(lǐng)域大量的信息數(shù)據(jù)必須要得到高效、快捷、安全的處理。[11]要做到數(shù)據(jù)的公益性利用、商業(yè)性開(kāi)發(fā)能夠與個(gè)人隱私權(quán)之間相平衡。通過(guò)開(kāi)放交通數(shù)據(jù)，有助于形成良好的公私伙伴關(guān)系，促使交通主管部門(mén)利用私營(yíng)機(jī)構(gòu)的專業(yè)信息技術(shù)知識(shí)，通過(guò)第三方應(yīng)用程序開(kāi)發(fā)者以及專業(yè)開(kāi)發(fā)人員來(lái)完善交通信息服務(wù)，根據(jù)具體人群需求來(lái)定制個(gè)性交通服務(wù)。利用Hadoop權(quán)限設(shè)計(jì)在HDFS相應(yīng)文件夾當(dāng)中設(shè)置相應(yīng)的用戶權(quán)限，并對(duì)HDFS和HBase的訪問(wèn)時(shí)進(jìn)行監(jiān)控，從而能夠?qū)崟r(shí)生成追蹤日志記錄每次數(shù)據(jù)訪問(wèn)，此外進(jìn)行數(shù)據(jù)匿名策略并適時(shí)替換敏感字段。因此對(duì)于系統(tǒng)數(shù)據(jù)的備份設(shè)計(jì)需要將某數(shù)據(jù)節(jié)點(diǎn)中的本地?cái)?shù)據(jù)在不同和相同機(jī)架的遠(yuǎn)程遠(yuǎn)端節(jié)點(diǎn)各備份l份，對(duì)此這樣的設(shè)計(jì)既保障了數(shù)據(jù)可靠性，同時(shí)也能夠按照就近備份原則提高了數(shù)據(jù)的可用性。對(duì)于數(shù)據(jù)的安全備份策略，其系統(tǒng)可靠性需要來(lái)自于對(duì)HDFS文件系統(tǒng)進(jìn)行冗余存儲(chǔ)設(shè)計(jì)。在現(xiàn)在和未來(lái)應(yīng)用當(dāng)中車載GPS設(shè)備還會(huì)對(duì)交通流速度等交通狀況進(jìn)行數(shù)據(jù)傳輸，因此地圖匹配技術(shù)在位置信息數(shù)據(jù)當(dāng)中具有十分的關(guān)鍵的作用。在智能交通領(lǐng)域當(dāng)中一般的傳感器指的均是GPS接收器，這是因?yàn)镚PS接收器能夠提供經(jīng)緯度坐標(biāo)等地理信息，并且其已經(jīng)在諸多領(lǐng)域得到應(yīng)用。以此來(lái)快速檢索和統(tǒng)計(jì)分析所需軌跡停車點(diǎn)后的數(shù)據(jù)提取，在利用Mahout中的Clustering（聚類）數(shù)據(jù)中的挖掘模塊實(shí)現(xiàn)多維空間下的快速聚類分析功能。該項(xiàng)技術(shù)一般提供對(duì)常規(guī)路線或指定路線的快速提取以及處理異常分析的比照等。2）分布式軌跡聚類技術(shù)：該技術(shù)是利用MapReduce分布式計(jì)算架構(gòu)對(duì)分布式軌跡進(jìn)行一定的規(guī)則化處理，從而實(shí)現(xiàn)K．Means聚類算法。此外還可以用HDFS分布式文件系統(tǒng)以及MapReduce分布式計(jì)算編程取代過(guò)去的關(guān)系數(shù)據(jù)庫(kù)查找進(jìn)而實(shí)現(xiàn)快速統(tǒng)計(jì)功能。在這一過(guò)程當(dāng)中所應(yīng)用的關(guān)鍵技術(shù)包括：1）軌跡數(shù)據(jù)快速檢索技術(shù)：該技術(shù)是以二進(jìn)制文件取代原始數(shù)據(jù)的轉(zhuǎn)存，設(shè)計(jì)KeyValue儲(chǔ)存作為記錄。系統(tǒng)的數(shù)據(jù)處理是大數(shù)據(jù)系統(tǒng)平臺(tái)在現(xiàn)代智能交通領(lǐng)域內(nèi)的核心模塊，一般系統(tǒng)的數(shù)據(jù)處理要實(shí)時(shí)與統(tǒng)計(jì)應(yīng)用相互分離，進(jìn)而適用不同應(yīng)用的需求。為此要在大規(guī)模機(jī)群環(huán)境下，重點(diǎn)考慮利用軟件完成容錯(cuò)而不是依賴系統(tǒng)硬件來(lái)完成；3）、支持異構(gòu)環(huán)境，在以上基礎(chǔ)之上由于計(jì)算機(jī)硬件更新較快，建設(shè)大規(guī)模機(jī)群同構(gòu)系統(tǒng)難度較大，并且一次性購(gòu)置大量同構(gòu)計(jì)算機(jī)也是不合理的。而對(duì)于智能交通海量大數(shù)據(jù)，其應(yīng)該在現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的基礎(chǔ)上完成對(duì)方案的重新審視，并需要具備以下幾個(gè)重要的特性：1）、高度的可擴(kuò)展性：面對(duì)現(xiàn)代交通的發(fā)展其數(shù)據(jù)呈現(xiàn)幾何增長(zhǎng)的趨勢(shì)，數(shù)據(jù)庫(kù)已經(jīng)不能僅依靠l臺(tái)或幾臺(tái)機(jī)器進(jìn)行縱向擴(kuò)展（ scale up）的升級(jí)來(lái)滿足爆炸式的數(shù)據(jù)量增長(zhǎng)。圖七：數(shù)據(jù)存儲(chǔ)過(guò)程在構(gòu)建智能交通大數(shù)據(jù)系統(tǒng)平臺(tái)少不了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。于此同時(shí)，存儲(chǔ)模塊也會(huì)相應(yīng)的啟動(dòng)Job任務(wù)對(duì)數(shù)據(jù)進(jìn)行處理和分析。Hbase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，并且利用HBase技術(shù)可在廉價(jià)PC Server上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。就在這一過(guò)程當(dāng)中，系統(tǒng)的存儲(chǔ)功能就需要保持所有數(shù)據(jù)無(wú)丟失并且持久性儲(chǔ)存。圖六：Hadoop與關(guān)系型數(shù)據(jù)庫(kù)的相互轉(zhuǎn)移對(duì)于任何信息數(shù)據(jù)計(jì)算系統(tǒng)數(shù)據(jù)的存儲(chǔ)與數(shù)據(jù)計(jì)算是不可分割的，因此在系統(tǒng)的架構(gòu)之初其就包含海量數(shù)據(jù)存儲(chǔ)功能以及海量數(shù)據(jù)計(jì)算功能。此方案在實(shí)際的測(cè)試過(guò)程當(dāng)中，有著較高的安全性，試驗(yàn)中始終保持著0次傳輸間斷和O％數(shù)據(jù)傳輸丟失。圖五：智能交通海量數(shù)據(jù)共享分析平臺(tái)由于現(xiàn)有智能交通數(shù)據(jù)一般均存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)當(dāng)中，我們?yōu)榱四軌蜃寯?shù)據(jù)統(tǒng)計(jì)分析更為精準(zhǔn)，所以必須要讓歷史數(shù)據(jù)遷移到大數(shù)據(jù)平臺(tái)當(dāng)中，而Hadoop大數(shù)據(jù)平臺(tái)則是首選。圖四：戰(zhàn)略調(diào)控的技術(shù)應(yīng)用架構(gòu)針對(duì)現(xiàn)代智能交通的海量數(shù)據(jù)特點(diǎn)，結(jié)合與其融合的大數(shù)據(jù)典型平臺(tái)架構(gòu)，搭建一種智能交通海量數(shù)據(jù)平臺(tái)其基本架構(gòu)應(yīng)包含以下三個(gè)部分，即數(shù)據(jù)采集層、數(shù)據(jù)架構(gòu)層以及數(shù)據(jù)服務(wù)層。 5智能交通海量數(shù)據(jù)的平臺(tái)搭建從本質(zhì)上來(lái)說(shuō)，大數(shù)據(jù)環(huán)境下交通分析技術(shù)的完成是一種將數(shù)據(jù)組織成為信息，從信息提煉特征，從特征變化中發(fā)現(xiàn)規(guī)律，就對(duì)策進(jìn)行追蹤評(píng)估的信息處理過(guò)程。因其智能交通的發(fā)展有一個(gè)極強(qiáng)的群眾基礎(chǔ)作為支撐。
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1