【文章內(nèi)容簡介】 究。④交通流量數(shù)據(jù)倉庫系統(tǒng)的更新維護功能有待研究和深化。我國正處于經(jīng)濟發(fā)展和基礎(chǔ)設(shè)施建設(shè)飛速發(fā)展階段，路網(wǎng)規(guī)模、布局調(diào)整的速度和程度都很大，交通流量常常在高速公路系統(tǒng)內(nèi)部進行重新分布，這就要求交通流量數(shù)據(jù)倉庫系統(tǒng)能夠針對實際情況具有足夠的調(diào)整基年交通流量分布和更新局部路網(wǎng)抽象的功能，以做到交通流量信息更新的及時性、準確性和數(shù)據(jù)管理的動態(tài)性。然而目前國內(nèi)在此方面開展的研究還很少。論文的各章內(nèi)容安排如下：第一章：介紹論文的研究背景，研究的目的及意義，國內(nèi)外研究現(xiàn)狀及分析，以及論文的結(jié)構(gòu)；第二章：介紹高速公路交通流量多維分析的總體框架，在分析高速公路管理部門的需求的基礎(chǔ)上，運用數(shù)據(jù)倉庫和OLAP等技術(shù)，提出高速公路交通流量規(guī)律分析的總體框架，并闡述總體框架中的關(guān)鍵技術(shù)；第三章：介紹關(guān)鍵技術(shù)中的數(shù)據(jù)抽取問題和提出一種基于高速公路收費數(shù)據(jù)的交通流量估算算法；第四章：研究基于OLAP的高速公路交通流量多維分析數(shù)據(jù)倉庫模型，并研究了數(shù)據(jù)的粒度，構(gòu)建了基于星型模式的數(shù)據(jù)倉庫，然后分析高速公路交通流量關(guān)聯(lián)的因素，選取交通流量分析的維度，構(gòu)建多維數(shù)據(jù)集；第五章：運用上述方法和總體框架，利用重慶市高速公路的部分收費數(shù)據(jù)，開發(fā)了一個機遇高速公路收費數(shù)據(jù)的交通流量多維分析系統(tǒng)，實現(xiàn)對重慶市高速公路部分斷面的交通流量的多維分析和展示；第六章：總結(jié)與展望。本章給出了本課題研究的背景，對研究的目的和意義進行了闡述，并分析了國內(nèi)外研究現(xiàn)狀，接著給出了論文各章主要研究內(nèi)容及具體章節(jié)安排。2 高速公路交通流量多維分析總體框架隨著高速公路交通流量的持續(xù)快速增長，提高高速公路管理水平、發(fā)揮高速公路路網(wǎng)整體運行效率的需求將越來越高。高速公路交通流量多維分析系統(tǒng)能夠及時準確的提供高速公路的交通狀況信息，從而要為各級高速公管理部門和決策者科學合理地組織高速公路運輸，及時解決高速公路中出現(xiàn)的問題，提高服務水平，抓好高速公路安全和市場管理提供科學的決策依據(jù)。本章在分析需求的基礎(chǔ)上，闡述設(shè)計高速公路交通流量多維分析系統(tǒng)的總體思想，最后提出高速公路交通流量多維分析系統(tǒng)的總體結(jié)構(gòu)和系統(tǒng)流程，并提出設(shè)計高速公路交通流量多維分析系統(tǒng)所需要面臨的四個關(guān)鍵問題。高速公路管理部門目前的應用系統(tǒng)主要是基于聯(lián)機事務處理的聯(lián)機收費系統(tǒng)，此類應用系統(tǒng)主要負責高速公路的營運收費，支持大量用戶進行日常事務處理，實現(xiàn)了辦公的自動化和信息化。但是，現(xiàn)有的這些應用系統(tǒng)并不具備數(shù)據(jù)分析的能力，對于高速公路收費系統(tǒng)來講，管理部門除了關(guān)心高速公路營運收入之外，更關(guān)心在這些現(xiàn)象所呈現(xiàn)出的分布情況以及背后所隱藏的規(guī)律。例如，交通流量在不同的時間、斷面上的分布，車型之間的流量對比等。原來的收費系統(tǒng)對于這些需求，顯得無能為力。因此，針對目前高速公路管理部門在收費站數(shù)據(jù)分析方面存在的問題，經(jīng)過充分的調(diào)研和總結(jié)分析，確定交通流量規(guī)律分析的需求如下：① 車輛流量的時間維分布考察車輛在特定時間段的交通流量分布情況，例如春運時期和黃金周。能夠?qū)Σ煌攴莸耐粫r期的車輛流量情況進行對比，給出交通流量對比圖，并分析一年內(nèi)不同季度和月份交通流量的規(guī)律，利用圖表、趨勢曲線對交通流量分布規(guī)律進行展現(xiàn)。② 交通流量的不同檢測斷面的分布針對不同道路上交通流量情況進行分析對比，觀察每條道路的交通流量情況，并且對于不同檢測斷面的交通流量情況利用地圖染色的形式直觀展現(xiàn)。③ 不同車型的交通流量對比。在時間和斷面維上對不同車型進行綜合分析，查看不同車型的交通流量分布情況。針對上述需求分析，本文提出的高速公路交通流量規(guī)律多維分析設(shè)計思想如下：① 經(jīng)濟性充分利用高速公路現(xiàn)有的設(shè)備和條件，與原有的收費站系統(tǒng)融合，恰當?shù)脑O(shè)計系統(tǒng)，在減少新設(shè)備的投入的情況下依然能夠獲得令人滿意的分析效果。② 技術(shù)合理性數(shù)據(jù)倉庫模型設(shè)計的合理與否直接關(guān)系到系統(tǒng)的性能和分析結(jié)果的優(yōu)劣，是數(shù)據(jù)分析的基石，因此必須構(gòu)建適宜分析的數(shù)據(jù)倉庫模型。本論文充分利用OLAP（聯(lián)機分析處理）多維分析技術(shù)，對高速公路交通流量進行多角度、多層次的分析，然后以數(shù)據(jù)表、圖表顯示等方式展現(xiàn)給管理者。因此，從整體系統(tǒng)結(jié)構(gòu)上分為四個部分：一是對收費站數(shù)據(jù)、道路的基礎(chǔ)信息等數(shù)據(jù)進行抽取，然后對抽取數(shù)據(jù)進行預處理工作；二是根據(jù)收費站數(shù)據(jù)估算隨意斷面的交通流量；二是根據(jù)需求和數(shù)據(jù)信息，設(shè)計合理的數(shù)據(jù)倉庫模型和OLAP多維分析模型，生成查詢分析所需的交通流量數(shù)據(jù)立方體。最后，將分析的結(jié)果以圖表和透視表的方式展現(xiàn)。③ 易操作與可維護性對于數(shù)據(jù)抽取及轉(zhuǎn)換服務，采用定時觸發(fā)的方式從收費系統(tǒng)的數(shù)據(jù)庫中抽取，大量的數(shù)據(jù)處理工作放在后臺服務器，將處理結(jié)果直接提供給前臺程序。對于后臺數(shù)據(jù)的更新采用定時處理和點擊按鈕兩種方式，對于技術(shù)管理人員來講操作簡單、容易維護。④ 可靠性與穩(wěn)定性在整體方案設(shè)計時，系統(tǒng)的穩(wěn)定性和可靠性也是必須需要考慮的問題。本方案后臺服務器采用微軟公司的SQL Server 2008及Analysis Service，對于系統(tǒng)運行過程中出現(xiàn)的異常情況，以日志形式進行記錄，方便系統(tǒng)管理人員進行維護。根據(jù)上述需求分析、設(shè)計思想，結(jié)合現(xiàn)有硬件條件。 交通流量多維分析系統(tǒng)結(jié)構(gòu)圖 Logic structure of the system該方案由基礎(chǔ)數(shù)據(jù)庫、數(shù)據(jù)抽取轉(zhuǎn)換器、交通流量估算模型、SQL Server 2008數(shù)據(jù)倉庫，OLAP多維數(shù)據(jù)集和前臺軟件組成。① 基礎(chǔ)數(shù)據(jù)庫：保存由收費站信息系統(tǒng)傳送過來的收費數(shù)據(jù)以及車輛、道路等相關(guān)的靜態(tài)信息。同時，也作為高速公路管理部門日常事務處理的數(shù)據(jù)庫；② 數(shù)據(jù)抽取轉(zhuǎn)換器：通過內(nèi)部局域網(wǎng)將交通流量規(guī)律多維分析所需的基礎(chǔ)數(shù)據(jù)（出入站數(shù)據(jù)、車型數(shù)據(jù)、出口入口時間）抽取到SQL Server數(shù)據(jù)倉庫中，同時將數(shù)據(jù)進行相應的預處理；③ 交通流量估算模型：通過聯(lián)網(wǎng)收費數(shù)據(jù)估算隨意斷面的交通流量，存放到數(shù)據(jù)倉庫中；④ 數(shù)據(jù)倉庫：將規(guī)范化和格式化的數(shù)據(jù)信息、視圖、索引等進行存儲，管理和更新交通流量數(shù)據(jù)，能夠?qū)煌髁繑?shù)據(jù)進行備份和恢復，并且可以進行質(zhì)量檢查，審計和報告時間倉庫的使用和狀態(tài)，負責安全和特權(quán)管理等功能；⑤ OLAP服務器：利用收費站數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)信息創(chuàng)建交通流量分析的多維數(shù)據(jù)集，進行存儲，并負責維護和更新多維數(shù)據(jù)集；⑥ PivotTable：用來展現(xiàn)交通流量多維數(shù)據(jù)集，可以在客戶端對交通流量數(shù)據(jù)進行下鉆、上卷、切片、切塊、旋轉(zhuǎn)等操作，通過不同的層次和角度對交通流量數(shù)據(jù)進行分析，同時與Chart組建綁定，實現(xiàn)交通流量規(guī)律的圖表、曲線展現(xiàn)；⑦ 客戶端軟件：包括數(shù)據(jù)透視表和交通流量圖表。通過客戶端實現(xiàn)OLAP立方體的多維操作，分析高速公路交通流量規(guī)律。 Flow chart of system，數(shù)據(jù)抽取轉(zhuǎn)換腳本每小時自動運行，更新時間維表，然后將高速公路收費站數(shù)據(jù)遷移到SQL Server數(shù)據(jù)庫服務器緩沖表中。對于新抽取的數(shù)據(jù)，利用本文提出的高速公路斷面交通流量估算模型進行數(shù)據(jù)預處理，然后把相關(guān)維表調(diào)入內(nèi)存，生成交通流量分析的事實表。為了保持數(shù)據(jù)的一致性，生成或更新事實表之后，將OLAP數(shù)據(jù)庫中的數(shù)據(jù)立方體和共享維度一起更新。通過客戶端的PivotTable和Chart控件對更新后的交通流量分析多維數(shù)據(jù)集進行展現(xiàn)。對于圖表的展現(xiàn)可以進行多角度、多層次的分析。結(jié)合實際應用背景，要實現(xiàn)本文提出的交通流量規(guī)律多維分析總體框架，需解決以下關(guān)鍵問題。 ① 斷面交通流量估算所需數(shù)據(jù)的抽取由于收費站數(shù)據(jù)庫為OLTP數(shù)據(jù)庫，主要面向事務處理，數(shù)據(jù)零散孤立，不利于數(shù)據(jù)分析，因此，需要將數(shù)據(jù)抽取到一個特定的數(shù)據(jù)環(huán)境中。在SQL Server數(shù)據(jù)庫服務器上運行數(shù)據(jù)抽取器，定時從收費站數(shù)據(jù)庫中抽取交通流量規(guī)律所需的原始數(shù)據(jù)。抽取器的設(shè)計要保證收費站數(shù)據(jù)的完整性和一致性，抽取的數(shù)據(jù)要準確、合理，并且抽取器的工作不影響收費站數(shù)據(jù)庫的運行。② 基于收費站數(shù)據(jù)的交通流量估算方法基于收費站數(shù)據(jù)的交通流量估算方法是進行交通流量數(shù)據(jù)分析的重要環(huán)節(jié)，通過對原始收費站數(shù)據(jù)信息進行處理實現(xiàn)交通斷面交通流量的估算。本課題基于收費站數(shù)據(jù)的交通流量估算方法工作將在第三章進行了討論，在此不再累述。③ 數(shù)據(jù)倉庫模型的確立及其更新數(shù)據(jù)倉庫模型的設(shè)計是否合理關(guān)系到多維數(shù)據(jù)分析的效率以及分析結(jié)果的準確性，同時也關(guān)系到數(shù)據(jù)倉庫的維護和擴展性。此外，為了保證聯(lián)網(wǎng)收費數(shù)據(jù)庫與交通流量數(shù)據(jù)倉庫數(shù)據(jù)的一致性，數(shù)據(jù)倉庫的更新也是本文闡述的關(guān)鍵技術(shù)之一，將在第四章進行詳細討論。④ OLAP多維數(shù)據(jù)立方體的設(shè)計及更新多維數(shù)據(jù)集創(chuàng)建過程中對于維的選擇以及維的層次關(guān)系的設(shè)計決定了數(shù)據(jù)分析結(jié)果是否全面和有效，存儲模式的選擇決定了數(shù)據(jù)訪問效率的高低，因此本文針對聯(lián)網(wǎng)收費數(shù)據(jù)分析的特性，對OLAP多維數(shù)據(jù)集的設(shè)計進行研究。當交通流量數(shù)據(jù)倉庫進行更新之后或者多維數(shù)據(jù)集的存儲結(jié)構(gòu)進行了更改，為了保證能夠看到最新的分析結(jié)果，必須要對多維數(shù)據(jù)進行同步更新，以保證分析結(jié)果的準確性。本文對OLAP多維數(shù)據(jù)集更新的方法進行了研究，將在第四章進行詳細討論。本章結(jié)合高速公路管理部門現(xiàn)有的應用基礎(chǔ)和條件，針對其對高速公路交通流量規(guī)律分析的需求，本著合理性、穩(wěn)定性、經(jīng)濟性、可操作性和可維護性等方面的設(shè)計思想，提出了高速公路交通流量規(guī)律多維分析的總體框架，并提出總體框架中相關(guān)關(guān)鍵技術(shù)。3基于高速公路收費數(shù)據(jù)的交通流量分析目前大多數(shù)的斷面交通流量數(shù)據(jù)主要來自三種途徑：一是根據(jù)設(shè)置的交通流量采集點在指定時間內(nèi)人工調(diào)查，計算得到斷面交通流量；二是在地上或地下設(shè)置交通流量檢測設(shè)備，通過設(shè)備取得斷面交通流量；三是基于收費數(shù)據(jù)庫數(shù)據(jù)進行OD矩陣推算得到斷面交通流量。這三種方法目前具有一定的操作性，但是尚存在以下幾點不足：（1）在交通流量采集點利用人工計數(shù)取得交通流量的方法會花費較大的人力、物力、財力，同時實施及數(shù)據(jù)整理過程較為復雜。（2）在交通流量采集點利用人工計數(shù)取得交通流量的方法受人為因素、外界因素的影響較大，相對于收費系統(tǒng)來講失真度較大。（3）利用交通流量檢測設(shè)備取得交通流量信息的方法設(shè)備成本較高，且只能反映指定點的交通流量。（4）基于收費數(shù)據(jù)庫數(shù)據(jù)進行OD推算得到斷面交通流量方法，該方法的使用受路網(wǎng)的限制，且算法較為復雜。王少輝于2007年提出數(shù)據(jù)倉庫和聯(lián)機分析技術(shù)在高速公路收費數(shù)據(jù)管理及分析中的應用，但目前國內(nèi)高速公路收費站分為主線收費站與匝道收費站，匝道收費站的車流量數(shù)據(jù)只能反映進出高速公路的交通流量，無法反映經(jīng)過道路斷面交通流量。因此通過匝道收費站的流量數(shù)據(jù)，是根本無法直接得到道路斷面交通流量的?；谝陨喜杉椒ù嬖诘牟蛔悖疚奶岢隽艘环N基于高速公路收費數(shù)據(jù)庫的出入口刷卡時間、收費站地理位置及車型數(shù)據(jù)來推算高速公路任意斷面交通流量計算方法。 斷面交通流量估算所需數(shù)據(jù)的抽取數(shù)據(jù)抽取是從聯(lián)網(wǎng)收費數(shù)據(jù)庫中將數(shù)據(jù)分析所需要的數(shù)據(jù)抽取到數(shù)據(jù)倉庫中。為了保證不對聯(lián)網(wǎng)收費數(shù)據(jù)庫服務器產(chǎn)生過重的負載，采用定時觸發(fā)的方式將交通流量規(guī)律分析所需的數(shù)據(jù)抽取出來，然后利用基于聯(lián)網(wǎng)收費數(shù)據(jù)的道路斷面的交通流量估算的方法對抽取的數(shù)據(jù)進行處理轉(zhuǎn)換，最后將處理好的數(shù)據(jù)存入專用的數(shù)據(jù)分析服務器。因此，本數(shù)據(jù)抽取轉(zhuǎn)換器采用定時觸發(fā)方式，在約定的時間點進行數(shù)據(jù)抽取轉(zhuǎn)換工作。本文采用的時間點在每小時的整點處，將一小時內(nèi)的聯(lián)網(wǎng)收費數(shù)據(jù)抽取出來，同時，利用SQL語句過濾與交通流量規(guī)律分析無關(guān)的收費信息，以減少數(shù)據(jù)的傳輸量，提高抽取效率。另外，在第一次抽取時，需要將收費站的基礎(chǔ)數(shù)據(jù)信息從聯(lián)網(wǎng)收費數(shù)據(jù)庫抽取到SQL Server 服務器上，如果基礎(chǔ)數(shù)據(jù)發(fā)生變更也要及時準確的反映到SQL Server服務器中基于以上數(shù)據(jù)抽取器的要求，本文采用DTS和觸發(fā)器來實現(xiàn)數(shù)據(jù)抽取轉(zhuǎn)換工作。① DTS和觸發(fā)器DTS（Data Transformation Services）數(shù)據(jù)轉(zhuǎn)換服務提供將一種數(shù)據(jù)源轉(zhuǎn)換為另一種數(shù)據(jù)源的服務，能夠從多個異構(gòu)數(shù)據(jù)源向數(shù)據(jù)倉庫導入數(shù)據(jù)，提供的服務包括數(shù)據(jù)復制、數(shù)據(jù)轉(zhuǎn)換和通知狀況。觸發(fā)器是一種特殊的存儲過程，當對表或視圖進行更新、插入、刪除等操作時自動執(zhí)行，一般用來保證業(yè)務規(guī)則、數(shù)據(jù)的完整性和一致性。② 基于DTS和觸發(fā)器的抽取器工作流程將編寫好的DTS腳本在SQL Server 2008服務器上運行，當?shù)竭_預定的抽取時間時，DTS腳本將自動運行數(shù)據(jù)導入任務，將交通流量規(guī)律分析所需的聯(lián)網(wǎng)收費數(shù)據(jù)從原始數(shù)據(jù)庫抽取到SQL Server 2008分析服務器上。此外，當基礎(chǔ)數(shù)據(jù)發(fā)生變化時，自動運行觸發(fā)器腳本，執(zhí)行SQL更新語句，更新SQL Server 2008中的基礎(chǔ)數(shù)據(jù)，保證源數(shù)據(jù)與分析數(shù)據(jù)庫中數(shù)據(jù)的一致性。 數(shù)據(jù)抽取過程 Process of data transport package數(shù)據(jù)預處理的目的是把海量的收費數(shù)據(jù)進行處理，轉(zhuǎn)換為適合本文處理的可靠精確的數(shù)據(jù)?？紤]到在交通流量估算中遇到的問題，以及在高速公路收費數(shù)據(jù)挖掘中的實際過程，將數(shù)據(jù)預處理過程分為以下幾個步驟：數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)抽取。 Recorded content of Toll data靜態(tài)數(shù)據(jù)動態(tài)數(shù)據(jù)站編碼表操作員表工班表出口流水表入口流水表站編碼路段編碼站服務器名站名稱站編碼路段編碼操作員姓名操作員編碼身份卡編號身份卡卡號工班名稱工班號碼起啟時間結(jié)束時間出口流水編碼 出口記錄號 入口路段編碼 入口流水編碼 入口站編碼 入口車道編碼 入口站名 入口車種 入口車型 入口車牌 入口工班號 入口收費員編碼 入口工班日期 入口收費員姓名 出口流水編碼 入口操作時間 出口路段編碼 出口站編碼 出口站名 出口車型 出口車道編碼 出口車種 出口工班號 出口車牌 出口收費員編碼 出口工班日期 出口操作時間 出口收費員姓名 車輛數(shù)流水編碼 記錄號 站編碼 路段編碼 車道編碼 站名 車型 車輛