【正文】 ： （ 1）前瞻性技術(shù)與實(shí)際應(yīng)用環(huán)境相結(jié)合 14 本項(xiàng)目是既是先進(jìn)技術(shù)應(yīng)用示范項(xiàng)目，又是工程實(shí)施型項(xiàng)目。圖表 1 智慧交通云平臺(tái)云計(jì)算解決方案 15 系統(tǒng)的主要技術(shù)特點(diǎn)實(shí)時(shí)性：平臺(tái)在高效率并行分布式軟件的支撐下， 可以實(shí)時(shí)完成交管數(shù)據(jù)入庫、 分析和管理工作，如數(shù)據(jù)匯總、數(shù)據(jù)上報(bào)、數(shù)據(jù)入庫、數(shù)據(jù)查詢、數(shù)據(jù)計(jì)算 和數(shù)據(jù)管理等。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用數(shù) 據(jù)庫方案節(jié)省 10 倍左右的成本。 讀取模塊主要負(fù)責(zé)各個(gè)數(shù)據(jù)中心歷史數(shù)據(jù)的讀取處理，解析模 塊主要負(fù)責(zé)把讀取到的歷史數(shù)據(jù)解析成合理的數(shù)據(jù)格式， 而匯總模塊主要負(fù)責(zé)把 解析好的歷史數(shù)據(jù)上傳到統(tǒng)一的數(shù)據(jù)中心。 在內(nèi)部處理模塊上，實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)主要包括三個(gè)模塊：接受模塊、解析 19 模塊和數(shù)據(jù)入庫模塊。關(guān)系數(shù)據(jù)庫將采用 Sybase ASE 版本。此外，用 戶從客戶 端發(fā)起以上各種數(shù)據(jù)查詢分析任務(wù)時(shí)，也會(huì)產(chǎn)生大量并發(fā)的查詢?nèi)蝿?wù)。（ 7）系統(tǒng)管理 系 22 統(tǒng)管理主要包括智慧交通云平臺(tái)的配置管理、 系統(tǒng)安全管理、 系統(tǒng)用戶管 理，以及數(shù)據(jù)備份、系統(tǒng)故障監(jiān)測(cè)復(fù)等管理維護(hù)功能。 第二層是系統(tǒng)軟件層， 包括移動(dòng)的云存儲(chǔ)系統(tǒng)軟件， 綜合分析云計(jì)算軟件平 臺(tái)，以及 Web 服務(wù)軟件等。 26 負(fù)載均衡機(jī)功能 監(jiān)控所集群機(jī)器負(fù)載情況，動(dòng)態(tài)分 配交管數(shù)據(jù)。報(bào)警數(shù)據(jù)處理 智慧交通云平臺(tái)對(duì)接收到的實(shí)時(shí)交管數(shù)據(jù)進(jìn)行計(jì)算， 以判斷這輛車有沒有符 合報(bào)警條件。若在固定的時(shí)間內(nèi)沒有更 新，視為進(jìn)程運(yùn)行故障，啟動(dòng)主機(jī)代理自動(dòng)恢復(fù)故障進(jìn)程，保障各服務(wù)模塊進(jìn)程 持續(xù)穩(wěn)定的運(yùn)行的狀態(tài)。 硬件： 所有的網(wǎng)絡(luò)設(shè)備都要 1+1 冗余配置，涉及以下網(wǎng)絡(luò)硬件設(shè)備冗余配置 以太網(wǎng) 100M/ 1000M 網(wǎng)卡 以太網(wǎng)網(wǎng)絡(luò)交換設(shè)備 光纖網(wǎng)絡(luò)接口 FC/HBA SAN 光纖網(wǎng)絡(luò)交換機(jī) 33 軟件： 在整個(gè)系統(tǒng)上部署防火墻軟件、 及自產(chǎn)的安全管理管理軟件模塊來保障系統(tǒng) 平穩(wěn)運(yùn)行。主 Namenode 將所有關(guān)于文件和目錄的操作記錄都會(huì)寫入日志，并定時(shí)序列化到本 地做鏡像， 并且保存到本地的 NFS 服務(wù)器， 同時(shí) secondNamenode 讀取主 Namenode 所在 NFS 服務(wù)器的日志并對(duì)鏡像日志做 CheckPoint 。 master 掛掉怎么辦 ？ 由于 master 只維護(hù)表和 region 的元數(shù)據(jù)，因此 master 下線短時(shí)間內(nèi)對(duì)整 個(gè) hbase 集群沒有影響， master 保存的信息全是可以冗余信息（都可以從系統(tǒng) 其它地方收集到或者計(jì)算出來） ，因此，啟動(dòng) HBase 時(shí)可以再啟動(dòng)一個(gè)備用的 master，實(shí)際工作的只有主 master，當(dāng)主 master 所在節(jié)點(diǎn)宕機(jī)，會(huì)自動(dòng)切換到 備用 master 所在節(jié)點(diǎn)。 TaskTracker 是運(yùn)行于多個(gè)節(jié)點(diǎn)上的 slaver 服務(wù)。 用其它分布式框架所寫的程序在從十臺(tái)機(jī)器的級(jí) 38 別到成百上千臺(tái)機(jī)器需要大量的重構(gòu)工作，這 也許要程序重寫幾次，并且其它框 的基礎(chǔ)元素會(huì)限制應(yīng)用的規(guī)模大小。性能指標(biāo)： 存儲(chǔ)量指標(biāo) 單系統(tǒng)應(yīng)支持 TB 級(jí)存儲(chǔ)容量。由于數(shù)據(jù)匯入處理不需要存儲(chǔ)任何數(shù)據(jù)，僅僅需要讀 取、解析和入庫數(shù)據(jù)。 由于 MapReduce 計(jì)算任務(wù)需要較長的作業(yè)初始化時(shí)間，交管數(shù)據(jù)索引創(chuàng) 建程序?qū)㈦y以用 MapReduce 程序?qū)崿F(xiàn)，而需要基于 HDFS、利用 HDFS 編程接口編 寫和定制較為復(fù)雜的非 MapReduce 程序， 該程序不能依賴任何 MapReduce 的編程 構(gòu)架和接口，而需要自行編寫程序完成全部的數(shù)據(jù)讀出、解析處理、復(fù)雜的索引 計(jì)算、以及索引數(shù)據(jù)的輸出（輸出到 HDFS 或者 Hbase）處理過程。（ 6）并行處理任務(wù)的負(fù) 44 載均衡調(diào)度和單節(jié)點(diǎn)失效恢復(fù)機(jī)制的定制方案 前述的交管數(shù)據(jù)入庫、建立索引、數(shù)據(jù)匯總和數(shù) 據(jù)上報(bào)、數(shù)據(jù)查詢等處理中 需要考慮的一個(gè)共性的重要問題是，為了對(duì)大量數(shù)據(jù)進(jìn)行并行化的處理、或者大 量用戶同時(shí)發(fā)出了很多查詢請(qǐng)求時(shí)， 需要考慮并行計(jì)算任務(wù)的分發(fā)調(diào)度和負(fù)載均 衡，尤其是負(fù)責(zé)分發(fā)調(diào)度的節(jié)點(diǎn)可能出現(xiàn)單節(jié)點(diǎn)失效而導(dǎo)致系統(tǒng)無法正常工作。 46 2 系統(tǒng)設(shè)計(jì)實(shí)施與關(guān)鍵技術(shù)方法 系統(tǒng)平臺(tái) cProc 云處理平臺(tái)是搭建在云存儲(chǔ)系統(tǒng)上，對(duì)業(yè)務(wù)層直接提供對(duì)外開發(fā)接口 和數(shù)據(jù)傳輸接口的分布式數(shù)據(jù)處理平臺(tái)。 數(shù)據(jù)立方是云創(chuàng)公司研發(fā)的高效數(shù)據(jù) 結(jié)構(gòu)， 該結(jié)構(gòu)成功解決了海量數(shù)據(jù)的快速索引和查詢問題，使得百億條記錄級(jí)的 數(shù)據(jù)能夠秒級(jí)處理。 49 系統(tǒng)規(guī)格 項(xiàng)目 可管理的數(shù)據(jù)總量 （ ★ ） 實(shí)時(shí)索引的數(shù)據(jù)流 量（ ★ ） 任意關(guān)鍵字段實(shí)時(shí) 創(chuàng)建索引（ ★ ） 內(nèi)容 支持 100PB 量級(jí)的數(shù)據(jù)管理 支持 100GBps 以上量級(jí)的數(shù)據(jù)流實(shí)時(shí)索引規(guī) 格 說 明根據(jù)提供的表結(jié)構(gòu)解析元數(shù)據(jù)，并根據(jù)提供的任意關(guān) 鍵字段實(shí)時(shí)創(chuàng)建索引。 系統(tǒng)連續(xù)運(yùn)行 7*24 小時(shí)，無任何故障， 穩(wěn)定性（ ★ ） 所有周期任務(wù)均正常執(zhí)行，且執(zhí)行結(jié)果正 50 確。 基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)模型，是依據(jù)云計(jì)算的核心計(jì)算模式 MapReduce ，并依托實(shí)現(xiàn)了 MapReduce 計(jì)算模式的開源分布式并行編程框架 Hadoop，將存儲(chǔ)模型和云計(jì)算結(jié)合在一起，實(shí)現(xiàn)海量數(shù)據(jù)的分布式存儲(chǔ)。 支持對(duì)外接口（ ★ ） 監(jiān)控功能（ ★ ） 備注： ★ 為必須滿足項(xiàng)。 查詢（ ★ ） 不僅支撐查詢、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù) 挖掘和商業(yè)智能分析業(yè)務(wù)。 調(diào)度均衡器是云創(chuàng)公司研發(fā)的解決單點(diǎn)故障的一項(xiàng)技 48 術(shù)， 用于解決系統(tǒng)內(nèi)的 單點(diǎn)問題， 確保某機(jī)器的應(yīng)用程序狀態(tài)在宕機(jī)或斷網(wǎng)時(shí)，可將狀態(tài)從異常機(jī)器轉(zhuǎn) 移到其他機(jī)器上，中間無數(shù)據(jù)丟失。 數(shù)據(jù)立方是獨(dú)立于 cProc 云處理平臺(tái)的技術(shù)架構(gòu)，用戶可以選擇性采 用數(shù)據(jù)立方， 也 可以單獨(dú)采用 Hbase、 Hive 等技術(shù)框架， 通過數(shù)據(jù)立方或 Hbase， 47 可以將結(jié)構(gòu)化數(shù)據(jù)看成一張無限大的表， 操作這 張表跟操作傳統(tǒng)關(guān)系型數(shù)據(jù)庫一 樣，上層應(yīng)用無需修改，完全符合用戶原來操作習(xí)慣。（ 7）Hadoop 計(jì)算與存儲(chǔ)集群的可靠性設(shè)計(jì)和功能擴(kuò)展 Hadoop 作為一個(gè)開源的面向大規(guī)模數(shù)據(jù)并行計(jì)算的編程框架和平臺(tái)，其可 靠性和性能方面還存在不少需要改進(jìn)的地方。 客戶端查詢用戶界面可基于通用的瀏覽器實(shí)現(xiàn)，也可設(shè)計(jì)為獨(dú)立 (standalone)的客戶端軟件。因此，數(shù)據(jù)上報(bào)時(shí)對(duì)服務(wù)器的使用比較簡單，不需要 考慮和使用諸如 Hadoop 的大規(guī)模數(shù)據(jù)并行計(jì)算和存儲(chǔ)系統(tǒng)，只需要一般的單一 的服務(wù)器即可。 交管數(shù)據(jù)存儲(chǔ)采用 HDFS 性能指標(biāo)，如下： 數(shù)據(jù)讀取性能： 40~80MB/s HDFS 具備線性擴(kuò)展功能，只需要將配置好的 DataNode 節(jié)點(diǎn)加入到集群中， 并且在集群空閑時(shí)執(zhí)行 balancer 工具以平衡集群中 DataNode 的數(shù)據(jù)塊負(fù)載。并且將其負(fù)責(zé)的 task 分配給其他 TaskTracker 上。 ZooKeeper 掛掉怎么辦？ Zookeeper 分為 2 個(gè)部分：服務(wù)器端和客戶端。 HBase 的可靠性由其自身 的 ZooKeeper 機(jī)制保證。 DataNode 所在機(jī)器掛了怎么辦？ HDFS(Hadoop Distributed File System) 默認(rèn)的最基本的存儲(chǔ)單位是 64M 的數(shù)據(jù)塊（ block） 。 系統(tǒng)日志分析處理系統(tǒng)各服務(wù)模塊在運(yùn)行期間寫日志文件，將進(jìn)程的模塊編號(hào)、服務(wù)器的 IP、 出錯(cuò)頁碼等 日志的狀態(tài)（錯(cuò)誤、告警、提示）等級(jí)別的信息保存磁盤文件，供工 程師來分析系統(tǒng)運(yùn)行狀態(tài)。 網(wǎng)絡(luò)管理 服務(wù)器間網(wǎng)絡(luò)安全檢查系統(tǒng)自管理通過啟用網(wǎng)絡(luò)安全檢查進(jìn)程（ inspect） ,定期檢查整個(gè)系統(tǒng) 的網(wǎng)絡(luò)狀況，并上報(bào)各服務(wù)模塊網(wǎng)絡(luò)流量信 息，在終端形成網(wǎng)絡(luò)拓?fù)鋱D，實(shí)時(shí)在 界面呈現(xiàn)各節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)， 管理員也能及時(shí)了解，各服務(wù)模塊的網(wǎng)絡(luò)流量機(jī)承載 的負(fù)荷。實(shí)時(shí)業(yè)務(wù) 對(duì)于實(shí)時(shí)性要求高的業(yè)務(wù)應(yīng)用，如：實(shí)時(shí)監(jiān)控、實(shí)時(shí)報(bào)警，走實(shí)時(shí)專道。其中，原始交管數(shù)據(jù)、索引數(shù) 據(jù)等海量 數(shù)據(jù)將存儲(chǔ)在南京公安局云存儲(chǔ)系統(tǒng)的 HDFS 分布式文件系統(tǒng)中， 用 HDFS 接口進(jìn) 行存儲(chǔ)和訪問處理； 而其它用于分析的中間數(shù)據(jù)等數(shù)據(jù)量不大、但處理響應(yīng)性能 要求較高的數(shù)據(jù)，將存儲(chǔ)在云存儲(chǔ)系統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)中，用 JDBC/SQL 進(jìn)行 存儲(chǔ)和訪問處理。 23 系統(tǒng)總體構(gòu)架與功能模塊基于以上基本的系統(tǒng)組成 和功能構(gòu)架， 系統(tǒng)的詳細(xì)總體構(gòu)架和功能模塊設(shè)計(jì)如圖所示。 在編程實(shí)現(xiàn)上， 存儲(chǔ)在數(shù)據(jù)庫中的數(shù)據(jù)將使用常規(guī)的數(shù)據(jù)庫查詢語言實(shí)現(xiàn)； 對(duì)存儲(chǔ)在分布式文件系統(tǒng)中的交管數(shù)據(jù)，針對(duì)不同的處理要求，在數(shù)據(jù)量極大而 處理實(shí)時(shí)性要求不是特別高的情況下，為了方便 對(duì)海量數(shù)據(jù)的并行處理，將采用 MapReduce 編程方式實(shí)現(xiàn)；而對(duì)于那些實(shí)時(shí)性要求很高的查詢分析計(jì)算，由于 MapReduce 啟動(dòng)作業(yè)需要較長的時(shí)間開銷，將不適合采用 MapReduce 編程實(shí)現(xiàn)， 而需要用非 MapReduce 編程方式實(shí)現(xiàn)。 車輛軌跡查詢處理時(shí)， 由于交管數(shù)據(jù)量巨大， 難以存儲(chǔ)在常規(guī)的關(guān)系數(shù)據(jù)庫 中，而如果直接存儲(chǔ)在 HDFS 或 HBase 中又難以保證查詢效率。 資源池提供 兩種存儲(chǔ)資源：一種是結(jié) 構(gòu)化數(shù)據(jù)存儲(chǔ)資源，用于存儲(chǔ)少量的接口中間數(shù)據(jù)；另 一種是分布式文件系統(tǒng)， 用于存儲(chǔ)海量的非結(jié)構(gòu)化數(shù)據(jù)。 讀取模塊主要負(fù)責(zé)市數(shù)據(jù)中心需要上報(bào)數(shù)據(jù)的讀取處理，解析 模塊主要負(fù)責(zé)把讀取到的數(shù)據(jù)解析成合理的數(shù)據(jù)格式， 而上報(bào)模塊主要負(fù)責(zé)把解 析好的數(shù)據(jù)上傳到的省廳數(shù)據(jù)中心。 17 從系統(tǒng)基本組成與構(gòu)架上來看， 該共享平臺(tái)由 7 個(gè)主要部分組成： 歷史數(shù)據(jù)匯總 處理系統(tǒng)，上報(bào)數(shù)據(jù)上報(bào)系統(tǒng)，實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)，交管數(shù)據(jù)存儲(chǔ)系統(tǒng)，交管數(shù) 據(jù)查詢分析應(yīng)用系統(tǒng)，數(shù)據(jù)管理系統(tǒng)以及系統(tǒng)管理。包括查詢?nèi)蝿?wù)分配節(jié)點(diǎn)、計(jì)算任務(wù)分配節(jié)點(diǎn)、 HDFS 元數(shù)據(jù)節(jié)點(diǎn)、 HDFS 數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)、MapReduce Job Tracker 節(jié)點(diǎn)、 MapReduceWorker 節(jié)點(diǎn)、HBase 管理節(jié)點(diǎn)、 HBase Region 節(jié)點(diǎn)等。 我們將積極學(xué)習(xí)借鑒國外先進(jìn)的云計(jì)算技術(shù)，同時(shí)與自主創(chuàng)新 相結(jié)合， 形成功能強(qiáng)大、 性能卓越的能夠滿足實(shí)際應(yīng)用環(huán)境需求的云計(jì)算 數(shù)據(jù)處 理和分析平臺(tái)。 百億級(jí)數(shù)據(jù)秒級(jí)查詢能力、秒級(jí)實(shí)時(shí)業(yè)務(wù)響應(yīng) 高效實(shí)時(shí)數(shù)據(jù)查詢架構(gòu)，提供秒級(jí)響應(yīng)時(shí)間， 1 天的記錄能在 5 秒鐘內(nèi)查詢 出來，一周記錄能在 15 秒內(nèi)查詢出來。 主要設(shè)計(jì)思想和設(shè)計(jì)目標(biāo)、設(shè)計(jì)原則設(shè)計(jì)思想： 將海量數(shù)據(jù)分解到由大量 X86 架構(gòu)計(jì)算機(jī)構(gòu)成的低成本云計(jì)算平臺(tái)上進(jìn)行實(shí)時(shí)處理， 依靠分布式云計(jì)算軟件進(jìn)行容錯(cuò)，從而提升智慧交通云平臺(tái) 海量數(shù)據(jù)分析的實(shí)時(shí)性和性價(jià)比。 （ 3）遵循公安 320 工程相關(guān)標(biāo)準(zhǔn)規(guī)范 本項(xiàng)目的設(shè)計(jì)將嚴(yán)格遵循公安 320 工程相關(guān)標(biāo)準(zhǔn)規(guī)范?？缮炜s性：在不停機(jī)的情況下，增加節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)增加；減少 節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)縮減。 系統(tǒng)功能構(gòu) 架智慧交通云平臺(tái)需要提供的 7 大主要功能描述如下。 在系 18 統(tǒng)構(gòu)架上， 為了滿足市數(shù)據(jù)中心處理需要， 需要在市數(shù)據(jù)中心處安裝一 個(gè)數(shù)據(jù)上報(bào)程序。 為了滿足和適應(yīng)數(shù)據(jù)量、 數(shù)據(jù)特征和查詢處理的不同需求，將采用一種混搭式的數(shù)據(jù)存儲(chǔ)方案。為此，需要考慮 對(duì)交管數(shù)據(jù)進(jìn)行索引處理，并將索引數(shù)據(jù)存儲(chǔ)在 HDFS 或 Hbase 中。（ 6）數(shù)據(jù)管理系統(tǒng) 在實(shí)際使用中， 可能用戶會(huì)對(duì)某一時(shí)間段或者類型的數(shù)據(jù)特別 關(guān)心， 就可以 通過數(shù)據(jù)管理系統(tǒng)查詢并導(dǎo)出這部分?jǐn)?shù)據(jù)以供使用。圖表 2 智慧交通云平臺(tái)總體構(gòu)架與功能模塊圖上圖中，自底向上分為五個(gè)層面。 第四層是交管數(shù)據(jù)處理軟件層， 主要完成智慧交通云平臺(tái)所需要提供的諸多 功能，包括實(shí)時(shí)監(jiān)控、報(bào)警監(jiān)控、車輛軌跡查詢與回放、電子地圖、報(bào)警管理、 布控管理、設(shè)備管理、事件檢測(cè)報(bào)警、流量統(tǒng)計(jì)和分析、系統(tǒng)管理等功能。 數(shù)據(jù)存儲(chǔ)功能與處理方案數(shù)據(jù)存儲(chǔ)處理總架如圖： 27 圖表 4 數(shù)據(jù)存儲(chǔ)處理架構(gòu)數(shù)據(jù)存儲(chǔ)系統(tǒng)提 供如下功能： 交管數(shù)據(jù)處理：接收來自數(shù)據(jù)匯總和數(shù)據(jù)入庫系統(tǒng)的交管數(shù)據(jù)， 索引模塊 實(shí)時(shí)生成索引，以提高查詢速度。若出現(xiàn)網(wǎng)絡(luò)故障， inspect 進(jìn)程實(shí)時(shí)上報(bào)故障情況，在網(wǎng)絡(luò)拓?fù)鋱D 上以報(bào)警方式提示，或以短信的方式提示，便于管理員及時(shí)發(fā)現(xiàn)問題，并恢復(fù)網(wǎng) 絡(luò)故障，確保系統(tǒng)在安全的網(wǎng)絡(luò)環(huán)境下運(yùn)行。同時(shí)日志分析進(jìn)程 (loganalyse）分析日志文件，將 重要的日志信息，進(jìn)行對(duì)比、分析并匯總后，生產(chǎn)統(tǒng)一格式的日志信息，提取出 來，寫入的數(shù)據(jù)庫表中，終端管理通過查詢界面來來顯示，能及時(shí)了解到系統(tǒng)的 運(yùn)行的狀態(tài)。 一個(gè)文件對(duì)應(yīng)的所有 BLOCK 全部按照一定的部署