【文章內(nèi)容簡介】 理、治安管控、偵查破案、巡邏防范、反恐處突等各項公安工 作提供服務保障。 系統(tǒng)的基本功能和性能如下： 海量數(shù)據(jù)存儲 能夠對 百億級的海量交通監(jiān)控數(shù)據(jù)進行存儲，保存時間為 2 年。 海量數(shù)據(jù)實時處理、實時入庫、生成索引 能夠對百億級的海量交通監(jiān)控數(shù)據(jù)進行實時處理， 能夠處理每天 500 萬條記 錄，能夠實時處理約 60 條 /秒的實時數(shù)據(jù)流量。 百億級數(shù)據(jù)秒級查詢能力、秒級實時業(yè)務響應 高效實時數(shù)據(jù)查詢架構，提供秒級響應時間， 1 天的記錄能在 5 秒鐘內(nèi)查詢 出來，一周記錄能在 15 秒內(nèi)查詢出來。 主要設計思想和設計目標、設計原則設計思想： 將海量數(shù)據(jù)分解到由大量 X86 架構計算機構成的低成本云計算平臺上進行實時處理， 依靠分布式云計算軟件進行容錯，從而提升智慧交通云平臺 海量數(shù)據(jù)分析的實時性和性價比。設計目標：利用大量性價比高的計算機，建立云計算平臺，能夠對流量超過 500w 條 /天的原始交通監(jiān)控數(shù)據(jù)流進行實時處理。系統(tǒng)具有可動態(tài)可伸縮性、高 度容錯性和響應實時性，達到較之傳統(tǒng)方案有 13 一個數(shù)據(jù)量級的性能價格比提升。設計原則： （ 1）前瞻性技術與實際應用環(huán)境相結合 14 本項目是既是先進技術應用示范項目，又是工程實施型項目。把握技術正確 性和先進性是前提， 但 是前瞻性技術實施必須在云計算平臺的實際應用環(huán)境和實 際監(jiān)控流量的 基礎上進行， 必須結合云計算平臺的實際情況進行研究和開發(fā)，只 有與實際應用環(huán)境相結合才有實際應用價值。 （ 2）學習借鑒國外先進技術與自主創(chuàng)新相結合 在云計算平臺用于超大規(guī)模數(shù)據(jù)處理方面，國內(nèi)外幾乎是在一個起跑線上； 但在關鍵技術研究及既往的技術積累方面，國外一些大公司有著明顯的優(yōu)勢。同 時， 智慧交通云平臺所將要面對的交通監(jiān)控數(shù)據(jù)流高達 500w 條 /天，是一個世界 級的云計算應用。 我們將積極學習借鑒國外先進的云計算技術，同時與自主創(chuàng)新 相結合， 形成功能強大、 性能卓越的能夠滿足實際應用環(huán)境需求的云計算 數(shù)據(jù)處 理和分析平臺。 （ 3）遵循公安 320 工程相關標準規(guī)范 本項目的設計將嚴格遵循公安 320 工程相關標準規(guī)范。 智慧交通云平臺的云計算解決方案在公安網(wǎng)內(nèi)部，構建若干 X86 架構計算 /存儲節(jié)點，虛擬出海量存儲空間、處理能力和數(shù)據(jù)管理能力。 同時研制面向應用的分布式數(shù)據(jù)處理軟件，滿足數(shù)據(jù) 匯總、數(shù)據(jù)上報、數(shù)據(jù)入庫、數(shù)據(jù)查詢、數(shù)據(jù)計算和數(shù)據(jù)管理等應用需求。圖表 1 智慧交通云平臺云計算解決方案 15 系統(tǒng)的主要技術特點實時性：平臺在高效率并行分布式軟件的支撐下， 可以實時完成交管數(shù)據(jù)入庫、 分析和管理工作，如數(shù)據(jù)匯總、數(shù)據(jù)上報、數(shù)據(jù)入庫、數(shù)據(jù)查詢、數(shù)據(jù)計算 和數(shù)據(jù)管理等。 海量數(shù)據(jù)入庫不會出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分析和查詢工作基本 都在秒級完成，具有前所未有的高效性。高可靠性： 基于對云計算可靠性深厚的研究積累， 徹底解決了當前分布式計 算平臺易出現(xiàn)的單點故障問題。任何一個節(jié)點出現(xiàn)故障，系統(tǒng)將自動屏蔽，而且 不會出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。包括查詢?nèi)蝿辗峙涔?jié)點、計算任務分配節(jié)點、 HDFS 元數(shù)據(jù)節(jié)點、 HDFS 數(shù)據(jù)存儲節(jié)點、MapReduce Job Tracker 節(jié)點、 MapReduceWorker 節(jié)點、HBase 管理節(jié)點、 HBase Region 節(jié)點等?？缮炜s性：在不停機的情況下，增加節(jié)點，平臺的處理能力自動增加；減少 節(jié)點，平臺的處理能力自動縮減。這樣，可以做到與云計算平臺的無縫對接，根 據(jù)計算和存儲任務動態(tài)地申請或釋放資源，最大限度地提高資源利用率。高性價比：采用 X86 架構廉價計算機構建云計算平臺， 用軟件容錯替代硬件 容錯，大大節(jié)省成本。在目標性能和可靠性條件下，可比傳統(tǒng)的小型機加商用數(shù) 據(jù)庫方案節(jié)省 10 倍左右的成本。全業(yè)務支持：采用分布式數(shù)據(jù)庫模式， 絕大部分海量數(shù)據(jù)存放于分布 式平臺 并進行分布式處理， 少量實時性要求很高的數(shù)據(jù)存放于關系數(shù)據(jù)庫中 16 ，可支撐各 種類型的業(yè)務。不僅支撐查詢、統(tǒng)計、分析業(yè)務，還可支撐深度數(shù)據(jù)挖掘和商業(yè) 智能分析業(yè)務。 系統(tǒng)總體構架 系統(tǒng)基本組成與構架智慧交通云平臺是一個處于交管數(shù)據(jù)采集與交管數(shù)據(jù)監(jiān)測應用之間的系統(tǒng)。 17 從系統(tǒng)基本組成與構架上來看， 該共享平臺由 7 個主要部分組成： 歷史數(shù)據(jù)匯總 處理系統(tǒng)，上報數(shù)據(jù)上報系統(tǒng)，實時數(shù)據(jù)入庫系統(tǒng)，交管數(shù)據(jù)存儲系統(tǒng)，交管數(shù) 據(jù)查詢分析應用系統(tǒng)，數(shù)據(jù)管理系統(tǒng)以及系統(tǒng)管理。 系統(tǒng)功能構 架智慧交通云平臺需要提供的 7 大主要功能描述如下。（ 1）歷史數(shù)據(jù)匯總處理系統(tǒng) 歷史數(shù)據(jù)匯總處理主要負責把南京市 6 個分散的數(shù)據(jù)中心的歷史數(shù)據(jù)， 進行 讀取解析處理，并將處理后的歷史數(shù)據(jù)匯入一個統(tǒng)一的數(shù)據(jù)中心。 在內(nèi)部處理模塊上，歷史數(shù)據(jù)匯總系統(tǒng)主要包括三個模塊：讀取模塊、解析 模塊和匯總模塊。 讀取模塊主要負責各個數(shù)據(jù)中心歷史數(shù)據(jù)的讀取處理，解析模 塊主要負責把讀取到的歷史數(shù)據(jù)解析成合理的數(shù)據(jù)格式， 而匯總模塊主要負責把 解析好的歷史數(shù)據(jù)上傳到統(tǒng)一的數(shù)據(jù)中心。 在系統(tǒng)構架上， 為了滿足 6 個分散的數(shù)據(jù) 中心處理需要， 需要在每一個數(shù)據(jù) 中心處安裝一個數(shù)據(jù)匯總程序。（ 2）上報數(shù)據(jù)上報處理信系統(tǒng) 上報數(shù)據(jù)上報處理負責把市數(shù)據(jù)中心的數(shù)據(jù)， 按照一定的需求 （按時間段或 一定的數(shù)據(jù)量） ，上報給省廳數(shù)據(jù)中心。 在內(nèi)部處理模塊上 ,上報數(shù)據(jù)上報系統(tǒng)主要包括三個模塊：讀取模塊、解析 模塊和上報模塊。 讀取模塊主要負責市數(shù)據(jù)中心需要上報數(shù)據(jù)的讀取處理，解析 模塊主要負責把讀取到的數(shù)據(jù)解析成合理的數(shù)據(jù)格式， 而上報模塊主要負責把解 析好的數(shù)據(jù)上傳到的省廳數(shù)據(jù)中心。 在系 18 統(tǒng)構架上， 為了滿足市數(shù)據(jù)中心處理需要， 需要在市數(shù)據(jù)中心處安裝一 個數(shù)據(jù)上報程序。而省廳數(shù)據(jù)中心需要提供數(shù)據(jù)上報的接口。（ 3）實時數(shù)據(jù)入庫系統(tǒng) 實時數(shù)據(jù)入庫系統(tǒng)主要負責全市每個卡口產(chǎn)生的數(shù)據(jù)實時入庫。 在內(nèi)部處理模塊上，實時數(shù)據(jù)入庫系統(tǒng)主要包括三個模塊：接受模塊、解析 19 模塊和數(shù)據(jù)入庫模塊。 接受模塊主要負責接收每個卡口產(chǎn)生的數(shù)據(jù)流，解析模塊 主要負責把接受到的數(shù)據(jù)流解析成合理的數(shù)據(jù)格式， 而數(shù)據(jù)入庫模塊負責把解析 好的數(shù)據(jù)加入到市數(shù)據(jù)中心。 在系統(tǒng)架構上， 為了使每個卡口的數(shù)據(jù)能實時入庫市數(shù)據(jù)中心， 需要在每一 個負責接受卡口數(shù)據(jù)的工控機上安裝一個實時數(shù)據(jù)入 庫系統(tǒng)。（ 4）交管數(shù)據(jù)存儲系統(tǒng) 原始交管數(shù)據(jù)， 將全部存儲在智慧交通云平臺的云存儲資源中。 資源池提供 兩種存儲資源：一種是結 構化數(shù)據(jù)存儲資源，用于存儲少量的接口中間數(shù)據(jù)；另 一種是分布式文件系統(tǒng)， 用于存儲海量的非結構化數(shù)據(jù)。 為了滿足和適應數(shù)據(jù)量、 數(shù)據(jù)特征和查詢處理的不同需求，將采用一種混搭式的數(shù)據(jù)存儲方案。 對容量巨大、常規(guī)數(shù)據(jù)庫難以處理的數(shù)據(jù)，如交管數(shù)據(jù)，將主要存儲在基于 HDFS 的分布式文件系統(tǒng)中；這些數(shù)據(jù)將通過 HDFS 接口進行訪問和計算處理。而 對于部分數(shù)據(jù)量不大、 且查詢響應性 能要求很高的數(shù)據(jù)，如用于報警比對的中間 數(shù)據(jù)，將被存放在關系數(shù)據(jù)庫中。關系數(shù)據(jù)庫將采用 Sybase ASE 版本。這些數(shù) 據(jù)將通過結構化數(shù)據(jù)存儲訪問接口（如 JDBC）進行訪問。 在存儲構架上， 若以存儲 3 年的原始交管數(shù)據(jù)、 報警信息數(shù)據(jù)和針對快速查 詢建立的索引數(shù)據(jù)，在 10000 條 /s 的交管數(shù)據(jù)流量下，將大約需要 512TB 的存 20 儲容量，按照每個存儲節(jié)點 16TB 的存儲容量，加上少量的冗余節(jié)點，將需要 32 個存儲節(jié)點。（ 5）交管數(shù)據(jù)查詢分析應用系統(tǒng) 交管數(shù)據(jù)查詢分析應用主要提供包括實時監(jiān) 控、 報警監(jiān)控、 車輛軌跡與回放、 電子地圖、報警管理、布控管理、設備管理、事件檢測報警、流量統(tǒng)計和分析等 功能。 車輛軌跡查詢處理時， 由于交管數(shù)據(jù)量巨大， 難以存儲在常規(guī)的關系數(shù)據(jù)庫 中，而如果直接存儲在 HDFS 或 HBase 中又難以保證查詢效率。為此，需要考慮 對交管數(shù)據(jù)進行索引處理，并將索引數(shù)據(jù)存儲在 HDFS 或 Hbase 中。為了建立交 管數(shù)據(jù)索引，需要在交管數(shù)據(jù)傳送到云存儲系統(tǒng)中時，進行實時的索引處理。但 21 由于交管數(shù)據(jù)流量巨大，需要調(diào)度使用多臺服務器節(jié)點進行并行處理。此外，用 戶從客戶 端發(fā)起以上各種數(shù)據(jù)查詢分析任務時，也會產(chǎn)生大量并發(fā)的查詢?nèi)蝿铡? 以上各種查詢分析計算任務的處理將需要考慮在計算集群上進行并行化任務調(diào) 度和負載均衡處理。 這些并行計算任務及負載均衡處理將使用 Zookeeper 基于計 算集群完成統(tǒng)一的控制和實現(xiàn)。 在系統(tǒng)構架上， 以上查詢分析計算任務將需要使用一個大規(guī)模數(shù)據(jù)并行計算 集群。 在編程實現(xiàn)上， 存儲在數(shù)據(jù)庫中的數(shù)據(jù)將使用常規(guī)的數(shù)據(jù)庫查詢語言實現(xiàn)； 對存儲在分布式文件系統(tǒng)中的交管數(shù)據(jù)，針對不同的處理要求，在數(shù)據(jù)量極大而 處理實時性要求不是特別高的情況下，為了方便 對海量數(shù)據(jù)的并行處理，將采用 MapReduce 編程方式實現(xiàn)；而對于那些實時性要求很高的查詢分析計算，由于 MapReduce 啟動作業(yè)需要較長的時間開銷，將不適合采用 MapReduce 編程實現(xiàn)， 而需要用非 MapReduce 編程方式實現(xiàn)。（ 6）數(shù)據(jù)管理系統(tǒng) 在實際使用中， 可能用戶會對某一時間段或者類型的數(shù)據(jù)特別 關心， 就可以 通過數(shù)據(jù)管理系統(tǒng)查詢并導出這部分數(shù)據(jù)以供使用。 包括數(shù)據(jù)查詢和數(shù)據(jù)導出兩大部分。 數(shù)據(jù)查詢讓用戶以自定義的條件查詢出 數(shù)據(jù)，而數(shù)據(jù)導出就 是將這些數(shù)據(jù)以合理的格式導出到數(shù)據(jù)中心以外。（ 7）系統(tǒng)管理 系 22 統(tǒng)管理主要包括智慧交通云平臺的配置管理、 系統(tǒng)安全管理、 系統(tǒng)用戶管 理，以及數(shù)據(jù)備份、系統(tǒng)故障監(jiān)測復等管理維護功能。 配置管理是其中最主要的部分， 是系統(tǒng)各個模塊正常運行的基礎。 系統(tǒng)應能 夠對網(wǎng)絡地址、 設備地址等進行配置； 能夠對用戶做權限管理， 以防止數(shù)據(jù)外泄； 并能及時有效的對數(shù)據(jù)進行備份和故障檢測等工作，防止數(shù)據(jù)的意外丟失。系統(tǒng) 應支持樹圖、數(shù)據(jù)表格、網(wǎng)絡拓撲圖形式展示配置數(shù)據(jù)。 23 系統(tǒng)總體構架與功能模塊基于以上基本的系統(tǒng)組成 和功能構架， 系統(tǒng)的詳細總體構架和功能模塊設計如圖所示。圖表 2 智慧交通云平臺總體構架與功能模塊圖上圖中，自底向上分為五個層面。最下層是硬件平臺層，將使用南京市公安 局云計算中心所提供的計算、存儲和網(wǎng)絡資源。從系統(tǒng)處理系統(tǒng)的角度看，這一 層主要包括云存儲計算集群， 此外還包括接口和管理服務器、包括用于實現(xiàn)客戶 端訪問的 Web 服務器。 第二層是系統(tǒng)軟件層， 包括移動的云存儲系統(tǒng)軟件， 綜合分析云計算軟件平 臺，以及 Web 服務軟件等。云存儲系統(tǒng)將提供基于 Sybase ASE 關系數(shù)據(jù)庫的結 構化數(shù)據(jù) 存儲訪問能力，以及基于 HDFS 的分布式文件系統(tǒng)存儲訪問能力，分別 提供基于 JDBC/SQL 的數(shù)據(jù)庫訪問接口以及 HDFS 訪問接口。 綜合分析云計算軟件 平臺可提供對 HDFS、 Hbase 數(shù)據(jù)的訪問，并提供 MapReduce 編程模型和接口、以 24 及非 MapReduce 模型的編程接口， 以及用于實現(xiàn)并行計算任務負載均衡和服務器 單點失效恢復的 Zookeeper。 第三層是智慧交通云平臺中的數(shù)據(jù)層，包括原始交管數(shù)據(jù)、索引數(shù)據(jù)、用于 分析的中間數(shù)據(jù)、以及系統(tǒng)配置數(shù)據(jù)等。其中，原始交管數(shù)據(jù)、索引數(shù) 據(jù)等海量 數(shù)據(jù)將存儲在南京公安局云存儲系統(tǒng)的 HDFS 分布式文件系統(tǒng)中， 用 HDFS 接口進 行存儲和訪問處理； 而其它用于分析的中間數(shù)據(jù)等數(shù)據(jù)量不大、但處理響應性能 要求較高的數(shù)據(jù)，將存儲在云存儲系統(tǒng)的關系數(shù)據(jù)庫系統(tǒng)中，用 JDBC/SQL 進行 存儲和訪問處理。 第四層是交管數(shù)據(jù)處理軟件層， 主要完成智慧交通云平臺所需要提供的諸多 功能，包括實時監(jiān)控、報警監(jiān)控、車輛軌跡查詢與回放、電子地圖、報警管理、 布控管理、設備管理、事件檢測報警、流量統(tǒng)計和分析、系統(tǒng)管理等功能。 最上層是客戶端用戶界面軟件， 主要供用戶查 詢和監(jiān)視相關的數(shù)據(jù)信息， 除 了事件檢測報警不需要用戶界面外，其它部分都需要實現(xiàn)對應的用戶界面。 25 系統(tǒng)基本功能與處理方案 交管數(shù)據(jù)入庫功能與處理方案交管數(shù)據(jù)入庫系統(tǒng)總架構如圖：圖表 3 智慧交通云平臺架構智慧交通云平臺通過實時數(shù)據(jù)入庫系統(tǒng)接入采集層的交管數(shù)據(jù)，數(shù)據(jù)分 配進入負載均衡機， 負載均衡機根據(jù)集群各節(jié)點負載情況，動態(tài)分配交管數(shù)據(jù)到 各存儲處理機， 進行報警檢測、建立索引等處理， 同時將交管數(shù)據(jù)存入分步式 存儲系統(tǒng)。 26 負載均衡機功能 監(jiān)控所集群機器負載情況，動態(tài)分 配交管數(shù)據(jù)。監(jiān)控所有集群機器，如果發(fā) 現(xiàn)問題， 那么就把分配給這臺機器的交管數(shù)據(jù)重新分配到其他機器