【導(dǎo)讀】智慧交通云平臺建設(shè)方案。方案”資訊，希望對您有所幫助，感謝您對!你可任意修改編輯）。目錄目1錄系統(tǒng)總體設(shè)。1主要設(shè)計思想和設(shè)計目標(biāo)、設(shè)計原。3系統(tǒng)基本組成與構(gòu)。4系統(tǒng)總體構(gòu)架與功能模。交管數(shù)據(jù)入庫功能與處理方。系統(tǒng)可靠性與擴(kuò)展。19交管數(shù)據(jù)流量處理能。查詢分析計算性能..21系統(tǒng)設(shè)計實(shí)施與關(guān)鍵技術(shù)方

　　

【正文】 對于全全市總量 500w 條 /天的實(shí)時入庫數(shù)據(jù)和大量 的歷史數(shù)據(jù)來說，需要 6 臺處理機(jī)。 以下是各部分處理能力統(tǒng)計： 交管數(shù)據(jù)存儲查詢服務(wù)器 配置： 8 核 CPU2，主頻 ,內(nèi)存 32G，硬盤 82T SATA 處理能力：折合交管數(shù)據(jù)入庫流量 15 條 /s/ 39 臺 應(yīng)用分析服務(wù)器 配置： 8 核 CPU2，主頻 ,內(nèi)存 16G，硬盤 2300G SAS 處理能力：折合處理并發(fā)訪問量 500 次 /s/臺 40 數(shù)據(jù)存儲能力原始交管數(shù)據(jù)存儲采用云存儲平臺，分布式文件系統(tǒng)存儲服務(wù)。性能指標(biāo)： 存儲量指標(biāo) 單系統(tǒng)應(yīng)支持 TB 級存儲容量。 吞吐量指標(biāo) 吞吐量是指在沒有幀丟失的情況下， 設(shè)備能夠接受的最大速率。 吞吐量根據(jù) 應(yīng)用系統(tǒng)讀寫方式和應(yīng)用系統(tǒng)讀取存儲內(nèi)容大小分成四個指標(biāo)。 分布式文件存儲 系統(tǒng)按照 4 個節(jié)點(diǎn)并發(fā) 500 個用戶計算，單節(jié)點(diǎn) 8 塊 2T 大小的硬盤情況下，每 個節(jié)點(diǎn)指標(biāo)具體內(nèi)容如下表所示：表 8 分布式文件存儲系統(tǒng)吞吐量指標(biāo) 編號 讀寫方式 存 儲 內(nèi) 容 大 平均吞吐量指標(biāo)(MBps) 小 讀 100%寫 100%讀 100%寫 1GB 1GB 100KB 100KB 6 3 3 2 圖表 7 分布式文件存儲系統(tǒng)吞吐量指標(biāo)系統(tǒng)響應(yīng)時間指標(biāo) 千兆網(wǎng)絡(luò)環(huán)境下，局域網(wǎng)客戶端從分布式文件存儲系統(tǒng)中讀取 4096 字節(jié)存 儲內(nèi)容的響應(yīng)時間應(yīng)不高于 50ms。 交管數(shù)據(jù)存儲采用 HDFS 性能指標(biāo)，如下： 數(shù)據(jù)讀取性能： 40~80MB/s節(jié)點(diǎn)； 數(shù)據(jù)規(guī)模： 100TB 規(guī)模； 數(shù)據(jù)負(fù)載均衡時間：可依據(jù)流量配置而確定； 集群重新啟動時間（ 100TB 規(guī)模） ：分鐘級別； 41 查詢分析計算性能對任何實(shí)時分析操作的反應(yīng)時間小于 10秒； 查詢、統(tǒng)計操作的首次響應(yīng)時 延小于 1秒； 并發(fā)操作終端數(shù)大于 30個 ； 基于交管數(shù)據(jù)的統(tǒng)計，記錄 5000 萬條以內(nèi)， 30 秒可以統(tǒng)計完成。 定制開發(fā)方案相 對于已經(jīng)完成的傳統(tǒng)方案，云計算方案還需要在以下方面進(jìn)行特定開發(fā)。 （ 1）歷史數(shù)據(jù)匯入處理平臺定制開發(fā) 歷史數(shù)據(jù)入庫系統(tǒng)需要使用與計算存儲集群分立的專用機(jī)器 （可安裝在各縣 市現(xiàn)有的數(shù)據(jù)服務(wù)器上） 。由于數(shù)據(jù)匯入處理不需要存儲任何數(shù)據(jù)，僅僅需要讀 取、解析和入庫數(shù)據(jù)。因此，數(shù)據(jù)匯入時對服務(wù)器的要求比較簡單，不需要考慮 和使用諸如 Hadoop 的大規(guī)模數(shù)據(jù)并行計算和存儲 系統(tǒng)，只需要一般的單一的服 務(wù)器即可。（ 2）上報數(shù)據(jù)上報處理平臺定制開發(fā) 上報數(shù)據(jù)上報系統(tǒng)需要使用與計算存儲集群分立的專用機(jī)器 （可安裝在市數(shù) 據(jù)中心現(xiàn)有的數(shù)據(jù)服務(wù)器上） 。由于數(shù)據(jù)上報處理不需要存儲任何數(shù)據(jù)，僅僅需 要讀取、解析和上報數(shù)據(jù)。因此，數(shù)據(jù)上報時對服務(wù)器的使用比較簡單，不需要 考慮和使用諸如 Hadoop 的大規(guī)模數(shù)據(jù)并行計算和存儲系統(tǒng)，只需要一般的單一 的服務(wù)器即可。 但是由于上報的數(shù)據(jù)量比較大，而上報時間又不會很長，所以對服務(wù)器的性 能有一定要求。（ 3）交管數(shù)據(jù)實(shí) 42 時入庫并創(chuàng)建索引程序定制開發(fā) 交管數(shù)據(jù)存儲在 Hadoop 系統(tǒng)的 HDFS 中，但由于巨大的交管數(shù)據(jù)流量，每秒 鐘將有大量的交管數(shù)據(jù)產(chǎn)生， 為了提供及時的數(shù)據(jù)查詢，這些數(shù)據(jù)文件必須得到 及時的索引創(chuàng)建處理，否則將造成大量的交管數(shù)據(jù)積壓。因此，索引創(chuàng)建程序需 要有較高的實(shí)時處理能力， 以便能在毫秒級時間內(nèi)保證處理完大量的一秒鐘的交 43 管數(shù)據(jù)。 由于 MapReduce 計算任務(wù)需要較長的作業(yè)初始化時間，交管數(shù)據(jù)索引創(chuàng) 建程序?qū)㈦y以用 MapReduce 程序?qū)崿F(xiàn)，而需要基于 HDFS、利用 HDFS 編程接口編 寫和定制較為復(fù)雜的非 MapReduce 程序， 該程序不能依賴任何 MapReduce 的編程 構(gòu)架和接口，而需要自行編寫程序完成全部的數(shù)據(jù)讀出、解析處理、復(fù)雜的索引 計算、以及索引數(shù)據(jù)的輸出（輸出到 HDFS 或者 Hbase）處理過程。（ 4）查詢分析接口開發(fā) 智慧交通云平臺會提供以下的應(yīng)用接口：實(shí)時監(jiān)控、報警監(jiān)控、車輛軌跡查 詢與回放、電子地圖、報警管理、布控管理、設(shè)備管理、事件檢測報警、流量統(tǒng) 計和分析、系統(tǒng)管理等。 這些應(yīng)用接口都需要根據(jù)實(shí)際的應(yīng)用需求再進(jìn)行合理的改進(jìn)過程。（ 5）查詢分析軟件定制開發(fā)（可選） 查詢分析軟件 將設(shè)計為基于 Web 的應(yīng)用程序，包括客戶端查詢用戶界面以及 服務(wù)器端查詢服務(wù)程序。 客戶端查詢用戶界面可基于通用的瀏覽器實(shí)現(xiàn)，也可設(shè)計為獨(dú)立 (standalone)的客戶端軟件。 具體的客戶端界面將需要根據(jù)不同的查詢功能需求 設(shè)計實(shí)現(xiàn)不同的查詢界面。 查詢服務(wù)軟件將基于 ApacheWeb 服務(wù)器設(shè)計實(shí)現(xiàn)。需 要特別考慮的是，大量 并發(fā)的用戶查詢?nèi)蝿?wù)將需要設(shè)計實(shí)現(xiàn)查詢?nèi)蝿?wù)分發(fā)時的負(fù)載均衡處理。（ 6）并行處理任務(wù)的負(fù) 44 載均衡調(diào)度和單節(jié)點(diǎn)失效恢復(fù)機(jī)制的定制方案 前述的交管數(shù)據(jù)入庫、建立索引、數(shù)據(jù)匯總和數(shù) 據(jù)上報、數(shù)據(jù)查詢等處理中 需要考慮的一個共性的重要問題是，為了對大量數(shù)據(jù)進(jìn)行并行化的處理、或者大 量用戶同時發(fā)出了很多查詢請求時， 需要考慮并行計算任務(wù)的分發(fā)調(diào)度和負(fù)載均 衡，尤其是負(fù)責(zé)分發(fā)調(diào)度的節(jié)點(diǎn)可能出現(xiàn)單節(jié)點(diǎn)失效而導(dǎo)致系統(tǒng)無法正常工作。 為此， 將基于 Zookeeper 設(shè)計實(shí)現(xiàn)一個可防止單節(jié)點(diǎn)失效的并行計算任務(wù)分發(fā)調(diào) 度控制機(jī)制和程序框架。該框架中， Zookeeper 將使用 3 臺并行計算任務(wù)調(diào)度服 務(wù)器， 并有 Zookeeper 負(fù)責(zé)選擇和確定一個主服務(wù)器進(jìn)行工作，但當(dāng)主服務(wù)器失 45 效時， Zookeeper 將能夠自動感知并選擇另一個服務(wù)器作為主服務(wù)器工作，以此 完成單節(jié)點(diǎn)失效的恢復(fù)處理。 進(jìn)而，通過 Zookeeper 還可以控制和均衡調(diào)度使用 大量的計算節(jié)點(diǎn)，從而完成并行計算任務(wù)分發(fā)調(diào)服時的負(fù)載均衡。（ 7）Hadoop 計算與存儲集群的可靠性設(shè)計和功能擴(kuò)展 Hadoop 作為一個開源的面向大規(guī)模數(shù)據(jù)并行計算的編程框架和平臺，其可 靠性和性能方面還存在不少需要改進(jìn)的地方。比如， Hadoop 集群的 Master 服務(wù) 器雖然開用了一個備份 Master 服務(wù)器，但當(dāng)主 Master 服務(wù)器失效 時，備份 Master 服務(wù)器并不能自動完成失效恢復(fù)和切換處理。這就無法滿足智慧交通的 實(shí)時性處理需求。為此，我們需要對 Hadoop 進(jìn)行改進(jìn)，設(shè)計實(shí)現(xiàn)一個能自動完 成 Master 服務(wù)器失效處理和切換的定制 Hadoop 系統(tǒng)， 以便為智慧交通云平臺提 供一個高可靠性的大規(guī)模數(shù)據(jù)并行計算和存儲平臺。 46 2 系統(tǒng)設(shè)計實(shí)施與關(guān)鍵技術(shù)方法 系統(tǒng)平臺 cProc 云處理平臺是搭建在云存儲系統(tǒng)上，對業(yè)務(wù)層直接提供對外開發(fā)接口 和數(shù)據(jù)傳輸接口的分布式數(shù)據(jù)處理平臺。 云存儲層包括公司自主研發(fā)的云儲存系統(tǒng) cStor 和 apache 開源云儲存系統(tǒng) HDFS；而在數(shù)據(jù)管理層中，包含數(shù)據(jù)立方、 Hbase；數(shù)據(jù)處理層包含 JobKeeper 和 MapReduce；最后的監(jiān)控協(xié)調(diào)層則包括 zookeeper 和 Chukwa 來實(shí)現(xiàn)對整個系 統(tǒng)的實(shí)時監(jiān)控和數(shù)據(jù)管理。 下圖為 cProc 云處理平臺架構(gòu)：通過數(shù)據(jù)立方，可以對元數(shù)據(jù)進(jìn)行數(shù)據(jù)分析、清理、分割。 對結(jié)構(gòu)化數(shù)據(jù)任意關(guān)鍵字索引，形成一個多維數(shù)據(jù)模型，數(shù)據(jù)立方的命名也 由此而來。 數(shù)據(jù)立方是獨(dú)立于 cProc 云處理平臺的技術(shù)架構(gòu)，用戶可以選擇性采 用數(shù)據(jù)立方， 也 可以單獨(dú)采用 Hbase、 Hive 等技術(shù)框架， 通過數(shù)據(jù)立方或 Hbase， 47 可以將結(jié)構(gòu)化數(shù)據(jù)看成一張無限大的表， 操作這 張表跟操作傳統(tǒng)關(guān)系型數(shù)據(jù)庫一 樣，上層應(yīng)用無需修改，完全符合用戶原來操作習(xí)慣。 對于非結(jié)構(gòu)化數(shù)據(jù)， cProc 云處理平臺采用公司自主研發(fā)的超安存算法，對 這些數(shù)據(jù)塊進(jìn)行分割，散亂存儲到云儲存系統(tǒng)上，然后采用分布式并行處理，對 數(shù)據(jù)進(jìn)行實(shí)時處理， cProc 云處理平臺的處理性能隨著節(jié)點(diǎn)的增多而成倍數(shù)增 長。 cProc 云處理平臺擁有以下特點(diǎn)： SQL 復(fù)雜并行組合查詢 靠性，系統(tǒng)無單點(diǎn)，確保意外情況下，系統(tǒng)的正常運(yùn)行 以上特點(diǎn)由云創(chuàng)公司自主研發(fā)的下面幾大功能來提供保證，分別是數(shù)據(jù)立 方，分布式數(shù)據(jù)處理 ,調(diào)度均衡器、數(shù)據(jù)傳輸接口等。 數(shù)據(jù)立方對數(shù)據(jù)建立高效的索引結(jié)構(gòu)。 數(shù)據(jù)立方是云創(chuàng)公司研發(fā)的高效數(shù)據(jù) 結(jié)構(gòu)， 該結(jié)構(gòu)成功解決了海量數(shù)據(jù)的快速索引和查詢問題，使得百億條記錄級的 數(shù)據(jù)能夠秒級處理。 分布式數(shù)據(jù)處理是云創(chuàng)公司研發(fā)的處理海量數(shù)據(jù)的處理框架， 用于對大規(guī)模 數(shù)據(jù)集的并行處理。 處理能力可以通過 增加或減少機(jī)器達(dá)到動態(tài)調(diào)整。采用先進(jìn) 的容錯技術(shù)，確保處理任務(wù)的可靠性，即使在異常情況下，如機(jī)器宕機(jī)、斷網(wǎng)的 情況下，確保處理任務(wù)的實(shí)時性和準(zhǔn)確性。 調(diào)度均衡器是云創(chuàng)公司研發(fā)的解決單點(diǎn)故障的一項(xiàng)技 48 術(shù)， 用于解決系統(tǒng)內(nèi)的 單點(diǎn)問題， 確保某機(jī)器的應(yīng)用程序狀態(tài)在宕機(jī)或斷網(wǎng)時，可將狀態(tài)從異常機(jī)器轉(zhuǎn) 移到其他機(jī)器上，中間無數(shù)據(jù)丟失。 數(shù)據(jù)傳輸接口是云創(chuàng)公司經(jīng)過多年積累， 專門針對地面數(shù)據(jù)傳輸研究出高性 能可靠文件傳輸協(xié)議，采用并行流水線方式、將傳輸與存儲作聯(lián)合優(yōu)化，并支持 多點(diǎn)中繼高效傳輸。 經(jīng)過多項(xiàng)實(shí)地遠(yuǎn)程傳輸試 驗(yàn)，結(jié)果表明該技術(shù)的傳輸效率在 1Gb/s 光纖線路上達(dá)到了帶寬的 80%左右，處于國際最高水平。 幾大功能相輔相成，高效且可靠地處理海量數(shù)據(jù)，確保響應(yīng)迅速，傳輸速度 快，處理結(jié)果準(zhǔn)確。 49 系統(tǒng)規(guī)格 項(xiàng)目 可管理的數(shù)據(jù)總量 （ ★ ） 實(shí)時索引的數(shù)據(jù)流 量（ ★ ） 任意關(guān)鍵字段實(shí)時 創(chuàng)建索引（ ★ ） 內(nèi)容 支持 100PB 量級的數(shù)據(jù)管理 支持 100GBps 以上量級的數(shù)據(jù)流實(shí)時索引規(guī) 格 說 明根據(jù)提供的表結(jié)構(gòu)解析元數(shù)據(jù)，并根據(jù)提供的任意關(guān) 鍵字段實(shí)時創(chuàng)建索引。 Java 語言實(shí)現(xiàn)，具有跨平臺性，一次編程 ，任意操作 可移植性（ ★ ） 系統(tǒng)都可運(yùn)行。 1 小時范圍查詢： 1 秒內(nèi)響應(yīng)， 實(shí)時查詢（ ★ ） 24 小時范圍查詢： 1 秒內(nèi)響應(yīng)， 7*24小時范圍查詢： 1 秒內(nèi)響應(yīng)。 采用和關(guān)系數(shù)據(jù)庫混合模式，絕大部分海量數(shù)據(jù)存放 于分布式平臺并進(jìn)行分布式處理，少量實(shí)時性要求很 支持簡單 SQL 組合 高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫，可支撐各種類型的業(yè)務(wù)。 查詢（ ★ ） 不僅支撐查詢、統(tǒng)計、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù) 挖掘和商業(yè)智能分析業(yè)務(wù)。 負(fù) 載 均 衡 可 靠 性 拔掉或增加一臺節(jié)點(diǎn)后，仍能均勻地向各處理節(jié)點(diǎn)分 （ ★ ） 發(fā)數(shù) 據(jù)。 20個查詢都能正常下發(fā)執(zhí)行、且都能正常返回結(jié) 果， 支持并發(fā)查詢（ ★ ） 20 個查詢?nèi)蝿?wù)的總耗時差距不大， 根據(jù)機(jī)器負(fù)載進(jìn) 行均衡分配查詢?nèi)蝿?wù)。 數(shù)據(jù)準(zhǔn)確性（ ★ ） 查詢條件相同情況下，每次查詢結(jié)果相同。 系統(tǒng)連續(xù)運(yùn)行 7*24 小時，無任何故障， 穩(wěn)定性（ ★ ） 所有周期任務(wù)均正常執(zhí)行，且執(zhí)行結(jié)果正 50 確。 沒有單點(diǎn)故障，任意節(jié)點(diǎn)宕機(jī)，系統(tǒng)工作正常，可以 可靠性（ ★ ） 繼續(xù)進(jìn)行數(shù)據(jù)處理和應(yīng)用查詢 , 不會影響分布式系統(tǒng) 運(yùn)行和查詢結(jié)果的準(zhǔn)確性。 既可以在很小規(guī)模機(jī)器上跑 , 也可以在成千上 萬臺的 擴(kuò)展性（ ★ ） 機(jī)器上運(yùn)行，而且經(jīng)過很簡單的操作就可以把規(guī)模擴(kuò) 51 展到成千上萬臺服務(wù)器上 , 而且可靠性隨著加入節(jié)點(diǎn) 的增加成線性上升。 集群能增加節(jié)點(diǎn)、并且能正常執(zhí)行查詢?nèi)蝿?wù)，在流量 分布式處理能力 沒變、資源增加的情況下，增加機(jī)器前后，查詢?nèi)蝿?wù) （ ★ ） 耗時按比例降低。 支持對外接口（ ★ ） 監(jiān)控功能（ ★ ） 備注： ★ 為必須滿足項(xiàng)。 支持 Web 訪問和 Web Services 接口進(jìn)行對外數(shù)據(jù)交互 操作。 提供 web 界面對分布式文件進(jìn)行監(jiān)控，支持查看、下 載索引文件和元數(shù)據(jù)文件。 數(shù)據(jù)處理 流程數(shù)據(jù)匯總上報處理流程如圖：圖表 8 數(shù)據(jù)匯總上報處理流程實(shí)時數(shù)據(jù)入庫流程如圖： 52 圖表 9 實(shí)時數(shù)據(jù)入庫流程 數(shù)據(jù)存儲系統(tǒng) 海量數(shù)據(jù)分布式數(shù)據(jù)存儲構(gòu)架云計算是一種超級的計算模式， 可以把網(wǎng)絡(luò)中的計算機(jī)虛擬為一個資源池， 將所有的計算資源集中起來， 并用特定軟件實(shí)現(xiàn)自動管理，使得各種計算資源可 以協(xié)同工作，這就使得處理數(shù)量巨大的數(shù)據(jù)成為了可能。 基于云計算的海量數(shù)據(jù)存儲模型，是依據(jù)云計算的核心計算模式 MapReduce ，并依托實(shí)現(xiàn)了 MapReduce 計算模式的開源分布式并行編程框架 Hadoop，將存儲模型和云計算結(jié)合在一起，實(shí)現(xiàn)海量數(shù)據(jù)的分布式存儲。 MapReduce 是云計算的核心計算模式，是一種分布式運(yùn)