【導(dǎo)讀】智慧交通云平臺(tái)建設(shè)方案。方案”資訊，希望對(duì)您有所幫助，感謝您對(duì)!你可任意修改編輯）。目錄目1錄系統(tǒng)總體設(shè)。1主要設(shè)計(jì)思想和設(shè)計(jì)目標(biāo)、設(shè)計(jì)原。3系統(tǒng)基本組成與構(gòu)。4系統(tǒng)總體構(gòu)架與功能模。交管數(shù)據(jù)入庫功能與處理方。系統(tǒng)可靠性與擴(kuò)展。19交管數(shù)據(jù)流量處理能。查詢分析計(jì)算性能..21系統(tǒng)設(shè)計(jì)實(shí)施與關(guān)鍵技術(shù)方

　　

【正文】 對(duì)于全全市總量 500w 條 /天的實(shí)時(shí)入庫數(shù)據(jù)和大量 的歷史數(shù)據(jù)來說，需要 6 臺(tái)處理機(jī)。 以下是各部分處理能力統(tǒng)計(jì)： 交管數(shù)據(jù)存儲(chǔ)查詢服務(wù)器 配置： 8 核 CPU2，主頻 ,內(nèi)存 32G，硬盤 82T SATA 處理能力：折合交管數(shù)據(jù)入庫流量 15 條 /s/ 39 臺(tái) 應(yīng)用分析服務(wù)器 配置： 8 核 CPU2，主頻 ,內(nèi)存 16G，硬盤 2300G SAS 處理能力：折合處理并發(fā)訪問量 500 次 /s/臺(tái) 40 數(shù)據(jù)存儲(chǔ)能力原始交管數(shù)據(jù)存儲(chǔ)采用云存儲(chǔ)平臺(tái)，分布式文件系統(tǒng)存儲(chǔ)服務(wù)。性能指標(biāo)： 存儲(chǔ)量指標(biāo) 單系統(tǒng)應(yīng)支持 TB 級(jí)存儲(chǔ)容量。 吞吐量指標(biāo) 吞吐量是指在沒有幀丟失的情況下， 設(shè)備能夠接受的最大速率。 吞吐量根據(jù) 應(yīng)用系統(tǒng)讀寫方式和應(yīng)用系統(tǒng)讀取存儲(chǔ)內(nèi)容大小分成四個(gè)指標(biāo)。 分布式文件存儲(chǔ) 系統(tǒng)按照 4 個(gè)節(jié)點(diǎn)并發(fā) 500 個(gè)用戶計(jì)算，單節(jié)點(diǎn) 8 塊 2T 大小的硬盤情況下，每 個(gè)節(jié)點(diǎn)指標(biāo)具體內(nèi)容如下表所示：表 8 分布式文件存儲(chǔ)系統(tǒng)吞吐量指標(biāo) 編號(hào) 讀寫方式 存 儲(chǔ) 內(nèi) 容 大 平均吞吐量指標(biāo)(MBps) 小 讀 100%寫 100%讀 100%寫 1GB 1GB 100KB 100KB 6 3 3 2 圖表 7 分布式文件存儲(chǔ)系統(tǒng)吞吐量指標(biāo)系統(tǒng)響應(yīng)時(shí)間指標(biāo) 千兆網(wǎng)絡(luò)環(huán)境下，局域網(wǎng)客戶端從分布式文件存儲(chǔ)系統(tǒng)中讀取 4096 字節(jié)存 儲(chǔ)內(nèi)容的響應(yīng)時(shí)間應(yīng)不高于 50ms。 交管數(shù)據(jù)存儲(chǔ)采用 HDFS 性能指標(biāo)，如下： 數(shù)據(jù)讀取性能： 40~80MB/s節(jié)點(diǎn)； 數(shù)據(jù)規(guī)模： 100TB 規(guī)模； 數(shù)據(jù)負(fù)載均衡時(shí)間：可依據(jù)流量配置而確定； 集群重新啟動(dòng)時(shí)間（ 100TB 規(guī)模） ：分鐘級(jí)別； 41 查詢分析計(jì)算性能對(duì)任何實(shí)時(shí)分析操作的反應(yīng)時(shí)間小于 10秒； 查詢、統(tǒng)計(jì)操作的首次響應(yīng)時(shí) 延小于 1秒； 并發(fā)操作終端數(shù)大于 30個(gè) ； 基于交管數(shù)據(jù)的統(tǒng)計(jì)，記錄 5000 萬條以內(nèi)， 30 秒可以統(tǒng)計(jì)完成。 定制開發(fā)方案相 對(duì)于已經(jīng)完成的傳統(tǒng)方案，云計(jì)算方案還需要在以下方面進(jìn)行特定開發(fā)。 （ 1）歷史數(shù)據(jù)匯入處理平臺(tái)定制開發(fā) 歷史數(shù)據(jù)入庫系統(tǒng)需要使用與計(jì)算存儲(chǔ)集群分立的專用機(jī)器 （可安裝在各縣 市現(xiàn)有的數(shù)據(jù)服務(wù)器上） 。由于數(shù)據(jù)匯入處理不需要存儲(chǔ)任何數(shù)據(jù)，僅僅需要讀 取、解析和入庫數(shù)據(jù)。因此，數(shù)據(jù)匯入時(shí)對(duì)服務(wù)器的要求比較簡單，不需要考慮 和使用諸如 Hadoop 的大規(guī)模數(shù)據(jù)并行計(jì)算和存儲(chǔ) 系統(tǒng)，只需要一般的單一的服 務(wù)器即可。（ 2）上報(bào)數(shù)據(jù)上報(bào)處理平臺(tái)定制開發(fā) 上報(bào)數(shù)據(jù)上報(bào)系統(tǒng)需要使用與計(jì)算存儲(chǔ)集群分立的專用機(jī)器 （可安裝在市數(shù) 據(jù)中心現(xiàn)有的數(shù)據(jù)服務(wù)器上） 。由于數(shù)據(jù)上報(bào)處理不需要存儲(chǔ)任何數(shù)據(jù)，僅僅需 要讀取、解析和上報(bào)數(shù)據(jù)。因此，數(shù)據(jù)上報(bào)時(shí)對(duì)服務(wù)器的使用比較簡單，不需要 考慮和使用諸如 Hadoop 的大規(guī)模數(shù)據(jù)并行計(jì)算和存儲(chǔ)系統(tǒng)，只需要一般的單一 的服務(wù)器即可。 但是由于上報(bào)的數(shù)據(jù)量比較大，而上報(bào)時(shí)間又不會(huì)很長，所以對(duì)服務(wù)器的性 能有一定要求。（ 3）交管數(shù)據(jù)實(shí) 42 時(shí)入庫并創(chuàng)建索引程序定制開發(fā) 交管數(shù)據(jù)存儲(chǔ)在 Hadoop 系統(tǒng)的 HDFS 中，但由于巨大的交管數(shù)據(jù)流量，每秒 鐘將有大量的交管數(shù)據(jù)產(chǎn)生， 為了提供及時(shí)的數(shù)據(jù)查詢，這些數(shù)據(jù)文件必須得到 及時(shí)的索引創(chuàng)建處理，否則將造成大量的交管數(shù)據(jù)積壓。因此，索引創(chuàng)建程序需 要有較高的實(shí)時(shí)處理能力， 以便能在毫秒級(jí)時(shí)間內(nèi)保證處理完大量的一秒鐘的交 43 管數(shù)據(jù)。 由于 MapReduce 計(jì)算任務(wù)需要較長的作業(yè)初始化時(shí)間，交管數(shù)據(jù)索引創(chuàng) 建程序?qū)㈦y以用 MapReduce 程序?qū)崿F(xiàn)，而需要基于 HDFS、利用 HDFS 編程接口編 寫和定制較為復(fù)雜的非 MapReduce 程序， 該程序不能依賴任何 MapReduce 的編程 構(gòu)架和接口，而需要自行編寫程序完成全部的數(shù)據(jù)讀出、解析處理、復(fù)雜的索引 計(jì)算、以及索引數(shù)據(jù)的輸出（輸出到 HDFS 或者 Hbase）處理過程。（ 4）查詢分析接口開發(fā) 智慧交通云平臺(tái)會(huì)提供以下的應(yīng)用接口：實(shí)時(shí)監(jiān)控、報(bào)警監(jiān)控、車輛軌跡查 詢與回放、電子地圖、報(bào)警管理、布控管理、設(shè)備管理、事件檢測(cè)報(bào)警、流量統(tǒng) 計(jì)和分析、系統(tǒng)管理等。 這些應(yīng)用接口都需要根據(jù)實(shí)際的應(yīng)用需求再進(jìn)行合理的改進(jìn)過程。（ 5）查詢分析軟件定制開發(fā)（可選） 查詢分析軟件 將設(shè)計(jì)為基于 Web 的應(yīng)用程序，包括客戶端查詢用戶界面以及 服務(wù)器端查詢服務(wù)程序。 客戶端查詢用戶界面可基于通用的瀏覽器實(shí)現(xiàn)，也可設(shè)計(jì)為獨(dú)立 (standalone)的客戶端軟件。 具體的客戶端界面將需要根據(jù)不同的查詢功能需求 設(shè)計(jì)實(shí)現(xiàn)不同的查詢界面。 查詢服務(wù)軟件將基于 ApacheWeb 服務(wù)器設(shè)計(jì)實(shí)現(xiàn)。需 要特別考慮的是，大量 并發(fā)的用戶查詢?nèi)蝿?wù)將需要設(shè)計(jì)實(shí)現(xiàn)查詢?nèi)蝿?wù)分發(fā)時(shí)的負(fù)載均衡處理。（ 6）并行處理任務(wù)的負(fù) 44 載均衡調(diào)度和單節(jié)點(diǎn)失效恢復(fù)機(jī)制的定制方案 前述的交管數(shù)據(jù)入庫、建立索引、數(shù)據(jù)匯總和數(shù) 據(jù)上報(bào)、數(shù)據(jù)查詢等處理中 需要考慮的一個(gè)共性的重要問題是，為了對(duì)大量數(shù)據(jù)進(jìn)行并行化的處理、或者大 量用戶同時(shí)發(fā)出了很多查詢請(qǐng)求時(shí)， 需要考慮并行計(jì)算任務(wù)的分發(fā)調(diào)度和負(fù)載均 衡，尤其是負(fù)責(zé)分發(fā)調(diào)度的節(jié)點(diǎn)可能出現(xiàn)單節(jié)點(diǎn)失效而導(dǎo)致系統(tǒng)無法正常工作。 為此， 將基于 Zookeeper 設(shè)計(jì)實(shí)現(xiàn)一個(gè)可防止單節(jié)點(diǎn)失效的并行計(jì)算任務(wù)分發(fā)調(diào) 度控制機(jī)制和程序框架。該框架中， Zookeeper 將使用 3 臺(tái)并行計(jì)算任務(wù)調(diào)度服 務(wù)器， 并有 Zookeeper 負(fù)責(zé)選擇和確定一個(gè)主服務(wù)器進(jìn)行工作，但當(dāng)主服務(wù)器失 45 效時(shí)， Zookeeper 將能夠自動(dòng)感知并選擇另一個(gè)服務(wù)器作為主服務(wù)器工作，以此 完成單節(jié)點(diǎn)失效的恢復(fù)處理。 進(jìn)而，通過 Zookeeper 還可以控制和均衡調(diào)度使用 大量的計(jì)算節(jié)點(diǎn)，從而完成并行計(jì)算任務(wù)分發(fā)調(diào)服時(shí)的負(fù)載均衡。（ 7）Hadoop 計(jì)算與存儲(chǔ)集群的可靠性設(shè)計(jì)和功能擴(kuò)展 Hadoop 作為一個(gè)開源的面向大規(guī)模數(shù)據(jù)并行計(jì)算的編程框架和平臺(tái)，其可 靠性和性能方面還存在不少需要改進(jìn)的地方。比如， Hadoop 集群的 Master 服務(wù) 器雖然開用了一個(gè)備份 Master 服務(wù)器，但當(dāng)主 Master 服務(wù)器失效 時(shí)，備份 Master 服務(wù)器并不能自動(dòng)完成失效恢復(fù)和切換處理。這就無法滿足智慧交通的 實(shí)時(shí)性處理需求。為此，我們需要對(duì) Hadoop 進(jìn)行改進(jìn)，設(shè)計(jì)實(shí)現(xiàn)一個(gè)能自動(dòng)完 成 Master 服務(wù)器失效處理和切換的定制 Hadoop 系統(tǒng)， 以便為智慧交通云平臺(tái)提 供一個(gè)高可靠性的大規(guī)模數(shù)據(jù)并行計(jì)算和存儲(chǔ)平臺(tái)。 46 2 系統(tǒng)設(shè)計(jì)實(shí)施與關(guān)鍵技術(shù)方法 系統(tǒng)平臺(tái) cProc 云處理平臺(tái)是搭建在云存儲(chǔ)系統(tǒng)上，對(duì)業(yè)務(wù)層直接提供對(duì)外開發(fā)接口 和數(shù)據(jù)傳輸接口的分布式數(shù)據(jù)處理平臺(tái)。 云存儲(chǔ)層包括公司自主研發(fā)的云儲(chǔ)存系統(tǒng) cStor 和 apache 開源云儲(chǔ)存系統(tǒng) HDFS；而在數(shù)據(jù)管理層中，包含數(shù)據(jù)立方、 Hbase；數(shù)據(jù)處理層包含 JobKeeper 和 MapReduce；最后的監(jiān)控協(xié)調(diào)層則包括 zookeeper 和 Chukwa 來實(shí)現(xiàn)對(duì)整個(gè)系 統(tǒng)的實(shí)時(shí)監(jiān)控和數(shù)據(jù)管理。 下圖為 cProc 云處理平臺(tái)架構(gòu)：通過數(shù)據(jù)立方，可以對(duì)元數(shù)據(jù)進(jìn)行數(shù)據(jù)分析、清理、分割。 對(duì)結(jié)構(gòu)化數(shù)據(jù)任意關(guān)鍵字索引，形成一個(gè)多維數(shù)據(jù)模型，數(shù)據(jù)立方的命名也 由此而來。 數(shù)據(jù)立方是獨(dú)立于 cProc 云處理平臺(tái)的技術(shù)架構(gòu)，用戶可以選擇性采 用數(shù)據(jù)立方， 也 可以單獨(dú)采用 Hbase、 Hive 等技術(shù)框架， 通過數(shù)據(jù)立方或 Hbase， 47 可以將結(jié)構(gòu)化數(shù)據(jù)看成一張無限大的表， 操作這 張表跟操作傳統(tǒng)關(guān)系型數(shù)據(jù)庫一 樣，上層應(yīng)用無需修改，完全符合用戶原來操作習(xí)慣。 對(duì)于非結(jié)構(gòu)化數(shù)據(jù)， cProc 云處理平臺(tái)采用公司自主研發(fā)的超安存算法，對(duì) 這些數(shù)據(jù)塊進(jìn)行分割，散亂存儲(chǔ)到云儲(chǔ)存系統(tǒng)上，然后采用分布式并行處理，對(duì) 數(shù)據(jù)進(jìn)行實(shí)時(shí)處理， cProc 云處理平臺(tái)的處理性能隨著節(jié)點(diǎn)的增多而成倍數(shù)增 長。 cProc 云處理平臺(tái)擁有以下特點(diǎn)： SQL 復(fù)雜并行組合查詢 靠性，系統(tǒng)無單點(diǎn)，確保意外情況下，系統(tǒng)的正常運(yùn)行 以上特點(diǎn)由云創(chuàng)公司自主研發(fā)的下面幾大功能來提供保證，分別是數(shù)據(jù)立 方，分布式數(shù)據(jù)處理 ,調(diào)度均衡器、數(shù)據(jù)傳輸接口等。 數(shù)據(jù)立方對(duì)數(shù)據(jù)建立高效的索引結(jié)構(gòu)。 數(shù)據(jù)立方是云創(chuàng)公司研發(fā)的高效數(shù)據(jù) 結(jié)構(gòu)， 該結(jié)構(gòu)成功解決了海量數(shù)據(jù)的快速索引和查詢問題，使得百億條記錄級(jí)的 數(shù)據(jù)能夠秒級(jí)處理。 分布式數(shù)據(jù)處理是云創(chuàng)公司研發(fā)的處理海量數(shù)據(jù)的處理框架， 用于對(duì)大規(guī)模 數(shù)據(jù)集的并行處理。 處理能力可以通過 增加或減少機(jī)器達(dá)到動(dòng)態(tài)調(diào)整。采用先進(jìn) 的容錯(cuò)技術(shù)，確保處理任務(wù)的可靠性，即使在異常情況下，如機(jī)器宕機(jī)、斷網(wǎng)的 情況下，確保處理任務(wù)的實(shí)時(shí)性和準(zhǔn)確性。 調(diào)度均衡器是云創(chuàng)公司研發(fā)的解決單點(diǎn)故障的一項(xiàng)技 48 術(shù)， 用于解決系統(tǒng)內(nèi)的 單點(diǎn)問題， 確保某機(jī)器的應(yīng)用程序狀態(tài)在宕機(jī)或斷網(wǎng)時(shí)，可將狀態(tài)從異常機(jī)器轉(zhuǎn) 移到其他機(jī)器上，中間無數(shù)據(jù)丟失。 數(shù)據(jù)傳輸接口是云創(chuàng)公司經(jīng)過多年積累， 專門針對(duì)地面數(shù)據(jù)傳輸研究出高性 能可靠文件傳輸協(xié)議，采用并行流水線方式、將傳輸與存儲(chǔ)作聯(lián)合優(yōu)化，并支持 多點(diǎn)中繼高效傳輸。 經(jīng)過多項(xiàng)實(shí)地遠(yuǎn)程傳輸試 驗(yàn)，結(jié)果表明該技術(shù)的傳輸效率在 1Gb/s 光纖線路上達(dá)到了帶寬的 80%左右，處于國際最高水平。 幾大功能相輔相成，高效且可靠地處理海量數(shù)據(jù)，確保響應(yīng)迅速，傳輸速度 快，處理結(jié)果準(zhǔn)確。 49 系統(tǒng)規(guī)格 項(xiàng)目 可管理的數(shù)據(jù)總量 （ ★ ） 實(shí)時(shí)索引的數(shù)據(jù)流 量（ ★ ） 任意關(guān)鍵字段實(shí)時(shí) 創(chuàng)建索引（ ★ ） 內(nèi)容 支持 100PB 量級(jí)的數(shù)據(jù)管理 支持 100GBps 以上量級(jí)的數(shù)據(jù)流實(shí)時(shí)索引規(guī) 格 說 明根據(jù)提供的表結(jié)構(gòu)解析元數(shù)據(jù)，并根據(jù)提供的任意關(guān) 鍵字段實(shí)時(shí)創(chuàng)建索引。 Java 語言實(shí)現(xiàn)，具有跨平臺(tái)性，一次編程 ，任意操作 可移植性（ ★ ） 系統(tǒng)都可運(yùn)行。 1 小時(shí)范圍查詢： 1 秒內(nèi)響應(yīng)， 實(shí)時(shí)查詢（ ★ ） 24 小時(shí)范圍查詢： 1 秒內(nèi)響應(yīng)， 7*24小時(shí)范圍查詢： 1 秒內(nèi)響應(yīng)。 采用和關(guān)系數(shù)據(jù)庫混合模式，絕大部分海量數(shù)據(jù)存放 于分布式平臺(tái)并進(jìn)行分布式處理，少量實(shí)時(shí)性要求很 支持簡單 SQL 組合 高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫，可支撐各種類型的業(yè)務(wù)。 查詢（ ★ ） 不僅支撐查詢、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù) 挖掘和商業(yè)智能分析業(yè)務(wù)。 負(fù) 載 均 衡 可 靠 性 拔掉或增加一臺(tái)節(jié)點(diǎn)后，仍能均勻地向各處理節(jié)點(diǎn)分 （ ★ ） 發(fā)數(shù) 據(jù)。 20個(gè)查詢都能正常下發(fā)執(zhí)行、且都能正常返回結(jié) 果， 支持并發(fā)查詢（ ★ ） 20 個(gè)查詢?nèi)蝿?wù)的總耗時(shí)差距不大， 根據(jù)機(jī)器負(fù)載進(jìn) 行均衡分配查詢?nèi)蝿?wù)。 數(shù)據(jù)準(zhǔn)確性（ ★ ） 查詢條件相同情況下，每次查詢結(jié)果相同。 系統(tǒng)連續(xù)運(yùn)行 7*24 小時(shí)，無任何故障， 穩(wěn)定性（ ★ ） 所有周期任務(wù)均正常執(zhí)行，且執(zhí)行結(jié)果正 50 確。 沒有單點(diǎn)故障，任意節(jié)點(diǎn)宕機(jī)，系統(tǒng)工作正常，可以 可靠性（ ★ ） 繼續(xù)進(jìn)行數(shù)據(jù)處理和應(yīng)用查詢 , 不會(huì)影響分布式系統(tǒng) 運(yùn)行和查詢結(jié)果的準(zhǔn)確性。 既可以在很小規(guī)模機(jī)器上跑 , 也可以在成千上 萬臺(tái)的 擴(kuò)展性（ ★ ） 機(jī)器上運(yùn)行，而且經(jīng)過很簡單的操作就可以把規(guī)模擴(kuò) 51 展到成千上萬臺(tái)服務(wù)器上 , 而且可靠性隨著加入節(jié)點(diǎn) 的增加成線性上升。 集群能增加節(jié)點(diǎn)、并且能正常執(zhí)行查詢?nèi)蝿?wù)，在流量 分布式處理能力 沒變、資源增加的情況下，增加機(jī)器前后，查詢?nèi)蝿?wù) （ ★ ） 耗時(shí)按比例降低。 支持對(duì)外接口（ ★ ） 監(jiān)控功能（ ★ ） 備注： ★ 為必須滿足項(xiàng)。 支持 Web 訪問和 Web Services 接口進(jìn)行對(duì)外數(shù)據(jù)交互 操作。 提供 web 界面對(duì)分布式文件進(jìn)行監(jiān)控，支持查看、下 載索引文件和元數(shù)據(jù)文件。 數(shù)據(jù)處理 流程數(shù)據(jù)匯總上報(bào)處理流程如圖：圖表 8 數(shù)據(jù)匯總上報(bào)處理流程實(shí)時(shí)數(shù)據(jù)入庫流程如圖： 52 圖表 9 實(shí)時(shí)數(shù)據(jù)入庫流程 數(shù)據(jù)存儲(chǔ)系統(tǒng) 海量數(shù)據(jù)分布式數(shù)據(jù)存儲(chǔ)構(gòu)架云計(jì)算是一種超級(jí)的計(jì)算模式， 可以把網(wǎng)絡(luò)中的計(jì)算機(jī)虛擬為一個(gè)資源池， 將所有的計(jì)算資源集中起來， 并用特定軟件實(shí)現(xiàn)自動(dòng)管理，使得各種計(jì)算資源可 以協(xié)同工作，這就使得處理數(shù)量巨大的數(shù)據(jù)成為了可能。 基于云計(jì)算的海量數(shù)據(jù)存儲(chǔ)模型，是依據(jù)云計(jì)算的核心計(jì)算模式 MapReduce ，并依托實(shí)現(xiàn)了 MapReduce 計(jì)算模式的開源分布式并行編程框架 Hadoop，將存儲(chǔ)模型和云計(jì)算結(jié)合在一起，實(shí)現(xiàn)海量數(shù)據(jù)的分布式存儲(chǔ)。 MapReduce 是云計(jì)算的核心計(jì)算模式，是一種分布式運(yùn)