【導讀】智慧交通云平臺建設方案。方案”資訊，希望對您有所幫助，感謝您對!你可任意修改編輯）。目錄目1錄系統(tǒng)總體設。1主要設計思想和設計目標、設計原。3系統(tǒng)基本組成與構。4系統(tǒng)總體構架與功能模。交管數(shù)據(jù)入庫功能與處理方。系統(tǒng)可靠性與擴展。19交管數(shù)據(jù)流量處理能。查詢分析計算性能..21系統(tǒng)設計實施與關鍵技術方

　　

【正文】 對于全全市總量 500w 條 /天的實時入庫數(shù)據(jù)和大量 的歷史數(shù)據(jù)來說，需要 6 臺處理機。 以下是各部分處理能力統(tǒng)計： 交管數(shù)據(jù)存儲查詢服務器 配置： 8 核 CPU2，主頻 ,內(nèi)存 32G，硬盤 82T SATA 處理能力：折合交管數(shù)據(jù)入庫流量 15 條 /s/ 39 臺 應用分析服務器 配置： 8 核 CPU2，主頻 ,內(nèi)存 16G，硬盤 2300G SAS 處理能力：折合處理并發(fā)訪問量 500 次 /s/臺 40 數(shù)據(jù)存儲能力原始交管數(shù)據(jù)存儲采用云存儲平臺，分布式文件系統(tǒng)存儲服務。性能指標： 存儲量指標 單系統(tǒng)應支持 TB 級存儲容量。 吞吐量指標 吞吐量是指在沒有幀丟失的情況下， 設備能夠接受的最大速率。 吞吐量根據(jù) 應用系統(tǒng)讀寫方式和應用系統(tǒng)讀取存儲內(nèi)容大小分成四個指標。 分布式文件存儲 系統(tǒng)按照 4 個節(jié)點并發(fā) 500 個用戶計算，單節(jié)點 8 塊 2T 大小的硬盤情況下，每 個節(jié)點指標具體內(nèi)容如下表所示：表 8 分布式文件存儲系統(tǒng)吞吐量指標 編號 讀寫方式 存 儲 內(nèi) 容 大 平均吞吐量指標(MBps) 小 讀 100%寫 100%讀 100%寫 1GB 1GB 100KB 100KB 6 3 3 2 圖表 7 分布式文件存儲系統(tǒng)吞吐量指標系統(tǒng)響應時間指標 千兆網(wǎng)絡環(huán)境下，局域網(wǎng)客戶端從分布式文件存儲系統(tǒng)中讀取 4096 字節(jié)存 儲內(nèi)容的響應時間應不高于 50ms。 交管數(shù)據(jù)存儲采用 HDFS 性能指標，如下： 數(shù)據(jù)讀取性能： 40~80MB/s節(jié)點； 數(shù)據(jù)規(guī)模： 100TB 規(guī)模； 數(shù)據(jù)負載均衡時間：可依據(jù)流量配置而確定； 集群重新啟動時間（ 100TB 規(guī)模） ：分鐘級別； 41 查詢分析計算性能對任何實時分析操作的反應時間小于 10秒； 查詢、統(tǒng)計操作的首次響應時 延小于 1秒； 并發(fā)操作終端數(shù)大于 30個 ； 基于交管數(shù)據(jù)的統(tǒng)計，記錄 5000 萬條以內(nèi)， 30 秒可以統(tǒng)計完成。 定制開發(fā)方案相 對于已經(jīng)完成的傳統(tǒng)方案，云計算方案還需要在以下方面進行特定開發(fā)。 （ 1）歷史數(shù)據(jù)匯入處理平臺定制開發(fā) 歷史數(shù)據(jù)入庫系統(tǒng)需要使用與計算存儲集群分立的專用機器 （可安裝在各縣 市現(xiàn)有的數(shù)據(jù)服務器上） 。由于數(shù)據(jù)匯入處理不需要存儲任何數(shù)據(jù)，僅僅需要讀 取、解析和入庫數(shù)據(jù)。因此，數(shù)據(jù)匯入時對服務器的要求比較簡單，不需要考慮 和使用諸如 Hadoop 的大規(guī)模數(shù)據(jù)并行計算和存儲 系統(tǒng)，只需要一般的單一的服 務器即可。（ 2）上報數(shù)據(jù)上報處理平臺定制開發(fā) 上報數(shù)據(jù)上報系統(tǒng)需要使用與計算存儲集群分立的專用機器 （可安裝在市數(shù) 據(jù)中心現(xiàn)有的數(shù)據(jù)服務器上） 。由于數(shù)據(jù)上報處理不需要存儲任何數(shù)據(jù)，僅僅需 要讀取、解析和上報數(shù)據(jù)。因此，數(shù)據(jù)上報時對服務器的使用比較簡單，不需要 考慮和使用諸如 Hadoop 的大規(guī)模數(shù)據(jù)并行計算和存儲系統(tǒng)，只需要一般的單一 的服務器即可。 但是由于上報的數(shù)據(jù)量比較大，而上報時間又不會很長，所以對服務器的性 能有一定要求。（ 3）交管數(shù)據(jù)實 42 時入庫并創(chuàng)建索引程序定制開發(fā) 交管數(shù)據(jù)存儲在 Hadoop 系統(tǒng)的 HDFS 中，但由于巨大的交管數(shù)據(jù)流量，每秒 鐘將有大量的交管數(shù)據(jù)產(chǎn)生， 為了提供及時的數(shù)據(jù)查詢，這些數(shù)據(jù)文件必須得到 及時的索引創(chuàng)建處理，否則將造成大量的交管數(shù)據(jù)積壓。因此，索引創(chuàng)建程序需 要有較高的實時處理能力， 以便能在毫秒級時間內(nèi)保證處理完大量的一秒鐘的交 43 管數(shù)據(jù)。 由于 MapReduce 計算任務需要較長的作業(yè)初始化時間，交管數(shù)據(jù)索引創(chuàng) 建程序將難以用 MapReduce 程序實現(xiàn)，而需要基于 HDFS、利用 HDFS 編程接口編 寫和定制較為復雜的非 MapReduce 程序， 該程序不能依賴任何 MapReduce 的編程 構架和接口，而需要自行編寫程序完成全部的數(shù)據(jù)讀出、解析處理、復雜的索引 計算、以及索引數(shù)據(jù)的輸出（輸出到 HDFS 或者 Hbase）處理過程。（ 4）查詢分析接口開發(fā) 智慧交通云平臺會提供以下的應用接口：實時監(jiān)控、報警監(jiān)控、車輛軌跡查 詢與回放、電子地圖、報警管理、布控管理、設備管理、事件檢測報警、流量統(tǒng) 計和分析、系統(tǒng)管理等。 這些應用接口都需要根據(jù)實際的應用需求再進行合理的改進過程。（ 5）查詢分析軟件定制開發(fā)（可選） 查詢分析軟件 將設計為基于 Web 的應用程序，包括客戶端查詢用戶界面以及 服務器端查詢服務程序。 客戶端查詢用戶界面可基于通用的瀏覽器實現(xiàn)，也可設計為獨立 (standalone)的客戶端軟件。 具體的客戶端界面將需要根據(jù)不同的查詢功能需求 設計實現(xiàn)不同的查詢界面。 查詢服務軟件將基于 ApacheWeb 服務器設計實現(xiàn)。需 要特別考慮的是，大量 并發(fā)的用戶查詢?nèi)蝿諏⑿枰O計實現(xiàn)查詢?nèi)蝿辗职l(fā)時的負載均衡處理。（ 6）并行處理任務的負 44 載均衡調(diào)度和單節(jié)點失效恢復機制的定制方案 前述的交管數(shù)據(jù)入庫、建立索引、數(shù)據(jù)匯總和數(shù) 據(jù)上報、數(shù)據(jù)查詢等處理中 需要考慮的一個共性的重要問題是，為了對大量數(shù)據(jù)進行并行化的處理、或者大 量用戶同時發(fā)出了很多查詢請求時， 需要考慮并行計算任務的分發(fā)調(diào)度和負載均 衡，尤其是負責分發(fā)調(diào)度的節(jié)點可能出現(xiàn)單節(jié)點失效而導致系統(tǒng)無法正常工作。 為此， 將基于 Zookeeper 設計實現(xiàn)一個可防止單節(jié)點失效的并行計算任務分發(fā)調(diào) 度控制機制和程序框架。該框架中， Zookeeper 將使用 3 臺并行計算任務調(diào)度服 務器， 并有 Zookeeper 負責選擇和確定一個主服務器進行工作，但當主服務器失 45 效時， Zookeeper 將能夠自動感知并選擇另一個服務器作為主服務器工作，以此 完成單節(jié)點失效的恢復處理。 進而，通過 Zookeeper 還可以控制和均衡調(diào)度使用 大量的計算節(jié)點，從而完成并行計算任務分發(fā)調(diào)服時的負載均衡。（ 7）Hadoop 計算與存儲集群的可靠性設計和功能擴展 Hadoop 作為一個開源的面向大規(guī)模數(shù)據(jù)并行計算的編程框架和平臺，其可 靠性和性能方面還存在不少需要改進的地方。比如， Hadoop 集群的 Master 服務 器雖然開用了一個備份 Master 服務器，但當主 Master 服務器失效 時，備份 Master 服務器并不能自動完成失效恢復和切換處理。這就無法滿足智慧交通的 實時性處理需求。為此，我們需要對 Hadoop 進行改進，設計實現(xiàn)一個能自動完 成 Master 服務器失效處理和切換的定制 Hadoop 系統(tǒng)， 以便為智慧交通云平臺提 供一個高可靠性的大規(guī)模數(shù)據(jù)并行計算和存儲平臺。 46 2 系統(tǒng)設計實施與關鍵技術方法 系統(tǒng)平臺 cProc 云處理平臺是搭建在云存儲系統(tǒng)上，對業(yè)務層直接提供對外開發(fā)接口 和數(shù)據(jù)傳輸接口的分布式數(shù)據(jù)處理平臺。 云存儲層包括公司自主研發(fā)的云儲存系統(tǒng) cStor 和 apache 開源云儲存系統(tǒng) HDFS；而在數(shù)據(jù)管理層中，包含數(shù)據(jù)立方、 Hbase；數(shù)據(jù)處理層包含 JobKeeper 和 MapReduce；最后的監(jiān)控協(xié)調(diào)層則包括 zookeeper 和 Chukwa 來實現(xiàn)對整個系 統(tǒng)的實時監(jiān)控和數(shù)據(jù)管理。 下圖為 cProc 云處理平臺架構：通過數(shù)據(jù)立方，可以對元數(shù)據(jù)進行數(shù)據(jù)分析、清理、分割。 對結構化數(shù)據(jù)任意關鍵字索引，形成一個多維數(shù)據(jù)模型，數(shù)據(jù)立方的命名也 由此而來。 數(shù)據(jù)立方是獨立于 cProc 云處理平臺的技術架構，用戶可以選擇性采 用數(shù)據(jù)立方， 也 可以單獨采用 Hbase、 Hive 等技術框架， 通過數(shù)據(jù)立方或 Hbase， 47 可以將結構化數(shù)據(jù)看成一張無限大的表， 操作這 張表跟操作傳統(tǒng)關系型數(shù)據(jù)庫一 樣，上層應用無需修改，完全符合用戶原來操作習慣。 對于非結構化數(shù)據(jù)， cProc 云處理平臺采用公司自主研發(fā)的超安存算法，對 這些數(shù)據(jù)塊進行分割，散亂存儲到云儲存系統(tǒng)上，然后采用分布式并行處理，對 數(shù)據(jù)進行實時處理， cProc 云處理平臺的處理性能隨著節(jié)點的增多而成倍數(shù)增 長。 cProc 云處理平臺擁有以下特點： SQL 復雜并行組合查詢 靠性，系統(tǒng)無單點，確保意外情況下，系統(tǒng)的正常運行 以上特點由云創(chuàng)公司自主研發(fā)的下面幾大功能來提供保證，分別是數(shù)據(jù)立 方，分布式數(shù)據(jù)處理 ,調(diào)度均衡器、數(shù)據(jù)傳輸接口等。 數(shù)據(jù)立方對數(shù)據(jù)建立高效的索引結構。 數(shù)據(jù)立方是云創(chuàng)公司研發(fā)的高效數(shù)據(jù) 結構， 該結構成功解決了海量數(shù)據(jù)的快速索引和查詢問題，使得百億條記錄級的 數(shù)據(jù)能夠秒級處理。 分布式數(shù)據(jù)處理是云創(chuàng)公司研發(fā)的處理海量數(shù)據(jù)的處理框架， 用于對大規(guī)模 數(shù)據(jù)集的并行處理。 處理能力可以通過 增加或減少機器達到動態(tài)調(diào)整。采用先進 的容錯技術，確保處理任務的可靠性，即使在異常情況下，如機器宕機、斷網(wǎng)的 情況下，確保處理任務的實時性和準確性。 調(diào)度均衡器是云創(chuàng)公司研發(fā)的解決單點故障的一項技 48 術， 用于解決系統(tǒng)內(nèi)的 單點問題， 確保某機器的應用程序狀態(tài)在宕機或斷網(wǎng)時，可將狀態(tài)從異常機器轉 移到其他機器上，中間無數(shù)據(jù)丟失。 數(shù)據(jù)傳輸接口是云創(chuàng)公司經(jīng)過多年積累， 專門針對地面數(shù)據(jù)傳輸研究出高性 能可靠文件傳輸協(xié)議，采用并行流水線方式、將傳輸與存儲作聯(lián)合優(yōu)化，并支持 多點中繼高效傳輸。 經(jīng)過多項實地遠程傳輸試 驗，結果表明該技術的傳輸效率在 1Gb/s 光纖線路上達到了帶寬的 80%左右，處于國際最高水平。 幾大功能相輔相成，高效且可靠地處理海量數(shù)據(jù)，確保響應迅速，傳輸速度 快，處理結果準確。 49 系統(tǒng)規(guī)格 項目 可管理的數(shù)據(jù)總量 （ ★ ） 實時索引的數(shù)據(jù)流 量（ ★ ） 任意關鍵字段實時 創(chuàng)建索引（ ★ ） 內(nèi)容 支持 100PB 量級的數(shù)據(jù)管理 支持 100GBps 以上量級的數(shù)據(jù)流實時索引規(guī) 格 說 明根據(jù)提供的表結構解析元數(shù)據(jù)，并根據(jù)提供的任意關 鍵字段實時創(chuàng)建索引。 Java 語言實現(xiàn)，具有跨平臺性，一次編程 ，任意操作 可移植性（ ★ ） 系統(tǒng)都可運行。 1 小時范圍查詢： 1 秒內(nèi)響應， 實時查詢（ ★ ） 24 小時范圍查詢： 1 秒內(nèi)響應， 7*24小時范圍查詢： 1 秒內(nèi)響應。 采用和關系數(shù)據(jù)庫混合模式，絕大部分海量數(shù)據(jù)存放 于分布式平臺并進行分布式處理，少量實時性要求很 支持簡單 SQL 組合 高的數(shù)據(jù)存放于關系數(shù)據(jù)庫，可支撐各種類型的業(yè)務。 查詢（ ★ ） 不僅支撐查詢、統(tǒng)計、分析業(yè)務，還可支撐深度數(shù)據(jù) 挖掘和商業(yè)智能分析業(yè)務。 負 載 均 衡 可 靠 性 拔掉或增加一臺節(jié)點后，仍能均勻地向各處理節(jié)點分 （ ★ ） 發(fā)數(shù) 據(jù)。 20個查詢都能正常下發(fā)執(zhí)行、且都能正常返回結 果， 支持并發(fā)查詢（ ★ ） 20 個查詢?nèi)蝿盏目偤臅r差距不大， 根據(jù)機器負載進 行均衡分配查詢?nèi)蝿铡? 數(shù)據(jù)準確性（ ★ ） 查詢條件相同情況下，每次查詢結果相同。 系統(tǒng)連續(xù)運行 7*24 小時，無任何故障， 穩(wěn)定性（ ★ ） 所有周期任務均正常執(zhí)行，且執(zhí)行結果正 50 確。 沒有單點故障，任意節(jié)點宕機，系統(tǒng)工作正常，可以 可靠性（ ★ ） 繼續(xù)進行數(shù)據(jù)處理和應用查詢 , 不會影響分布式系統(tǒng) 運行和查詢結果的準確性。 既可以在很小規(guī)模機器上跑 , 也可以在成千上 萬臺的 擴展性（ ★ ） 機器上運行，而且經(jīng)過很簡單的操作就可以把規(guī)模擴 51 展到成千上萬臺服務器上 , 而且可靠性隨著加入節(jié)點 的增加成線性上升。 集群能增加節(jié)點、并且能正常執(zhí)行查詢?nèi)蝿眨诹髁? 分布式處理能力 沒變、資源增加的情況下，增加機器前后，查詢?nèi)蝿? （ ★ ） 耗時按比例降低。 支持對外接口（ ★ ） 監(jiān)控功能（ ★ ） 備注： ★ 為必須滿足項。 支持 Web 訪問和 Web Services 接口進行對外數(shù)據(jù)交互 操作。 提供 web 界面對分布式文件進行監(jiān)控，支持查看、下 載索引文件和元數(shù)據(jù)文件。 數(shù)據(jù)處理 流程數(shù)據(jù)匯總上報處理流程如圖：圖表 8 數(shù)據(jù)匯總上報處理流程實時數(shù)據(jù)入庫流程如圖： 52 圖表 9 實時數(shù)據(jù)入庫流程 數(shù)據(jù)存儲系統(tǒng) 海量數(shù)據(jù)分布式數(shù)據(jù)存儲構架云計算是一種超級的計算模式， 可以把網(wǎng)絡中的計算機虛擬為一個資源池， 將所有的計算資源集中起來， 并用特定軟件實現(xiàn)自動管理，使得各種計算資源可 以協(xié)同工作，這就使得處理數(shù)量巨大的數(shù)據(jù)成為了可能。 基于云計算的海量數(shù)據(jù)存儲模型，是依據(jù)云計算的核心計算模式 MapReduce ，并依托實現(xiàn)了 MapReduce 計算模式的開源分布式并行編程框架 Hadoop，將存儲模型和云計算結合在一起，實現(xiàn)海量數(shù)據(jù)的分布式存儲。 MapReduce 是云計算的核心計算模式，是一種分布式運