l省交通廳大數(shù)據(jù)項目v1-全文預(yù)覽
【正文】 屬模塊 平臺類型 單節(jié)點(diǎn)配置 設(shè)備數(shù)量（臺） 備注 CPU 內(nèi)存 系統(tǒng)盤 數(shù)據(jù)盤 數(shù)據(jù)交換網(wǎng)卡 數(shù)據(jù)采集不解析 Kafka P8 1*8C 256GB 2*500G 12*2TB 1塊萬兆網(wǎng)卡 1塊千兆網(wǎng)卡 使用 Hadoop平臺機(jī)器 Hadoop平臺 Hadoop datanode P8 1*8C 128GB 2*500G 12*2TB 1塊萬兆網(wǎng)卡 1塊千兆網(wǎng)卡 3 Hadoop平臺 Hadoop namenode P8 1*8C 256GB 2*500G 6*2TB 1塊萬兆網(wǎng)卡 1塊千兆網(wǎng)卡 2 客戶機(jī) 應(yīng)用程序 P8 1*8C 64GB 2*500G 2*2TB 1塊萬兆網(wǎng)卡 1 CONFIDENTIAL 存儲規(guī)劃 議題 35 我們對交通大數(shù)據(jù)平臺的理解 建設(shè)思路 1 2 應(yīng)用 規(guī)劃與部署 4 總體規(guī)劃 3 大數(shù)據(jù)平臺應(yīng)用 場景 ① 實時判定車的位置是否在敏感區(qū) ,敏感區(qū)來自業(yè)務(wù)系統(tǒng)設(shè)置 ,是指定設(shè)施 的GPS每日新增 8G左右的空間，一個月 250G左右，一年約 3T左右。 實時刷新車輛位置 通過衛(wèi)星定位，汽車終端等收集汽車行駛數(shù)據(jù)上傳服務(wù)器 數(shù)據(jù)采集程序，實時獲取數(shù)據(jù)，流入 Hadoop生態(tài)系統(tǒng) 嗨，你馬上進(jìn)入敏感區(qū)域，請繞行，通過xxx路線行駛 根據(jù)右邊擬物化的圖，來講解數(shù) 據(jù)處理流程； 汽車在地圖上移勱， GPS衛(wèi)星定 位信息實時推送到數(shù)據(jù)收集終端，數(shù) 據(jù)終端實時上報數(shù)據(jù)到服務(wù)器生成文 件。 通過前端應(yīng)用實時刷新展現(xiàn)汽車 在地圖上的位置 Kafka phoenix 38 CONFIDENTIAL 大 數(shù)據(jù)平臺應(yīng)用 場景實現(xiàn)方式：判斷車輛敏感位置 實現(xiàn)平臺：大數(shù)據(jù) (Hadoop+Hbase+Storm＋ Redis＋ phoenix )+JAVA ? 預(yù)估數(shù)據(jù)量： 3T／年 (根據(jù) GPS一種數(shù)據(jù)源評估 ) ? 存儲周期： 3年 (考慮對歷叱數(shù)據(jù)全量分析，交通運(yùn)行規(guī)律 ) ? 存儲大?。?9T＊ *3副本 ＝ ? 需要的主機(jī)數(shù)量： ((10*3T+(10*3T*))＊ 3副本 /12*2T =3Datanode+2Namenode+1接口機(jī)＝ 6 感謝聆聽 謝謝觀看 /歡迎下載 BY FAITH I MEAN A VISION OF GOOD ONE CHERISHES AND THE ENTHUSIASM THAT PUSHES ONE TO SEEK ITS FULFILLMENT REGARDLESS OF OBSTACLES. BY FAITH I BY FAITH 。 通過 storm提供的實時流計算特性 編寫計算模型，每條數(shù)據(jù)過來實時解 析生成地理位置，通過從數(shù)據(jù)庫 (redis) 獲取人為規(guī)定敏感區(qū)域位置信息，通 過模型，計算敏感區(qū)域中心點(diǎn)到實時汽 車位置信息之間的距離，判定汽車是 否迚入敏感區(qū)域。車輛每 30秒回傳一個位置 。 27 CONFIDENTIAL 網(wǎng)絡(luò)配置原則 數(shù)據(jù)量計算： 根據(jù)卡扣數(shù)據(jù) ,GPS信息等、接入數(shù)據(jù)源及數(shù)據(jù)量 ，估算系統(tǒng)建設(shè)規(guī)模（各接口的日吞吏量和峰值吞吏量） 計算各產(chǎn)品模塊的輸入、輸出帶寬需求： 根據(jù)各監(jiān)控終端模塊功能劃分，梳理數(shù)據(jù)流轉(zhuǎn)過程，確定輸入、輸出帶寬需求（主要考慮峰值情況） 流計算與批處理共用集群需要重點(diǎn)保證低延遲和高吞吐： 流計算平臺的特點(diǎn)是必須滿足數(shù)據(jù)處理的時效性，因此重點(diǎn)是保障低延遲；批處理平臺的特點(diǎn)是必須滿足對大容量、多樣性數(shù)據(jù)的處理和存儲，因此重點(diǎn)是保障高吞吏； 28 CONFIDENTIAL 基亍 HDFS彈性存儲系統(tǒng) 10G 萬兆以太網(wǎng) 千兆 以太網(wǎng) 管理節(jié)點(diǎn) 管理節(jié)點(diǎn) 數(shù)據(jù)接入節(jié)點(diǎn) IO節(jié)點(diǎn) 存儲 120TB 磁盤 5計算節(jié)點(diǎn)Hadoop DB Server FC SAN Switch 已有系統(tǒng) 新建大數(shù)據(jù)系統(tǒng) DB Storage 外部用戶 內(nèi)部用戶 總體方案構(gòu)成 大數(shù)據(jù)集群 大數(shù)據(jù)管理平臺 總體方案概述 ① Hadoop計算集群基礎(chǔ)架構(gòu) ? POWER8服務(wù)器， 5個計算節(jié)點(diǎn) ? 彈性存儲，總的存儲空間約120TB； ? 基亍萬兆 的計算網(wǎng)絡(luò)； ② Hadoop計算集群管理平臺 ? 基亍大數(shù)據(jù)的高性能計算集群管理平臺，新建大數(shù)據(jù)集群環(huán)境迚行高效率的統(tǒng)一管理； ③ 大容量數(shù)據(jù)存儲平臺 ? 新建的數(shù)據(jù)庫存儲平臺 120TB 29 30 管理節(jié)點(diǎn) 接口節(jié)點(diǎn) 計算存儲 節(jié)點(diǎn) 1 計算存儲 節(jié)點(diǎn) 2 計算存儲 節(jié)點(diǎn) 3
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號-1