l省交通廳大數(shù)據(jù)項(xiàng)目v1-資料下載頁(yè)
2024-12-29 11:26本頁(yè)面
【正文】 理器（ ） 2顆 8核心 P8處理器（ ） 內(nèi)存 64G或者以上內(nèi)存， DDR3L， RRECC 128G或者以上內(nèi)存， DDR3L， RRECC 256G或者以上內(nèi)存， DDR3L， RRECC 系統(tǒng)盤(pán) 2*500G SSD 2*500G SSD 2*500G SSD 磁盤(pán)接口 SAS 6GB/s SAS 6GB/s SAS 6GB/s 磁盤(pán) 12個(gè) 2T或者 6T 7200RPM SATA硬硬盤(pán) 12個(gè) 4T或者 6T 7200RPM SATA硬硬盤(pán) 12個(gè) 6T 7200RPM個(gè) SATA硬硬盤(pán) Raid 卡卡 1G緩存支持 RAID0， 1， 5 1G緩存支持 RAID0， 1， 5 1G緩存支持 RAID0， 1， 5 網(wǎng)絡(luò) 10Gb以太網(wǎng)和千兆以太網(wǎng) 10Gb以太網(wǎng)和千兆以太網(wǎng) 10Gb以太網(wǎng)和千兆以太網(wǎng) 電源 1+1冗余電源冗余電源 1+1冗余電源冗余電源 1+1冗余電源冗余電源 大數(shù)據(jù)平臺(tái)硬件配置估算及建議 33 CONFIDENTIAL XXX交通廳大數(shù)據(jù)平臺(tái)硬件配置建議 硬件配置清單 所屬模塊 平臺(tái)類(lèi)型 單節(jié)點(diǎn)配置 設(shè)備數(shù)量（臺(tái)） 備注 CPU 內(nèi)存 系統(tǒng)盤(pán) 數(shù)據(jù)盤(pán) 數(shù)據(jù)交換網(wǎng)卡 數(shù)據(jù)采集不解析 Kafka P8 1*8C 256GB 2*500G 12*2TB 1塊萬(wàn)兆網(wǎng)卡 1塊千兆網(wǎng)卡 使用 Hadoop平臺(tái)機(jī)器 Hadoop平臺(tái) Hadoop datanode P8 1*8C 128GB 2*500G 12*2TB 1塊萬(wàn)兆網(wǎng)卡 1塊千兆網(wǎng)卡 3 Hadoop平臺(tái) Hadoop namenode P8 1*8C 256GB 2*500G 6*2TB 1塊萬(wàn)兆網(wǎng)卡 1塊千兆網(wǎng)卡 2 客戶(hù)機(jī) 應(yīng)用程序 P8 1*8C 64GB 2*500G 2*2TB 1塊萬(wàn)兆網(wǎng)卡 1 CONFIDENTIAL 存儲(chǔ)規(guī)劃 議題 35 我們對(duì)交通大數(shù)據(jù)平臺(tái)的理解 建設(shè)思路 1 2 應(yīng)用 規(guī)劃與部署 4 總體規(guī)劃 3 大數(shù)據(jù)平臺(tái)應(yīng)用 場(chǎng)景 ① 實(shí)時(shí)判定車(chē)的位置是否在敏感區(qū) ,敏感區(qū)來(lái)自業(yè)務(wù)系統(tǒng)設(shè)置 ,是指定設(shè)施 的GPS每日新增 8G左右的空間，一個(gè)月 250G左右，一年約 3T左右。目前平均在線車(chē)輛目標(biāo) 3萬(wàn)左右，總體車(chē)輛數(shù)在約 7萬(wàn)。車(chē)輛每 30秒回傳一個(gè)位置 。 場(chǎng)景 1敏感區(qū)系統(tǒng)判定 大數(shù)據(jù) Cluster 敏感區(qū)域數(shù)據(jù)庫(kù) NOSQL/Hbase 敏感區(qū)車(chē)輛 信息報(bào)警系統(tǒng) 根據(jù)告警等級(jí)通過(guò)短信，電話， app推送等渠道 ；信息送達(dá)到駕駛?cè)藛T。 實(shí)時(shí)刷新車(chē)輛位置 通過(guò)衛(wèi)星定位，汽車(chē)終端等收集汽車(chē)行駛數(shù)據(jù)上傳服務(wù)器 數(shù)據(jù)采集程序，實(shí)時(shí)獲取數(shù)據(jù)，流入 Hadoop生態(tài)系統(tǒng) 嗨，你馬上進(jìn)入敏感區(qū)域，請(qǐng)繞行，通過(guò)xxx路線行駛 根據(jù)右邊擬物化的圖，來(lái)講解數(shù) 據(jù)處理流程； 汽車(chē)在地圖上移勱， GPS衛(wèi)星定 位信息實(shí)時(shí)推送到數(shù)據(jù)收集終端，數(shù) 據(jù)終端實(shí)時(shí)上報(bào)數(shù)據(jù)到服務(wù)器生成文 件。 大數(shù)據(jù)集群，通過(guò) Kafka集 群提供的 API實(shí)時(shí)監(jiān)控是否有新的數(shù) 據(jù)生成，如果有新數(shù)據(jù)生成就推送到 storm集群。 通過(guò) storm提供的實(shí)時(shí)流計(jì)算特性 編寫(xiě)計(jì)算模型，每條數(shù)據(jù)過(guò)來(lái)實(shí)時(shí)解 析生成地理位置，通過(guò)從數(shù)據(jù)庫(kù) (redis) 獲取人為規(guī)定敏感區(qū)域位置信息，通 過(guò)模型，計(jì)算敏感區(qū)域中心點(diǎn)到實(shí)時(shí)汽 車(chē)位置信息之間的距離，判定汽車(chē)是 否迚入敏感區(qū)域。 把實(shí)時(shí)計(jì)算的位置信息和迚入敏 感區(qū)域汽車(chē)數(shù)據(jù)存儲(chǔ)到 hbsae數(shù)據(jù)庫(kù) 通過(guò)敏感區(qū)車(chē)輛報(bào)警系統(tǒng)對(duì)即將迚 入敏感區(qū)域的汽車(chē)發(fā)送警告類(lèi)短信。 通過(guò)前端應(yīng)用實(shí)時(shí)刷新展現(xiàn)汽車(chē) 在地圖上的位置 Kafka phoenix 38 CONFIDENTIAL 大 數(shù)據(jù)平臺(tái)應(yīng)用 場(chǎng)景實(shí)現(xiàn)方式：判斷車(chē)輛敏感位置 實(shí)現(xiàn)平臺(tái)：大數(shù)據(jù) (Hadoop+Hbase+Storm＋ Redis＋ phoenix )+JAVA ? 預(yù)估數(shù)據(jù)量： 3T／年 (根據(jù) GPS一種數(shù)據(jù)源評(píng)估 ) ? 存儲(chǔ)周期： 3年 (考慮對(duì)歷叱數(shù)據(jù)全量分析，交通運(yùn)行規(guī)律 ) ? 存儲(chǔ)大?。?9T＊ *3副本 ＝ ? 需要的主機(jī)數(shù)量： ((10*3T+(10*3T*))＊ 3副本 /12*2T =3Datanode+2Namenode+1接口機(jī)＝ 6 感謝聆聽(tīng) 謝謝觀看 /歡迎下載 BY FAITH I MEAN A VISION OF GOOD ONE CHERISHES AND THE ENTHUSIASM THAT PUSHES ONE TO SEEK ITS FULFILLMENT REGARDLESS OF OBSTACLES. BY FAITH I BY FAITH
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號(hào)-1