l省交通廳大數(shù)據(jù)項(xiàng)目v1(存儲(chǔ)版)
【正文】 大數(shù)據(jù)平臺(tái)硬件配置估算及建議 33 CONFIDENTIAL XXX交通廳大數(shù)據(jù)平臺(tái)硬件配置建議 硬件配置清單 所屬模塊 平臺(tái)類(lèi)型 單節(jié)點(diǎn)配置 設(shè)備數(shù)量（臺(tái)） 備注 CPU 內(nèi)存 系統(tǒng)盤(pán) 數(shù)據(jù)盤(pán) 數(shù)據(jù)交換網(wǎng)卡 數(shù)據(jù)采集不解析 Kafka P8 1*8C 256GB 2*500G 12*2TB 1塊萬(wàn)兆網(wǎng)卡 1塊千兆網(wǎng)卡 使用 Hadoop平臺(tái)機(jī)器 Hadoop平臺(tái) Hadoop datanode P8 1*8C 128GB 2*500G 12*2TB 1塊萬(wàn)兆網(wǎng)卡 1塊千兆網(wǎng)卡 3 Hadoop平臺(tái) Hadoop namenode P8 1*8C 256GB 2*500G 6*2TB 1塊萬(wàn)兆網(wǎng)卡 1塊千兆網(wǎng)卡 2 客戶(hù)機(jī) 應(yīng)用程序 P8 1*8C 64GB 2*500G 2*2TB 1塊萬(wàn)兆網(wǎng)卡 1 CONFIDENTIAL 存儲(chǔ)規(guī)劃 議題 35 我們對(duì)交通大數(shù)據(jù)平臺(tái)的理解 建設(shè)思路 1 2 應(yīng)用 規(guī)劃與部署 4 總體規(guī)劃 3 大數(shù)據(jù)平臺(tái)應(yīng)用 場(chǎng)景 ① 實(shí)時(shí)判定車(chē)的位置是否在敏感區(qū) ,敏感區(qū)來(lái)自業(yè)務(wù)系統(tǒng)設(shè)置 ,是指定設(shè)施 的GPS每日新增 8G左右的空間，一個(gè)月 250G左右，一年約 3T左右。 階段一 ： GPS數(shù)據(jù)接入 階段二 ： 用戶(hù)資料庫(kù)數(shù)據(jù)接入 階段一 ： GPS數(shù)據(jù)接入 ； 階段二 ： 敏感區(qū)域數(shù)據(jù)； 階段三 ：用戶(hù)資料庫(kù)數(shù)據(jù)； 暫無(wú)。依賴(lài)亍開(kāi)源社區(qū)保障系統(tǒng)安全，社區(qū)的高速發(fā)展針對(duì)現(xiàn) 場(chǎng)應(yīng)用可以快速更新補(bǔ)丁，幵且可以根據(jù)業(yè)務(wù)場(chǎng)景的需要有針對(duì)性的選擇相應(yīng)技術(shù) 2）內(nèi)存計(jì)算 引入 SPARK實(shí)現(xiàn)基亍內(nèi)存的計(jì)算，通過(guò)靈活的 scala語(yǔ)言實(shí)現(xiàn)小數(shù)據(jù)集的秒級(jí)查詢(xún)，幵亍 Hadoop完美結(jié)合 3） 統(tǒng)一框架 以 hadoop技術(shù)為核心，基亍統(tǒng)一資源調(diào)度框架 Yarn，集成批處理（ hadoop ）、內(nèi)存計(jì)算（ spark）、實(shí)時(shí)計(jì)算（ storm），機(jī)器學(xué)習(xí)（ mllib），數(shù)據(jù)倉(cāng)庫(kù)(SQL on Hadoop)，集群監(jiān)控運(yùn)維，數(shù)據(jù)可視化為一體，簡(jiǎn)化系統(tǒng)架構(gòu)實(shí)現(xiàn)資源的統(tǒng)一管理。 查詢(xún) 開(kāi)發(fā)框架 訪問(wèn)服務(wù) (DataBank UI) JDBC/ODBC接口 數(shù)據(jù)服務(wù) (DataBank API) 實(shí)時(shí)數(shù)據(jù) 數(shù)據(jù)庫(kù) 搜索引擎 認(rèn)證管理 安全 /管理 權(quán)限管理 審計(jì)管理 圖形化安裝部署工具 商業(yè)支持 報(bào)警 結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)庫(kù) API 流 傳感器 半結(jié)構(gòu)化數(shù)據(jù) 非結(jié)構(gòu)化數(shù)據(jù) 日志 網(wǎng)頁(yè) 圖片 二迚制 視頻 音頻 管理 API(安裝 /監(jiān)控 /配置 ) 文檔 HADOOPHDFS/YARN/ZOOKEEPER (POWER/EC) 數(shù)據(jù)訪問(wèn) RESTAPI接口 HBASE 數(shù)據(jù)倉(cāng)庫(kù) 交互分析 數(shù)據(jù)挖掘 工作流 數(shù)據(jù)挖掘 SparkSQL kylin phoenix opentsdb Solr elasticsearch MLlib SparkR Redis HIVE SPARK STORM KAFKA crate 文檔解析 拼音提示 數(shù)據(jù)同步 搜索統(tǒng)計(jì) 實(shí)時(shí)接入 實(shí)時(shí)展現(xiàn) 統(tǒng)計(jì)分析 實(shí)時(shí)預(yù)警 ETL 工作流 權(quán)限控制 增強(qiáng)函數(shù) 工作流 深度學(xué)習(xí) 可視化 訪問(wèn)工具 開(kāi)發(fā)框架 管理工具 交互工具 展現(xiàn)工具 sqoop kettle JAVA webservice kafka flume NIFI 結(jié)構(gòu)化數(shù)據(jù) 半結(jié)構(gòu)化數(shù)據(jù) 非結(jié)構(gòu)化數(shù)據(jù) 12 CONFIDENTIAL 關(guān)鍵能力二：大數(shù)據(jù)采集 數(shù)據(jù)來(lái)源 數(shù)據(jù)存儲(chǔ) 實(shí)時(shí)地理信息 校驗(yàn)數(shù)據(jù) 拍照數(shù)據(jù) 基礎(chǔ)數(shù)據(jù) 定期更新緯表 …… 分布式消息隊(duì)列 Kafka sqoop/kettle/webservice/ftp/JAVA API/nifi/restapi 數(shù)據(jù)接入 文本數(shù)據(jù) 數(shù)據(jù)庫(kù) 爬蟲(chóng)數(shù)據(jù) 網(wǎng)絡(luò)數(shù)據(jù)接口 其它 … flume 大數(shù)據(jù) Cluster 大數(shù)據(jù) 集群 大數(shù)據(jù)集群 13 CONFIDENTIAL 關(guān)鍵 能力三：大數(shù)據(jù)分析 數(shù)據(jù)來(lái)源 數(shù)據(jù)存儲(chǔ) 實(shí)時(shí)地理信息 校驗(yàn)數(shù)據(jù) 拍照數(shù)據(jù) 基礎(chǔ)數(shù)據(jù) 文件 其他 redis 消息 GPS 用戶(hù)挃標(biāo) 數(shù)據(jù)適配轉(zhuǎn)換 分布式預(yù)處理 消息解析 消息過(guò)濾 數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)落地
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號(hào)-1