中位物聯(lián)網大數(shù)據(jù)平臺總體設計v1(編輯修改稿)
2025-07-26 19:58 本頁面
【文章內容簡介】 的技術研發(fā)人員，主要基于數(shù)據(jù)平臺中的海量數(shù)據(jù)，進行業(yè)務數(shù)據(jù)分析，指導生產運營；l 數(shù)據(jù)開發(fā)用戶：xx內部的技術研發(fā)人員，主要基于數(shù)據(jù)平臺中的海量數(shù)據(jù)，進行數(shù)據(jù)建模、集成和挖掘，在指導生產運營的同時，挖掘新的利潤增長點；l 內部數(shù)據(jù)產品用戶：包括各條業(yè)務線上的各類業(yè)務人員如客服等。l 外部用戶：合作機構如運營商、銀行、商戶，終端用戶、企業(yè)用戶等。3. 位置信息數(shù)據(jù)源l 數(shù)據(jù)平臺可以從第三方平臺(交通部數(shù)據(jù)中心、運營商)或定位中端（車機、sim卡）等采集位置、狀態(tài)等信息。無論是企業(yè)內部用戶，還是企業(yè)外部用戶，無論是技術研發(fā)人員還是業(yè)務人員，他們既是平臺數(shù)據(jù)的生產者，同時也是平臺數(shù)據(jù)的消費者。集存儲、計算、分析于一體的大數(shù)據(jù)平臺，涵蓋了xx業(yè)務數(shù)據(jù)的全生命周期管理，既符合現(xiàn)在行業(yè)大數(shù)據(jù)企業(yè)發(fā)展的趨勢，也最終體現(xiàn)了xx企業(yè)的最終最內涵的價值。. 數(shù)據(jù)處理流程xx大數(shù)據(jù)平臺的數(shù)據(jù)處理流程如上上圖所示。對各類終端產生的結構化和非結構化數(shù)據(jù)源首先通過數(shù)據(jù)采集平臺進行數(shù)據(jù)采集，然后進入海量存儲計算處理平臺，生成各種多維數(shù)據(jù)，供應用服務平臺調用，支持最終的用戶訪問。. 主要功能結合xx的當前業(yè)務發(fā)展現(xiàn)狀，目前xx的大數(shù)據(jù)平臺重點解決三類典型需求：1. 業(yè)務數(shù)據(jù)歸集、備份與可靠存儲2. 離線數(shù)據(jù)分析挖掘3. 實時查詢統(tǒng)計分析針對這三類需求，大數(shù)據(jù)平臺在數(shù)據(jù)采集和運營管理的輔助下，分別提供存儲系統(tǒng)、離線計算系統(tǒng)和海量數(shù)據(jù)庫系統(tǒng)，分別滿足上述三類需求。下面首先介紹平臺的軟件架構設計。. 設計原則1. 采用基于Hadoop的開源技術路線2. 整合公司的終端數(shù)據(jù)、員工、客戶、計算、存儲等所有資源于一體3. 平臺涵蓋公司數(shù)據(jù)生產、存儲、挖掘、分析、服務等全生命周期管理4. 結合業(yè)務線，分析挖掘和業(yè)務支持等應用自主研發(fā). 平臺建設路線項目分階段完成。1期：開發(fā)數(shù)據(jù)采集系統(tǒng)，從第三方平臺及終端采集位置信息，實現(xiàn)2種終端的接入。開發(fā)應用平臺，提供接口給客戶端訪問數(shù)據(jù)。2期：實現(xiàn)多種終端的接入，并完善應用接口。3期：開放存儲系統(tǒng)和簡單的MapReduce功能給其他用戶使用，數(shù)據(jù)庫方面單表的簡單查詢或帶條件查詢，內部使用實時采集組件。4期：開放Hive這樣的類SQL計算給外部門，內部開始引入Mahout進行數(shù)據(jù)挖掘，數(shù)據(jù)庫方面改進查詢語言，支持更多的SQL語法，實時采集可以交給其他部門任意部署客戶端，支持常見的異構數(shù)據(jù)源5期：計算平臺成熟，完全成為各部門共同參與開發(fā)業(yè)務的平臺，數(shù)據(jù)庫具備大部分SQL查詢語法，實時采集系統(tǒng)穩(wěn)定高效運行。4. 數(shù)據(jù)平臺軟件架構設計. 數(shù)據(jù)平臺結構圖如所上圖所示，大數(shù)據(jù)平臺由五個子系統(tǒng)組成，分別為：存儲系統(tǒng)、離線計算系統(tǒng)、海量數(shù)據(jù)庫系統(tǒng)、采集系統(tǒng)和管理系統(tǒng)。這五個子系統(tǒng)之間有如下關聯(lián)關系：1. 管理系統(tǒng)為整個平臺的輔助系統(tǒng)，為其它系統(tǒng)的正常運行提供相關的輔助功能
高考資料相關推薦
鄂ICP備17016276號-1