中位物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)總體設(shè)計(jì)v1(編輯修改稿)
2025-07-26 19:58 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 的技術(shù)研發(fā)人員，主要基于數(shù)據(jù)平臺(tái)中的海量數(shù)據(jù)，進(jìn)行業(yè)務(wù)數(shù)據(jù)分析，指導(dǎo)生產(chǎn)運(yùn)營(yíng)；l 數(shù)據(jù)開(kāi)發(fā)用戶：xx內(nèi)部的技術(shù)研發(fā)人員，主要基于數(shù)據(jù)平臺(tái)中的海量數(shù)據(jù)，進(jìn)行數(shù)據(jù)建模、集成和挖掘，在指導(dǎo)生產(chǎn)運(yùn)營(yíng)的同時(shí)，挖掘新的利潤(rùn)增長(zhǎng)點(diǎn)；l 內(nèi)部數(shù)據(jù)產(chǎn)品用戶：包括各條業(yè)務(wù)線上的各類業(yè)務(wù)人員如客服等。l 外部用戶：合作機(jī)構(gòu)如運(yùn)營(yíng)商、銀行、商戶，終端用戶、企業(yè)用戶等。3. 位置信息數(shù)據(jù)源l 數(shù)據(jù)平臺(tái)可以從第三方平臺(tái)(交通部數(shù)據(jù)中心、運(yùn)營(yíng)商)或定位中端（車機(jī)、sim卡）等采集位置、狀態(tài)等信息。無(wú)論是企業(yè)內(nèi)部用戶，還是企業(yè)外部用戶，無(wú)論是技術(shù)研發(fā)人員還是業(yè)務(wù)人員，他們既是平臺(tái)數(shù)據(jù)的生產(chǎn)者，同時(shí)也是平臺(tái)數(shù)據(jù)的消費(fèi)者。集存儲(chǔ)、計(jì)算、分析于一體的大數(shù)據(jù)平臺(tái)，涵蓋了xx業(yè)務(wù)數(shù)據(jù)的全生命周期管理，既符合現(xiàn)在行業(yè)大數(shù)據(jù)企業(yè)發(fā)展的趨勢(shì)，也最終體現(xiàn)了xx企業(yè)的最終最內(nèi)涵的價(jià)值。. 數(shù)據(jù)處理流程xx大數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理流程如上上圖所示。對(duì)各類終端產(chǎn)生的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源首先通過(guò)數(shù)據(jù)采集平臺(tái)進(jìn)行數(shù)據(jù)采集，然后進(jìn)入海量存儲(chǔ)計(jì)算處理平臺(tái)，生成各種多維數(shù)據(jù)，供應(yīng)用服務(wù)平臺(tái)調(diào)用，支持最終的用戶訪問(wèn)。. 主要功能結(jié)合x(chóng)x的當(dāng)前業(yè)務(wù)發(fā)展現(xiàn)狀，目前xx的大數(shù)據(jù)平臺(tái)重點(diǎn)解決三類典型需求：1. 業(yè)務(wù)數(shù)據(jù)歸集、備份與可靠存儲(chǔ)2. 離線數(shù)據(jù)分析挖掘3. 實(shí)時(shí)查詢統(tǒng)計(jì)分析針對(duì)這三類需求，大數(shù)據(jù)平臺(tái)在數(shù)據(jù)采集和運(yùn)營(yíng)管理的輔助下，分別提供存儲(chǔ)系統(tǒng)、離線計(jì)算系統(tǒng)和海量數(shù)據(jù)庫(kù)系統(tǒng)，分別滿足上述三類需求。下面首先介紹平臺(tái)的軟件架構(gòu)設(shè)計(jì)。. 設(shè)計(jì)原則1. 采用基于Hadoop的開(kāi)源技術(shù)路線2. 整合公司的終端數(shù)據(jù)、員工、客戶、計(jì)算、存儲(chǔ)等所有資源于一體3. 平臺(tái)涵蓋公司數(shù)據(jù)生產(chǎn)、存儲(chǔ)、挖掘、分析、服務(wù)等全生命周期管理4. 結(jié)合業(yè)務(wù)線，分析挖掘和業(yè)務(wù)支持等應(yīng)用自主研發(fā). 平臺(tái)建設(shè)路線項(xiàng)目分階段完成。1期：開(kāi)發(fā)數(shù)據(jù)采集系統(tǒng)，從第三方平臺(tái)及終端采集位置信息，實(shí)現(xiàn)2種終端的接入。開(kāi)發(fā)應(yīng)用平臺(tái)，提供接口給客戶端訪問(wèn)數(shù)據(jù)。2期：實(shí)現(xiàn)多種終端的接入，并完善應(yīng)用接口。3期：開(kāi)放存儲(chǔ)系統(tǒng)和簡(jiǎn)單的MapReduce功能給其他用戶使用，數(shù)據(jù)庫(kù)方面單表的簡(jiǎn)單查詢或帶條件查詢，內(nèi)部使用實(shí)時(shí)采集組件。4期：開(kāi)放Hive這樣的類SQL計(jì)算給外部門，內(nèi)部開(kāi)始引入Mahout進(jìn)行數(shù)據(jù)挖掘，數(shù)據(jù)庫(kù)方面改進(jìn)查詢語(yǔ)言，支持更多的SQL語(yǔ)法，實(shí)時(shí)采集可以交給其他部門任意部署客戶端，支持常見(jiàn)的異構(gòu)數(shù)據(jù)源5期：計(jì)算平臺(tái)成熟，完全成為各部門共同參與開(kāi)發(fā)業(yè)務(wù)的平臺(tái)，數(shù)據(jù)庫(kù)具備大部分SQL查詢語(yǔ)法，實(shí)時(shí)采集系統(tǒng)穩(wěn)定高效運(yùn)行。4. 數(shù)據(jù)平臺(tái)軟件架構(gòu)設(shè)計(jì). 數(shù)據(jù)平臺(tái)結(jié)構(gòu)圖如所上圖所示，大數(shù)據(jù)平臺(tái)由五個(gè)子系統(tǒng)組成，分別為：存儲(chǔ)系統(tǒng)、離線計(jì)算系統(tǒng)、海量數(shù)據(jù)庫(kù)系統(tǒng)、采集系統(tǒng)和管理系統(tǒng)。這五個(gè)子系統(tǒng)之間有如下關(guān)聯(lián)關(guān)系：1. 管理系統(tǒng)為整個(gè)平臺(tái)的輔助系統(tǒng)，為其它系統(tǒng)的正常運(yùn)行提供相關(guān)的輔助功能
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1