中位物聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)總體設(shè)計(jì)v1-資料下載頁
2025-06-29 19:58本頁面
【正文】 該環(huán)境對(duì)內(nèi)可以支撐公司相關(guān)業(yè)務(wù)的商業(yè)智能、業(yè)務(wù)支撐等應(yīng)用，提升業(yè)務(wù)能力，開展新的業(yè)務(wù)，對(duì)外可以支持公司上下游產(chǎn)業(yè)鏈的相關(guān)合作伙伴、相關(guān)的企業(yè)用戶的在線查詢請(qǐng)求，改善用戶體驗(yàn)，提升服務(wù)質(zhì)量，增強(qiáng)客戶的黏性，擴(kuò)大用戶范圍，增加業(yè)務(wù)營(yíng)收。3. 搭建方法在Apache HDFS基礎(chǔ)上，通過HBase的海量存儲(chǔ)能力和快速的查詢功能，對(duì)外提供Web和RESTfull API兩種用戶接口，為相關(guān)的用戶和應(yīng)用提供高并發(fā)、高吞吐量的基于海量數(shù)據(jù)的實(shí)時(shí)查詢統(tǒng)計(jì)分析處理系統(tǒng)。. 管理系統(tǒng)1. 功能提供整個(gè)平臺(tái)的共性功能，包括用戶管理、訪問控制、平臺(tái)監(jiān)控、平臺(tái)升級(jí)、性能隔離和作業(yè)調(diào)度等輔助功能組件，為平臺(tái)的持續(xù)可靠運(yùn)營(yíng)提供外圍支撐環(huán)境。2. 要解決的問題每一個(gè)好的生產(chǎn)系統(tǒng)，都有一個(gè)可靠的運(yùn)行輔助支撐環(huán)境。管理系統(tǒng)為整個(gè)大數(shù)據(jù)平臺(tái)的穩(wěn)定安全持久運(yùn)行提供可靠的外部輔助支撐。3. 搭建方法用戶系統(tǒng)可以采用服務(wù)器本地系統(tǒng)和平臺(tái)新建用戶系統(tǒng)相結(jié)合的方式來解決；監(jiān)控可以采用Hadoop Ambari來搭建；訪問控制可以通過設(shè)置用戶訪問權(quán)限、環(huán)境隔離等方式來達(dá)到要求；要解決性能隔離和作業(yè)調(diào)度，一個(gè)最簡(jiǎn)單的辦法是通過平臺(tái)和任務(wù)監(jiān)控、作業(yè)隊(duì)列、負(fù)載均衡和資源動(dòng)態(tài)調(diào)度等方式來實(shí)現(xiàn)；平臺(tái)審計(jì)也可以通過系統(tǒng)監(jiān)控來實(shí)現(xiàn)。5. 應(yīng)用平臺(tái)架構(gòu)設(shè)計(jì). 應(yīng)用平臺(tái)架構(gòu)圖應(yīng)用平臺(tái)是針對(duì)具體業(yè)務(wù)開發(fā)的平臺(tái)，負(fù)責(zé)承載公司運(yùn)營(yíng)的各種業(yè)務(wù)。例如：車輛監(jiān)控系統(tǒng)、人員定位系統(tǒng)、物流貨物跟蹤系統(tǒng)等。目前，應(yīng)用平臺(tái)要開發(fā)的是車輛監(jiān)控系統(tǒng)。車輛監(jiān)控系統(tǒng)的服務(wù)使用RESTfull API用戶接口。接口與exlive平臺(tái)的接口完全兼容，方便已有客戶端的接入。應(yīng)用平臺(tái)與數(shù)據(jù)平臺(tái)通信，獲取相應(yīng)的數(shù)據(jù)。6. 平臺(tái)安全待完善7. 平臺(tái)監(jiān)控待完善8. 部署架構(gòu)待完善9. 平臺(tái)運(yùn)維運(yùn)維原則：1. 在線Hadoop數(shù)據(jù)服務(wù)平臺(tái)的運(yùn)維工作是一個(gè)系統(tǒng)工程，需要遵循一些基本的原則：2. 運(yùn)維工作從系統(tǒng)搭建和應(yīng)用研發(fā)之前就已經(jīng)開始3. 關(guān)鍵點(diǎn)要有冗余設(shè)計(jì)4. 能自動(dòng)檢查的一定要做到自動(dòng)檢查5. 能主動(dòng)告警的一定要做到自動(dòng)告警6. 故障能自動(dòng)恢復(fù)的一定要實(shí)現(xiàn)自動(dòng)恢復(fù)7. 在設(shè)置每一個(gè)檢查項(xiàng)的同時(shí)，要另外設(shè)置一個(gè)或者多個(gè)對(duì)應(yīng)的切實(shí)有效可行的緊急預(yù)案8. 關(guān)鍵時(shí)刻還得靠人上去，所以，比以上更重要的是要建立一支能打硬仗的高效的運(yùn)維團(tuán)隊(duì)10. 團(tuán)隊(duì)建設(shè)根據(jù)xx大數(shù)據(jù)平臺(tái)建設(shè)的要求以及結(jié)合xx技術(shù)能力的現(xiàn)狀，需要從Hadoop運(yùn)維工程師、應(yīng)用開發(fā)工程師、基于Hadoop的開發(fā)工程師、數(shù)據(jù)開發(fā)工程師、數(shù)據(jù)挖掘工程師5個(gè)角度去考慮培養(yǎng)整個(gè)團(tuán)隊(duì)。. 運(yùn)維工程師略. 應(yīng)用開發(fā)工程師略. 通信協(xié)議開發(fā)工程師略. 基于Hadoop的開發(fā)工程師略. 數(shù)據(jù)開發(fā)工程師略. 數(shù)據(jù)挖掘工程師略
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1