徐萌：中國移動大數據應用實踐218074138(編輯修改稿)
2025-03-11 14:36 本頁面
【文章內容簡介】 … 經分 集中化 結算 系統(tǒng) 搜索引擎 BCSE 經分系統(tǒng) ETL/DM 信令 系統(tǒng) 云計算 物聯(lián) 資源池系統(tǒng) 網應用 彈性塊存儲 BCEBS 數據管理 /分析類 商務智能平臺 BIPaaS 并行數據挖 并行數據 掘工具集 抽取轉換 BCPDM BCETL 數據倉庫系統(tǒng) BCHugeTable IaaS 產品 計算 /存儲資源池 彈性計算 BCEC PaaS 產品 “ 大云 ” 產品 BCBSP 數據并行框架 BCHadoop 數據存儲和分析平臺 “ 大云 ” 產品體系架構 內存處理引擎 BCDME 實時交易類 SQL數據庫 BCRDB KV數據庫 BCkvDB 版本不一，缺乏規(guī)劃 ? 集成商丌同，版本丌同 ? 大云 /華為 /亞聯(lián) /Intel/天 云 自有人員不足，控制力弱 ? 主要由集成商引導和控制 ? 自有力量薄弱 ? 靠多家多輪測試 建設大云產品開源社區(qū)增強產品的研發(fā)和推廣能力 在試點中發(fā)現(xiàn)省公司關于使用 Hadoop的問題 ： 調優(yōu)復雜，門檻較高 ? 應用不平臺綁定 ? 調優(yōu)斱法復雜多樣 開源的優(yōu)勢： ? ? ? ? 吸引多斱研發(fā)力量 ：包括集成商、應用開發(fā)商、高?？蒲袡C構、互 聯(lián)網企業(yè)等 拓展應用渠道 ：推進開源產品的應用實踐 促進統(tǒng)一版本 :促進集團、省公司選擇內部開源版本，全國版本統(tǒng)一 化，利于核心技術的掌控 提高集成商運維積極性 ：開源代碼透明、可維護程度高 將基于開源 Hadoop軟件的大云大數據平臺 BCHadoop開源，嘗試開源模式！ 大云開源社區(qū) BCHadoop最新進展 ? ? 社區(qū)建設 ：在大云實驗室搭建開源站點，選擇 github作為鏡像站點， 并確定了開源組件模塊和基線版本 開源合作 ：研究院大云團隊和亞聯(lián)、華為研發(fā)人員組成核心團隊負 “ 大云 ” 應用逐年豐富，產品成熟度穩(wěn)步提高 ? 大云的商用涵蓋公司 “ 兩朵云 ” 以及外部 行業(yè)云，成功應用于移動 IT支撐系統(tǒng)，互 聯(lián)網業(yè)務平臺，公眾服務云、教育云和電 子政務云等領域。 ? 大云產品已部署了超過 3000臺 服務器， 裸存儲容量約 15PB。 ? 截止 12年底，累計為公司創(chuàng)收和節(jié)省成本 7000萬元以上 。 27 27 21 15 9 4 大云實驗室設備規(guī)模 ?計算節(jié)點 1180個，內核總數 6432 個，內存 ，存儲容量 4PB+ ?網絡設備 50臺，千兆接入端口 1248個，萬兆接入端口 384個， IB40Gb接入端口 80個 大數據資源池 測試區(qū) 研發(fā)區(qū) 虛擬化資源池 統(tǒng)一運營管理平臺 ? 自服務資源 ? 資源使用監(jiān) 申請、釋放 控和統(tǒng)計 PUE = 大云實驗室功耗統(tǒng)計 大云實驗室運營運維管理 統(tǒng)一運維管理平臺 ? 自動化安 ? 自動化故 裝部署 障報修 典型的應用場景之一：大數據批處理系統(tǒng) 目標：針對海量結構化、非結構化數據的 ETL操作。從各種數據源獲取數據，幵進 行清洗、轉換、去重、缺值補充等操作。通常采用 MapReduce等幵行計算技術。 技術要求丼例： ?針對海量數據實時離線批處理運 算（ ETL），通常時間要求較為 寬松，如幾個小時級別。 ?數據 ETL運算種類多，靈活性強， 通常具有很強的定制化特征 ?數據通常需要導出到數據庫、數 據倉庫，提供報表能力 ?需要靈活的調度的系統(tǒng)，便于系
環(huán)評公示相關推薦
鄂ICP備17016276號-1