中國移勱大數(shù)據(jù)應(yīng)用實踐-資料下載頁
2025-02-27 15:48本頁面
【正文】 ，再存入 HDFS文件系統(tǒng) 流程 70個 流程 16個 流程 81個 3 4 5 162億條 149億條 ?爬蟲速度 500W網(wǎng)頁 /天 / 節(jié)點 ?網(wǎng)頁解析及分類 1400W網(wǎng) 頁 /天 /節(jié)點 數(shù)據(jù)層 互聯(lián)網(wǎng)網(wǎng)頁 用戶上網(wǎng)日志 Inter CMNET/CMWAP/WLAN 日志 用戶群提取 服務(wù)層 訪問熱點 分析 業(yè)務(wù)競品 分析 URL查詢 關(guān)鍵詞檢 索 SaaS DaaS ?BCHugetable:支持海量日 志存儲及各種匯總、統(tǒng)計 分析；網(wǎng)頁存儲 能力層 ?BCSE:支持爬蟲、網(wǎng)頁解 析、自然語言解析等； ?BCPDM:支持海量結(jié)構(gòu)化 及非結(jié)構(gòu)化數(shù)據(jù)分析挖掘 應(yīng)用案例 2：在互聯(lián)網(wǎng)內(nèi)容分析系統(tǒng)中應(yīng)用 結(jié)合用戶上網(wǎng)日志及互聯(lián)網(wǎng)網(wǎng)頁內(nèi)容，為 精準行銷 提供用戶行為偏好分析；為 互 聯(lián)網(wǎng)業(yè)務(wù)發(fā)展 提供大趨勢及業(yè)務(wù)競品分析能力 應(yīng)用案例 3：去 IOE實踐 ?BCRDB主要用于海量數(shù)據(jù)的實時在線交易處理系統(tǒng)，包括計費、結(jié)算系統(tǒng)等實時 系統(tǒng)， CRM、 ERP進銷存等交易系統(tǒng)以及其他應(yīng)用系統(tǒng)。 現(xiàn)網(wǎng)業(yè)務(wù)平滑遷移 BCRDB支持標準 SQL92，支持業(yè)務(wù) 從傳統(tǒng)的關(guān)系型數(shù)據(jù)庫平滑遷移到 BCRDB之上。應(yīng)用業(yè)務(wù)邏輯程序僅 需做少量改造（修改原有數(shù)據(jù)庫的非 標準語句），甚至可以直接遷移。 RDB相比傳統(tǒng)方式有 40%以上提升。 0 1 SQL1 SQL2 SQL3 SQL4 SQL5 CRM SQL耗時比對 oracle rdb RDB相比傳統(tǒng)方式有 40%～ 200%提升。 3 2 1 0 5 4 SQL1 SQL2 SQL3 SQL4 SQL5 PBOSS SQL查詢耗時 oracle RDB ? ； 應(yīng)用案例 4：新浪微博爬取與挖掘 目標 針對新浪微博的用戶信息、交往關(guān)系、微博內(nèi)容、位置等數(shù)據(jù)進行實時爬取不分 析。 可實現(xiàn)市場產(chǎn)品的定向營銷和目標客戶群體發(fā)現(xiàn) 。支持用戶對自定義條件的 目標群體進行檢索和 整體社交關(guān)系分析 ；支持對目標群體中的各 社團子群體 發(fā)現(xiàn) 和特征分析；支持目標群體中用戶關(guān)注內(nèi)容和位置聚集信息分析；針對個人用戶 發(fā)現(xiàn)交往行為變化和實時關(guān)注點 主要 功能 1. 2. 3. 4. 5. 6. 用戶交往關(guān)系圖生成 ：利用粉絲關(guān)注關(guān)系和轉(zhuǎn)發(fā)評論，構(gòu)建用戶交往關(guān)系圖 用戶地點信息統(tǒng)計 ：根據(jù)簽到信息，統(tǒng)計用戶常出現(xiàn)地點，發(fā)現(xiàn)活勱規(guī)律 熱點話題發(fā)現(xiàn) ：從用戶近期發(fā)布微博中發(fā)現(xiàn)用戶關(guān)心的熱點事件 關(guān)鍵詞提取 ：從用戶近期微博中提取出關(guān)鍵詞，從中發(fā)現(xiàn)用戶特征 用戶信息挖掘 ：統(tǒng)計用戶的性別、地域等基本信息 個人分析 ：對用戶發(fā)微博的時段分布、用戶近期密友等進行統(tǒng)計分析 謝謝 Thanks ! 中國移動在我國云計算標準化中的工作 ? 大云倡導 IT事實標準和開源合作，推動產(chǎn)業(yè)整體健康發(fā)展。 全面參與 ITSS 、 SOA、 CCSA等國內(nèi)標準化組織 ? 在首批云計算國家標準立項計劃（共 8項）中，中國移動牽頭負責 2項《 彈性計算應(yīng)用接口》和《基于對象的云存儲應(yīng)用接口》的國家標準的制定 云主機和云存儲是云計算服務(wù)的基礎(chǔ)功能， 使用最為廣泛，對用戶的價值最高。 2個應(yīng)用接口標準的實現(xiàn)了云服務(wù)接口層的標 準化，為云服務(wù)的互操作、云服務(wù)的可遷移 提供了基礎(chǔ)保障。 制定過程中廣泛征求了主流云服務(wù)提供商的 意見，參考了業(yè)內(nèi)事實標準（如 AWS）的最 佳實踐，實現(xiàn)了兼容性，擴展性和標準化的 有機統(tǒng)一。 “ 大云 ” 產(chǎn)品全面支持國家云計算標準！ 彈性計算接口 對象存儲接口 演講完畢，謝謝觀看！
化學相關(guān)推薦
鄂ICP備17016276號-1