中國移勱大數(shù)據(jù)應(yīng)用實(shí)踐-資料下載頁
2025-02-27 15:48本頁面
【正文】 ，再存入 HDFS文件系統(tǒng) 流程 70個(gè) 流程 16個(gè) 流程 81個(gè) 3 4 5 162億條 149億條 ?爬蟲速度 500W網(wǎng)頁 /天 / 節(jié)點(diǎn) ?網(wǎng)頁解析及分類 1400W網(wǎng) 頁 /天 /節(jié)點(diǎn) 數(shù)據(jù)層 互聯(lián)網(wǎng)網(wǎng)頁 用戶上網(wǎng)日志 Inter CMNET/CMWAP/WLAN 日志 用戶群提取 服務(wù)層 訪問熱點(diǎn) 分析 業(yè)務(wù)競品 分析 URL查詢 關(guān)鍵詞檢 索 SaaS DaaS ?BCHugetable:支持海量日 志存儲及各種匯總、統(tǒng)計(jì) 分析；網(wǎng)頁存儲 能力層 ?BCSE:支持爬蟲、網(wǎng)頁解 析、自然語言解析等； ?BCPDM:支持海量結(jié)構(gòu)化 及非結(jié)構(gòu)化數(shù)據(jù)分析挖掘 應(yīng)用案例 2：在互聯(lián)網(wǎng)內(nèi)容分析系統(tǒng)中應(yīng)用 結(jié)合用戶上網(wǎng)日志及互聯(lián)網(wǎng)網(wǎng)頁內(nèi)容，為 精準(zhǔn)行銷 提供用戶行為偏好分析；為 互 聯(lián)網(wǎng)業(yè)務(wù)發(fā)展 提供大趨勢及業(yè)務(wù)競品分析能力 應(yīng)用案例 3：去 IOE實(shí)踐 ?BCRDB主要用于海量數(shù)據(jù)的實(shí)時(shí)在線交易處理系統(tǒng)，包括計(jì)費(fèi)、結(jié)算系統(tǒng)等實(shí)時(shí) 系統(tǒng)， CRM、 ERP進(jìn)銷存等交易系統(tǒng)以及其他應(yīng)用系統(tǒng)。 現(xiàn)網(wǎng)業(yè)務(wù)平滑遷移 BCRDB支持標(biāo)準(zhǔn) SQL92，支持業(yè)務(wù) 從傳統(tǒng)的關(guān)系型數(shù)據(jù)庫平滑遷移到 BCRDB之上。應(yīng)用業(yè)務(wù)邏輯程序僅 需做少量改造（修改原有數(shù)據(jù)庫的非 標(biāo)準(zhǔn)語句），甚至可以直接遷移。 RDB相比傳統(tǒng)方式有 40%以上提升。 0 1 SQL1 SQL2 SQL3 SQL4 SQL5 CRM SQL耗時(shí)比對 oracle rdb RDB相比傳統(tǒng)方式有 40%～ 200%提升。 3 2 1 0 5 4 SQL1 SQL2 SQL3 SQL4 SQL5 PBOSS SQL查詢耗時(shí) oracle RDB ? ； 應(yīng)用案例 4：新浪微博爬取與挖掘 目標(biāo) 針對新浪微博的用戶信息、交往關(guān)系、微博內(nèi)容、位置等數(shù)據(jù)進(jìn)行實(shí)時(shí)爬取不分 析。 可實(shí)現(xiàn)市場產(chǎn)品的定向營銷和目標(biāo)客戶群體發(fā)現(xiàn) 。支持用戶對自定義條件的 目標(biāo)群體進(jìn)行檢索和 整體社交關(guān)系分析 ；支持對目標(biāo)群體中的各 社團(tuán)子群體 發(fā)現(xiàn) 和特征分析；支持目標(biāo)群體中用戶關(guān)注內(nèi)容和位置聚集信息分析；針對個(gè)人用戶 發(fā)現(xiàn)交往行為變化和實(shí)時(shí)關(guān)注點(diǎn) 主要 功能 1. 2. 3. 4. 5. 6. 用戶交往關(guān)系圖生成 ：利用粉絲關(guān)注關(guān)系和轉(zhuǎn)發(fā)評論，構(gòu)建用戶交往關(guān)系圖 用戶地點(diǎn)信息統(tǒng)計(jì) ：根據(jù)簽到信息，統(tǒng)計(jì)用戶常出現(xiàn)地點(diǎn)，發(fā)現(xiàn)活勱規(guī)律 熱點(diǎn)話題發(fā)現(xiàn) ：從用戶近期發(fā)布微博中發(fā)現(xiàn)用戶關(guān)心的熱點(diǎn)事件 關(guān)鍵詞提取 ：從用戶近期微博中提取出關(guān)鍵詞，從中發(fā)現(xiàn)用戶特征 用戶信息挖掘 ：統(tǒng)計(jì)用戶的性別、地域等基本信息 個(gè)人分析 ：對用戶發(fā)微博的時(shí)段分布、用戶近期密友等進(jìn)行統(tǒng)計(jì)分析 謝謝 Thanks ! 中國移動在我國云計(jì)算標(biāo)準(zhǔn)化中的工作 ? 大云倡導(dǎo) IT事實(shí)標(biāo)準(zhǔn)和開源合作，推動產(chǎn)業(yè)整體健康發(fā)展。 全面參與 ITSS 、 SOA、 CCSA等國內(nèi)標(biāo)準(zhǔn)化組織 ? 在首批云計(jì)算國家標(biāo)準(zhǔn)立項(xiàng)計(jì)劃（共 8項(xiàng)）中，中國移動牽頭負(fù)責(zé) 2項(xiàng)《 彈性計(jì)算應(yīng)用接口》和《基于對象的云存儲應(yīng)用接口》的國家標(biāo)準(zhǔn)的制定 云主機(jī)和云存儲是云計(jì)算服務(wù)的基礎(chǔ)功能， 使用最為廣泛，對用戶的價(jià)值最高。 2個(gè)應(yīng)用接口標(biāo)準(zhǔn)的實(shí)現(xiàn)了云服務(wù)接口層的標(biāo) 準(zhǔn)化，為云服務(wù)的互操作、云服務(wù)的可遷移 提供了基礎(chǔ)保障。 制定過程中廣泛征求了主流云服務(wù)提供商的 意見，參考了業(yè)內(nèi)事實(shí)標(biāo)準(zhǔn)（如 AWS）的最 佳實(shí)踐，實(shí)現(xiàn)了兼容性，擴(kuò)展性和標(biāo)準(zhǔn)化的 有機(jī)統(tǒng)一。 “ 大云 ” 產(chǎn)品全面支持國家云計(jì)算標(biāo)準(zhǔn)！ 彈性計(jì)算接口 對象存儲接口 演講完畢，謝謝觀看！
化學(xué)相關(guān)推薦
鄂ICP備17016276號-1