google云計(jì)算應(yīng)用場(chǎng)景分析(編輯修改稿)
2025-08-11 18:48 本頁面
【文章內(nèi)容簡介】 1 BigTable集群 2 GFS集群 Chubby集群 MapReduce集群 應(yīng)用場(chǎng)景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)采集 – 數(shù)據(jù)來源 ? 頁面內(nèi)嵌腳本 ? 點(diǎn)擊行為腳本 – 應(yīng)用服務(wù)器獲取到數(shù)據(jù)后，存入 BigTable 應(yīng)用場(chǎng)景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)采集 – 數(shù)據(jù)存儲(chǔ)流程 向 BigTable中寫入點(diǎn)擊信息 尋找子表服務(wù)器 向內(nèi)存臨時(shí)子表寫入信息（含排序） 如超過閾值則存儲(chǔ)為子表文件 GFS：存儲(chǔ)子表文件 子表合并、壓縮 應(yīng)用場(chǎng)景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)處理 – 例如，統(tǒng)計(jì)網(wǎng)站 (如 )過去一周網(wǎng)頁訪問比例 – 數(shù)據(jù)處理流程 數(shù)據(jù)查詢 MapReduce操作 數(shù)據(jù)存儲(chǔ) 點(diǎn)擊數(shù)據(jù)表 統(tǒng)計(jì)數(shù)據(jù)表 GFS 應(yīng)用場(chǎng)景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)處理： MapReduce – Map操作 ? 假設(shè)過去一周查詢結(jié)果文件在 GFS中包含 M個(gè) Chunk，那么Master尋找 M個(gè)空閑的 Worker，分別處理這 M個(gè) Chunk，得到每個(gè)網(wǎng)站中頁面的訪問次數(shù) , , , , , , , ,2,1 , ,1 , ,1,1 應(yīng)用場(chǎng)景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)處理： MapReduce – 自動(dòng)排序 ? 對(duì) M個(gè)中間結(jié)果進(jìn)行排序 , ,2,1 , ,1 , ,1,1 , ,10, 12 , ,100,10 , ,1, 10 , ,2,1 , ,100,10 , ,1 , ,10, 12 , ,1,1 , ,1, 10 應(yīng)用場(chǎng)景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)處理： MapReduce – Reduce操作 ? 假設(shè)得到該網(wǎng)站含 N個(gè)網(wǎng)站，那么可以分配 N臺(tái) Worker分別處理單個(gè)網(wǎng)站的數(shù)據(jù) , ,2,1 , ,100,10 , ,1 , ,10, 12 , ,1,1 , ,1, 10 , , , , , , , , , , 應(yīng)用場(chǎng)景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)處理 – 寫入數(shù)據(jù) ? 應(yīng)用程序?qū)⒎治鼋Y(jié)果寫入統(tǒng)計(jì)數(shù)據(jù)表 , , , , , , 應(yīng)用場(chǎng)景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)查詢 – 從數(shù)據(jù)統(tǒng)計(jì)表中查詢 – 獲取對(duì)應(yīng)列的數(shù)據(jù)，解析，得到并展示最終結(jié)果 ? 數(shù)據(jù)處理是定期的，非實(shí)時(shí)響應(yīng)查詢 , 應(yīng)用場(chǎng)景分析 2 ——Google搜索 ? Google搜索的總體業(yè)務(wù)流程 – 數(shù)據(jù)采集 : Spider – 數(shù)據(jù)整理 ? 生成
電大資料相關(guān)推薦
鄂ICP備17016276號(hào)-1