google云計算應用場景分析(編輯修改稿)
2024-08-11 18:48 本頁面
【文章內(nèi)容簡介】 1 BigTable集群 2 GFS集群 Chubby集群 MapReduce集群 應用場景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)采集 – 數(shù)據(jù)來源 ? 頁面內(nèi)嵌腳本 ? 點擊行為腳本 – 應用服務器獲取到數(shù)據(jù)后，存入 BigTable 應用場景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)采集 – 數(shù)據(jù)存儲流程 向 BigTable中寫入點擊信息 尋找子表服務器 向內(nèi)存臨時子表寫入信息（含排序） 如超過閾值則存儲為子表文件 GFS：存儲子表文件 子表合并、壓縮 應用場景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)處理 – 例如，統(tǒng)計網(wǎng)站 (如 )過去一周網(wǎng)頁訪問比例 – 數(shù)據(jù)處理流程 數(shù)據(jù)查詢 MapReduce操作 數(shù)據(jù)存儲 點擊數(shù)據(jù)表 統(tǒng)計數(shù)據(jù)表 GFS 應用場景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)處理： MapReduce – Map操作 ? 假設(shè)過去一周查詢結(jié)果文件在 GFS中包含 M個 Chunk，那么Master尋找 M個空閑的 Worker，分別處理這 M個 Chunk，得到每個網(wǎng)站中頁面的訪問次數(shù) , , , , , , , ,2,1 , ,1 , ,1,1 應用場景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)處理： MapReduce – 自動排序 ? 對 M個中間結(jié)果進行排序 , ,2,1 , ,1 , ,1,1 , ,10, 12 , ,100,10 , ,1, 10 , ,2,1 , ,100,10 , ,1 , ,10, 12 , ,1,1 , ,1, 10 應用場景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)處理： MapReduce – Reduce操作 ? 假設(shè)得到該網(wǎng)站含 N個網(wǎng)站，那么可以分配 N臺 Worker分別處理單個網(wǎng)站的數(shù)據(jù) , ,2,1 , ,100,10 , ,1 , ,10, 12 , ,1,1 , ,1, 10 , , , , , , , , , , 應用場景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)處理 – 寫入數(shù)據(jù) ? 應用程序?qū)⒎治鼋Y(jié)果寫入統(tǒng)計數(shù)據(jù)表 , , , , , , 應用場景分析 1 ——Google網(wǎng)站流量分析 ? 數(shù)據(jù)查詢 – 從數(shù)據(jù)統(tǒng)計表中查詢 – 獲取對應列的數(shù)據(jù)，解析，得到并展示最終結(jié)果 ? 數(shù)據(jù)處理是定期的，非實時響應查詢 , 應用場景分析 2 ——Google搜索 ? Google搜索的總體業(yè)務流程 – 數(shù)據(jù)采集 : Spider – 數(shù)據(jù)整理 ? 生成
電大資料相關(guān)推薦
鄂ICP備17016276號-1