hadoop應用案例ppt課件-資料下載頁
2025-04-30 18:22本頁面
【正文】 種，一類是基準數(shù)據(jù)節(jié)點(!ChunkServer)，存儲引擎是基于 SSTABLE 一個是增量數(shù)據(jù)節(jié)點 (!UpdateServer)，存儲引擎是基于 Btree(內存中的memtable)和 SSTABLE(majorfreezedump)的。 ? ?基準數(shù)據(jù)：從開始至某個時間點的全量數(shù)據(jù)，是靜態(tài)數(shù)據(jù)，在到下一個時間點合并之前，該部分數(shù)據(jù)不會發(fā)生變更。 ? ?增量數(shù)據(jù)：是指從某個時間點至當前范圍內新增的數(shù)據(jù)，增量數(shù)據(jù)會因為應用的各種修改操作(insert,update,delete)發(fā)生變更。 整體數(shù)據(jù)分布 數(shù)據(jù)演進過程 sstable的總體數(shù)據(jù)格式 sstable中 data block的排列規(guī)則 sstable中的 schema排列規(guī)則 Hadoop@Baidu ? ?日志的存儲和統(tǒng)計 。 ? ?網(wǎng)頁數(shù)據(jù)的分析和挖掘 。 ? ?商業(yè)分析，如用戶的行為和廣告關注度等 。 ? ?在線數(shù)據(jù)的反饋，及時得到在線廣告的點擊情況 。 ? ?用戶網(wǎng)頁的聚類，分析用戶的推薦度及用戶之間的關聯(lián)度。 挑 戰(zhàn) 分布式 計 算技 術 ? ? 集群規(guī)模大， Namenode響應變慢 ? Namenode單點，切換時間太長 ? 沒有數(shù)據(jù)壓縮 ? Namespace過于耗用資源 壓縮 謝 謝！
教學課件相關推薦
鄂ICP備17016276號-1