hadoop應(yīng)用案例ppt課件-資料下載頁
2025-04-30 18:22本頁面
【正文】 種，一類是基準(zhǔn)數(shù)據(jù)節(jié)點(diǎn)(!ChunkServer)，存儲引擎是基于 SSTABLE 一個是增量數(shù)據(jù)節(jié)點(diǎn) (!UpdateServer)，存儲引擎是基于 Btree(內(nèi)存中的memtable)和 SSTABLE(majorfreezedump)的。 ? ?基準(zhǔn)數(shù)據(jù)：從開始至某個時間點(diǎn)的全量數(shù)據(jù)，是靜態(tài)數(shù)據(jù)，在到下一個時間點(diǎn)合并之前，該部分?jǐn)?shù)據(jù)不會發(fā)生變更。 ? ?增量數(shù)據(jù)：是指從某個時間點(diǎn)至當(dāng)前范圍內(nèi)新增的數(shù)據(jù)，增量數(shù)據(jù)會因?yàn)閼?yīng)用的各種修改操作(insert,update,delete)發(fā)生變更。 整體數(shù)據(jù)分布 數(shù)據(jù)演進(jìn)過程 sstable的總體數(shù)據(jù)格式 sstable中 data block的排列規(guī)則 sstable中的 schema排列規(guī)則 Hadoop@Baidu ? ?日志的存儲和統(tǒng)計(jì) 。 ? ?網(wǎng)頁數(shù)據(jù)的分析和挖掘 。 ? ?商業(yè)分析，如用戶的行為和廣告關(guān)注度等 。 ? ?在線數(shù)據(jù)的反饋，及時得到在線廣告的點(diǎn)擊情況 。 ? ?用戶網(wǎng)頁的聚類，分析用戶的推薦度及用戶之間的關(guān)聯(lián)度。 挑 戰(zhàn) 分布式 計(jì) 算技 術(shù) ? ? 集群規(guī)模大， Namenode響應(yīng)變慢 ? Namenode單點(diǎn)，切換時間太長 ? 沒有數(shù)據(jù)壓縮 ? Namespace過于耗用資源 壓縮 謝 謝！
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1