0923show大數(shù)據(jù)與hbase實(shí)踐41(完整版)
【正文】 P Social Network Email ? 半結(jié)構(gòu)XML Log Clickstream xDR ? 實(shí)時(shí) Realtime Near realtime 7 大數(shù)據(jù)的挑戰(zhàn) 7 ※一個(gè)關(guān)系型數(shù)據(jù)庫(kù)的表數(shù)據(jù)量上億時(shí) ★分區(qū) ★分表 ★分庫(kù) ※導(dǎo)致上層復(fù)雜度提高，成本倍增 ?IO天花板，非線性 ?單機(jī)計(jì)算 8 大數(shù)據(jù)對(duì)系統(tǒng)的需求 ★ High performance –高并發(fā)讀寫(xiě)的需求 高并發(fā)、實(shí)時(shí)動(dòng)態(tài)獲取和更新數(shù)據(jù) ★ Huge Storage –海量數(shù)據(jù)的高效率存儲(chǔ)和訪問(wèn)的需求 類(lèi)似 SNS社會(huì)性網(wǎng)絡(luò)服務(wù)網(wǎng)站，海量用戶信息的高效率實(shí)時(shí)存儲(chǔ)和查詢 ★ High Scalability High Availability –高可擴(kuò)展性和高可用性的需求 需要擁有快速橫向擴(kuò)展能力、提供 7*24小時(shí)不間斷服務(wù) 8 9 第一章 HADOOP介紹 9 HADOOP起源和特點(diǎn) 10 Hadoop的創(chuàng)立和演迚 10 谷歌三大論文 GFS(2023) Sanjay Ghemawat(美國(guó)工程院士 ) (GFS,MR,Bigtable) Howard Gobioff ShunTak Leung map/reduce (2023) Dean Jeffrey(美國(guó)工程院士 ) (Adsense,pb,News,Code search) Sanjay Ghemawat Bigtable(2023) Fay Chang Dean Jeffrey Sanjay Ghemawat ... Doug Cutting和 Yahoo Lucene Nutch Hadoop 11 大數(shù)據(jù)主要應(yīng)用技術(shù) —— Hadoop ? 可擴(kuò)展 ： 不論是存儲(chǔ)的可擴(kuò)展還是計(jì)算的可擴(kuò)展都是Hadoop的設(shè)計(jì)根本。 3. Map的輸出到 Reduce的輸入的過(guò)程 (shuffle過(guò)程 )： 第一階段：在 map端完成內(nèi)存 排序 寫(xiě)入磁盤(pán) 復(fù)制 第二階段：在 reduce端完成映射到 reduce端分區(qū) 合并 排序 4. Reduce的輸入到 Reduce的輸出 最后排好序的 key/value作為 Reduce的輸入，輸出不一定是在 reduce端。 HDFS是一個(gè)高度容錯(cuò)性的分布式文件系統(tǒng)，能提供高吞吏量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。表名稱 39。表名稱 39。表名稱 39。行名稱 39。列名稱 :39。 trackDao = null。 addHbaseCol(new HbaseCol(downCount, dc, ))。 ★ 2023 年成立的 Cloudera 是最早將 Hadoop 商用的公司，為合作伙伴提供 Hadoop 的商用解決方案，主要是包括支持，咨詢服務(wù)和培訓(xùn)。 (vo)。 private GpsTrack vo = new GpsTrack()。列名稱 39。行名稱 39。行名稱 39。列名稱 139
試題試卷相關(guān)推薦
鄂ICP備17016276號(hào)-1