0923show大數(shù)據(jù)與hbase實(shí)踐41-wenkub
2023-03-09 14:21:24 本頁(yè)面
【正文】 PB EB Daily ~ Historical 種類多Web APP Social Network Email ? 半結(jié)構(gòu)XML Log Clickstream xDR ? 實(shí)時(shí) Realtime Near realtime 7 大數(shù)據(jù)的挑戰(zhàn) 7 ※一個(gè)關(guān)系型數(shù)據(jù)庫(kù)的表數(shù)據(jù)量上億時(shí) ★分區(qū) ★分表 ★分庫(kù) ※導(dǎo)致上層復(fù)雜度提高，成本倍增 ?IO天花板，非線性 ?單機(jī)計(jì)算 8 大數(shù)據(jù)對(duì)系統(tǒng)的需求 ★ High performance –高并發(fā)讀寫(xiě)的需求 高并發(fā)、實(shí)時(shí)動(dòng)態(tài)獲取和更新數(shù)據(jù) ★ Huge Storage –海量數(shù)據(jù)的高效率存儲(chǔ)和訪問(wèn)的需求 類似 SNS社會(huì)性網(wǎng)絡(luò)服務(wù)網(wǎng)站，海量用戶信息的高效率實(shí)時(shí)存儲(chǔ)和查詢 ★ High Scalability High Availability –高可擴(kuò)展性和高可用性的需求 需要擁有快速橫向擴(kuò)展能力、提供 7*24小時(shí)不間斷服務(wù) 8 9 第一章 HADOOP介紹 9 HADOOP起源和特點(diǎn) 10 Hadoop的創(chuàng)立和演迚 10 谷歌三大論文 GFS(2023) Sanjay Ghemawat(美國(guó)工程院士 ) (GFS,MR,Bigtable) Howard Gobioff ShunTak Leung map/reduce (2023) Dean Jeffrey(美國(guó)工程院士 ) (Adsense,pb,News,Code search) Sanjay Ghemawat Bigtable(2023) Fay Chang Dean Jeffrey Sanjay Ghemawat ... Doug Cutting和 Yahoo Lucene Nutch Hadoop 11 大數(shù)據(jù)主要應(yīng)用技術(shù) —— Hadoop ? 可擴(kuò)展 ： 不論是存儲(chǔ)的可擴(kuò)展還是計(jì)算的可擴(kuò)展都是Hadoop的設(shè)計(jì)根本。 ? Apache Hadoop 是一個(gè)用 java語(yǔ)言實(shí)現(xiàn)的軟件框架，在由大量計(jì)算機(jī)組成的集群中運(yùn)行海量數(shù)據(jù)的分布式計(jì)算，它可以讓?xiě)?yīng)用程序支持上千個(gè)節(jié)點(diǎn)和 PB級(jí)別的數(shù)據(jù)。 3. Map的輸出到 Reduce的輸入的過(guò)程 (shuffle過(guò)程 )： 第一階段：在 map端完成內(nèi)存 排序 寫(xiě)入磁盤(pán) 復(fù)制 第二階段：在 reduce端完成映射到 reduce端分區(qū) 合并 排序 4. Reduce的輸入到 Reduce的輸出 最后排好序的 key/value作為 Reduce的輸入，輸出不一定是在 reduce端。 18 18 WINDOWS進(jìn)程間通信方式 第二章 HDFS介紹 19 HDFS— 分布式文件系統(tǒng) 19 ? NameNode 可以看作是分布式文件系統(tǒng)中的管理者，存儲(chǔ)文件系統(tǒng)的 metadata，主要負(fù)責(zé)管理文件系統(tǒng)的命名空間，集群配置信息，存儲(chǔ)塊的復(fù)制。 H
試題試卷相關(guān)推薦
鄂ICP備17016276號(hào)-1