0923show大數(shù)據(jù)與hbase實(shí)踐41-文庫(kù)吧
2025-02-08 14:21 本頁(yè)面
【正文】 ahoo Lucene Nutch Hadoop 11 大數(shù)據(jù)主要應(yīng)用技術(shù) —— Hadoop ? 可擴(kuò)展 ： 不論是存儲(chǔ)的可擴(kuò)展還是計(jì)算的可擴(kuò)展都是Hadoop的設(shè)計(jì)根本。 ? 經(jīng)濟(jì) ： 框架可以運(yùn)行在任何普通的 PC上。 ? 可靠 ： 分布式文件系統(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。 ? 高效 ： 分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合 Local Data處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備 11 12 大數(shù)據(jù)主要應(yīng)用技術(shù) —— Hadoop ? Hadoop作為新一代的架構(gòu)和技術(shù)，因?yàn)橛欣诓⑿蟹植继幚? “大數(shù)據(jù)”而備受重視。 ? Apache Hadoop 是一個(gè)用 java語言實(shí)現(xiàn)的軟件框架，在由大量計(jì)算機(jī)組成的集群中運(yùn)行海量數(shù)據(jù)的分布式計(jì)算，它可以讓應(yīng)用程序支持上千個(gè)節(jié)點(diǎn)和 PB級(jí)別的數(shù)據(jù)。 Hadoop是項(xiàng)目的總稱，主要是由分布式存儲(chǔ)（ HDFS）、分布式計(jì)算（ MapReduce）等組成 12 13 Hadoop解決了什么難題 ? 13 簡(jiǎn)單地想想看，假設(shè)我們需要讀一個(gè) 10TB的數(shù)據(jù)集，怎么辦 ?在傳統(tǒng)的系統(tǒng)上，這需要很長(zhǎng)時(shí)間，因?yàn)橛脖P的傳輸 速度是受限的。一個(gè)簡(jiǎn)單的辦法是將數(shù)據(jù)存儲(chǔ)在多個(gè)磁盤上，同時(shí) 從多個(gè)磁盤并行讀取數(shù)據(jù)，這將大大減少讀取時(shí)間 14 Hadoop的基本概念 14 分布式存儲(chǔ) HDFS 文件分塊 自行備份 分布式計(jì)算 Map/Reduce 函數(shù)式設(shè)計(jì)（ map /reduce） 15 第一章 HADOOP介紹 15 MapReduce 16 Hadoop解決了什么難題 ? 16 ? 化整為零 ,分片處理； ? 本地化計(jì)算 ,并行 IO,降低網(wǎng)絡(luò)通信 17 MapReduce—— 映射、化簡(jiǎn)編程模型 17 1. 根據(jù)輸入數(shù)據(jù)的大小和參數(shù)的設(shè)置把數(shù)據(jù)分成splits, 每個(gè) split對(duì)于一個(gè) map線程。 2. Split中的數(shù)據(jù)作為 Map的輸入， Map的輸出一定在 Map端。 3. Map的輸出到 Reduce的輸入的過程 (shuffle過程 )： 第一階段：在 map端完成內(nèi)存 排序 寫入磁盤 復(fù)制 第二階段：在 reduce端完成映射到 reduce端分區(qū) 合并 排序 4. Reduce的輸入到 Reduce的輸出 最后排好序的 key/value作為 Reduce的輸入，輸出不一定是在 reduce端。 MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。 Map（映射）和 Reduce（化簡(jiǎn)），采用分而治之思想，先把任務(wù)分發(fā)到集群多個(gè)節(jié)點(diǎn)上，并行計(jì)算，然后再把計(jì)算結(jié)果合并，從而得到最終計(jì)算結(jié)果。多節(jié)點(diǎn)計(jì)算，所涉及的任務(wù)調(diào)度、負(fù)載均衡、容錯(cuò)處理等，都由 MapReduce框架完成，不需要編程人員關(guān)心這些內(nèi)容。 18 18 WINDOWS進(jìn)程間通信方式 第二章 HDFS介紹 19 HDFS— 分布
試題試卷相關(guān)推薦
鄂ICP備17016276號(hào)-1