基于hadoop數(shù)據(jù)倉庫-預(yù)覽頁
【正文】 or Foes Cheetah:A High Performance,Custom Data Warehouse on Top of MapReduce 歷史 ? 20212021: Apache Nutch ? 20212021: –Google 發(fā)表 GFS 和 MapReduce相關(guān)論文 –Apache 在 Nutch中實現(xiàn) HDFS和 MapReduce ? 20212021: –Hadoop 項目從 Nutch中分離 –2021年 7月， Hadoop贏得 Terabyte Sort Benchmark Doug Cutting Hadoop項目負(fù)責(zé)人 Hadoop簡介 ? Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（ Hadoop Distributed File System），簡稱 HDFS。 HDFS放寬了（ relax）POSIX的要求（ requirements）這樣可以流的形式訪問（ streaming access）文件系統(tǒng)中的數(shù)據(jù)。 創(chuàng)建、刪除、移動、重命名文件和文件夾 –接收從 DataNode來的 Heartbeat 和 Blockreport ? DataNode –存貯數(shù)據(jù)塊 –執(zhí)行從 Namenode來的文件操作命令 –定時向 NameNode發(fā)送 Heartbeat和 Blockreport Heartbeat和 Blockreport Namenode Metadata: 1,(1,2) 2,(2,3) 3,(1,3) Datanode 1 Datanode 2 Datanode 3 1 1 3 3 2 2 1,3 1,2 2,3 13 Data Flow ? File Read 14 Data Flow ? File Write MapReduce的原理 ?編程模型（ program model），軟件包 ? Map –把要處理的數(shù)據(jù)組合成一個個的 key, value對（ pair） ? Reduce –把具有相同 key的 pair聚集在一起，計算一個新的 value，從而得到一個新的 key, value并輸出。 其優(yōu)點是學(xué)習(xí)成本低，可以通過類 SQL語句快速實現(xiàn)簡單的 MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。（元數(shù)據(jù)對hive是相當(dāng)重要的，因此一般要求有備份機制 ） ? 使用：元數(shù)據(jù)都是在 HQL語句編譯的時候 ，就被生成一個 xml文件（包含此次編譯所有需要的元數(shù)據(jù)信息）存儲在 hdfs中，然后運行mapreduce時傳遞給 mapper和 reducer。 HIVE的 physical plan的生成 ? 根據(jù)上一步優(yōu)化的結(jié)果，分解成一些map/reduce操作，并將最終結(jié)果（即一些 plan的 xml文件）寫入到 hdfs。2021032039
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1