基于hadoop數(shù)據(jù)倉庫-wenkub
2023-05-13 00:42:31 本頁面
【正文】 oordination service for distributed applications. Hadoop的體系架構 HadoopHDFS ? HDFS的結構按照 GFS設計 ? A GFS cluster consists of a single master and multiple ? chunkservers and is accessed by multiple clients HDFS ? Faulttolerant, 容錯性 ? Run on modity hardware，在通用的機器上運行 ? Scalable 可擴縮的 1個namenode 多個datanodes 11 HDFS ? NameNode –存貯 HDFS的元數(shù)據(jù) (metadata) –管理文件系統(tǒng)的命名空間（ namespace） 187。 ? （百科） hive是基于 Hadoop的一個數(shù)據(jù)倉庫工具，可以將結構化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的sql查詢功能，可以將 sql語句轉換為 MapReduce任務進行運行。 ? 原因：訪問這些 Metadata，我們想要“很低的延時”，而存在 hdfs中是無法滿足。 HIVE查詢的簡單優(yōu)化步驟 ? 列裁剪（ Column pruning）：只有需要用到的列 才進行輸出 ? 謂詞下推（ Predicate pushdown ）：盡早進行數(shù)據(jù)過濾 ，減少后續(xù)處理的數(shù)據(jù)量 ? 分區(qū)裁剪（ Partition pruning）：只讀取滿足分區(qū)條件的文件 ? mapjoin：對于 join中一些小文件，可以在 map階段進行 join操作 ? joinreordering：將在 reducer中進行 join操作時的小 table放入內存 ，而大 table通過 stream方式讀取 ? Groupby優(yōu)化： 進行局部聚合進行優(yōu)化（包括 hashbased和sortbased），對于 skew的 key（ key的 row num和 size在 reduce時非常不均）可以進行兩次 mapreduce的方式優(yōu)化 說明：基本上用于優(yōu)化的提示（ hint）都是一些配置項， mapjoin除外，需要具體在 HQL直接指定。 )) subq1 INSERT OVERWRITE TABLE gender_summary PARTITION(ds=39。) SELECT , COUNT(1) GROUP BY HIVE的 physical plan的生成 The End Thank you k 。) SELECT , COUNT(1) GROUP BY INSERT OVERWRITE TABLE school_summary PARTITION(ds=39。 ? 以論文的例子加以說明 ? A. Thusoo, . Sarma
黨政相關相關推薦
鄂ICP備17016276號-1