基于hadoop數(shù)據(jù)倉庫(參考版)
2025-05-06 00:42本頁面
【正文】 ) SELECT , COUNT(1) GROUP BY HIVE的 physical plan的生成 The End Thank you k 。) SELECT , COUNT(1) GROUP BY INSERT OVERWRITE TABLE school_summary PARTITION(ds=39。 )) subq1 INSERT OVERWRITE TABLE gender_summary PARTITION(ds=39。 ? 以論文的例子加以說明 ? A. Thusoo, . Sarma, N. Jain, Z. Shao, P. Chakka, N. Zhang, S. Antony, and H. Liu, “Hive – A Petabyte Scale Data Warehouse Using Hadoop,” Architecture. FROM (SELECT , , FROM status_updates a JOIN profiles b ON ( = AND =39。 HIVE查詢的簡單優(yōu)化步驟 ? 列裁剪（ Column pruning）：只有需要用到的列 才進行輸出 ? 謂詞下推（ Predicate pushdown ）：盡早進行數(shù)據(jù)過濾 ，減少后續(xù)處理的數(shù)據(jù)量 ? 分區(qū)裁剪（ Partition pruning）：只讀取滿足分區(qū)條件的文件 ? mapjoin：對于 join中一些小文件，可以在 map階段進行 join操作 ? joinreordering：將在 reducer中進行 join操作時的小 table放入內(nèi)存 ，而大 table通過 stream方式讀取 ? Groupby優(yōu)化： 進行局部聚合進行優(yōu)化（包括 hashbased和sortbased），對于 skew的 key（ key的 row num和 size在 reduce時非常不均）可以進行兩次 mapreduce的方式優(yōu)化 說明：基本上用于優(yōu)化的提示（ hint）都是一些配置項， mapjoin除外，需要具體在 HQL直接指定。（減少后期訪問） HIVE查詢的優(yōu)化過程 ? GraphWalker遍歷（ walk）DAG中所有的 Node，并檢查一個 Rule是否滿足，在滿足的條件下回出發(fā)一個對應的 Processor。 ? 原因：訪問這些 Metadata，我們想要“很低的延時”，而存在 hdfs中是無法滿足。 HIVE架構 操作界面： CLI， Web， Thrift driver： hive系統(tǒng)將用戶操作轉(zhuǎn)化為 mapreduce計算的模塊（重點） hadoop： hdfs+mapreduce metastore：存儲元數(shù)據(jù) HIVE結合 HBase reduce階段寫入 HBase的方式 maponly job寫入 HBase的 方式 H
黨政相關相關推薦
鄂ICP備17016276號-1