基于hadoop數(shù)據(jù)倉庫(更新版)
【正文】 才進行輸出 ? 謂詞下推（ Predicate pushdown ）：盡早進行數(shù)據(jù)過濾 ，減少后續(xù)處理的數(shù)據(jù)量 ? 分區(qū)裁剪（ Partition pruning）：只讀取滿足分區(qū)條件的文件 ? mapjoin：對于 join中一些小文件，可以在 map階段進行 join操作 ? joinreordering：將在 reducer中進行 join操作時的小 table放入內(nèi)存 ，而大 table通過 stream方式讀取 ? Groupby優(yōu)化： 進行局部聚合進行優(yōu)化（包括 hashbased和sortbased），對于 skew的 key（ key的 row num和 size在 reduce時非常不均）可以進行兩次 mapreduce的方式優(yōu)化 說明：基本上用于優(yōu)化的提示（ hint）都是一些配置項， mapjoin除外，需要具體在 HQL直接指定。) SELECT , COUNT(1) GROUP BY HIVE的 physical plan的生成 The End Thank you k 。 ? 以論文的例子加以說明 ? A. Thusoo, . Sarma, N. Jain, Z. Shao, P. Chakka, N. Zhang, S. Antony, and H. Liu, “Hive – A Petabyte Scale Data Warehouse Using Hadoop,” Architecture. FROM (SELECT , , FROM status_updates a JOIN profiles b ON ( = AND =39。 HIVE架構(gòu) 操作界面： CLI， Web， Thrift driver： hive系統(tǒng)將用戶操作轉(zhuǎn)化為 mapreduce計算的模塊（重點） hadoop： hdfs+mapreduce metastore：存儲元數(shù)據(jù) HIVE結(jié)合 HBase reduce階段寫入 HBase的方式 maponly job寫入 HBase的 方式 HIVE的實現(xiàn) ? hive的元數(shù)據(jù)存儲在傳統(tǒng)的 RDBMS中，現(xiàn)在為mysql中。 Hadoop簡介 ? Hadoop是 Apache 的一個開源軟件項目 ,由Doug Cutting在 2021年開始開發(fā)。 HDFS放寬了（ relax）POSIX的要求（ requirements）這樣可以流的形式訪問（ streaming access）文件系統(tǒng)中的數(shù)據(jù)。 其優(yōu)點是學習成本低，可以通過類 SQL語句快速實現(xiàn)簡單的 MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應用，十分適合數(shù)據(jù)倉庫的統(tǒng)計分析。 HIVE的 physical plan的生成 ? 根據(jù)上一步優(yōu)化的結(jié)果，分解成一些map/reduce操作，并將最終結(jié)果（即一些 plan的 xml文件）寫入到 hdfs
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1