基于hadoop數(shù)據(jù)倉庫(文件)
【正文】 , N. Jain, Z. Shao, P. Chakka, N. Zhang, S. Antony, and H. Liu, “Hive – A Petabyte Scale Data Warehouse Using Hadoop,” Architecture. FROM (SELECT , , FROM status_updates a JOIN profiles b ON ( = AND =39。（減少后期訪問） HIVE查詢的優(yōu)化過程 ? GraphWalker遍歷（ walk）DAG中所有的 Node，并檢查一個(gè) Rule是否滿足，在滿足的條件下回出發(fā)一個(gè)對(duì)應(yīng)的 Processor。 HIVE架構(gòu) 操作界面： CLI， Web， Thrift driver： hive系統(tǒng)將用戶操作轉(zhuǎn)化為 mapreduce計(jì)算的模塊（重點(diǎn)） hadoop： hdfs+mapreduce metastore：存儲(chǔ)元數(shù)據(jù) HIVE結(jié)合 HBase reduce階段寫入 HBase的方式 maponly job寫入 HBase的 方式 HIVE的實(shí)現(xiàn) ? hive的元數(shù)據(jù)存儲(chǔ)在傳統(tǒng)的 RDBMS中，現(xiàn)在為mysql中。 MapReduce的原理 D a t a s t o r e 1 D a t a s t o r e nm a p( k e y 1 , v a l u e s . . . )( k e y 2 , v a l u e s . . . )( k e y 3 , v a l u e s . . . )m a p( k e y 1 , v a l u e s . . . )( k e y 2 , v a l u e s . . . )( k e y 3 , v a l u e s . . . )I n p u t k e y * v a l u e p a i r sI n p u t k e y * v a l u e p a i r s= = B a r r i e r = = : A g g r e g a t e s i n t e r m e d i a t e v a l u e s b y o u t p u t k e yr e d u c e r e d u c e r e d u c ek e y 1 , i n t e r m e d i a t e v a l u e sk e y 2 , i n t e r m e d i a t e v a l u e sk e y 3 , i n t e r m e d i a t e v a l u e sf i n a l k e y 1 v a l u e sf i n a l k e y 2 v a l u e sf i n a
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1