廈門大學(xué)數(shù)據(jù)庫實驗室mapreduce連接優(yōu)化-預(yù)覽頁
【正文】 MapReduce作業(yè)來完成連接運算。 分片半連接算法 半連接存在的一個問題是 :并不是過濾后的 R中的每條記錄都要和 L（ S）中的某分區(qū)做連接。下面介紹一個利用一個 MapReduce 作業(yè)處理非等值連接操作的算法。在 map 函數(shù)中，對每一個記錄可能參與運算的區(qū)域都生成一個 RegionID，Record， Tablename的鍵值對，在 Reduce階段，每一個 Reducer處理該區(qū)域內(nèi)的非等值連接，并生成最終結(jié)果。最后通過一個 MapReduce作業(yè)，根據(jù)前一步生成的鍵值對生成最后的相似性連接結(jié)果。 多表等值連接算法 wele to use these PowerPoint templates, New Content design, 10 years experience 算法簡介 該算法的基本思想是，對于每一個連接屬性，都有一個對應(yīng)的共享值表示這個屬性進行 Hash 后的桶數(shù)， Map 輸出的 keyintermediate/valueintermediate對需要傳到該表沒有包含的屬性對應(yīng)的每個 Hash值中，因此復(fù)制的數(shù)量由該表沒有包含的連接屬性所對應(yīng)的共享值之積所決定。 yT from Rcan only be useful to this reducer if hexT ?u and heyT ?v. However, it could be useful to any reducer that has these first two key ponents, regardless of the value of w. We conclude that (x,y) must be replicated and sent to the c different reducers corresponding to key values (h(x),h(y),w), where 1 =w =c. 多表鏈式連接算法 wele to use these PowerPoint templates, New Content design, 10 years experience 算法簡介 針對多表的鏈式連接，結(jié)合了列存儲的思想，提出了基于二部圖的連接算法。接著利 用希爾伯特填充曲線對超立方體進行填充，利用希爾伯特填充曲線產(chǎn)生連接值，對待連接的數(shù)據(jù)進行分區(qū)，并且生成合適的 R。希爾伯特在 1891年提出。然而，該類算法可能需要多個 MapReduce作業(yè)，需要傳輸?shù)闹虚g結(jié)果也較多，影響了連接操作的性能 連接技術(shù)簡介 基于傳統(tǒng) MapReduce 的連接 基于數(shù)據(jù)索引的連接 基于改進 MapReduce 的連接 基于數(shù)據(jù)索引的連接 該類算法的思想是利用合適的索引對數(shù)據(jù)進行過濾，以優(yōu)化查詢的性能。在進行數(shù)據(jù)查詢時， split函數(shù)從文件末尾根據(jù)Footer信息解析出每個分片的位置， itemize函數(shù)根據(jù)數(shù)據(jù)查詢的范圍定位滿足條件的數(shù)據(jù)。 基于數(shù)據(jù)索引的連接 ?CoHadoop通過改變 Hadoop的副本放置策略來提高 MapReduce 框架處理數(shù)據(jù)連接性能。 ?Tenzing系統(tǒng)可以用來進行數(shù)據(jù)連接的優(yōu)化。 Llama導(dǎo)入數(shù)據(jù)表時會建立包含所有列并按主鍵排序的基本垂直分組。 連接技術(shù)簡介 基于傳統(tǒng) MapReduce 的連接 基于數(shù)據(jù)索引的連接 基于改進 MapReduce 的連接 基于改進 MapReduce 的連接 使用傳統(tǒng) MapReduce處理連接查詢時，經(jīng)常需要多個 MapReduce作業(yè)，并且需要產(chǎn)生大量的中間結(jié)果。當兩組MapReduce任務(wù)完成時，協(xié)調(diào)者節(jié)點會利用一個 merge 函數(shù)將兩組 MapReduce 結(jié)果進行合并。針對半連接中對數(shù)據(jù)傾斜處理的不足，以及分布式處理方法中數(shù)據(jù)傳輸量較大等問題，在MapReduceMerge架構(gòu)的基礎(chǔ)上，進一步提出了半連接的處理方案，并通過使用分布式直方圖等技術(shù)來協(xié)助處理，從而降低了 I/O消耗和網(wǎng)絡(luò)傳輸負擔，提高了框架的可擴展性和可用性。 ComMapReduce框架 wele to use these PowerPoint templates, New Content design, 10 years experience 簡介 在使用 MapReduce框架進行連接計算時，混洗中需要傳輸?shù)臄?shù)據(jù)很多，且部分數(shù)據(jù)在 Reduce階段并沒有被利用。在進行連接運算時， ComMapReduce框架用 Bloom Filter存儲全局信息來標識有哪些連接屬性的值會參與最終結(jié)果的運算。 Thank you!
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1