freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

廈門大學(xué)數(shù)據(jù)庫(kù)實(shí)驗(yàn)室mapreduce連接優(yōu)化-免費(fèi)閱讀

  

【正文】 在進(jìn)行連接運(yùn)算時(shí), ComMapReduce框架用 Bloom Filter存儲(chǔ)全局信息來標(biāo)識(shí)有哪些連接屬性的值會(huì)參與最終結(jié)果的運(yùn)算。針對(duì)半連接中對(duì)數(shù)據(jù)傾斜處理的不足,以及分布式處理方法中數(shù)據(jù)傳輸量較大等問題,在MapReduceMerge架構(gòu)的基礎(chǔ)上,進(jìn)一步提出了半連接的處理方案,并通過使用分布式直方圖等技術(shù)來協(xié)助處理,從而降低了 I/O消耗和網(wǎng)絡(luò)傳輸負(fù)擔(dān),提高了框架的可擴(kuò)展性和可用性。 連接技術(shù)簡(jiǎn)介 基于傳統(tǒng) MapReduce 的連接 基于數(shù)據(jù)索引的連接 基于改進(jìn) MapReduce 的連接 基于改進(jìn) MapReduce 的連接 使用傳統(tǒng) MapReduce處理連接查詢時(shí),經(jīng)常需要多個(gè) MapReduce作業(yè),并且需要產(chǎn)生大量的中間結(jié)果。 ?Tenzing系統(tǒng)可以用來進(jìn)行數(shù)據(jù)連接的優(yōu)化。在進(jìn)行數(shù)據(jù)查詢時(shí), split函數(shù)從文件末尾根據(jù)Footer信息解析出每個(gè)分片的位置, itemize函數(shù)根據(jù)數(shù)據(jù)查詢的范圍定位滿足條件的數(shù)據(jù)。希爾伯特在 1891年提出。 yT from Rcan only be useful to this reducer if hexT ?u and heyT ?v. However, it could be useful to any reducer that has these first two key ponents, regardless of the value of w. We conclude that (x,y) must be replicated and sent to the c different reducers corresponding to key values (h(x),h(y),w), where 1 =w =c. 多表鏈?zhǔn)竭B接算法 wele to use these PowerPoint templates, New Content design, 10 years experience 算法簡(jiǎn)介 針對(duì)多表的鏈?zhǔn)竭B接,結(jié)合了列存儲(chǔ)的思想,提出了基于二部圖的連接算法。最后通過一個(gè) MapReduce作業(yè),根據(jù)前一步生成的鍵值對(duì)生成最后的相似性連接結(jié)果。下面介紹一個(gè)利用一個(gè) MapReduce 作業(yè)處理非等值連接操作的算法。 分片半連接算法 wele to use these PowerPoint templates, New Content design, 10 years experience 算法簡(jiǎn)介 分片半連接算法需要三個(gè) MapReduce作業(yè)來完成連接運(yùn)算。在 Reduce階段,在內(nèi)存中緩存較小的表,另一表以流式方式讀入并進(jìn)行連接操作。 標(biāo)準(zhǔn)重分區(qū)算法 wele to use these PowerPoint templates, New Content design, 10 years experience 算法回顧 標(biāo)準(zhǔn)重分區(qū)算法由一個(gè) MapReduce作業(yè)來完成連接運(yùn)算。下表對(duì)現(xiàn)有的 MapReduce連接技術(shù)進(jìn)行了分類與對(duì)比。另外,當(dāng)存在數(shù)據(jù)傾斜時(shí),標(biāo)準(zhǔn)重分區(qū)算法容易造成數(shù)據(jù)分布不均,以及連接速度緩慢和計(jì)算資源分布不均等問題。 半連接算法 wele to use these PowerPoint templates, New Content design, 10 years experience 算法回顧 半連接算法使用三個(gè) MapReduce作業(yè)來完成運(yùn)算,第一個(gè) MapReduce 作業(yè)生成第一個(gè)表 S的連接值文件。分片半連接解決了這個(gè)問題。該算法很好地解決了 MapReduce在處理非等值連接中的數(shù)據(jù)傾斜與計(jì)算平衡問題,但在數(shù)據(jù)混洗過程中需要很大的數(shù)據(jù)傳輸量。在 Reduce階段,每個(gè) Reducer將傳到該節(jié)點(diǎn)的各表的數(shù)據(jù)進(jìn)行連接,形成最終結(jié)果。在Map任務(wù)中,對(duì)每個(gè)記錄所滿足非等值條件的分區(qū)都生成一個(gè) keyintermediate/valueintermediate對(duì)。 Hadoop++和 HadoopDB都可以利用索引提高連接操作的性能。 CoHadoop 為每個(gè)文件增加 Locator 字段來標(biāo)識(shí)其他存儲(chǔ)位置,具有相同Locator信息的文件將被盡量組織在相同的數(shù)據(jù)節(jié)點(diǎn)上。在連接操作時(shí), Llama根據(jù)需要建立包含部分列并按某一列排序的輔助垂直分組,以及為每個(gè)外鍵建立包含該外鍵與主鍵并按外鍵排序的 PF垂直分組。利用 MapReduceMerge 這種新的編程框架,可以方便地實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)中的連接及笛卡兒積操作。 ComMapReduce框架是對(duì)這種情況的優(yōu)化。然而,這些框架都是通過增加數(shù)據(jù)處理函數(shù)或擴(kuò)展傳統(tǒng)框架的某一部分的流程來實(shí)現(xiàn)的,
點(diǎn)擊復(fù)制文檔內(nèi)容
教學(xué)課件相關(guān)推薦
文庫(kù)吧 www.dybbs8.com
備案圖鄂ICP備17016276號(hào)-1