freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

廈門大學(xué)數(shù)據(jù)庫(kù)實(shí)驗(yàn)室mapreduce連接優(yōu)化-資料下載頁(yè)

2024-10-17 18:40本頁(yè)面

【導(dǎo)讀】連接操作廣泛應(yīng)用于日志分析、聯(lián)機(jī)分析處理及數(shù)據(jù)分析處理等方面。如果提高大數(shù)據(jù)連接計(jì)算速度,則可提高數(shù)據(jù)分析效率和用戶體驗(yàn)度。下表對(duì)現(xiàn)有的MapReduce連接技術(shù)進(jìn)行了分類與對(duì)比。對(duì)于這方面的研究主要集中于兩表。標(biāo)準(zhǔn)重分區(qū)算法由一個(gè)MapReduce作業(yè)來完成連接運(yùn)算。valueintermediate則由用于標(biāo)記數(shù)據(jù)來自哪個(gè)表的標(biāo)簽和記錄值組成。洗過程中,具有相同連接值的數(shù)據(jù)會(huì)被分到同一個(gè)Reducer上。算法在Reducer上需要將數(shù)據(jù)全部裝載到內(nèi)存中,可能會(huì)造成內(nèi)存溢出。及連接速度緩慢和計(jì)算資源分布不均等問題。在Reduce階段,在內(nèi)存中緩存較小的表,另一表以流式方式讀。然而當(dāng)待連接的兩個(gè)表都很大時(shí),廣播算法效率很低。第一個(gè)MapReduce作業(yè)對(duì)于表S的每一分片生成該分片。的算法,相對(duì)簡(jiǎn)單一些。為了減少任務(wù)執(zhí)行時(shí)間,并減小數(shù)據(jù)傾斜帶來的影響,該算法對(duì)Reducer的輸入量及輸出量進(jìn)行了均衡,將矩陣分成面積相等的R個(gè)區(qū)域,每個(gè)區(qū)域都有一個(gè)RegionID。區(qū)域內(nèi)的非等值連接,并生成最終結(jié)果。該算法很好地解決了MapReduce在

  

【正文】 某一列排序的輔助垂直分組,以及為每個(gè)外鍵建立包含該外鍵與主鍵并按外鍵排序的 PF垂直分組。 Llama將多表連接查詢分解為無數(shù)據(jù)耦合的多個(gè)子查詢,在 Map階段利用排序好的垂直分組進(jìn)行子查詢的連接操作,在 Reduce階段對(duì)子查詢結(jié)果進(jìn)行合并完成連接操作。 Llama利用類似于 MapJoinReduce框架的技術(shù)以減少M(fèi)apReduce 作業(yè)數(shù)。 連接技術(shù)簡(jiǎn)介 基于傳統(tǒng) MapReduce 的連接 基于數(shù)據(jù)索引的連接 基于改進(jìn) MapReduce 的連接 基于改進(jìn) MapReduce 的連接 使用傳統(tǒng) MapReduce處理連接查詢時(shí),經(jīng)常需要多個(gè) MapReduce作業(yè),并且需要產(chǎn)生大量的中間結(jié)果。另外,待連接的數(shù)據(jù)源往往是異構(gòu)的,在使用 MapReduce 進(jìn)行連接操作時(shí),需要進(jìn)行同構(gòu)化的處理。為了解決這些問題,一些學(xué)者對(duì) MapReduce框架進(jìn)行了擴(kuò)展,具有代表性的有 MapReduceMerge、 MapJoinReduce 與 ComMapReduce 框架。 MapReduceMerge框架 wele to use these PowerPoint templates, New Content design, 10 years experience 簡(jiǎn)介 MapReduceMerge框架是在 MapReduce框架上增加 Merge階段。當(dāng)兩組MapReduce任務(wù)完成時(shí),協(xié)調(diào)者節(jié)點(diǎn)會(huì)利用一個(gè) merge 函數(shù)將兩組 MapReduce 結(jié)果進(jìn)行合并。利用 MapReduceMerge 這種新的編程框架,可以方便地實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)中的連接及笛卡兒積操作。對(duì)于 map、 reduce、 merge 操作,用戶都可以實(shí)現(xiàn)自定義的邏輯,因此 MapReduceMerge框架比 MapReduce框架更具表達(dá)力。為了進(jìn)一步提高 MapReduceMerge連接查詢效率,可以使用 MapReduce作業(yè)建立索引的方法,可以有效地在 MapReduceMerge框架上進(jìn)行數(shù)據(jù)剪枝。針對(duì)半連接中對(duì)數(shù)據(jù)傾斜處理的不足,以及分布式處理方法中數(shù)據(jù)傳輸量較大等問題,在MapReduceMerge架構(gòu)的基礎(chǔ)上,進(jìn)一步提出了半連接的處理方案,并通過使用分布式直方圖等技術(shù)來協(xié)助處理,從而降低了 I/O消耗和網(wǎng)絡(luò)傳輸負(fù)擔(dān),提高了框架的可擴(kuò)展性和可用性。 MapJoinMerge框架 wele to use these PowerPoint templates, New Content design, 10 years experience 簡(jiǎn)介 MapJoinReduce編程框架,對(duì)原有的 MapReduce框架進(jìn)行擴(kuò)展,來提高處理連接的能力。 join函數(shù)可以從多個(gè)數(shù)據(jù)源讀取數(shù)據(jù)來進(jìn)行連接,連接函數(shù)的操作及連接順序都可以由用戶指定。另外,在 MapJoinReduce框架中,一個(gè) map函數(shù)的輸出可以傳給多個(gè) join函數(shù),這樣就可以利用一個(gè) MapReduce作業(yè)完成多表之間的連接操作。 ComMapReduce框架 wele to use these PowerPoint templates, New Content design, 10 years experience 簡(jiǎn)介 在使用 MapReduce框架進(jìn)行連接計(jì)算時(shí),混洗中需要傳輸?shù)臄?shù)據(jù)很多,且部分?jǐn)?shù)據(jù)在 Reduce階段并沒有被利用。 ComMapReduce框架是對(duì)這種情況的優(yōu)化。ComMapReduce在 MapReduce框架上加入了一個(gè)協(xié)調(diào)者節(jié)點(diǎn),負(fù)責(zé)接收、存儲(chǔ)與更新少量的全局共享信息,將共享信息發(fā)送到各個(gè) Mapper 上。當(dāng)每個(gè) Map 任務(wù)結(jié)束時(shí), Map 任務(wù)與協(xié)調(diào)者進(jìn)行通信,將本地的一些關(guān)鍵信息傳輸?shù)絽f(xié)調(diào)者上,協(xié)調(diào)者利用各個(gè) Map任務(wù)發(fā)送的信息,更新全局信息,并將結(jié)果發(fā)送至各個(gè)Mapper上,接著每個(gè) Mapper 使用接收到的全局信息對(duì)該 Mapper 生成的結(jié)果進(jìn)行過濾。在進(jìn)行連接運(yùn)算時(shí), ComMapReduce框架用 Bloom Filter存儲(chǔ)全局信息來標(biāo)識(shí)有哪些連接屬性的值會(huì)參與最終結(jié)果的運(yùn)算。當(dāng) Mapper接收到 這個(gè)全局信息時(shí),就可過濾不會(huì)參與最終結(jié)果運(yùn)算的記錄,減少混洗的代價(jià)。 基于改進(jìn) MapReduce 的連接總結(jié) 與傳統(tǒng) MapReduce框架下的連接算法相比,基于改進(jìn) MapReduce的框架可以減少作業(yè)個(gè)數(shù)及中間數(shù)據(jù)的傳輸量。然而,這些框架都是通過增加數(shù)據(jù)處理函數(shù)或擴(kuò)展傳統(tǒng)框架的某一部分的流程來實(shí)現(xiàn)的,這將比較簡(jiǎn)單的 MapReduce框架復(fù)雜化了,增加了使用框架的難度。 Thank you
點(diǎn)擊復(fù)制文檔內(nèi)容
教學(xué)課件相關(guān)推薦
文庫(kù)吧 www.dybbs8.com
備案圖鄂ICP備17016276號(hào)-1