大數(shù)據(jù)bigdata培訓(xùn)課件(編輯修改稿)
2024-10-22 16:13 本頁面
【文章內(nèi)容簡介】 環(huán)境下星型模型上的OLAP 類應(yīng)用的執(zhí)行性能.,47,索引技術(shù)與連接技術(shù)的優(yōu)化,也有人通過對MapReduce 執(zhí)行函數(shù)的分析,對MapReduce 查詢進(jìn)行改寫,充分利用SQL 數(shù)據(jù)庫的索引、聚集函數(shù)等功能,提高M(jìn)apReduce 函數(shù)的執(zhí)行效率,48,索引技術(shù)與連接技術(shù)的優(yōu)化,有人研究MapReduce 架構(gòu)下面向日志處理的連接操作的性能,在100 個節(jié)點(diǎn)組成的Hadoop 集群上進(jìn)行若干連接技術(shù)的性能研究,包括標(biāo)準(zhǔn)的重新分區(qū)連接方法、改進(jìn)的重新分區(qū)連接方法、直接連接方法、廣播連接方法、半連接、基于分片的半連接等,為不同應(yīng)用場景下使用不同的連接技術(shù)提供了參考,49,索引技術(shù)與連接技術(shù)的優(yōu)化,周傲英等人提出基于MapReduce 的列存儲數(shù)據(jù)的連接優(yōu)化方法,極大地加快了連接的速度. 有人研究了星型模型上特大事實(shí)表和特小維表之間的連接優(yōu)化方法和圖數(shù)據(jù)上的路徑連接(chain join)優(yōu)化方法.,50,調(diào)度技術(shù)優(yōu)化,有人試圖利用基于優(yōu)先級的調(diào)度策略提高M(jìn)apReduce 的運(yùn)行效率. 有人提出了基于MPI 的MapReduce 優(yōu)化實(shí)現(xiàn),利用MPI3 的新特性,比如MPI Reduce Local 等,在127 個節(jié)點(diǎn)的集群上獲得25%的性能提升,51,調(diào)度技術(shù)優(yōu)化,Toronto 大學(xué)和Boston 大學(xué)的研究人員嘗試在多個MapReduce Job 之間進(jìn)行查詢處理工作的共享,以此提高系統(tǒng)的總體吞吐能力. Purdue 大學(xué)的研究人員通過放松同步要求和饑渴式調(diào)度方法,提高M(jìn)apReduce 任務(wù)的執(zhí)行效率,52,調(diào)度技術(shù)優(yōu)化,Barcelona 超級計算中心和IBM Watson 實(shí)驗(yàn)室的研究人員研究了任務(wù)聯(lián)合調(diào)度策略,以期提高性能. 有人研究了異構(gòu)處理器和異構(gòu)集群環(huán)境下新的任務(wù)調(diào)度算法,保證并行任務(wù)執(zhí)行的性能不受異構(gòu)環(huán)境的負(fù)面影響,53,其他優(yōu)化技術(shù),使用基于指紋的分組方法、直接存取文件系統(tǒng)、在數(shù)據(jù)解析中使用可變的Java 對象、使用索引以及數(shù)據(jù)塊感知的調(diào)度方法等,一舉提高Hadoop 系統(tǒng)的數(shù)據(jù)分析性能,大幅度逼近傳統(tǒng)關(guān)系數(shù)據(jù)庫的性能. 有人指出,在大規(guī)模數(shù)據(jù)分析領(lǐng)域,基于Hadoop 的數(shù)據(jù)分析系統(tǒng)具有比傳統(tǒng)數(shù)據(jù)庫更好的擴(kuò)展性,足以使得Hadoop 系統(tǒng)成為和并行數(shù)據(jù)庫正面競爭的一支力量,54,其他優(yōu)化技術(shù),Berthold 等人基于Eden 平臺,使用延遲數(shù)據(jù)流處理、動態(tài)應(yīng)答通道、數(shù)據(jù)流合并等技術(shù)優(yōu)化MapReduce 的實(shí)現(xiàn) 有文獻(xiàn)提出利用生產(chǎn)者和消費(fèi)者的共享緩沖區(qū),消除MapReduce 兩個計算階段(Map 階段和Reduce 階段)的傳輸瓶頸. 有文獻(xiàn)提出在MapReduce 兩個計算階段的基礎(chǔ)上增加一個Merge 階段,以更好地支持集合合并、Join 等操作,同時提出了合并Reduce 和Merge 操作以改進(jìn)性能的辦法,55,其他優(yōu)化技術(shù),韓國科學(xué)技術(shù)院以及三星公司、Yahoo 公司的研究人員,利用預(yù)取技術(shù)和預(yù)Shuffle 技術(shù)提高M(jìn)apReduce 的執(zhí)行性能 Duke 大學(xué)的研究人員進(jìn)行了MapReduce 執(zhí)行系統(tǒng)的自調(diào)優(yōu)研究,以減輕運(yùn)行時系統(tǒng)的手工配置要求,56,MapReduce易用性的改進(jìn),針對 MapReduce 技術(shù)缺乏類似SQL 的標(biāo)準(zhǔn)存取語言、依靠底層語言編程的弱點(diǎn),研究人員研究更為高層的、表達(dá)能力更強(qiáng)的語言和系統(tǒng),包括Yahoo 的Pig、Microsoft 的LINQ、Hive 等.,57,MapReduce易用性的改進(jìn),Pig 是編寫MapReduce程序的腳本語言 Yahoo 不僅致力于提高M(jìn)apReduce 的易用性,同時還不斷提高Pig 的性能,采用包括操作符間的Pipeline 等技術(shù)避免物化中間結(jié)果,從而提高性能,并且支持?jǐn)?shù)據(jù)流的處理,58,MapReduce易用性的改進(jìn),此外, Microsoft的Dryad 系統(tǒng)通過有向無環(huán)圖表達(dá)基于串行程序的并行計算,進(jìn)而在大規(guī)模集群上并行執(zhí)行. 雖然與MapReduce 技術(shù)在概念上有些區(qū)別,但從淵源來看,可以把它看成是MapReduce 技術(shù)的變種,同屬非關(guān)系數(shù)據(jù)管理和分析技術(shù)陣營,59,MapReduce易用性的改進(jìn),Hive是基于Hadoop 的大型數(shù)據(jù)倉庫系統(tǒng),實(shí)現(xiàn)了Schema,SQL 查詢等類關(guān)系數(shù)據(jù)庫的功能 Facebook 在Hive 上實(shí)現(xiàn)了例行性報表、即席(ad hoc)查詢、機(jī)器學(xué)習(xí)以及其他復(fù)雜的數(shù)據(jù)分析。通過SQL接口,改善了MapReduce 技術(shù)的易用性和接受度,60,MapReduce易用性的改進(jìn),有文獻(xiàn)提出HadoopML,利用該語言環(huán)境,開發(fā)人員可以很方便地在程序塊的基礎(chǔ)上構(gòu)建任務(wù)并行或數(shù)據(jù)并行的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法,61,MapReduce易用性的改進(jìn),開源軟件Cascading 是基于Hadoop 的一個Java 庫,包含查詢API(query API)、查詢計劃器(query planner)和進(jìn)程調(diào)度器(process scheduler),是Hadoop 上的工作流軟件,開發(fā)者可以在Cascading 的基礎(chǔ)上快速地組裝并行數(shù)據(jù)處理程序,62,RDBMS 和MapReduce 技術(shù)的競爭與相互滲透,MapReduce 技術(shù)在廣泛用于搜索相關(guān)的數(shù)據(jù)分析工作之后,隨著其性能的不斷提升和應(yīng)用領(lǐng)域的擴(kuò)展,迅速成為RDBMS 的年輕的競爭者,兩者的競爭也促進(jìn)了其相互學(xué)習(xí)和滲透,63,RDBMS 和MapReduce 技術(shù)的競爭與相互滲透,RDBMS 與MapReduce 的特點(diǎn)比較,64,RDBMS 和MapReduce 技術(shù)的競爭與相互滲透,MIT 的研究人員借鑒MapReduce 的容錯思想,試圖在Shared Nothing 架構(gòu)的并行數(shù)據(jù)庫系統(tǒng)上實(shí)現(xiàn)更高的容錯性能,取得良好的容錯和負(fù)載均衡效果.,65,RDBMS 和MapReduce 技術(shù)的競爭與相互滲透,HadoopDB是試圖混合MapReduce 和RDBMS 技術(shù)的一項(xiàng)重要工作 在HadoopDB 中,系統(tǒng)清晰地分成兩層,上層使用Hadoop 進(jìn)行任務(wù)的分解和調(diào)度,下層用RDBMS(Postgresql)進(jìn)行數(shù)據(jù)的查詢和處理,66,RDBMS 和MapReduce 技術(shù)的競爭與相互滲透,Had
公司管理相關(guān)推薦
鄂ICP備17016276號-1