大數(shù)據(jù)云計(jì)算學(xué)習(xí)總結(jié)_(2)-資料下載頁(yè)
2024-09-28 23:18本頁(yè)面
【正文】 些精度可以控制近似水平。它獨(dú)立于隨后使用的數(shù)據(jù)挖掘算法并且可以被它們使用。為了闡明近似算法的效果，在其上開(kāi)發(fā)了一個(gè)變種的譜聚類(lèi)算法，此外設(shè)計(jì)了一個(gè)所提出算法的基于mapreduce的實(shí)現(xiàn)。在合成和真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果顯示，所提出的算法可以獲得顯著的時(shí)間和空間節(jié)省。christiankaiser等還利用mapreduce框架分布式實(shí)現(xiàn)了訓(xùn)練一系列核函數(shù)學(xué)習(xí)機(jī)，該方法適用于基于核的分類(lèi)和回歸。christiankaiser還介紹了一種擴(kuò)展版的區(qū)域到點(diǎn)建模方法，來(lái)適應(yīng)來(lái)自空間區(qū)域的大量數(shù)據(jù)。yaelbenhaim研究了三種mapreduce實(shí)現(xiàn)架構(gòu)下并行決策樹(shù)分類(lèi)算法的設(shè)計(jì)，并在phoenix共享內(nèi)存架構(gòu)上對(duì)sprint算法進(jìn)行了具體的并行實(shí)現(xiàn)。（lda）的兩種推理方法——塌縮吉布斯采樣（collapsedgibbssampling，cgs）和塌縮變分貝葉斯推理（collapsedvariationalbayesian，cvb）在gpu上的并行化問(wèn)題。為解決gpu上的有限內(nèi)存限制問(wèn)題。這種劃分方案也能平衡多重處理器的計(jì)算開(kāi)銷(xiāo)，并能容易地避免內(nèi)存訪(fǎng)問(wèn)沖突。他們使用數(shù)據(jù)流來(lái)處理超大的數(shù)據(jù)集。；但在一個(gè)有30個(gè)多核處理器的gpu上，cgs方法得到了26倍的加速，cvb方法得到了196倍的加速。他們提出的劃分方案和數(shù)據(jù)流方式使他們的方法在有更多多重處理器時(shí)可伸縮，而且可被作為通用技術(shù)來(lái)并行其它數(shù)據(jù)挖掘模型。baolianglu提出了一種并行的支持向量機(jī)，稱(chēng)為最小最大模塊化網(wǎng)絡(luò)（m3），它是基“分而治之”的思想解決大規(guī)模問(wèn)題的有效的學(xué)習(xí)算法。、哪些節(jié)點(diǎn)應(yīng)該應(yīng)用于大數(shù)據(jù)分析的并行執(zhí)行。這種方法可以使大數(shù)據(jù)進(jìn)行分配使得各個(gè)計(jì)算節(jié)點(diǎn)可以同步的結(jié)束計(jì)算，并且使數(shù)據(jù)塊的傳輸可以和上一個(gè)塊的計(jì)算進(jìn)行重疊來(lái)節(jié)省時(shí)間。實(shí)驗(yàn)表明，這種方法比其他的方法可以提高大約60%的性能。在分布式系統(tǒng)方面，cheng等人提出一個(gè)面向大規(guī)模可伸縮數(shù)據(jù)分析的可伸縮的分布式系統(tǒng)——glade。glade通過(guò)用戶(hù)自定義聚合（uda）接口并且在輸入數(shù)據(jù)上有效地運(yùn)行來(lái)進(jìn)行數(shù)據(jù)分析。文章從兩個(gè)方面來(lái)論證了系統(tǒng)的有效性。第一，文章展示了如何使用一系列分析功能來(lái)完成數(shù)據(jù)處理。第二，文章將glade與兩種不同類(lèi)型的系統(tǒng)進(jìn)行比較：一個(gè)用uda進(jìn)行改良的關(guān)系型數(shù)據(jù)庫(kù)（postgresql）和mapreduce（hadoop）。然后從運(yùn)行結(jié)果、伸縮性以及運(yùn)行時(shí)間上對(duì)不同類(lèi)型的系統(tǒng)進(jìn)行了比較。 四、總結(jié)大數(shù)據(jù)的超大容量自然需要容量大，速度快，安全的存儲(chǔ)，滿(mǎn)足這種要求的存儲(chǔ)離不開(kāi)云計(jì)算。高速產(chǎn)生的大數(shù)據(jù)只有通過(guò)云計(jì)算的方式才能在可等待的時(shí)間內(nèi)對(duì)其進(jìn)行處理。同時(shí)，云計(jì)算是提高對(duì)大數(shù)據(jù)的分析與理解能力的一個(gè)可行方案。大數(shù)據(jù)的價(jià)值也只有通 過(guò)數(shù)據(jù)挖掘才能從低價(jià)值密度的數(shù)據(jù)中發(fā)現(xiàn)其潛在價(jià)值，而大數(shù)據(jù)挖掘技術(shù)的實(shí)現(xiàn)離不開(kāi)云計(jì)算技術(shù)?？傊?，云計(jì)算是大數(shù)據(jù)處理的核心支撐技術(shù)，是大數(shù)據(jù)挖掘的主流方式。沒(méi)有互聯(lián)網(wǎng)，就沒(méi)有虛擬化技術(shù)為核心的云計(jì)算技術(shù)，沒(méi)有云計(jì)算就沒(méi)有大數(shù)據(jù)處理的支撐技術(shù)。 參考文獻(xiàn) 、 ：深刻改變未來(lái) ———關(guān)于未來(lái)審計(jì)的概念與框架的一些思考 bigdataandcloudputingbigdata（bigdata）inrecentyears，moreandmoreoccasions，theconceptismentionedmoreandmorepeople，andoften，andcloudputingtogether，： 。，aswellastheunderstandingofthevalueofbigdata，largedataprocessingandminingtechnology，largedatamainlyfocusondata，providethetechnologyandmethodsofdatacollection，miningandanalysis。cloudputingtechnologyfocusingonputing，theoverallauditmodeofapplication，theauditresultsofprehensiveapplication，theapplicationofrelatedevidence，acceleratetheconstructionoftheauditregulations，establishaplatform，：bigdatacloudputingdataminingimpactontheauditpolicysuggestions 第18頁(yè) 共1
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1