數(shù)據(jù)倉庫技術(shù)(編輯修改稿)
2025-01-28 01:56 本頁面
【文章內(nèi)容簡介】 p（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的 Reduce（化簡）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。MapReduce 映射 概念概念2023/2/28 星期日 杭州斯凱網(wǎng)絡(luò)科技有限公司 14 簡單說來，一個映射函數(shù)就是對一些獨立元素組成的概念上的列表（例如，一個測試成績的列表）的每一個元素進(jìn)行指定的操作（比如前面的例子里，有人發(fā)現(xiàn)所有學(xué)生的成績都被高估了一分，他可以定義一個 “ 減一 ” 的映射函數(shù)，用來修正這個錯誤。）。 事實上，每個元素都是被獨立操作的，而原始列表沒有被更改，因為這里創(chuàng)建了一個新的列表來保存新的答案。這就是說， Map操作是可以高度并行的，這對高性能要求的應(yīng)用以及并行計算領(lǐng)域的需求非常有用。 MapReduce 化簡 概念概念2023/2/28 星期日 杭州斯凱網(wǎng)絡(luò)科技有限公司 15 而化簡操作指的是對一個列表的元素進(jìn)行適當(dāng)?shù)暮喜ⅲɡ^續(xù)看前面的例子，如果有人想知道班級的平均分該怎么做？他可以定義一個化簡函數(shù)，通過讓列表中的元素跟自己的相鄰的元素相加的方式把列表減半，如此遞歸運算直到列表只剩下一個元素，然后用這個元素除以人數(shù)，就得到了平均分。）。雖然他不如映射函數(shù)那么并行，但是因為化簡總是有一個簡單的答案，大規(guī)模的運算相對獨立，所以化簡函數(shù)在高度并行環(huán)境下也很有用。MapReduce的分布和可靠性的分布和可靠性2023/2/28 星期日 杭州斯凱網(wǎng)絡(luò)科技有限公司 16 MapReduce通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個節(jié)點實現(xiàn)可靠性；每個節(jié)點會周期性的把完成的工作和狀態(tài)的更新報告回來。如果一個節(jié)點保持沉默超過一個預(yù)設(shè)的時間間隔，主節(jié)點（類同 Google File System中的主服務(wù)器）記錄下這個節(jié)點狀態(tài)為死亡，并把分配給這個節(jié)點的數(shù)據(jù)發(fā)到別的節(jié)點。每個操作使用命名文件的原子操作以確保不會發(fā)生并行線程間的沖突；當(dāng)文件被改名的時候，系統(tǒng)可能會把他們復(fù)制到任務(wù)名以外的另一個名字上去。（避免副作用）。 MapRedu
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1