數(shù)據(jù)倉(cāng)庫(kù)初稿(第二版)(編輯修改稿)
2025-03-27 12:39 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的 Reduce（化簡(jiǎn)）函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。 MapReduce 映射 概念 2023/3/28 杭州斯凱網(wǎng)絡(luò)科技有限公司 14 簡(jiǎn)單說(shuō)來(lái)，一個(gè)映射函數(shù)就是對(duì)一些獨(dú)立元素組成的概念上的列表（例如，一個(gè)測(cè)試成績(jī)的列表）的每一個(gè)元素進(jìn)行指定的操作（比如前面的例子里，有人發(fā)現(xiàn)所有學(xué)生的成績(jī)都被高估了一分，他可以定義一個(gè)“減一”的映射函數(shù)，用來(lái)修正這個(gè)錯(cuò)誤。）。 事實(shí)上，每個(gè)元素都是被獨(dú)立操作的，而原始列表沒(méi)有被更改，因?yàn)檫@里創(chuàng)建了一個(gè)新的列表來(lái)保存新的答案。這就是說(shuō)， Map操作是可以高度并行的，這對(duì)高性能要求的應(yīng)用以及并行計(jì)算領(lǐng)域的需求非常有用。 MapReduce 化簡(jiǎn) 概念 2023/3/28 杭州斯凱網(wǎng)絡(luò)科技有限公司 15 而化簡(jiǎn)操作指的是對(duì)一個(gè)列表的元素進(jìn)行適當(dāng)?shù)暮喜ⅲɡ^續(xù)看前面的例子，如果有人想知道班級(jí)的平均分該怎么做？他可以定義一個(gè)化簡(jiǎn)函數(shù)，通過(guò)讓列表中的元素跟自己的相鄰的元素相加的方式把列表減半，如此遞歸運(yùn)算直到列表只剩下一個(gè)元素，然后用這個(gè)元素除以人數(shù)，就得到了平均分。）。雖然他不如映射函數(shù)那么并行，但是因?yàn)榛?jiǎn)總是有一個(gè)簡(jiǎn)單的答案，大規(guī)模的運(yùn)算相對(duì)獨(dú)立，所以化簡(jiǎn)函數(shù)在高度并行環(huán)境下也很有用。 MapReduce的分布和可靠性 2023/3/28 杭州斯凱網(wǎng)絡(luò)科技有限公司 16 MapReduce通過(guò)把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)可靠性；每個(gè)節(jié)點(diǎn)會(huì)周期性的把完成的工作和狀態(tài)的更新報(bào)告回來(lái)。如果一個(gè)節(jié)點(diǎn)保持沉默超過(guò)一個(gè)預(yù)設(shè)的時(shí)間間隔，主節(jié)點(diǎn)（類(lèi)同 Google File System中的主服務(wù)器）記錄下這個(gè)節(jié)點(diǎn)狀態(tài)為死亡，并把分配給這個(gè)節(jié)點(diǎn)的數(shù)據(jù)發(fā)到別的節(jié)點(diǎn)。每個(gè)操作使用命名文件的原子操作以確保不會(huì)發(fā)生并行線(xiàn)程間的沖突；當(dāng)文件被改名的時(shí)候，系統(tǒng)可能會(huì)把他們復(fù)制到任務(wù)名以外的另一個(gè)名字上去。（避免副作用）。 MapRedu
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1