分布式系統(tǒng)核心問(wèn)題-數(shù)據(jù)分片的介紹-資料下載頁(yè)
2025-08-04 14:24本頁(yè)面
【正文】 這樣做的目的在于當(dāng)有節(jié)點(diǎn)加入的時(shí)候，可以快速達(dá)到均衡的目的?！ 〔恢雷x者有沒(méi)有發(fā)現(xiàn)，如果一個(gè)節(jié)點(diǎn)負(fù)責(zé)的數(shù)據(jù)只有一個(gè)區(qū)間，range based與沒(méi)有虛擬節(jié)點(diǎn)概念的一致性hash很類似；如果一個(gè)節(jié)點(diǎn)負(fù)責(zé)多個(gè)區(qū)間，range based與有虛擬節(jié)點(diǎn)概念的一致性hash很類似。 range based的元數(shù)據(jù)管理相對(duì)復(fù)雜一些，需要記錄每個(gè)節(jié)點(diǎn)的數(shù)據(jù)區(qū)間范圍，特別單個(gè)節(jié)點(diǎn)對(duì)于多個(gè)區(qū)間的情況。而且，在數(shù)據(jù)可修改的情況下，如果塊進(jìn)行分裂，那么元數(shù)據(jù)中的區(qū)間信息也需要同步修改?！ ange based這種數(shù)據(jù)分片方式應(yīng)用非常廣泛，比如MongoDB, PostgreSQL，HDFS小結(jié)：在這里對(duì)三種分片方式（應(yīng)該是四種，有沒(méi)有virtual node的一致性hash算兩種）進(jìn)行簡(jiǎn)單總結(jié)，主要是針對(duì)提出的幾個(gè)問(wèn)題：映射難度元數(shù)據(jù)節(jié)點(diǎn)增刪數(shù)據(jù)動(dòng)態(tài)均衡hash方式簡(jiǎn)單非常簡(jiǎn)單，幾乎不用修改需要遷移的數(shù)據(jù)比較多不支持consistent hashwithout virtual node簡(jiǎn)單比較簡(jiǎn)單，取決于節(jié)點(diǎn)規(guī)模，幾乎不用修改增刪節(jié)點(diǎn)的時(shí)候只影響hash環(huán)上相鄰節(jié)點(diǎn)，但不能使所有節(jié)點(diǎn)都參與數(shù)據(jù)遷移過(guò)程不支持consistent hashwith virtual node中等稍微復(fù)雜一些，主要取決于虛擬節(jié)點(diǎn)規(guī)模，很少修改需要遷移的數(shù)據(jù)比較少，且所有節(jié)點(diǎn)都能貢獻(xiàn)部分?jǐn)?shù)據(jù)若支持（修改虛擬節(jié)點(diǎn)與物理節(jié)點(diǎn)映射關(guān)系）range based較為復(fù)雜取決于每個(gè)塊的大小，一般來(lái)說(shuō)規(guī)模較大；且修改頻率較高需要遷移的數(shù)據(jù)比較少，且所有節(jié)點(diǎn)都能貢獻(xiàn)部分?jǐn)?shù)據(jù)支持，且比較容易 上面的數(shù)據(jù)動(dòng)態(tài)均衡，值得是上述問(wèn)題的第4點(diǎn)，即如果某節(jié)點(diǎn)數(shù)據(jù)量變大，能否以及如何將部分?jǐn)?shù)據(jù)遷移到其他負(fù)載較小的節(jié)點(diǎn)。
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1