分布式系統(tǒng)核心問題-數(shù)據(jù)分片的介紹-文庫吧資料
2024-08-17 14:24本頁面
【正文】 節(jié)點(diǎn)。這里仍然以上述的數(shù)據(jù)為例，假設(shè)id的范圍為［0， 1000］，N0， N1， N2在環(huán)上的位置分別是100， 400， 800，那么hash環(huán)示意圖與數(shù)據(jù)的分布如下： 可以看到相比于上述的hash方式，一致性hash方式需要維護(hù)的元數(shù)據(jù)額外包含了節(jié)點(diǎn)在環(huán)上的位置，但這個(gè)數(shù)據(jù)量也是非常小的。一致性hash 一致性hash是將數(shù)據(jù)按照特征值映射到一個(gè)首尾相接的hash環(huán)上，同時(shí)也將節(jié)點(diǎn)（按照IP地址或者機(jī)器名hash）映射到這個(gè)環(huán)上。有兩種情況：原始數(shù)據(jù)的特征值分布不均勻，導(dǎo)致大量的數(shù)據(jù)集中到一個(gè)物理節(jié)點(diǎn)上；第二，對(duì)于可修改的記錄數(shù)據(jù)，單條記錄的數(shù)據(jù)變大?！ ≡诠こ讨?，為了減少遷移的數(shù)據(jù)量，節(jié)點(diǎn)的數(shù)目可以成倍增長，這樣概率上來講至多有50%的數(shù)據(jù)遷移。哈希的結(jié)果應(yīng)能夠保證原有已分配的內(nèi)容可以被映射到原有的或者新的緩沖中去，而不會(huì)被映射到舊的緩沖集合中的其他緩沖區(qū)?！ 〉玥ash方式的缺點(diǎn)也非常明顯：當(dāng)加入或者刪除一個(gè)節(jié)點(diǎn)的時(shí)候，大量的數(shù)據(jù)需要移動(dòng)。 數(shù)據(jù)分片的hash方式也是這個(gè)思想，即按照數(shù)據(jù)的某一特征（key）來計(jì)算哈希值，并將哈希值與系統(tǒng)中的節(jié)點(diǎn)建立映射關(guān)系,從而將哈希值不同的數(shù)據(jù)分布到不同的節(jié)點(diǎn)上。mod N（N為表的大小）。絕大多數(shù)編程語言都有對(duì)hash表的支持，如python中的dict， C++中的map，Java中的Hashtable， Lua中的table等等。kk39。ff39。gg39。ff39。dd39。aa39。bb39。older39。aa39。三種數(shù)據(jù)分片方式 首先介紹三種分片方式：hash方式，一致性hash（consistent hash），按照數(shù)據(jù)范圍（range based）。注意，這里提到，數(shù)據(jù)分片需要按照一定的規(guī)則，不同的分布式應(yīng)用有不同的規(guī)則，但都遵循同樣的原則：按照最主要、最頻繁使用的訪問方式來分片。每個(gè)節(jié)點(diǎn)
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1