分布式系統(tǒng)核心問題-數(shù)據(jù)分片的介紹-展示頁
2024-08-19 14:24本頁面
【正文】 只負(fù)責(zé)原問題（即整個(gè)系統(tǒng)需要完成的任務(wù)）的一個(gè)子集，那么原問題如何拆分到多個(gè)節(jié)點(diǎn)？在分布式存儲(chǔ)系統(tǒng)中，任務(wù)的拆分即數(shù)據(jù)分片。 分布式系統(tǒng)核心問題數(shù)據(jù)分片的介紹 所謂分布式系統(tǒng)，就是利用多個(gè)獨(dú)立的計(jì)算機(jī)來解決單個(gè)節(jié)點(diǎn)（計(jì)算機(jī)）無法處理的存儲(chǔ)、計(jì)算問題，這是非常典型的分而治之的思想。何為數(shù)據(jù)分片（segment，fragment， shard， partition），就是按照一定的規(guī)則，將數(shù)據(jù)集劃分成相互獨(dú)立、正交的數(shù)據(jù)子集，然后將數(shù)據(jù)子集分布到不同的節(jié)點(diǎn)上。本文主要介紹區(qū)塊鏈分布式系統(tǒng)中的分片相關(guān)問題，包括三種分布方式：hash、一致性hash、range based，以及各自的優(yōu)缺點(diǎn)。對(duì)于任何方式，都需要思考以下幾個(gè)問題：1. 具體如何劃分原始數(shù)據(jù)集？2. 當(dāng)原問題的規(guī)模變大的時(shí)候，能否通過增加節(jié)點(diǎn)來動(dòng)態(tài)適應(yīng)？3. 當(dāng)某個(gè)節(jié)點(diǎn)故障的時(shí)候，能否將該節(jié)點(diǎn)上的任務(wù)均衡的分?jǐn)偟狡渌?jié)點(diǎn)？4. 對(duì)于可修改的數(shù)據(jù)（比如數(shù)據(jù)庫數(shù)據(jù)），如果某節(jié)點(diǎn)數(shù)據(jù)量變大，能否以及如何將部分?jǐn)?shù)據(jù)遷移到其他負(fù)載較小的節(jié)點(diǎn)，及達(dá)到動(dòng)態(tài)均衡的效果？5. 元數(shù)據(jù)的管理（即數(shù)據(jù)與物理節(jié)點(diǎn)的對(duì)應(yīng)關(guān)系）規(guī)模？元數(shù)據(jù)更新的頻率以及復(fù)雜度？ 為了后面分析不同的數(shù)據(jù)分片方式，假設(shè)有三個(gè)物理節(jié)點(diǎn)，編號(hào)為N0， N1， N2；有以下幾條記錄： R0: {id: 95, name: 39。, tag:39。} R1: {id: 302, name: 39。,} R2: {id: 759, name: 39。,} R3: {id: 607, name: 39。, age: 18} R4: {id: 904, name: 39。,} R5: {id: 246, name: 39。,} R6: {id: 1
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1