打造高性能、高可靠的塊存儲系統(tǒng)(編輯修改稿)
2025-07-24 15:26 本頁面
【文章內(nèi)容簡介】 型是怎么樣得到計算公式的呢?下面是4個步驟。1. 先計算硬盤發(fā)生故障的概率。2. 定義哪種情況下丟失數(shù)據(jù)不能恢復(fù)。3. 計算任意R個OSD發(fā)生故障的概率。4. 計算Ceph丟失PG的概率。硬盤發(fā)生故障的概率是符合泊松分布的： fit = failures in time = 1/MTTF ~= 1/MTBF = AFR/(24*365) 事件概率 Pn(λ,t) = (λt)n eλt / n!Ceph的每個PG是有R份副本的，存放在R個OSD上，當(dāng)存有這個PG的R個OSD都發(fā)生故障時，數(shù)據(jù)是不可訪問的，當(dāng)這R個OSD都損壞時，數(shù)據(jù)是不可恢復(fù)的。計算一年內(nèi)任意R個OSD發(fā)生相關(guān)故障概率的方法是：1. 計算一年內(nèi)有OSD發(fā)生故障的概率。2. 在Recovery時間內(nèi)，(R1)個OSD發(fā)生故障的概率。3. 以上概率相乘，就是一年內(nèi)任意R個OSD發(fā)生相關(guān)故障概率，假設(shè)是 Pr。4. N個OSD中，任意R個OSD的組合數(shù)是C(R, N)。因為這任意R個OSD不一定存有同一個PG的副本，所以這任意R個OSD發(fā)生故障并不會導(dǎo)致數(shù)據(jù)不可恢復(fù)，也就是不一定會導(dǎo)致數(shù)據(jù)丟失。假設(shè)每個PG對應(yīng)一組OSD(有R個OSD， 稱之為Copy Set)，有可能多個PG對應(yīng)同一組OSD。假設(shè)有M個不同的Copy Set， M是一個非常重要的數(shù)字。我們再來對Copy Set進行精確的定義：Copy Set上至少有一個PG的所有副本，當(dāng)這個Copy Set損壞時，這個PG的所有副本也會丟失，這個PG上的所有數(shù)據(jù)就不可恢復(fù)。所以Ceph丟失數(shù)據(jù)的事件就是Ceph丟失PG， Ceph丟失PG就是有一個Copy Set發(fā)生損壞，一個Copy Set丟失的概率就是 P = Pr * M / C(R, N) 。持久性公式就是個量化工具，它可以指明努力的方向。我們先小試牛刀，算一下默認情況下的持久性是多少?假設(shè)我們有3個機架，每個機架上有8臺節(jié)點，每個幾點上有3塊硬盤，每個硬盤做一個OSD，則一共有72個OSD。默認的crush map設(shè)置如下所示通過持久性公式，我們得到下面的數(shù)據(jù)。默認情況下，持久性有8個9，已經(jīng)比一般的RAIDRAID10要高，和RAID6差不多，但是還不能滿足公有云的要求，因為公有云的規(guī)模很大，故障事件的數(shù)學(xué)期望也會很大，這就逼著我們盡量提高持久性。提高持久性的方法有很多，比如增加副本數(shù)，使用Erase Code等。不過這些方法都有弊端，增加副本數(shù)勢必會擴大成本。使用Erase Code會導(dǎo)致Latency提高，不適合于塊存儲服務(wù)。在成本和Latency的制約下，還有什么辦法可以提高持久性呢?前面我們已經(jīng)得到一個量化公式 P = Pr * M / C(R, N)， 我們從量化公式入手，去提高持久性(也就是降低P)。要想降低P， 就得降低Pr、
公司管理相關(guān)推薦
鄂ICP備17016276號-1