打造高性能、高可靠的塊存儲(chǔ)系統(tǒng)(完整版)
【正文】 Decentralized Placement of Replicated Data》 Virtscsi: 支持多隊(duì)列優(yōu)化Ceph我們對(duì)于Ceph的優(yōu)化是重頭戲，有很多問題也是時(shí)間長(zhǎng)、規(guī)模上去之后才暴露出來的。 關(guān)閉NUMA高性能存儲(chǔ)系統(tǒng)主要的性能指標(biāo)是IOPS和Latency。改造OpenStack原生的OpenStack并不支持統(tǒng)一存儲(chǔ)，云主機(jī)服務(wù)Nova、鏡像服務(wù)Glance、云硬盤服務(wù)Cinder的后端存儲(chǔ)各不相同，造成了嚴(yán)重的內(nèi)耗。 實(shí)時(shí)快照。由于使用分布式塊存儲(chǔ)系統(tǒng)，避免了復(fù)制鏡像的過程，所以云主機(jī)的創(chuàng)建時(shí)間可以縮短到10秒以內(nèi)，而且云主機(jī)還能快速熱遷移，方便了運(yùn)維人員對(duì)物理服務(wù)器上硬件和軟件的維護(hù)。 從SATA磁盤到SSD，為了提高IOPS和降低Latency。每個(gè)集群中都有3個(gè)Ceph Monitor節(jié)點(diǎn)。云計(jì)算的另外一個(gè)好處是租戶資源隔離，所以必備QoS。CPU Throttle: 平滑的I/O QoS算法但是，即時(shí)我們知道需要修改CRUSH MAP的設(shè)置，但是我們應(yīng)該怎么修改CRUSH MAP的設(shè)置呢，我們?cè)撊绾斡?jì)算數(shù)據(jù)持久性呢?我們需要一個(gè)計(jì)算模型和計(jì)算公式，通過以下資料，我們可以構(gòu)建一個(gè)計(jì)算模型和計(jì)算公式。 R: 副本數(shù) fit = failures in time = 1/MTTF ~= 1/MTBF = AFR/(24*365)假設(shè)有M個(gè)不同的Copy Set， M是一個(gè)非常重要的數(shù)字。不過這些方法都有弊端，增加副本數(shù)勢(shì)必會(huì)擴(kuò)大成本。解決辦法是從CRUSH MAP入手，增加一種虛擬的Bucket: osddomain， 不再使用host bucket。一般Ceph的安裝是分階段的：1. 安裝好Ceph Monitor集群。 支持Ceph所有的參數(shù) 保存：使用graphite，設(shè)置好采集精度和保存精度。但平時(shí)只會(huì)關(guān)注IOPS、吞吐率、OSD Journal延遲、讀請(qǐng)求延遲、容量使用率等。 XFS Bug， 會(huì)導(dǎo)致集群所有OSD進(jìn)程直接崩掉。【本文來源：運(yùn)維幫微信號(hào)】 SSD 損壞。 SSD GC問題，會(huì)導(dǎo)致讀寫請(qǐng)求的Latency非常大，飆到幾百毫秒。 展示：使用grafana，挑了十幾個(gè)工具，發(fā)現(xiàn)還是grafana好看好用。 使用WWNID替代盤符。3. 根據(jù)OSD ID去創(chuàng)建數(shù)據(jù)目錄，掛載Disk到數(shù)據(jù)目錄上。減少Coepy Set個(gè)數(shù)如何減少Copy Set的個(gè)數(shù)呢?Copy Sets是和PG的映射有關(guān)的，我們從CRUSH MAP的規(guī)則和條件入手，減少Copy Set的個(gè)數(shù)。在成本和Latency的制約下，還有什么辦法可以提高持久性呢?前面我們已經(jīng)得到一個(gè)量化公式 P = Pr * M / C(R, N)， 我們從量化公式入手，去提
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1