打造高性能、高可靠的塊存儲系統(tǒng)(參考版)
2025-06-30 15:26本頁面
【正文】 【本文來源：運維幫微信號】 Ceph數(shù)據(jù)恢復時把網(wǎng)絡帶寬跑滿。 Ceph PG inconsistent。 SSD 損壞。 XFS Bug， 會導致集群所有OSD進程直接崩掉。 Ceph Bug， 會導致OSD進程直接崩掉。 網(wǎng)絡故障，會導致Monitor把OSD設置為down狀態(tài)。 SSD GC問題，會導致讀寫請求的Latency非常大，飆到幾百毫秒。但平時只會關注IOPS、吞吐率、OSD Journal延遲、讀請求延遲、容量使用率等。 ceph health我們根據(jù)Ceph軟件架構對每個OSD分成了很多個throttle層，下面是throttle模型：有了throttle model，我們可以對每個throttle進行監(jiān)控，我們在diamond上增加了新的collector用于對這些throttle進行監(jiān)控，并重新定義了metric name。 報警：zabbix agent amp。 展示：使用grafana，挑了十幾個工具，發(fā)現(xiàn)還是grafana好看好用。 保存：使用graphite，設置好采集精度和保存精度。 收集：使用diamond，增加新的colloctor，用于收集更詳細的數(shù)據(jù)。監(jiān)控Ceph自家的Calamari長得不錯，但是不夠實用，而且它的部署、打包還不完善，在CentOS上還有一些BUG，我們只能繼續(xù)使用原有的工具。 使用WWNID替代盤符。 支持Ceph所有的參數(shù)相比eNovance和Stackforge的puppetceph模塊，我們的puppetceph模塊的優(yōu)點是：Puppet只需要完成前三步，第四步一般根據(jù)具體情況用腳本去執(zhí)行。3. 根據(jù)OSD ID去創(chuàng)建數(shù)據(jù)目錄，掛載Disk到數(shù)據(jù)目錄上。一般Ceph的安裝是分階段的：1. 安裝好Ceph Monitor集群。自動化運維Ceph的運維比較費心，稍有差池，整個云平臺都會受到影響，因此我們覺得運維的目標是可用性：減少不必要的數(shù)據(jù)遷移，進而減少slow requests，保證SLA。每個PG必須在一個replicadomain上，PG不能跨replicadomain，這樣可以顯著減少Copy Set的個數(shù)。減少Coepy Set個數(shù)如何減少Copy Set的個數(shù)呢?Copy Sets是和PG的映射有關的，我們從CRUSH MAP的規(guī)則和條件入手，減少Copy Set的個數(shù)。解決辦法是從CRUSH MAP入手，增加一種虛擬的Bucket: osddomain， 不再使用host bucket。那么恢復時間跟什么有關系呢？我們需要增加更多的OSD用于數(shù)據(jù)恢復，以便減少恢復時間。因為C(R, N)已經確定，我們只能降低Pr和M。在成本和Latency的制約下，還有什么辦法可以提高持久性呢?前面我們已經得到一個量
公司管理相關推薦
鄂ICP備17016276號-1