【正文】 ................................................................................................................................................. 20 謝辭 .................................................................................................................... 錯誤 !未定義書簽。 4 硬件模擬方案生成 ..................................................................................... 錯誤 !未定義書簽。 故障分析基礎(chǔ) ........................................................................ 錯誤 !未定義書簽。 故障參數(shù)選擇 ........................................................................ 錯誤 !未定義書簽。 可信性基準(zhǔn)程序法 ................................................................ 錯誤 !未定義書簽。 由于中央存儲是視頻網(wǎng)站后端管理系統(tǒng)視頻下發(fā)與分發(fā)的一個環(huán)節(jié)，性能要求主要來自于視頻網(wǎng)站新視頻下發(fā)與分發(fā)的環(huán)節(jié)。以前的存儲系統(tǒng)是 san + nas 的方式 ，特點是需要的廠家支持，要用專業(yè)的網(wǎng)絡(luò)設(shè)備，專業(yè)的人才稀少，設(shè)備成本高昂。 畢業(yè)設(shè)計（論文）報告紙 共 Ⅲ 頁 第 II 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 目 錄 1 緒 論 ............................................................................................................. 錯誤 !未定義書簽。 課題思路 ........................................................................................... 錯誤 !未定義書簽。 故障傳播模型 ........................................................................ 錯誤 !未定義書簽。 接口故障分析和模擬 ............................................................ 錯誤 !未定義書簽。 內(nèi)存和數(shù)據(jù)總線硬件故障分析和模擬 ................................ 錯誤 !未定義書簽。一般情況下，當(dāng) nfs 客戶端數(shù)目較小的時候， NFS 性能不會出現(xiàn)問題；一旦 NFS 服務(wù)器數(shù)目過多，并且是那種讀寫都比較頻繁的操作，所得到的結(jié)果就不是 我們所期待的。我嘗試了 PVFS,hadoop,moosefs 這三種應(yīng)用，參看了 lustre、 KFS 等諸多技術(shù)實施方法，最后我選 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 2 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 擇了 moosefs（以下簡稱 MFS）這種分布式文件系統(tǒng)來作 為我的共享存儲服務(wù)器。除了 MFS 本身具備高可用特性外，手動恢復(fù)服務(wù)也是非常快捷的，原因參照第 1 條。 數(shù)據(jù)服務(wù)器可以是多個，并且數(shù)量越多，可使用的“磁盤空間”越大，可靠性也越高。 整個讀取數(shù)據(jù)如圖 13 所示 (圖片來源于官方網(wǎng)站 ): 圖 13 moosefs 讀取數(shù)據(jù)過程 數(shù)據(jù)傳輸并不通過元數(shù)據(jù)服務(wù)器。同步的服務(wù)器依據(jù)設(shè)定的副本數(shù)而定 — 副本為 2，則需同步一個 chunk 服務(wù)器。 安裝元數(shù)據(jù)服務(wù) 下載 GNU 源碼 wget 解包 tar zxvf 切換目錄 cd 創(chuàng)建用戶 useradd mfs –s /sbin/nologin 配置 ./configure prefix=/usr/local/mfs withdefaultuser=mfs withdefaultgroup=mfs 編譯安裝 make 。 EXPORTS_FILENAME = /usr/local/mfs/etc/ 權(quán)限控制文件的存放位置。注： 以前的版本沒有這個項目。 元數(shù)據(jù)服務(wù)器 master 啟動 元數(shù)據(jù)服務(wù)器可以單獨啟動，即使沒有任何數(shù)據(jù)存儲服務(wù)器（ chunkserver）也是能正常工作的；因此當(dāng)我們安裝配置完 MFS 后，即可啟動它。當(dāng)然，如果發(fā)生了這個事情，還是可以通過 mfsmetastore 來恢復(fù)的。 （３） BACK_LOGS = 50 存放備份日志的總個數(shù)為５０，超出５０則輪轉(zhuǎn)。從兩個方面看，一個是元數(shù)據(jù)服務(wù)器，另一個是本身的數(shù)據(jù)生成情況。 make install 配置數(shù)據(jù)存儲服務(wù)器 chunkserver 數(shù)據(jù)存儲服務(wù)器有 2 個配置服務(wù)器需要修改，一個是主配置文件 ,另一個配置文件是 。 修改配置文件 /usr/local/mfs/etc/。為了使系統(tǒng)重啟過程能自動啟動 chunkserver 服務(wù)，可以通過在 /etc/ 文件追加行 /usr/local/mfs/sbin/mfschunkserver start 來達到這個目的（ master 的自動重啟處理也可同樣處理）。 解包 tar zxvf 切換目錄 cd 創(chuàng)建用戶 useradd mfs –s /sbin/nologin 配置 ./configure prefix=/usr/local/mfs withdefaultuser=mfs withdefaultgroup=mfs enablemfsmount 編譯安裝 make 。 設(shè)置副本數(shù)目 mfsrsetgoal 3 /mnt/mfs 查看設(shè)置是否如我所愿 mfsgetgoal /mnt/mfs/serydir/ /mnt/mfs/serydir/: 3 設(shè)置刪除文件后空間回收時間。這時我們用“ Tab”鍵選中底部右邊的“ Install”，完成安裝后，會出現(xiàn)一個 安裝成功的提示，然后瞬間消失。 設(shè)置文件副本數(shù)量，建議以 3 份為佳。 通過增減 chunkserver 服務(wù)器的測試，服務(wù)的可靠性確實不錯，哪怕只剩下最后一個服務(wù)器， 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 17 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 也能正常提供存儲訪問服務(wù)。 ◆ 遷移測試 安裝新的 MFS 元數(shù)據(jù)服務(wù)器。 小文件性能測試 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 18 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 二級 100*100 文件夾 創(chuàng)建 列表 刪除 單片 ext3 client 單進程 real user sys real user sys real user sys 單片 ext3 client 10 并發(fā)進程 最長時間： real user sys 最長時間： real user sys 最長時間： real user sys 6chunkserver cache client 單進程 real user sys real user sys real user sys 6chunkserver cache client 10 并發(fā)進程 最長時間： real user sys 最長時間： real user sys 最長時間： real user sys 二級 1000*1000文件夾 創(chuàng)建 列表 刪除 單片 ext3 client 單進程 real user sys real user sys real user sys 單片 ext3 client 10 并發(fā)進程 最長時間： real user sys 最長時間： real user sys 最長時間： real user sys 6chunkserver cache client 單進程 real user sys real user sys real user sys 6chunkserver cache client 10 并發(fā)進程 最長時間： real user sys 最長時間： real user sys 最長時間： real user sys 三級100*100*100 文件夾 創(chuàng)建 列表 刪除 單片 ext3 client 單進 程 real user sys real user sys real user sys 單片 ext3 client 10 進程 最長時間： real user sys 最 長時間： real user sys 最長時間： real user sys 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 19 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊