【正文】 hdefaultgroup=mfs enablemfsmount 編譯安裝 make 。 修改配置文件 /usr/local/mfs/etc/。從兩個方面看，一個是元數(shù)據(jù)服務(wù)器，另一個是本身的數(shù)據(jù)生成情況。當然，如果發(fā)生了這個事情，還是可以通過 mfsmetastore 來恢復的。注： 以前的版本沒有這個項目。 安裝元數(shù)據(jù)服務(wù) 下載 GNU 源碼 wget 解包 tar zxvf 切換目錄 cd 創(chuàng)建用戶 useradd mfs –s /sbin/nologin 配置 ./configure prefix=/usr/local/mfs withdefaultuser=mfs withdefaultgroup=mfs 編譯安裝 make 。 整個讀取數(shù)據(jù)如圖 13 所示 (圖片來源于官方網(wǎng)站 ): 圖 13 moosefs 讀取數(shù)據(jù)過程 數(shù)據(jù)傳輸并不通過元數(shù)據(jù)服務(wù)器。 我嘗試了 PVFS,hadoop,moosefs 這三種應(yīng)用，參看了 lustre、 KFS 等諸多技術(shù)實施方法，最后我選 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 2 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 擇了 moosefs（以下簡稱 MFS）這種分布式文件系統(tǒng)來作 為我的共享存儲服務(wù)器。 內(nèi)存和數(shù)據(jù)總線硬件故障分析和模擬 ................................ 錯誤 !未定義書簽。 故障傳播模型 ........................................................................ 錯誤 !未定義書簽。 畢業(yè)設(shè)計（論文）報告紙 共 Ⅲ 頁 第 II 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 目 錄 1 緒 論 ............................................................................................................. 錯誤 !未定義書簽。 由于中央存儲是視頻網(wǎng)站后端管理系統(tǒng)視頻下發(fā)與分發(fā)的一個環(huán)節(jié)，性能要求主要來自于視頻網(wǎng)站新視頻下發(fā)與分發(fā)的環(huán)節(jié)。 故障參數(shù)選擇 ........................................................................ 錯誤 !未定義書簽。 4 硬件模擬方案生成 ..................................................................................... 錯誤 !未定義書簽。基于這樣一種需求，我們需要對 nfs 服務(wù)器進行優(yōu)化或采取別的解決方案。圖 82 展示了這種特性： 圖 12 MFS 文件副本存儲位置 ★ 通過增加計算機或增加新的硬盤動態(tài)擴充可用磁盤空間 ★ 可以設(shè)置刪除文件的空間回收時間 [rootmysqlbk serydir] mfsgettrashtime : 600 文件被刪除 10 分鐘后（ 600 秒），才真正刪除文件，回收磁盤空間。使用 MFS 文件系統(tǒng)來存儲和訪問的主機稱為 MFS 的客戶端，成功掛接 MFS 文件系統(tǒng)以后，就可以像以前使用 NFS 一樣共享這個虛擬性的存儲了。 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 4 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 客戶端告知元數(shù)據(jù)服務(wù)器本次寫入完畢。那么這些數(shù)據(jù)都包括哪些呢？進目錄看看，大致分 3 種類型的文件，如圖 85 所示： 圖 15 mfs 文件類型 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 6 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 這些文件也同樣要存儲在其他數(shù)據(jù)存儲服務(wù)器的相關(guān)目錄。當我們增加數(shù)據(jù)存儲服務(wù)器（ chunkserver）或數(shù)據(jù)存儲服務(wù)器（ chunkserver）處故障時，都能在系統(tǒng)日志找到這些記錄。默認為２４小時，即每隔一天從元數(shù)據(jù)服務(wù)器 (MASTER)下載一個 文件。 修改配置文件 /usr/local/mfs/etc/。 centos 作為 MFS 的客戶端。 二、安裝內(nèi)核模塊 fusefskmod 執(zhí)行系統(tǒng)命令 sysinstall，如圖 812 所示： 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 13 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 圖 212 freebsd sysinstall 菜單界面 光標選定 Configure,進入下一步。 3 破壞性測試 測試對象包括數(shù)據(jù)存儲服務(wù)器 chunkserver 和元數(shù)據(jù)服務(wù)器 master。 更改新的元數(shù)據(jù)服務(wù)器的 ip 為原來那個服務(wù)器的 ip. 執(zhí)行數(shù)據(jù)恢復操作，其命令為： mfsmetarestore m o changelog_ml.*.mfs。 解包 tar zxvf 執(zhí)行恢復操作 .. /sbin/mfsmetarestore – a 啟動元數(shù)據(jù)服務(wù) ../sbin/mfsmaster start 在 MFS 客戶端檢查 MFS 存儲的數(shù)據(jù)是否跟恢復前一致？能否正常訪問等等。 [rootmysqlbk ~] df h Filesystem Size Used Avail Capacity Mounted on /dev/ad4s1a 26G 570M 24G 2% / devfs 0B 100% /dev /dev/ad4s1g 356G 157G 170G 48% /data /dev/ad4s1f 17G 215M 15G 1% /home /dev/ad4s1d 28G 25G 4% /usr /dev/ad4s1e 24G 362M 21G 2% /var /dev/fuse0 256G 11% /mnt/mfs 進入目錄 /mnt/mfs，我們可以看見前面步驟用 centos 上傳到分布式文件系統(tǒng) MFS 里的文件。 設(shè)置文件副本數(shù)量，建議以 3 份為佳。 tail f /var/log/messages Mar 27 14:28:00 mfsctrl mfsmaster[29647]: server 3 (): usedspace: 65827913728 (61 GB), totalspace: 879283101696 (818 GB), usage: % 關(guān)閉數(shù)據(jù)存儲服務(wù)器 跟元數(shù)據(jù)服務(wù)器 master 相似，執(zhí)行命令 /usr/local/mfs/sbin/mfschunkserver –s（或者執(zhí)行命令/usr/local/mfs/sbin/mfschunkserver stop） , chunkserver 服務(wù)就停下來了。 安裝數(shù)據(jù)存儲服務(wù)器 chunkserver 下載 GNU 源碼 wget 解包 tar zxvf 切換目錄 cd 創(chuàng)建用戶 useradd mfs –s /sbin/nologin 配置 ./configure prefix=/usr/local/mfs withdefaultuser=mfs withdefaultgroup=mfs 編譯安裝 make 。如圖 89 所示： 圖 29 metalogger 在系統(tǒng)日志輸出的字串標識 （２） DATA_PATH = /usr/local/mfs/var/mfs 從元數(shù)據(jù)服務(wù)器 (master)抓回文件，然后進行存放的路徑。這個文件的內(nèi)容，十分類似 NFS 服務(wù)器的 exports 文件．實際配置時，可參照這個文件的默認行來修改以滿足自己的應(yīng)用需求．我的 文件的內(nèi)容為： ,alldirs,mapall=mfs （ 3）復制文件 cp /usr/local/mfs/var/mfs/ /usr/local/mfs/var/mfs/ 這是一個 8 字節(jié)的文件，為 新增項目。 與其他 chunk 服務(wù)器進行數(shù)據(jù)同步。存儲文件時，首先把文件分成塊，然后這些塊在數(shù)據(jù)服務(wù)器 chunkserver 之間復制（復制份數(shù)可以手工指定，建議設(shè)置副本數(shù)為 3）。 恢復服務(wù)容易。察看系統(tǒng)日志，全是 nfs 服務(wù)超時之類的報錯。 時間 /序列故障分析和模擬 ................................................... 錯誤 !未定義書簽。 2 方案綜述 ..................................................................................................... 錯誤 !未定義書簽。視頻文件中央存儲是視頻網(wǎng)站的視頻總庫，擁有該視頻網(wǎng)站的所有視頻文件。 故障注入 ........................................................................................... 錯誤 !未定義書簽。 賦值故障分析和模擬 ............................................................ 錯誤 !未定義書簽。 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 1 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊