【正文】 因此這里收錄網(wǎng)友 jin xiu 的測試報告。 更改新的元數(shù)據(jù)服務器的 ip 為原來那個服務器的 ip. 執(zhí)行數(shù)據(jù)恢復操作，其命令為： mfsmetarestore m o changelog_ml.*.mfs。 解包 tar zxvf 執(zhí)行恢復操作 .. /sbin/mfsmetarestore – a 啟動元數(shù)據(jù)服務 ../sbin/mfsmaster start 在 MFS 客戶端檢查 MFS 存儲的數(shù)據(jù)是否跟恢復前一致？能否正常訪問等等。在正常情況下，元數(shù)據(jù)服務器的改變?nèi)罩疚募?(changelogs) 實時地、自動地復 制到所有的數(shù)據(jù)存儲服務器，并且以 changelog_csback.*.mfs 的形式命名。減少chunkserver試驗后，我們再來逐步增加 chunkserver服務器 ,然后對 MFS執(zhí)行讀寫等相關訪問操作，檢驗其正確性。 3 破壞性測試 測試對象包括數(shù)據(jù)存儲服務器 chunkserver 和元數(shù)據(jù)服務器 master。 [rootmysqlbk ~] df h Filesystem Size Used Avail Capacity Mounted on /dev/ad4s1a 26G 570M 24G 2% / devfs 0B 100% /dev /dev/ad4s1g 356G 157G 170G 48% /data /dev/ad4s1f 17G 215M 15G 1% /home /dev/ad4s1d 28G 25G 4% /usr /dev/ad4s1e 24G 362M 21G 2% /var /dev/fuse0 256G 11% /mnt/mfs 進入目錄 /mnt/mfs，我們可以看見前面步驟用 centos 上傳到分布式文件系統(tǒng) MFS 里的文件。 四、安裝包 pkgconfig cd /usr/ports/devel/pkgconfig make install clean 五、 安裝 MFS 客戶端 解包 tar zxvf 切換目錄 cd 創(chuàng)建用戶 pw useradd mfs –s /sbin/nologin 配置 ./configure prefix=/usr/local/mfs withdefaultuser=mfs withdefaultgroup=mfs enablemfsmount 編譯安裝 make 。如圖 216 所示： 圖 216 freebsd sysinstall 菜單界面（續(xù)四 ） 畢業(yè)設計（論文）報告紙 共 11 頁 第 15 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 選擇“ ” ,按 [OK]返回到第“ 4”步出現(xiàn)的那個操作界面。 二、安裝內(nèi)核模塊 fusefskmod 執(zhí)行系統(tǒng)命令 sysinstall，如圖 812 所示： 畢業(yè)設計（論文）報告紙 共 11 頁 第 13 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 圖 212 freebsd sysinstall 菜單界面 光標選定 Configure,進入下一步。 設置文件副本數(shù)量，建議以 3 份為佳。 保證 fuse 模塊被加載內(nèi)核。 如果不執(zhí)行這個操作，在后面安裝 MFS 的過程中，執(zhí)行命令 ./configure enablemfsmount 時 可能 出現(xiàn) checking for FUSE... no configure: error: mfsmount build was forced, but fuse development package is not installed這樣的錯誤，而不能正確安裝 MFS 客戶端程序。 centos 作為 MFS 的客戶端。 tail f /var/log/messages Mar 27 14:28:00 mfsctrl mfsmaster[29647]: server 3 (): usedspace: 65827913728 (61 GB), totalspace: 879283101696 (818 GB), usage: % 關閉數(shù)據(jù)存儲服務器 跟元數(shù)據(jù)服務器 master 相似，執(zhí)行命令 /usr/local/mfs/sbin/mfschunkserver –s（或者執(zhí)行命令/usr/local/mfs/sbin/mfschunkserver stop） , chunkserver 服務就停下來了。我的服務器的分區(qū)掛接點是 /data , 用 chown –R mfs:mfs /data 把屬主改變。 ◆ HDD_CONF_FILENAME = /usr/local/mfs/etc/ 分配給 MFS 使用的磁盤空間配置文件的位置。 修改配置文件 /usr/local/mfs/etc/。 安裝數(shù)據(jù)存儲服務器 chunkserver 下載 GNU 源碼 wget 解包 tar zxvf 切換目錄 cd 創(chuàng)建用戶 useradd mfs –s /sbin/nologin 配置 ./configure prefix=/usr/local/mfs withdefaultuser=mfs withdefaultgroup=mfs 編譯安裝 make ?？梢允謩訌脑獢?shù)據(jù)服務器復制一個日志文件過來比較文件的內(nèi)容。 ２、關閉服務，執(zhí)行命令 /usr/local/mfs/sbin/mfsmetalogger stop ３、 檢查服務的運行狀況。默認為２４小時，即每隔一天從元數(shù)據(jù)服務器 (MASTER)下載一個 文件。如圖 89 所示： 圖 29 metalogger 在系統(tǒng)日志輸出的字串標識 （２） DATA_PATH = /usr/local/mfs/var/mfs 從元數(shù)據(jù)服務器 (master)抓回文件，然后進行存放的路徑。需要注意的是，源數(shù)據(jù)日志守護進程跟元數(shù)據(jù)服務器（ master）在同一個服務器上，備份元數(shù)據(jù)日志的服務器作為它的客戶端，從元數(shù)據(jù)服務器取得日志文件進行備份。這個一定要謹慎。當我們增加數(shù)據(jù)存儲服務器（ chunkserver）或數(shù)據(jù)存儲服務器（ chunkserver）處故障時，都能在系統(tǒng)日志找到這些記錄。這個文件的內(nèi)容，十分類似 NFS 服務器的 exports 文件．實際配置時，可參照這個文件的默認行來修改以滿足自己的應用需求．我的 文件的內(nèi)容為： ,alldirs,mapall=mfs （ 3）復制文件 cp /usr/local/mfs/var/mfs/ /usr/local/mfs/var/mfs/ 這是一個 8 字節(jié)的文件，為 新增項目。其他部分看字面意思都不難理解。 MATOML_LISTEN_PORT = 9419 MATOMLmaster to metalogger，用于備份元數(shù)據(jù)服務器的變化日志。那么這些數(shù)據(jù)都包括哪些呢？進目錄看看，大致分 3 種類型的文件，如圖 85 所示： 圖 15 mfs 文件類型 畢業(yè)設計（論文）報告紙 共 11 頁 第 6 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 這些文件也同樣要存儲在其他數(shù)據(jù)存儲服務器的相關目錄。 為了使 mfs master 正常工作，需要兩個配置文件 及 。 GNU 源碼，在各種類 unix 平臺的安裝都基本一致。 畢業(yè)設計（論文）報告紙 共 11 頁 第 4 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 客戶端告知元數(shù)據(jù)服務器本次寫入完畢。 與其他 chunk 服務器進行數(shù)據(jù)同步。 寫入數(shù)據(jù)的過程比讀取數(shù)據(jù)要復雜一些，它大致分 8 個步驟： 客戶端向元數(shù)據(jù)服務器發(fā)送寫入請求。 客戶端取得所需數(shù)據(jù)。使用 MFS 文件系統(tǒng)來存儲和訪問的主機稱為 MFS 的客戶端，成功掛接 MFS 文件系統(tǒng)以后，就可以像以前使用 NFS 一樣共享這個虛擬性的存儲了。存儲文件時，首先把文件分成塊，然后這些塊在數(shù)據(jù)服務器 chunkserver 之間復制（復制份數(shù)可以手工指定，建議設置副本數(shù)為 3）。當元數(shù)據(jù)服務器數(shù)據(jù)丟失或者損毀，可從日志服務器取得文件進行恢復。希望今后 MFS 能支持多個master 服務器，進一步提高系統(tǒng)的可靠性。圖 82 展示了這種特性： 圖 12 MFS 文件副本存儲位置 ★ 通過增加計算機或增加新的硬盤動態(tài)擴充可用磁盤空間 ★ 可以設置刪除文件的空間回收時間 [rootmysqlbk serydir] mfsgettrashtime : 600 文件被刪除 10 分鐘后（ 600 秒），才真正刪除文件，回收磁盤空間。 恢復服務容易?？纯?lustre 700 多頁的 pdf 文檔，讓人頭昏吧。 關于 moosefs 到目前為止，有數(shù)十種以上的分布式文件系統(tǒng)解決方案可供選擇，如 lustre,hadoop,Pnfs 等等?；谶@樣一種需求，我們需要對 nfs 服務器進行優(yōu)化或采取別的解決方案。察看系統(tǒng)日志，全是 nfs 服務超時之類的報錯。 參考文獻 ........................................................................................................................................... 1 附錄 ................................................................................................................................................. 20 謝辭 .................................................................................................................... 錯誤 !未定義書簽。 地址總線硬件故障分析和模擬 ............................................ 錯誤 !未定義書簽。 4 硬件模擬方案生成 ............................................................