【正文】 手動從元數(shù)據(jù)服務(wù)器復(fù)制一個日志文件過來比較文件的內(nèi)容。一個 MFS環(huán)境到底能集群多少服務(wù)器，作者的說法是上 PB 容量，個人建議，最好 3 臺以上；并且專門用來做存儲，不要把它跟 master 搞到一個機器（理論上沒問題，實現(xiàn)也是可以的，但這不是一個好策略）。 安裝數(shù)據(jù)存儲服務(wù)器 chunkserver 下載 GNU 源碼 wget 解包 tar zxvf 切換目錄 cd 創(chuàng)建用戶 useradd mfs –s /sbin/nologin 配置 ./configure prefix=/usr/local/mfs withdefaultuser=mfs withdefaultgroup=mfs 編譯安裝 make 。每個服務(wù)器用來分配給 MFS 使用的空間最好是一個單獨的硬盤或者一個 raid 卷，最低要求是一個分區(qū)。 修改配置文件 /usr/local/mfs/etc/。 ◆ LOCK_FILE = /var/run/mfs/ 與元數(shù)據(jù)服務(wù)器 master 的處理完全相同。 ◆ HDD_CONF_FILENAME = /usr/local/mfs/etc/ 分配給 MFS 使用的磁盤空間配置文件的位置。在我的服務(wù)器上，只有一個 1T 的 SATA 硬盤，分了一個 800G 容量的分區(qū)來做為 MFS 存儲服務(wù)的組成部分。我的服務(wù)器的分區(qū)掛接點是 /data , 用 chown –R mfs:mfs /data 把屬主改變。 啟動數(shù)據(jù)存儲服務(wù)器 chunkserver 在數(shù)據(jù)存儲服務(wù)器 chunkserver 執(zhí)行命令 /usr/local/mfs/sbin/mfschunkserver start 啟動數(shù)據(jù)存儲守護進程 .通過以下幾種方式來檢查 chunkserver 的運行狀態(tài)： 查看進程 ps aux | grep mfschunkserver 查看網(wǎng)絡(luò)狀態(tài)，正常情況下應(yīng)該看見 9422 處于監(jiān)聽狀態(tài)，如果有其他數(shù)據(jù)存儲服務(wù)器chunkserver 在同一個元數(shù)據(jù)服務(wù)器 master 管理下運行的話，應(yīng)該能 看見其他 chunkserver跟本機的連接情況。 tail f /var/log/messages Mar 27 14:28:00 mfsctrl mfsmaster[29647]: server 3 (): usedspace: 65827913728 (61 GB), totalspace: 879283101696 (818 GB), usage: % 關(guān)閉數(shù)據(jù)存儲服務(wù)器 跟元數(shù)據(jù)服務(wù)器 master 相似，執(zhí)行命令 /usr/local/mfs/sbin/mfschunkserver –s（或者執(zhí)行命令/usr/local/mfs/sbin/mfschunkserver stop） , chunkserver 服務(wù)就停下來了。 MFS 客戶端的安裝及配置 我的生產(chǎn)環(huán)境，只有 centos 和 freebsd 兩種環(huán)境，因此下面的描述，只有 centos 及 freebsd 掛接 MFS 文件系統(tǒng)的情形，其他類型的 unix 系統(tǒng)，待日后嘗試。 centos 作為 MFS 的客戶端。 解包 tar zxvf 切換目錄 cd . 配置 ./configure 編譯安裝 make； make install 如果系統(tǒng)已經(jīng)安裝了 fuse,則跳過這個步驟。 如果不執(zhí)行這個操作，在后面安裝 MFS 的過程中，執(zhí)行命令 ./configure enablemfsmount 時 可能 出現(xiàn) checking for FUSE... no configure: error: mfsmount build was forced, but fuse development package is not installed這樣的錯誤，而不能正確安裝 MFS 客戶端程序。 make install ◆檢查 MFS 客戶端安裝的結(jié)果。 保證 fuse 模塊被加載內(nèi)核。 掛接 MFS /usr/local/mfs/bin/mfsmount /mnt/mfs –Ｈ .注意，所有的 MFS 都是掛接同一個元數(shù)據(jù)服務(wù)器 master,而不是其他數(shù)據(jù)存儲服務(wù)器 chunkserver ! export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 12 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 通過查看磁盤使用情況來檢查是否被掛接成功。 設(shè)置文件副本數(shù)量，建議以 3 份為佳。默認的回收時間為 7 天（ 604800 秒 ） 修改回收時間為 10 分鐘 mfsrsettrashtime 600 /mnt/mfs 把掛接命令追加到文件 /etc/，可實現(xiàn)開機自動啟動掛接 MFS. freebsd 作為 MFS 客戶端 Freebsd安裝和掛接 MFS集群文件系統(tǒng) ,比 centos操作起來要復(fù)雜一些 .mfsmount需要依賴 fuse,并且需要在內(nèi)核中加載 fusefs 模塊。 二、安裝內(nèi)核模塊 fusefskmod 執(zhí)行系統(tǒng)命令 sysinstall，如圖 812 所示： 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 13 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 圖 212 freebsd sysinstall 菜單界面 光標選定 Configure,進入下一步。如圖 214 所示： 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 14 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 圖 214 freebsd sysinstall 菜單界面（續(xù)二 ） 選擇“ FTP”作為安裝源，進入下一步。如圖 216 所示： 圖 216 freebsd sysinstall 菜單界面（續(xù)四 ） 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 15 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 選擇“ ” ,按 [OK]返回到第“ 4”步出現(xiàn)的那個操作界面。 三、 加載內(nèi)核模塊 fuse 加載 fusefs 模塊 kldload /usr/local/modules/ 。 四、安裝包 pkgconfig cd /usr/ports/devel/pkgconfig make install clean 五、 安裝 MFS 客戶端 解包 tar zxvf 切換目錄 cd 創(chuàng)建用戶 pw useradd mfs –s /sbin/nologin 配置 ./configure prefix=/usr/local/mfs withdefaultuser=mfs withdefaultgroup=mfs enablemfsmount 編譯安裝 make 。通過查看目錄 /usr/local/mfs/bin 目錄的文件，應(yīng)該發(fā)現(xiàn)如下文件。 [rootmysqlbk ~] df h Filesystem Size Used Avail Capacity Mounted on /dev/ad4s1a 26G 570M 24G 2% / devfs 0B 100% /dev /dev/ad4s1g 356G 157G 170G 48% /data /dev/ad4s1f 17G 215M 15G 1% /home /dev/ad4s1d 28G 25G 4% /usr /dev/ad4s1e 24G 362M 21G 2% /var /dev/fuse0 256G 11% /mnt/mfs 進入目錄 /mnt/mfs，我們可以看見前面步驟用 centos 上傳到分布式文件系統(tǒng) MFS 里的文件。 設(shè)置副本數(shù)目 mfsrsetgoal 3 /mnt/mfs 查看設(shè)置是否如我所愿 mfsgetgoal /mnt/mfs/serydir/ /mnt/mfs/serydir/: 3 設(shè)置刪除文件后空間回 收時間。 3 破壞性測試 測試對象包括數(shù)據(jù)存儲服務(wù)器 chunkserver 和元數(shù)據(jù)服務(wù)器 master。先停止一個 chunkserver 服務(wù)，然后在某個 MFS 客戶端往掛接點的目錄（ /mnt/mfs）里復(fù)制數(shù)據(jù)或者創(chuàng)建目錄 /文件、或者讀取文件、或者刪除文件，觀察操作是否能正常進行。減少chunkserver試驗后，我們再來逐步增加 chunkserver服務(wù)器 ,然后對 MFS執(zhí)行讀寫等相關(guān)訪問操作，檢驗其正確性。 測試元數(shù)據(jù)服務(wù)器 元數(shù)據(jù)服務(wù)器最重要的文件在目錄 /usr/local/mfs/var/mfs ， MFS 每一個數(shù)據(jù)的變化，都被記錄在這個目錄的文件里。在正常情況下，元數(shù)據(jù)服務(wù)器的改變?nèi)罩疚募?(changelogs) 實時地、自動地復(fù) 制到所有的數(shù)據(jù)存儲服務(wù)器，并且以 changelog_csback.*.mfs 的形式命名。 ◆ 本地測試 停止元數(shù)據(jù)服務(wù) /usr/local/mfs/sbin/mfsmaster 備份元數(shù)據(jù)服務(wù)器數(shù)據(jù) cd /usr/local/mfs/var。 解包 tar zxvf 執(zhí)行恢復(fù)操作 .. /sbin/mfsmetarestore – a 啟動元數(shù)據(jù)服務(wù) ../sbin/mfsmaster start 在 MFS 客戶端檢查 MFS 存儲的數(shù)據(jù)是否跟恢復(fù)前一致？能否正常訪問等等。 從當前的元數(shù)據(jù)服器（ｍａｓｔｅｒ）或日志備份服務(wù)器 (mfsmetalogger)復(fù) 制備份文件 ( 需要定時用 crontab 備份 ). 從當前的元數(shù)據(jù)服器（ｍａｓｔｅｒ）或日志備份服務(wù)器 (mfsmetalogger)復(fù)制元數(shù)據(jù)服務(wù)器數(shù)據(jù)目錄（ /usr/local/mfs/var/mfs）到這個新的元數(shù)據(jù)服務(wù)器。 更改新的元數(shù)據(jù)服務(wù)器的 ip 為原來那個服務(wù)器的 ip. 執(zhí)行數(shù)據(jù)恢復(fù)操作，其命令為： mfsmetarestore m o changelog_ml.*.mfs。 啟動新的元數(shù)據(jù)服務(wù) /usr/local/mfs/sbin/mfsmaster start 在 MFS 客戶端檢查 MFS 存儲的數(shù)據(jù)是否跟恢復(fù)前一致？能否正常訪問等等。因此這里收錄網(wǎng)友 jin xiu 的測