【正文】 的關(guān)系（ 1 個 NFS 服務(wù)器，多個 NFS 客戶端），而是多對多的關(guān)系，這樣一來，性能大幅提升毫無問題。 關(guān)于 moosefs 到目前為止，有數(shù)十種以上的分布式文件系統(tǒng)解決方案可供選擇，如 lustre,hadoop,Pnfs 等等。我嘗試了 PVFS,hadoop,moosefs 這三種應(yīng)用，參看了 lustre、 KFS 等諸多技術(shù)實施方法，最后我選 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 2 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 擇了 moosefs（以下簡稱 MFS）這種分布式文件系統(tǒng)來作 為我的共享存儲服務(wù)器。為什么要選它呢？我來說說我的一些看法： 實施起來簡單。 MFS 的安裝、部署、配置相對于其他幾種工具來說，要簡單和容易得多。看看 lustre 700 多頁的 pdf 文檔，讓人頭昏吧。 不停服務(wù)擴容。 MFS 框架做好后，隨時增加服務(wù)器擴充容量；擴充和減少容量皆不會影響現(xiàn)有的服務(wù)。注： hadoop 也實現(xiàn)了這個功能。 恢復(fù)服務(wù)容易。除了 MFS 本身具備高可用特性外，手動恢復(fù)服務(wù)也是非常快捷的，原因參照第 1 條。 我在實驗過程中得到作者的幫助，這讓我很是感激。 MFS 特性 （ 根據(jù)官方網(wǎng)站翻譯 ） ★ 高可靠性（數(shù)據(jù)能被分成幾個副本存儲在不同的計算機里）。圖 82 展示了這種特性： 圖 12 MFS 文件副本存儲位置 ★ 通過增加計算機或增加新的硬盤動態(tài)擴充可用磁盤空間 ★ 可以設(shè)置刪除文件的空間回收時間 [root@mysqlbk serydir] mfsgettrashtime : 600 文件被刪除 10 分鐘后（ 600 秒），才真正刪除文件，回收磁盤空間。 ★ 為文件創(chuàng)建快照 MFS 文件系統(tǒng)的組成 MFS 分布式文件系統(tǒng) 由元數(shù)據(jù)服務(wù)器、元數(shù)據(jù)日志服務(wù)器（也稱備份服務(wù)器）、數(shù)據(jù)存儲服務(wù)器、客戶端（用戶主機）等幾部分組成： 元數(shù)據(jù)服務(wù)器。在整個體系中負責(zé)管理管理文件系統(tǒng)，目前 MFS 只支持一個元數(shù)據(jù)服務(wù)器 master，這是一個單點故障，需要一個性能穩(wěn)定的服務(wù)器來充當(dāng)。希望今后 MFS 能支持多個master 服務(wù)器，進一步提高系統(tǒng)的可靠性。 元數(shù)據(jù)日志服務(wù)器。備份 master 服務(wù)器的變化日志文件，文件類型為 changelog_ml.*.mfs。當(dāng)元數(shù)據(jù)服務(wù)器數(shù)據(jù)丟失或者損毀，可從日志服務(wù)器取得文件進行恢復(fù)。 數(shù)據(jù)存儲服務(wù)器 chunkserver。真正存儲用戶數(shù)據(jù)的服務(wù)器。存儲文件時，首先把文件分成塊，然后這些塊在數(shù)據(jù)服務(wù)器 chunkserver 之間復(fù)制（復(fù)制份數(shù)可以手工指定，建議設(shè)置副本數(shù)為 3）。數(shù)據(jù)服務(wù)器可以是多個，并且數(shù)量越多，可使用的“磁盤空間”越大，可靠性也越高。 客戶端。使用 MFS 文件系統(tǒng)來存儲和訪問的主機稱為 MFS 的客戶端，成功掛接 MFS 文件系統(tǒng)以后，就可以像以前使用 NFS 一樣共享這個虛擬性的存儲了。 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 3 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ MFS 讀寫處理過程 MFS 讀取數(shù)據(jù)分以下 4 個步驟： 客戶端向元數(shù)據(jù)服務(wù)器 發(fā)請求。 元數(shù)據(jù)服務(wù)器把所需數(shù)據(jù)存放的位置（ chunk server 的 ip 地址及 chunk 編號）告知客戶端。 客戶端向已知 chunk 服務(wù)器請求發(fā)送數(shù)據(jù)。 客戶端取得所需數(shù)據(jù)。 整個讀取數(shù)據(jù)如圖 13 所示 (圖片來源于官方網(wǎng)站 ): 圖 13 moosefs 讀取數(shù)據(jù)過程 數(shù)據(jù)傳輸并不通過元數(shù)據(jù)服務(wù)器。這既減輕了元數(shù)據(jù)服務(wù)器的壓力，同時也大大增加了整個系統(tǒng)的吞吐能力。在多個客戶端讀取數(shù)據(jù)時，讀取點（ chunk server）有可能被分散到不同的服務(wù)器。 寫入數(shù)據(jù)的過程比讀取數(shù)據(jù)要復(fù)雜一些，它大致分 8 個步驟： 客戶端向元數(shù)據(jù)服務(wù)器發(fā)送寫入請求。 元數(shù)據(jù)服務(wù)器與 chunk server 進行如下交互（這個過程是可選項目，只有當(dāng)所需的 chunks【注1】 不存在時才進 行這個交互）： ① 元數(shù)據(jù)庫服務(wù)器指示在某些 chunk 服務(wù)器創(chuàng)建分塊 chunks. ② Chunk 服務(wù)器告知元數(shù)據(jù)服務(wù)器，第①步的操作成功。 元數(shù)據(jù)服務(wù)器告知客戶端，你可以在哪個 chunk 服務(wù)器的那個 chunks 寫入數(shù)據(jù)。 向指定的 chunk 服務(wù)器寫入數(shù)據(jù)。 與其他 chunk 服務(wù)器進行數(shù)據(jù)同步。同步的服務(wù)器依據(jù)設(shè)定的副本數(shù)而定 — 副本為 2，則需同步一個 chunk 服務(wù)器。 Chunk 服務(wù)器之間同步成功。 Chunk 服務(wù)器告知客戶端數(shù)據(jù)寫入成功。 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 4 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 客戶端告知元數(shù)據(jù)服務(wù)器本次寫入完畢。 整個寫入過程如圖 14 所示（圖 片來源于官方網(wǎng)站 ）： 圖 14 MFS 數(shù)據(jù)寫入過程 與讀取數(shù)據(jù)一樣， MFS 寫入數(shù)據(jù)過程中，數(shù)據(jù)的傳輸任然不需要經(jīng)過元數(shù)據(jù)服務(wù)器。 [注 1]chunk server 是相對于服務(wù)器的 。而 chunks 則是以磁盤分區(qū)為對象，一個 chunks 就是一個 MFS 磁盤分配單位 2 元數(shù)據(jù)服務(wù)器安裝和配置 元數(shù)據(jù)服務(wù)器可以是 linux,也可以是 unix,你可以根據(jù)自己的使用習(xí)慣選擇操作系統(tǒng) ,在我的環(huán)境里 ,我是用 freebsd 做為 MFS 元數(shù)據(jù)的運行平臺。 GNU 源碼，在各種類 unix 平臺的安裝都基本一致。 安裝元數(shù)據(jù)服務(wù) 下載 GNU 源碼 wget 解包 tar zxvf 切換目錄 cd 創(chuàng)建用戶 useradd mfs –s /sbin/nologin 配置 ./configure prefix=/usr/local/mfs withdefaultuser=mfs withdefaultgroup=mfs 編譯安裝 make 。 make install 配置元數(shù)據(jù)服務(wù) 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 5 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 元數(shù)據(jù)服務(wù)器的配置文件被放置于安裝目錄 /usr/local/mfs/etc。與 版本不同的是： 版安裝完成只有模版文件，其后綴形如 。為了使 mfs master 正常工作，需要兩個配置文件 及 。前者為主配置文件，后者為權(quán)限控制文件（ mfs客戶端掛接時使用）。 （ 1）主配置文件 , 可直接從模版文件拷貝而來，打開這個配置文件/usr/local/mfs/etc/，看看都有哪些內(nèi)容： WORKING_USER = mfs WORKING_GROUP = mfs SYSLOG_IDENT = mfsmaster LOCK_MEMORY = 0 NICE_LEVEL = 19 EXPORTS_FILENAME = /usr/local/mfs/etc/ DATA_PATH = /usr/local/mfs/var/mfs BACK_LOGS = 50 REPLICATIONS_DELAY_INIT = 300 REPLICATIONS_DELAY_DISCONNECT = 3600 MATOML_LISTEN_HOST = * MATOML_LISTEN_PORT = 9419 MATOCS_LISTEN_HOST = * MATOCS_LISTEN_PORT = 9420 MATOCU_LISTEN_HOST = * MATOCU_LISTEN_PORT = 9421 CHUNKS_LOOP_TIME = 300 CHUNKS_DEL_LIMIT = 100 CHUNKS_WRITE_REP_LIMIT = 1 CHUNKS_READ_REP_LIMIT = 5 REJECT_OLD_CLIENTS = 0 deprecated, to be removed in MooseFS LOCK_FILE = /var/run/mfs/ 盡管每行都被注釋掉了，但它們卻是配置文件的默認值，要改變這些值，需要取消注釋，然后明確指定其取值。接下來說明一下其中一些項目的 含義。 EXPORTS_FILENAME = /usr/local/mfs/etc/ 權(quán)限控制文件的存放位置。 DATA_PATH = /usr/local/mfs/var/mfs 數(shù)據(jù)存放路徑，只元數(shù)據(jù)的存放路徑。那么這些數(shù)據(jù)都包括哪些呢？進目錄看看，大致分 3 種類型的文件，如圖 85 所示： 圖 15 mfs 文件類型 畢業(yè)設(shè)計（論文）報告紙 共 11 頁 第 6 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 這些文件也同樣要存儲在其他數(shù)據(jù)存儲服務(wù)器的相關(guān)目錄。 MATOCS_LISTEN_PORT = 9420 MATOCSmaster to chunkserver，即元數(shù)據(jù)服務(wù)器使用9420 這個監(jiān)聽端口來接受數(shù)據(jù)存儲服務(wù)器 chunkserver 端的連接。 MATOML_LISTEN_PORT = 9419 MATOMLmaster to metalogger，用于備份元數(shù)據(jù)服務(wù)器的變化日志。注： 以前的版本沒有這個項目。 MATOCU_LISTEN_PORT = 9421 元數(shù)據(jù)服務(wù)器在 9421 端口監(jiān)聽，用以接受客戶端對 MFS進行遠程掛接（客戶端以 mfsmount 掛接 MFS） 其他部分看字面意思都不難理解。還有幾個與 時間有關(guān)的數(shù)值，其單位是秒。 這個配置文件，不必做修改就能工作了。 （ 2）配置文件 /usr/local/mfs/etc/,也可直接從模版文件復(fù)制而來。這個文件的內(nèi)容，十分類似 NFS 服務(wù)器的 exports 文件．實際配置時，可參照這個文件的默認行來修改以滿足自己的應(yīng)用需求．我的 文件的內(nèi)容為： ,alldirs,mapall=mfs （ 3）復(fù)制文件 cp /usr/local/mfs/var/mfs/ /usr/local/mfs/var/mfs/ 這是一個 8 字節(jié)的文件，為 新增項目。 元數(shù)據(jù)服務(wù)器 master 啟動 元數(shù)據(jù)服務(wù)器可以單獨啟動，即使沒有任何數(shù)據(jù)存