【正文】 啟動(dòng)新的元數(shù)據(jù)服務(wù) /usr/local/mfs/sbin/mfsmaster start 在 MFS 客戶端檢查 MFS 存儲(chǔ)的數(shù)據(jù)是否跟恢復(fù)前一致？能否正常訪問等等。 ◆ 本地測試 停止元數(shù)據(jù)服務(wù) /usr/local/mfs/sbin/mfsmaster 備份元數(shù)據(jù)服務(wù)器數(shù)據(jù) cd /usr/local/mfs/var。先停止一個(gè) chunkserver 服務(wù)，然后在某個(gè) MFS 客戶端往掛接點(diǎn)的目錄（ /mnt/mfs）里復(fù)制數(shù)據(jù)或者創(chuàng)建目錄 /文件、或者讀取文件、或者刪除文件，觀察操作是否能正常進(jìn)行。通過查看目錄 /usr/local/mfs/bin 目錄的文件，應(yīng)該發(fā)現(xiàn)如下文件。如圖 214 所示： 畢業(yè)設(shè)計(jì)（論文）報(bào)告紙 共 11 頁 第 14 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 圖 214 freebsd sysinstall 菜單界面（續(xù)二 ） 選擇“ FTP”作為安裝源，進(jìn)入下一步。 掛接 MFS /usr/local/mfs/bin/mfsmount /mnt/mfs –Ｈ .注意，所有的 MFS 都是掛接同一個(gè)元數(shù)據(jù)服務(wù)器 master,而不是其他數(shù)據(jù)存儲(chǔ)服務(wù)器 chunkserver ! export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH 畢業(yè)設(shè)計(jì)（論文）報(bào)告紙 共 11 頁 第 12 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 通過查看磁盤使用情況來檢查是否被掛接成功。 解包 tar zxvf 切換目錄 cd . 配置 ./configure 編譯安裝 make； make install 如果系統(tǒng)已經(jīng)安裝了 fuse,則跳過這個(gè)步驟。 啟動(dòng)數(shù)據(jù)存儲(chǔ)服務(wù)器 chunkserver 在數(shù)據(jù)存儲(chǔ)服務(wù)器 chunkserver 執(zhí)行命令 /usr/local/mfs/sbin/mfschunkserver start 啟動(dòng)數(shù)據(jù)存儲(chǔ)守護(hù)進(jìn)程 .通過以下幾種方式來檢查 chunkserver 的運(yùn)行狀態(tài)： 查看進(jìn)程 ps aux | grep mfschunkserver 查看網(wǎng)絡(luò)狀態(tài)，正常情況下應(yīng)該看見 9422 處于監(jiān)聽狀態(tài)，如果有其他數(shù)據(jù)存儲(chǔ)服務(wù)器chunkserver 在同一個(gè)元數(shù)據(jù)服務(wù)器 master 管理下運(yùn)行的話，應(yīng)該能 看見其他 chunkserver跟本機(jī)的連接情況。 ◆ LOCK_FILE = /var/run/mfs/ 與元數(shù)據(jù)服務(wù)器 master 的處理完全相同。一個(gè) MFS環(huán)境到底能集群多少服務(wù)器，作者的說法是上 PB 容量，個(gè)人建議，最好 3 臺(tái)以上；并且專門用來做存儲(chǔ)，不要把它跟 master 搞到一個(gè)機(jī)器（理論上沒問題，實(shí)現(xiàn)也是可以的，但這不是一個(gè)好策略）。請(qǐng)?zhí)貏e注意這個(gè)文件，它與日志文件一起，才能夠恢復(fù)整個(gè)被損壞的分布式文件系統(tǒng)。 make install 元數(shù)據(jù)日志服務(wù)（ metalogger）配置 該服務(wù)僅需要一個(gè)配置文件，這里我們只需要從模板文件復(fù)制一個(gè)，然后稍微 加以修改即可，下面是我的某個(gè) metalogger 的配置文件： [roothynfs2 etc] more WORKING_USER = mfs WORKING_GROUP = mfs SYSLOG_IDENT = mfsmetalogger LOCK_MEMORY = 0 NICE_LEVEL = 19 DATA_PATH = /usr/local/mfs/var/mfs BACK_LOGS = 50 META_DOWNLOAD_FREQ = 24 畢業(yè)設(shè)計(jì)（論文）報(bào)告紙 共 11 頁 第 8 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ MASTER_RECONNECTION_DELAY = 5 MASTER_HOST = MASTER_PORT = 9419 MASTER_TIMEOUT = 60 deprecated, to be removed in MooseFS LOCK_FILE = /var/run/mfs/ 這個(gè)配置文件，唯一需要修改的地方就是 MASTER_HOST，它的值必須是元數(shù)據(jù)服務(wù)器的主機(jī)名 或者ｉｐ地址。 關(guān)閉元數(shù)據(jù)服務(wù)器 關(guān)閉元數(shù)據(jù)服務(wù)器，務(wù)必使用 /usr/local/mfs/sbin/mfsmaster –s 這種方式 ( 或者執(zhí)行/usr/local/mfs/sbin/mfsmaster stop)。 這個(gè)配置文件，不必做修改就能工作了。 MATOCS_LISTEN_PORT = 9420 MATOCSmaster to chunkserver，即元數(shù)據(jù)服務(wù)器使用9420 這個(gè)監(jiān)聽端口來接受數(shù)據(jù)存儲(chǔ)服務(wù)器 chunkserver 端的連接。 （ 1）主配置文件 , 可直接從模版文件拷貝而來，打開這個(gè)配置文件/usr/local/mfs/etc/，看看都有哪些內(nèi)容： WORKING_USER = mfs WORKING_GROUP = mfs SYSLOG_IDENT = mfsmaster LOCK_MEMORY = 0 NICE_LEVEL = 19 EXPORTS_FILENAME = /usr/local/mfs/etc/ DATA_PATH = /usr/local/mfs/var/mfs BACK_LOGS = 50 REPLICATIONS_DELAY_INIT = 300 REPLICATIONS_DELAY_DISCONNECT = 3600 MATOML_LISTEN_HOST = * MATOML_LISTEN_PORT = 9419 MATOCS_LISTEN_HOST = * MATOCS_LISTEN_PORT = 9420 MATOCU_LISTEN_HOST = * MATOCU_LISTEN_PORT = 9421 CHUNKS_LOOP_TIME = 300 CHUNKS_DEL_LIMIT = 100 CHUNKS_WRITE_REP_LIMIT = 1 CHUNKS_READ_REP_LIMIT = 5 REJECT_OLD_CLIENTS = 0 deprecated, to be removed in MooseFS LOCK_FILE = /var/run/mfs/ 盡管每行都被注釋掉了，但它們卻是配置文件的默認(rèn)值，要改變這些值，需要取消注釋，然后明確指定其取值。 [注 1]chunk server 是相對(duì)于服務(wù)器的 。 元數(shù)據(jù)服務(wù)器告知客戶端，你可以在哪個(gè) chunk 服務(wù)器的那個(gè) chunks 寫入數(shù)據(jù)。 元數(shù)據(jù)服務(wù)器把所需數(shù)據(jù)存放的位置（ chunk server 的 ip 地址及 chunk 編號(hào)）告知客戶端。數(shù)據(jù)存儲(chǔ)服務(wù)器 chunkserver。元數(shù)據(jù)服務(wù)器。 MFS 框架做好后，隨時(shí)增加服務(wù)器擴(kuò)充容量；擴(kuò)充和減少容量皆不會(huì)影響現(xiàn)有的服務(wù)。 通過調(diào)研，分布式文件系統(tǒng)是一個(gè)比較合適的選擇。通過排查各服務(wù)器的情況，發(fā)現(xiàn)問題的根源在于共享存儲(chǔ)服務(wù)器 NFS。 硬件故障的表征及模擬方案 ........................................................... 錯(cuò)誤 !未定義書簽。 控制故障分析和模擬 ............................................................ 錯(cuò)誤 !未定義書簽。 故障、錯(cuò)誤分類法及傳播模型 ....................................................... 錯(cuò)誤 !未定義書簽。 故障注入實(shí)現(xiàn)方法綜述 ........................................................ 錯(cuò)誤 !未定義書簽。穩(wěn)定性要求是不會(huì)因?yàn)榇罅髁慷礄C(jī)。 畢業(yè)設(shè)計(jì)（論文）報(bào)告紙 共 Ⅲ 頁 第 I 頁 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 裝 ┊ ┊ ┊ ┊ ┊ 訂 ┊ ┊ ┊ ┊ ┊ 線 ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ ┊ 摘 要 當(dāng)前互聯(lián)網(wǎng)高速發(fā)展，在互聯(lián)網(wǎng)的眾多應(yīng)用中，視頻網(wǎng)站是其中主要應(yīng)之一。冗余要求每個(gè)數(shù)據(jù)文件至少要有 2 份拷貝。 軟件實(shí)現(xiàn)的故障注入方法 .................................................... 錯(cuò)誤 !未定義書簽。 ODC 故障、錯(cuò)誤分類 ........................................................... 錯(cuò)誤 !未定義書簽。 算法故障分析和模擬 ............................................................ 錯(cuò)誤 !未定義書簽。 處理器硬件故障分析和模擬 ................................................ 錯(cuò)誤 !未定義書簽。在我這個(gè)網(wǎng)絡(luò)環(huán)境里， 多 個(gè)服務(wù)器通過 nfs 方式共享一個(gè)服務(wù)器的存儲(chǔ)空間，使得 NFS 服務(wù)器不堪重負(fù)。采用分布式文件系統(tǒng)后，服務(wù)器之間的數(shù)據(jù)訪問不再是一對(duì)多的關(guān)系（ 1 個(gè) NFS 服務(wù)器，多個(gè) NFS 客戶端），而是多對(duì)多的關(guān)系，這樣一來，性能大幅提升毫無問題。注： hadoop 也實(shí)現(xiàn)了這個(gè)功能。在整個(gè)體系中負(fù)責(zé)管理管理文件系統(tǒng)，目前 MFS 只支持一個(gè)元數(shù)據(jù)服務(wù)器 master，這是一個(gè)單點(diǎn)故障，需要一個(gè)性能穩(wěn)定的服務(wù)器來充當(dāng)。真正存儲(chǔ)用戶數(shù)據(jù)的服務(wù)器。 客戶端向已知 chunk 服務(wù)器請(qǐng)求發(fā)送數(shù)據(jù)。 向指定的 chunk 服務(wù)器寫入數(shù)據(jù)。而 chunks 則是以磁盤分區(qū)為對(duì)象，一個(gè) chunks 就是一個(gè) MFS 磁盤分配單位 2 元數(shù)據(jù)服務(wù)器安裝和配置 元數(shù)據(jù)服務(wù)器可以是 linux,也可以是 unix,你可以根據(jù)自己的使用習(xí)慣選擇操作系統(tǒng) ,在我的環(huán)境里 ,我是用 freebsd 做為 MFS 元數(shù)據(jù)的運(yùn)行平臺(tái)。接下來說明一下其中一些項(xiàng)目的 含義。 （ 2）配置文件 /usr/local/mfs/etc/,也可直接從模版文件復(fù)制而來。如果直接使用 kill 殺死進(jìn)程，將導(dǎo)致下次啟動(dòng)時(shí)出現(xiàn)找不到相關(guān)文件，而不能正常啟動(dòng)服務(wù)器。另外，為方便大家進(jìn)一步理解，我把配置文件里其他幾個(gè)項(xiàng)目簡單的說明一下： （１） SYSLOG_IDENT = mfsmetalogger 元數(shù)據(jù)日志服務(wù)運(yùn)行時(shí)，在系統(tǒng)日志輸出的標(biāo)識(shí)。 元數(shù)據(jù)日志服務(wù)（ metalogger）運(yùn)行及關(guān)閉 １、啟動(dòng)過程為： /usr/local/mfs/sbin/mfsmetalogger start working directory: /usr/local/mfs/var/mfs lockfile created and locked initializing mfsmetalogger module