【文章內(nèi)容簡(jiǎn)介】 上型計(jì)算機(jī)的人 們）會(huì)從中獲益。 我們也將簡(jiǎn)要講述其他三個(gè)系統(tǒng)。 Plan9 是一個(gè)將所有資源都視為文件的分布式系統(tǒng)。從這種意義上來說，它可以被視為一個(gè)基于文件的分布式系統(tǒng)。我們將講述的另一個(gè)系統(tǒng)是 xFS，其與眾不同之處在于它沒有服務(wù)器，而是讓客戶實(shí)現(xiàn) 9 文件系統(tǒng)。最后，我們會(huì)介紹 SFS，該系統(tǒng)強(qiáng)調(diào)可擴(kuò)展的安全性 [3]。 SUN 網(wǎng)絡(luò)文件系統(tǒng) 我們以 SUN 微系統(tǒng)的網(wǎng)絡(luò)文件系統(tǒng)（ work file system），即通常所說的NFS，開始討論分布式文件系統(tǒng)。 NFS 最初是 Sun 為在它的基于 UNIX 的工作站上的使用而開發(fā)的，但是 NFS 已在許多其他系統(tǒng)中實(shí)現(xiàn)。 NFS 的基本思想是每臺(tái)文件服務(wù)器提供它的本地文件系統(tǒng)的標(biāo)準(zhǔn)化視圖。也就是說，它不關(guān)心如何實(shí)現(xiàn)本地文件系統(tǒng)，每臺(tái) NFS 服務(wù)器支持相同的模型。這個(gè)模型帶有一個(gè)通信協(xié)議，該協(xié)議允許客戶訪問存儲(chǔ)在一臺(tái)服務(wù)器上的文件。這種方法允許大量異構(gòu)進(jìn)程共享一個(gè)公共的文件系統(tǒng)，其中的進(jìn)程可能運(yùn)行于不同的操作系統(tǒng)和機(jī)器上。 (1)NFS 概述 與其說 NFS 是一個(gè)真正的文件系統(tǒng)，不如說它是共同為客戶提供分布式文件系統(tǒng)模型的協(xié)議的集合。 NFS 協(xié)議是以不同的實(shí)現(xiàn)之間應(yīng)該易 于進(jìn)行互操作為目的而設(shè)計(jì)的。因此， NFS 可以運(yùn)行于大量異構(gòu)計(jì)算機(jī)之上。 (2)NFS 體系結(jié)構(gòu) NFS 底層的模型是遠(yuǎn)程文件服務(wù)的模型。這個(gè)模型為客戶提供對(duì)遠(yuǎn)程服務(wù)器所管理的文件系統(tǒng)的透明訪問。但是，客戶通常不知道文件的實(shí)際位置，相反，NFS 為客戶提供訪問此文件系統(tǒng)的接口，此接口類似于傳統(tǒng)本地文件系統(tǒng)所提供的接口。也就是說，客戶僅被提供包含多種文件操作的接口，而服務(wù)器負(fù)責(zé)實(shí)現(xiàn)這些操作。因此，這一模型也被稱為遠(yuǎn)程訪問模型（ remote access model），如圖 服務(wù)器 文件位于服務(wù)器上 客戶 來自客戶的訪問遠(yuǎn)程文件的請(qǐng)求 文件位于服務(wù)器上 10 （ a）上載 /下載模型 與之相對(duì)照，在上載、下載模型（ upload/download model）中，客戶從服務(wù)器下載文件后，在本地訪問該文件，如圖 （ a）所示?？蛻敉瓿蓪?duì)文件的訪問后，再將該文件上載回服務(wù)器，以便其他客戶使用該文件。當(dāng)客戶下載一個(gè)完整的文件，修改該文件，然后將其放回服務(wù)器時(shí)，可以使用 Inter 的 FTP服務(wù)。 盡管 NFS 基于 UNIX 的版本占主流地位，但是 NFS 已開發(fā)了多種版本以用于許多不同的操作系統(tǒng)。實(shí)際上，對(duì) 所有現(xiàn)代 UNIX 系統(tǒng)而言， NFS 通常按照?qǐng)D （ b）所示的層次體系結(jié)構(gòu)實(shí)現(xiàn)。 圖 （ b） (3)文件系統(tǒng)模型 舊文件 新文件 客戶 服務(wù)器 到客戶 ，文件返回服務(wù)器 11 NFS 版本四支持硬鏈接和符號(hào)鏈接。文件具有文件名，但是訪問它們是通過一種類似 UNIX 的文件句柄（ file handle）實(shí)現(xiàn)的，為訪問一個(gè)文件，客戶必須現(xiàn)在命名服務(wù)器中搜索該文件的文件名，然后獲得該文件關(guān)聯(lián)的文件句柄。另外，每個(gè)文件有許多屬性，這些屬性是可以查詢和修改的。下表列出了 NFS 支持的通用文件操作。 操作 描述 create 創(chuàng)建一個(gè)非常規(guī)文件 link 創(chuàng)建一個(gè)文件的硬鏈接 rename 更改文件名 remove 從文件系統(tǒng)刪除一個(gè)文件 open 打開一個(gè)文件 close 關(guān)閉一個(gè)文件 lookup 根據(jù)文件名搜索文件 readdir 讀取一個(gè)目錄下的項(xiàng)目 setattr 設(shè)置文件的一個(gè)或多個(gè)屬性值 read 讀取文件中的數(shù)據(jù) write 向文件寫入數(shù)據(jù) 表 （ c） 12 不同分布式文件系統(tǒng)對(duì)比 該表總結(jié)了 5 種不同分布式 文件系統(tǒng)的各個(gè)要點(diǎn)： 要點(diǎn) NFS Coda Plan9 xFS SPF 設(shè)計(jì)目標(biāo) 訪問透明性 高可用性 統(tǒng)一性 無服務(wù)器系統(tǒng) 可擴(kuò)展的安全性 訪問模型 遠(yuǎn)程 上載 /下載 遠(yuǎn)程 基于日志 遠(yuǎn)程 通信 RPC RPC 特殊方法 活動(dòng)消息 RPC 客戶進(jìn)程 瘦 /胖 胖 瘦 胖 中等 服務(wù)器組 無 有 無 有 無 裝入粒度 目錄 文件系統(tǒng) 文件系統(tǒng) 文件系統(tǒng) 目錄 名稱空間 每個(gè)客戶 全局 每個(gè)進(jìn)程 全局 全局 文件 ID 范圍 文件服務(wù)器 全局 服務(wù)器 全局 文件系統(tǒng) 共享語義 會(huì)話 事務(wù)處理 UNIX UNIX N/S 緩存單元 文件 文件 文件 塊 N/S 高速緩存一致性 回寫式 回寫式 直寫式 回寫式 回寫式 復(fù)制 最低限度 ROWA 無 帶區(qū)劃分 無 容錯(cuò) 可靠的通信 復(fù)制與緩存 可靠的通信 帶區(qū)劃分 可靠地通信 13 恢復(fù) 基于客戶 重新合成 N/S 檢查點(diǎn)和記錄日志 N/S 安全通道 現(xiàn)存的機(jī)制 重新合成 N/S 檢查點(diǎn)和記錄日志 自證明 訪問控制 許多操作 目錄操作 基于 UNIX 基于 UNIX 基于 NFS 表 注： N/S表示無特殊規(guī)定 技術(shù) P2P 技術(shù) P2P 的背景與發(fā)展 對(duì)等網(wǎng)絡(luò) p2p（ peer to peer），維基百科是這樣定義的： P2P 技術(shù)是一種網(wǎng)絡(luò)新技術(shù)，依賴網(wǎng)絡(luò)中參與者的計(jì)算能力和帶寬，而不是把依賴都聚集在較少的幾臺(tái)服務(wù)器上。在 P2P 網(wǎng)絡(luò)環(huán)境中，成千上萬臺(tái)彼此連接的計(jì)算機(jī)都處于平等的地位，整個(gè)網(wǎng)絡(luò)一般來說不會(huì)依賴于專門的中央服務(wù)器。網(wǎng)絡(luò)中的每一臺(tái)計(jì)算機(jī)既能充當(dāng)網(wǎng)絡(luò)服務(wù)的請(qǐng)求者，又能對(duì)其他計(jì)算機(jī)的請(qǐng)求做出響應(yīng)，提供資源或其他服務(wù) [8]。 P2p 技術(shù)的發(fā)展可以追溯到上世紀(jì)九十年代 ，由一個(gè)叫肖恩的大一學(xué)生編寫的叫 Napster 的程序，這個(gè)程序能搜索音樂文件并提供檢索功能。隨著互聯(lián)網(wǎng)的發(fā)展，尤其是上世紀(jì) 90年代后期，計(jì)算機(jī)硬件的性能有了突飛猛進(jìn)的發(fā)展，而且網(wǎng)絡(luò)帶寬等基礎(chǔ)設(shè)施也大幅的改善，人們開始感到有必要而且能夠直接控制、修改和共享資源。隨后開始把服務(wù)器軟件也放在單獨(dú)的 PC上，而且在 PC與 PC之間直接進(jìn)行通信，這就導(dǎo)致了 P2P 技術(shù)的復(fù)興。 P2P 技術(shù)主要指由硬件形成網(wǎng)絡(luò)連接后的信息控制技術(shù)，是應(yīng)用層上的一種邏輯網(wǎng)絡(luò)，主要的代表就是在基于 P2P 網(wǎng)絡(luò)協(xié)議的各種客戶端軟件。 14 由上文可知， P2P 網(wǎng)絡(luò)是屬于疊加在底層通信網(wǎng)絡(luò)基礎(chǔ)之 上的邏輯網(wǎng)絡(luò)，是 應(yīng)用層的程序，也是一個(gè)分布式、具有互操作性的自組織系統(tǒng)。 P2P 網(wǎng)絡(luò)面臨的 最大的挑戰(zhàn)之一就是如何在沒有集中式服務(wù)器的模式下維護(hù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，以及 實(shí)現(xiàn)資源檢索等服務(wù)。在 P2P 網(wǎng)絡(luò)中，如何對(duì)資源進(jìn)行準(zhǔn)確的定位是最重要的問 題?，F(xiàn)階段 P2P 搜索技術(shù)的研究可以從兩個(gè)方面來進(jìn)行，第一個(gè)方面是從 P2P 搜索算法入手來進(jìn)行研究，第二個(gè)方面是從 P2P 的體系架構(gòu)入手進(jìn)行研究。 P2P 搜索算法包括： Chord 算法， Pastry 算法， Tapestry 算法， CAN 算法和 Kademlia 算法等等。 P2P 體系架構(gòu) 方面包括：集中式系統(tǒng)，分布式系統(tǒng)，混合 式系統(tǒng)。 . p2p 技術(shù)的分類 拓?fù)浣Y(jié)構(gòu)是指分布式系統(tǒng)中各個(gè)計(jì)算單元之間的物理或邏輯的互聯(lián)關(guān)系 [9]，節(jié)點(diǎn)之間的拓?fù)浣Y(jié)構(gòu)一直是確定系統(tǒng)類型的重要依據(jù)。 P2P 系統(tǒng)主要采用非集中式的拓?fù)浣Y(jié)構(gòu)，根據(jù)結(jié)構(gòu)關(guān)系可以將 P2P 系統(tǒng)細(xì)分為叫種結(jié)構(gòu)的拓?fù)湫问剑褐行幕負(fù)渚W(wǎng)絡(luò)、全分布式非結(jié)構(gòu)化拓?fù)渚W(wǎng)絡(luò)、全分布式結(jié)構(gòu)化拓?fù)渚W(wǎng)絡(luò)以及半分布式拓?fù)渚W(wǎng)絡(luò)。 （ 1）中心化拓?fù)渚W(wǎng)絡(luò) 中心化拓?fù)渚W(wǎng)絡(luò)最大的優(yōu)點(diǎn)是維護(hù)簡(jiǎn)單，發(fā)現(xiàn)效率高。由于資源的發(fā)現(xiàn)依賴中心 化的目錄系統(tǒng)，發(fā)現(xiàn)算法靈活、高效并能夠 實(shí)現(xiàn)復(fù)雜查詢。最大的問題與傳統(tǒng) c/s 結(jié)構(gòu)類似，容易造成單點(diǎn)故障，訪問的“熱點(diǎn)”現(xiàn)象和法律等相關(guān)問題，這是第一代 p2p 網(wǎng)絡(luò)采用的結(jié)構(gòu)模式，經(jīng)典案例就是著名的 MP3 共享軟件Napster。 在 Napster 模型中，一群高性能的中央服務(wù)器保存著網(wǎng)絡(luò)中所有活動(dòng)對(duì)等計(jì)算機(jī)共享資源的目錄信息。當(dāng)需要查詢某個(gè)文件時(shí)，對(duì)等機(jī)會(huì)向一臺(tái)中央服務(wù)器發(fā)出文件查詢請(qǐng)求。中央服務(wù)器進(jìn)行相應(yīng)的檢索和查詢后，會(huì)返回符合查詢要求的對(duì)等機(jī)地址信息列表。查詢發(fā)起對(duì)等機(jī)接收到應(yīng)答后，會(huì)根據(jù)網(wǎng)絡(luò)流量和延遲等信息進(jìn)行選擇和合適的對(duì)等機(jī)建立連接 ，并開始文件傳輸。 Napster 的工作原理如圖 （ 1）所示。 15 圖 （ 1） Napster網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 采用 Napster 結(jié)構(gòu)的中心化拓?fù)渚W(wǎng)絡(luò)結(jié)構(gòu)也存在一些問題，主要表現(xiàn)為： (1)中央服務(wù)器的癱瘓容易導(dǎo)致整個(gè)網(wǎng)絡(luò)的崩饋，可靠性和安全性較低； (2)隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大，對(duì)中央索引服務(wù)器進(jìn)行維護(hù)和更新的費(fèi)用將急劇 增加，所需成本過高； （ 3）中央服務(wù)器的存在引起共享資源在版權(quán)問題上的糾紛，并因此被攻擊為非純粹意義上的 P2P 網(wǎng)絡(luò)模型。 綜合上述優(yōu)缺點(diǎn)，對(duì)小 型網(wǎng)絡(luò)而言，中心化網(wǎng)絡(luò)模型在管理和控制方面占一定優(yōu)勢(shì)。但鑒于其存在的種種缺陷，該模型并不適合大型的網(wǎng)絡(luò)應(yīng)用。 （ 2）全分布式非結(jié)構(gòu)化的 P2P 網(wǎng)絡(luò) 16 全分布式非結(jié)構(gòu)化剛絡(luò)采用了隨機(jī)圖的組織方式，結(jié)點(diǎn)度數(shù)服從 Power— law”規(guī)律，從而能夠較快發(fā)現(xiàn)目的結(jié)點(diǎn)，而對(duì)網(wǎng)絡(luò)的動(dòng)態(tài)變化體現(xiàn)了較好的容錯(cuò)能力，因此具有較好的可用性，同時(shí)可以支持復(fù)雜查詢，如帶有規(guī)則表達(dá)式的多關(guān)鍵詞查詢，模糊查詢等 [10]，采用這種拓?fù)浣Y(jié)構(gòu)最典型的案例便是 Gnutella，如圖 （ 2）所示。 圖 （ 2） Gnutella網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) Gnutella 是一個(gè) P2P 文件共享系統(tǒng)，它和 Napster 最大的區(qū)別在于 Gnutella是純粹的 P2P 系統(tǒng)，不存在集中式的目錄服務(wù)器，并且文件的發(fā)布和網(wǎng)絡(luò)拓?fù)渌缮⑾嚓P(guān)。 Gnutella 網(wǎng)絡(luò)具有以下特點(diǎn)： (1)不存在中央服務(wù)器，完全依賴于網(wǎng)絡(luò)中的交互式個(gè)人成員而獨(dú)立存在； (2)在浚網(wǎng)絡(luò)模型中，每一個(gè)聯(lián)網(wǎng)計(jì)算機(jī)在功能上都是對(duì)等的，既是客戶機(jī)同時(shí)又是服務(wù)器，所以被稱為對(duì)等機(jī)。 發(fā)現(xiàn)的準(zhǔn)確性和可擴(kuò)展性是非結(jié)構(gòu)化網(wǎng)絡(luò)面臨的兩個(gè)重要問 題。目前對(duì)此類 17 結(jié)構(gòu)的研究主要集中于改進(jìn)發(fā)現(xiàn)算法和復(fù)制策略以提高發(fā)現(xiàn)的準(zhǔn)確率和性能。 （ 3）全分布式結(jié)構(gòu)化的 P2P 網(wǎng)絡(luò) 在這類網(wǎng)絡(luò)中，不存在中心化的目錄服務(wù)器，因此屬于全分布式的 P2P 網(wǎng)絡(luò)。這種類型的網(wǎng)絡(luò)結(jié)構(gòu)，采用分布式散列表 (Distributed Hash Table，簡(jiǎn)稱 DHT)的全分布式結(jié)構(gòu)化拓?fù)渚W(wǎng)絡(luò)。分布式散列表實(shí)際上是一個(gè)由廣域范圍大量結(jié)點(diǎn)共同維護(hù)的巨大散列表。散列表被分割成不連續(xù)的塊，每個(gè)結(jié)點(diǎn)被分配給一個(gè)屬于自己的散列塊，并成為這個(gè)散列塊的管理者。 DHT 結(jié)構(gòu)能夠自適應(yīng)結(jié)點(diǎn) 的動(dòng)態(tài)加入與退出，有著良好的可擴(kuò)展性、魯棒性、結(jié)點(diǎn) ID 分配的均勻性和自組織能力。最經(jīng)典的案例是 Tapestry、 Chord、 CAN 和Pastry[4]。 這里主要介紹一下具有代表性的 chord 網(wǎng)絡(luò)模型，如圖 (3)。該網(wǎng)絡(luò)模型誕生于美國(guó)的麻省理工學(xué)院，它的目標(biāo)是提供適合于 P2P 環(huán)境的分布式資源發(fā)現(xiàn)服務(wù)，它通過使用 DHT技術(shù)使得發(fā)現(xiàn)指定對(duì)象只需要維護(hù) O(109N)長(zhǎng)度的路由表。在 DHT 技術(shù)中，網(wǎng)絡(luò)節(jié)點(diǎn)按照一定的方式分配一個(gè)唯一節(jié)點(diǎn)標(biāo)識(shí)符 (Node， ID)，資源對(duì)象通過散列運(yùn)算產(chǎn)生一個(gè)唯一的資源標(biāo)識(shí)符 (Obiect， ID)，且該資源將存儲(chǔ)在節(jié)點(diǎn) ID 與之相等或者相近的節(jié)點(diǎn)上。需要查找該資源時(shí)，采用同樣的方法可定位到存儲(chǔ)該資源的結(jié)點(diǎn)。因此， Chord 的主要貢獻(xiàn)是提出了一個(gè)分布式查找協(xié)議，該協(xié)議可將指定的關(guān)鍵字 (Key)映射到對(duì)應(yīng)的節(jié)點(diǎn) (Node)。 18 圖 （ 3） Chord網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) DHT 結(jié)構(gòu)最大的問題是 DHT的維護(hù)機(jī)制較為復(fù)雜，尤其是結(jié)點(diǎn)頻繁加入退出造成的網(wǎng)絡(luò)波動(dòng)會(huì)極大增加 DHT 的維護(hù)代價(jià)。 DHT 所面臨的另外一個(gè)問題是 DHT 僅支持精確關(guān)鍵詞匹配查詢，無 法支持內(nèi)容、語義等復(fù)雜查詢。 （ 4）半分布式的 P2P網(wǎng)絡(luò) 半分布式結(jié)構(gòu)吸取了中心化結(jié)構(gòu)和全分布式非結(jié)構(gòu)化拓?fù)涞膬?yōu)點(diǎn)，選擇性能較高 (處理、存儲(chǔ)、帶寬等方面性能 )的節(jié)點(diǎn)作為超級(jí)節(jié)點(diǎn)，在各個(gè)超級(jí)節(jié)點(diǎn)上存儲(chǔ)了系統(tǒng)中其他部分節(jié)點(diǎn)的信息，發(fā)現(xiàn)算法僅在超級(jí)節(jié)點(diǎn)之間轉(zhuǎn)發(fā)，超級(jí)節(jié)點(diǎn)再將查詢請(qǐng)求轉(zhuǎn)發(fā)給適當(dāng)?shù)娜~子結(jié)點(diǎn)。半分布式結(jié)構(gòu)也是一個(gè)層次式結(jié)構(gòu)，超級(jí)節(jié)點(diǎn)之問構(gòu)成一個(gè)高速轉(zhuǎn)發(fā)層，超級(jí)節(jié)點(diǎn)和所負(fù)責(zé)的普通節(jié)點(diǎn)構(gòu)成若干層次。最典型的案例就是 KaZaa 網(wǎng)絡(luò)結(jié)構(gòu)如圖 （ 4）所示。 19 圖 （ 4） Kazza網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) KaZaa 結(jié)合了 Napster 和 Gnutella 共同的優(yōu)點(diǎn)。從結(jié)構(gòu)上來說，它使用了Gnu