【文章內(nèi)容簡介】 產(chǎn)和刪除。文件名：數(shù)據(jù)網(wǎng)格中的文件名包括邏輯文件名和物理文件名：(Logical Data Name, LDN)：是文件在數(shù)據(jù)網(wǎng)格的名稱空間中的全局唯一標(biāo)識符，它代表一個文件的的所有副本。邏輯文件名可以是用戶選擇的任意字符串，由網(wǎng)格信息服務(wù)保證邏輯文件名字的全局唯一性。根據(jù)邏輯文件名可以在副本目錄中查找到其對應(yīng)的所有副本的物理文件名；(Physical Replica Name, PRN)：是文件的某個副本在存儲系統(tǒng)中的物理路徑表示，是存儲管理系統(tǒng)使用的文件名，可以是存儲在磁盤上的物理文件名，也可以是特定存儲系統(tǒng)中的邏輯文件名。元數(shù)據(jù)：元數(shù)據(jù)是描述一個具體的資源對象，并能對這個對象進(jìn)行定位、管理，且有助于它的發(fā)現(xiàn)與獲取的數(shù)據(jù)。數(shù)據(jù)元(Data element)：數(shù)據(jù)網(wǎng)格中各種類型的數(shù)據(jù)抽象為一個數(shù)據(jù)元，每個數(shù)據(jù)元有一個全局唯一的邏輯數(shù)據(jù)名。宿主節(jié)點(diǎn)：某個節(jié)點(diǎn)存儲了某數(shù)據(jù)元的副本定位信息，那么就稱該節(jié)點(diǎn)是該數(shù)據(jù)元的宿主節(jié)點(diǎn)。一致性：相同數(shù)據(jù)文件的所有副本之間必須滿足某種一致性規(guī)則，否則對文件副本的任意修改就失去副本本身的意義。訪問時間(Response Time)：從一個節(jié)點(diǎn)發(fā)出對一個文件的請求開始到它取得這個文件的全部為止，所花費(fèi)的時間就是訪問時間。假如請求的文件在當(dāng)前節(jié)點(diǎn)上有副本，那么這個反映時間就是0。帶寬消耗(Bandwidth Consumption)：帶寬消耗包括了當(dāng)一個節(jié)點(diǎn)請求一個遠(yuǎn)程文件時發(fā)出的數(shù)據(jù)傳輸?shù)南?，還包括發(fā)生動態(tài)復(fù)制時，復(fù)制所要用到的帶寬消耗。在數(shù)據(jù)網(wǎng)格中,數(shù)據(jù)復(fù)制技術(shù)通常需要面對很多難題:數(shù)據(jù)類型的多樣性、副本數(shù)量大、副本創(chuàng)建策略的動態(tài)合理性考慮、網(wǎng)絡(luò)開銷、維護(hù)副本一致性的算法等，因此一個良好的數(shù)據(jù)復(fù)制系統(tǒng)必須具備以下要求[17,18]：:復(fù)制系統(tǒng)能夠根據(jù)需要動態(tài)創(chuàng)建和刪除副本；:復(fù)制系統(tǒng)在創(chuàng)建副本時，必須注意安全問題，如避免信息泄漏給第三方等；:復(fù)制系統(tǒng)創(chuàng)建副本時必須考慮資源和時間的開銷；:復(fù)制系統(tǒng)必須考慮各種網(wǎng)絡(luò)速度、異構(gòu)存儲環(huán)境、各種處理速度以及失敗等情況；:副本能夠根據(jù)需要加入和離開系統(tǒng)；:復(fù)制系統(tǒng)能夠創(chuàng)建和管理大量副本。數(shù)據(jù)復(fù)制管理服務(wù)的功能主要有[21]：，自動創(chuàng)建文件的副本，刪除不必要的副本；；；；，為用戶選擇最佳的文件副本；?？梢姡瑪?shù)據(jù)復(fù)制管理服務(wù)的主要功能都是圍繞副本目錄進(jìn)行的，包括增加、刪除、修改、查詢等操作。副本目錄的主要功能是存放系統(tǒng)中邏輯文件和存儲系統(tǒng)中的物理文件之間的映射關(guān)系。副本目錄中包括三種類型的記錄項：邏輯文件(logical file)、邏輯文件集合(logical collection)和位置(location)。邏輯文件是網(wǎng)格系統(tǒng)中用于標(biāo)識同一文件所有副本的全局唯一標(biāo)識符。邏輯文件集合是由用戶定義的一組相關(guān)文件的集合，集合中的文件往往需要統(tǒng)一的處理，以降低操作的開銷和復(fù)雜性。位置記錄項包含了邏輯文件或邏輯集合到物理文件的映射信息，比如文件所在存儲系統(tǒng)的信息(包括主機(jī)名、主機(jī)IP、通信協(xié)議和網(wǎng)絡(luò)端口等)。位置記錄項還包含特定文件存儲位置URL的信息(如Grid FTP URL)，通過此URL可以訪問存放在特定的存儲系統(tǒng)上的物理文件。一個邏輯文件可以對應(yīng)一個或多個位置項，每個位置項代表不同存儲系統(tǒng)的物理文件信息，這樣可以很方便地表示同一文件分布于各個存儲系統(tǒng)的副本。從上節(jié)可以看到，數(shù)據(jù)副本創(chuàng)建、副本刪除、數(shù)據(jù)傳輸、副本定位、副本選擇、副本一致性管理[19]以及安全管理等是數(shù)據(jù)復(fù)制系統(tǒng)需要解決的關(guān)鍵問題。副本的創(chuàng)建過程包括靜態(tài)創(chuàng)建和動態(tài)創(chuàng)建兩種。在網(wǎng)格環(huán)境下，由于數(shù)據(jù)量、用戶量非常大且網(wǎng)格環(huán)境的動態(tài)性，只有動態(tài)創(chuàng)建副本才能夠滿足網(wǎng)格環(huán)境的要求。選擇副本優(yōu)先考慮的是副本大小、網(wǎng)絡(luò)拓?fù)?、網(wǎng)絡(luò)帶寬和用戶定義特征。目前對于副本創(chuàng)建策略的研究主要針對層次式網(wǎng)格拓?fù)浣Y(jié)構(gòu)[20]，比較常用的副本創(chuàng)建策略包括最佳客戶副本創(chuàng)建策略、瀑布副本創(chuàng)建策略、基于緩存的副本創(chuàng)建策略、緩存加瀑布副本創(chuàng)建策略、快速傳播副本創(chuàng)建策略、基于經(jīng)濟(jì)模型的副本創(chuàng)建策略。副本的動態(tài)創(chuàng)建，導(dǎo)致同一個數(shù)據(jù)資源會有多個副本存在。然而，節(jié)點(diǎn)的存儲資源是有限的，為了使得更高價值副本得以創(chuàng)建，那些長時間沒有使用或者由于網(wǎng)絡(luò)原因不可達(dá)的副本應(yīng)該在適當(dāng)時候予以刪除。可靠的數(shù)據(jù)傳輸是網(wǎng)格節(jié)點(diǎn)間數(shù)據(jù)復(fù)制的關(guān)鍵。目前Globus提供了GridFTP工具為多種存儲系統(tǒng)提供了統(tǒng)一訪問界面。嚴(yán)格說來，副本定位有兩個步驟:先進(jìn)行副本定位，然后進(jìn)行副本選擇。副本定位指的是系統(tǒng)需要為用戶提供副本定位所需的邏輯數(shù)據(jù)項標(biāo)識，以獲取該數(shù)據(jù)項的一個或者多個副本。副本選擇指的是從副本序列中選擇最合適該客戶的副本，通常包括一些副本優(yōu)化的算法，使得最終所選擇的副本在響應(yīng)時間、網(wǎng)絡(luò)帶寬等方面有較好的性能。副本一致性管理指的是多個數(shù)據(jù)副本之間必須定期保持一致性。由于數(shù)據(jù)網(wǎng)格環(huán)境中數(shù)據(jù)項副本的數(shù)量可能非常大，所以副本一致性管理是一個必須考慮的問題。用戶訪問數(shù)據(jù)時，系統(tǒng)需要對用戶進(jìn)行授權(quán)和驗證，特別是判斷一個用戶是否具有創(chuàng)建、刪除、讀、寫數(shù)據(jù)項的權(quán)限。不同網(wǎng)格系統(tǒng)有其自身的安全策略，同一個網(wǎng)格系統(tǒng)中每個節(jié)點(diǎn)都可能采用不同的安全設(shè)施。復(fù)制技術(shù)的安全主要包括認(rèn)證、授權(quán)和權(quán)力代理三個方面。本章系統(tǒng)地介紹了數(shù)據(jù)復(fù)制管理技術(shù)地基本概念，數(shù)據(jù)管理技術(shù)的特點(diǎn)，數(shù)據(jù)復(fù)制管理的功能以及數(shù)據(jù)復(fù)制系統(tǒng)需要解決關(guān)鍵問題，表明數(shù)據(jù)復(fù)制管理在整個數(shù)據(jù)網(wǎng)格中的重要作用。3副本創(chuàng)建策略網(wǎng)格的產(chǎn)生為地域上分布、異構(gòu)的用戶提供了數(shù)據(jù)的共享和計算能力的集中。而同時廣域網(wǎng)的高延遲和帶寬的共享沖突限制了用戶對分散大數(shù)據(jù)的快速訪問。為此，系統(tǒng)根據(jù)用戶的意愿和需求動態(tài)在用戶端創(chuàng)建數(shù)據(jù)副本，可以減少數(shù)據(jù)在節(jié)點(diǎn)間移動，從而降低用戶對遠(yuǎn)程數(shù)據(jù)訪問延遲和帶寬消耗。同時也提高系統(tǒng)的負(fù)載平衡和數(shù)據(jù)可靠性，避免單點(diǎn)失效。在數(shù)據(jù)復(fù)制管理技術(shù)中創(chuàng)建副本策略是關(guān)鍵問題之一。本文通過對已經(jīng)存在的副本創(chuàng)建策略的分析研究，提出一種域內(nèi)副本衍生和域間副本創(chuàng)建相結(jié)合的副本創(chuàng)建策略。數(shù)據(jù)網(wǎng)格中副本創(chuàng)建策略[16]就是確定創(chuàng)建副本的時間和地點(diǎn)，要解決的問題是：什么時候創(chuàng)建數(shù)據(jù)的副本，創(chuàng)建哪個數(shù)據(jù)的副本，以及在哪個網(wǎng)格節(jié)點(diǎn)中創(chuàng)建該副本，以縮短數(shù)據(jù)訪問時間、降低網(wǎng)絡(luò)帶寬消耗，實現(xiàn)網(wǎng)格系統(tǒng)的整體性能優(yōu)化。因為有多個副本的存在，當(dāng)多個用戶同時訪問同一個邏輯文件名時就可以分散在不同的節(jié)點(diǎn)內(nèi)訪問，從而減少帶寬的消耗，用戶就近訪問副本也可以減少訪問時間；同時副本在多個物理位置存儲就可以有效的避免單點(diǎn)失效問題，當(dāng)然這樣也導(dǎo)致了副本的一致性管理的出現(xiàn)、本文考慮副本創(chuàng)建時暫不考慮一致性問題。不同的副本創(chuàng)建策略在特定的網(wǎng)格情景下討論，本文采用的是用于CERN歐洲原子能研究中心[20](the European Organization for Nuclear Research）經(jīng)典的數(shù)據(jù)網(wǎng)格構(gòu)架。最上層是數(shù)據(jù)中心(Data Center)，以下依次是：國家中心(National Centers)，地區(qū)中心(Regional Centers)，工作組 (Workgroups)以及工作站(desktops)。不同的是本文把CERN的4層結(jié)構(gòu)分成域內(nèi)和域間兩個領(lǐng)域來討論，其中任意NC、RC、WG以及其下層都可以組成一個域，這個范圍之外就是所謂的域外。域內(nèi)、外有各自不同的副本創(chuàng)建算法。副本訪問范圍限制在域的范圍之內(nèi)時，使用域內(nèi)副本衍生策略。超過域的范圍則屬于域間副本創(chuàng)建的范疇。Data CenterWGRCWGNCWGRCWGWGRCWGNCWGRCWGNC國家中心RCWG地區(qū)中心工作組工作站 數(shù)據(jù)網(wǎng)格拓?fù)浣Y(jié)構(gòu)圖副本創(chuàng)建分為：靜態(tài)創(chuàng)建和動態(tài)創(chuàng)建兩大類[25]。鑒于數(shù)據(jù)網(wǎng)格的動態(tài)特性，副本的動態(tài)創(chuàng)建有更深遠(yuǎn)的研究意義。目前對副本創(chuàng)建的主流研究熱點(diǎn)集中在基于用戶驅(qū)動和基于市場經(jīng)濟(jì)效益兩種思想的考量上面。下面針對這兩種思想產(chǎn)生的副本創(chuàng)建算法分別進(jìn)行分析研究。用戶驅(qū)動的復(fù)制思想是根據(jù)用戶的訪問請求，作出相應(yīng)的反應(yīng)：創(chuàng)建副本的時機(jī)――創(chuàng)建或者不創(chuàng)建；如需要創(chuàng)建，創(chuàng)建哪個副本、創(chuàng)建在哪里。一系列的動作都是由用戶的請求驅(qū)動的。用戶驅(qū)動復(fù)制策略主要有[21]：[22]：所有的資源都保存在數(shù)據(jù)中心，任何用戶的請求，都發(fā)往這個中心服務(wù)器，由它提供所有用戶的需求。這是最簡單、直接、傳統(tǒng)的數(shù)據(jù)管理策略。它很容易出現(xiàn)單點(diǎn)失效、訪問瓶頸、傳輸緩慢等問題。[23](Best Client)：每個站點(diǎn)都保存著每個文件的詳細(xì)歷史訪問記錄，記錄中包括每個文件被請求的次數(shù)和發(fā)出請求的站點(diǎn)。每隔一定的時間段，網(wǎng)格站點(diǎn)檢查歷史訪問記錄查找是否有對某個文件的請求次數(shù)超過了事先指定的閾值，如果存在這樣的文件，那么此站點(diǎn)就被稱為best client。系統(tǒng)在此站點(diǎn)上創(chuàng)建該文件的副本，并清除關(guān)于該文件的歷史訪問記錄，重新進(jìn)行統(tǒng)計。最佳客戶端策略可以將數(shù)據(jù)文件復(fù)制到最需要的地方，但它需要一張維護(hù)文件歷史訪問記錄表，在文件較多、用戶請求頻繁的情況下，系統(tǒng)會付出較大的維護(hù)代價，并且檢測的時間間隔和文件請求次數(shù)閾值的最佳值[24]也有待研究。[26](cascading Replication）：把數(shù)據(jù)看成噴泉里的水，如果某層根節(jié)點(diǎn)對某文件的請求數(shù)量超過了規(guī)定的閾值，就在其下一層的Best Client節(jié)點(diǎn)上創(chuàng)建該文件副本。如果某一個客戶在一定時間內(nèi)對同一文件的請求超過了閾值，也可以在此客戶端本地進(jìn)行副本創(chuàng)建。此策略的優(yōu)點(diǎn)是充分利用了系統(tǒng)中的可用存儲空間，而不需要總在較底層站點(diǎn)上創(chuàng)建副本，并且考慮到用戶訪問請求的地理相關(guān)性特征。[27,28]：此策略要求在用戶請求文件所經(jīng)過的所有路徑上都創(chuàng)建該文件副本，這樣就可以快速把副本分布在不同節(jié)點(diǎn)上，很好的改善傳輸速度，網(wǎng)絡(luò)帶寬的問題，不過同時，這些副本無形中占據(jù)了很大的存儲資源，不適用于存儲資源比較緊張的系統(tǒng)。除此之外還有簡單緩存策略[29]，即把副本簡單創(chuàng)建在請求資源的客戶端。以及瀑布和簡單緩存相結(jié)合的策略等用戶驅(qū)動的創(chuàng)建副本策略[30]。他們都充分考慮了用戶的需要，充分體現(xiàn)了數(shù)據(jù)網(wǎng)格動態(tài)性的要求。但并沒有考慮到整個網(wǎng)絡(luò)的性能問題，對數(shù)據(jù)分布性沒有給予足夠的考慮，具有局部性的限制。人類社會，資源的分配是通過市場這個無形的手來執(zhí)行的，市場經(jīng)濟(jì)的巨大成功使得人們考慮到用市場的觀念來規(guī)范網(wǎng)格系統(tǒng)里屬于不同用戶的資源分配問題。通過資源的提供者出售資源，資源的需求者購買資源來實現(xiàn)資源的分配。資源價格的高低完全根據(jù)“市場”的供需狀況來決定。這就是利潤驅(qū)動復(fù)制策略的思想所在。資源請求者，資源提供者雙方買賣與否，決定于這個交易對本系統(tǒng)來說，有沒有獲得利潤。他們的共同目的：追求盡可能大的利潤。意大利科學(xué)技術(shù)研究中心(ITCirst)的Mark. Carman和歐洲原子核研究中心(CERN)的Kurt Stockinger等人提出了基于市場經(jīng)濟(jì)的數(shù)據(jù)復(fù)制策略[33,34]。其總體思想是模擬市場行為，通過經(jīng)濟(jì)模型中角色的交互，最大化利潤和最小化數(shù)據(jù)資源管理的代價。它采用歐洲數(shù)據(jù)網(wǎng)格的環(huán)境,主要分以下三種資源:計算元素(Computing Element，簡稱CE):有計算能力,能夠為網(wǎng)格用戶執(zhí)行任務(wù)。存儲元素(Storage Element，簡稱SE):有一定容量的存儲系統(tǒng),能夠為網(wǎng)格用戶提供存儲能力。網(wǎng)絡(luò)(Network):為網(wǎng)格用戶提供帶寬,進(jìn)行數(shù)據(jù)傳輸。ReplicaOptimistComputingElementComputingElementComputingElementSite iAccess MeDiatorStorage BrokerStorage BrokerStorage BrokerStorageElementStorageElementStorageElementReplicaOptimistComputingElementComputingElementComputingElementSite iAccess MeDiatorStorage BrokerStorage BrokerStorage BrokerStorageElementStorageElementStorageElement 經(jīng)濟(jì)模型的構(gòu)件模型，在市場經(jīng)濟(jì)模型中，進(jìn)行角色交互的有計算元素、存儲元素、存儲仲裁者(Access MeDiator,簡稱AM)和存儲代理(Storage Broker,簡稱SB)。其中，計算元素是文件的最終需求者，它們發(fā)出文件請求。存儲元素是文件的所有者，它們提供文件存儲服務(wù)。存儲仲裁者和存儲代理分別是二者的理性代理商。一次拍賣過程可以描述為以下步驟：(需要“買”文件)；(reverse auctioning)；；；；(即數(shù)據(jù)復(fù)制)。在基于經(jīng)濟(jì)模型的復(fù)制策略中，數(shù)據(jù)文件被看作商品在網(wǎng)格市場中流通，買賣雙方是擁有計算資源、存儲資源和數(shù)據(jù)文件的網(wǎng)格站點(diǎn)，通過買賣數(shù)據(jù)文件以獲取利益。買方購買數(shù)據(jù)文件是為了執(zhí)行計算任務(wù)，或是期望數(shù)據(jù)文件在未來升值以從中獲取利益，賣方通過出售數(shù)據(jù)文件獲取利益?；诮?jīng)濟(jì)模型的策略通過虛擬貨幣進(jìn)行市場運(yùn)作，按照反向拍賣協(xié)議確定副本創(chuàng)建位置和進(jìn)行副本選擇。站點(diǎn)需要獲取某種數(shù)據(jù)時，就提出拍賣請求，并將數(shù)據(jù)文件的訪問時間作為拍賣的價格指標(biāo)，各個數(shù)據(jù)擁有者根據(jù)價格指標(biāo)開出競標(biāo)價格，最后拍賣者選擇出價最高的結(jié)點(diǎn)并以第二高的價格購買其數(shù)據(jù)。文件的價格會隨著市場的變化而變化。如果一個文件特別受歡迎，其它站點(diǎn)出于盈利目的，就會購買它，生成文件副本。每個站點(diǎn)可以根據(jù)自身條件或應(yīng)用需求制定相應(yīng)的市場策略。這種市場機(jī)制通過文件的價格浮動反映其供需狀況的動態(tài)變化，通過供需均衡實現(xiàn)優(yōu)化分配，價格機(jī)制保證了合理的資源分配是可獲得的?；诮?jīng)濟(jì)模型的復(fù)制策略從長期的角度出發(fā)，將系統(tǒng)中文件訪問代價最小化，通過市場機(jī)制實現(xiàn)網(wǎng)格系統(tǒng)的整體優(yōu)化，它能適應(yīng)網(wǎng)格環(huán)境的變化，但實現(xiàn)起來十分復(fù)雜。，其中任意一個國家中心、地區(qū)中心、工作組甚至是單一的工作站都可以組成一個域，在每個域內(nèi)的數(shù)據(jù)