【文章內(nèi)容簡介】 l 與各種本地安全性解決方案的集成: 每個站點或資源提供者可以征用任何不同的本地安全性解決方案,包括kerberos和UNIX安全性。網(wǎng)格安全性解決方案必須能與這些不同的本地解決方案互操作。從現(xiàn)實來看,它們不可能大規(guī)模地替代本地安全性解決方案,而是必須允許映射到本地環(huán)境上。l 基于用戶的信任關(guān)系: 為了用戶一并使用多個提供者提供的資源,安全性系統(tǒng)必須不做如下要求即在配置安全性的環(huán)境中,每個資源提供者協(xié)作和相互交互,例如,若一用戶有使用站點A和B的權(quán)利,則該用戶能夠一起使用站點A與B,不必要求A和B的安全性管理員的干預(yù)。網(wǎng)格安全性解決方案也對通信保護提供支持(比如,在保護程度上的控制,不可靠協(xié)議的獨立數(shù)據(jù)單元保護,對TCP以外的可靠傳輸協(xié)議的支持),并使得能實施在認(rèn)證決策上的程序機管理的控制包括以不同的方式限制權(quán)力委派的能力。Globus Toolkit: Internet協(xié)議用于通信，基于PublicKey的網(wǎng)格安全性基礎(chǔ)結(jié)構(gòu)。(GSI)協(xié)議用于認(rèn)可、通信保護和認(rèn)證。GSI建立在傳輸層安全協(xié)議之上并對其有所擴展,以解決在連通層中列出的大部分問題。特別是一次簽字,委派以及與各種本地的安全性解決方案(包括Kerberos)和基于用戶的信任的集成。認(rèn)證的棧持有者控制通過認(rèn)證工具支持,該認(rèn)證工具允許資源所有者通過一般認(rèn)證和訪問(GAA)控制接口來集成本地策略。 資源層資源層建立在連通層通信和認(rèn)可協(xié)議之上,定義有關(guān)單個資源上的安全協(xié)商,創(chuàng)始,監(jiān)控,控制,記賬及共享操作的付費的協(xié)議(及API和SDK)。這些協(xié)議的資源層實現(xiàn)調(diào)用基礎(chǔ)結(jié)構(gòu)層功能訪問并控制本地的資源。資源層協(xié)議全面關(guān)注單個的資源,因此忽略跨分布的匯集的全局狀態(tài)和原子動作問題,而此類問題是資源層的上層匯集層關(guān)心的問題。資源層有以下兩類基本的協(xié)議:l 信息協(xié)議 被用于獲得關(guān)于一個資源的結(jié)構(gòu)和狀態(tài)方面的信息。例如,一資源的配置,當(dāng)前負(fù)載以及使用策略(如使用代價)。l 管理協(xié)議 被用于協(xié)商訪問共享的資源,例如,詳細說明資源需求(包括預(yù)先保留和服務(wù)的質(zhì)量)以及要執(zhí)行的操作,例如進程建立或數(shù)據(jù)訪問。由于管理協(xié)議對創(chuàng)始共享關(guān)系負(fù)責(zé),所以它們必須起一個,策略應(yīng)用點的作用,確保請求的協(xié)議操作與資源被共享的策略相一致。還必須考慮包括記賬和付費在內(nèi)的問題。一個協(xié)議也可以支持對一個操作的狀態(tài)的監(jiān)控以及對該操作的控制(如終結(jié)該操作)。雖然能設(shè)想許多這樣的協(xié)議，但由于資源（及匯集）協(xié)議層形成沙漏模型的瓶頸，遵循這種原理，資源層將被限制到小且集中的集合。必須選擇這些協(xié)議，以便捕捉跨許多不同資源（如不同的本地資源管理系統(tǒng)）的共享的基本機制，同時并不過度地限制可以開發(fā)的高層協(xié)議的類型和性能。Globus Toolkit： 一個小且?guī)缀跬耆跇?biāo)準(zhǔn)的協(xié)議集l 網(wǎng)格資源信息協(xié)議GRIP(GRIP當(dāng)前基于輕量級目錄訪問協(xié)議LDAP)用于定義標(biāo)準(zhǔn)資源信息協(xié)議和相關(guān)的信息模式。一個相關(guān)的軟狀態(tài)資源登記協(xié)議,即網(wǎng)格資源登記協(xié)議GRRP用于登記帶有Grid索引信息服務(wù)器的資源。l 基于HTTP的網(wǎng)格資源訪問和管理協(xié)議用于分配計算資源及監(jiān)控和控制該資源上的計算。l 數(shù)據(jù)訪問的管理協(xié)議Grid FTP是文件傳輸協(xié)議FTP的擴展版本。擴展包括使用連通層安全性協(xié)議,部分文件訪問,高速傳輸?shù)牟⑿泄芾?。FTP作為數(shù)據(jù)傳輸協(xié)議的基礎(chǔ)是由于它對第三方傳輸?shù)闹С旨捌浞珠_的控制和數(shù)據(jù)通道有利于精細的服務(wù)器的實現(xiàn)。l LDAP也被用作目錄訪問協(xié)議。Globus Toolkit定義這些協(xié)議中的每個協(xié)議的客戶方的C和Java API以及SDK。為了有利于將各種資源(計算、存儲、網(wǎng)絡(luò))集成到網(wǎng)格中,也提供各種協(xié)議的服務(wù)器方SDK。例如,資源信息服務(wù)實現(xiàn)服務(wù)器方LDAP功能,此種功能帶有供任意資源信息發(fā)行所用的調(diào)出。工具包的一個重要的代表服務(wù)器的元素是“看門人”,它提供本質(zhì)上是講GRAM協(xié)議并能用于派發(fā)各種本地操作的GSI認(rèn)可的“inted”。一般的安全服務(wù)API被用于獲取,轉(zhuǎn)交以及驗證認(rèn)可信任書,并提供在這些SDK和服務(wù)器中的傳輸層集成性和私有性,使得能在連通層置換候選的安全性服務(wù)協(xié)議。 匯集層盡管資源層只著眼于與單個資源的交互,但體系結(jié)構(gòu)的下一層包含的協(xié)議(及API與SDK)不與任何一個專門的資源關(guān)聯(lián),而實際上是全局的并且跨所有資源捕捉相互作用。為此,我們將體系結(jié)構(gòu)的下一層叫做匯集層,由于匯集組件建立在協(xié)議沙漏的狹窄的資源與連通層瓶頸之上，所以它們能夠?qū)崿F(xiàn)各種共享行為而不必在正在被共享的資源之上安排新的需求。例如：l 目錄服務(wù)允許VO伙伴發(fā)現(xiàn)VO資源的存在與/或性質(zhì)。一個目錄服務(wù)可以允許其用戶通過名字與/或通過屬性，如類型，可用性或負(fù)載來查詢資源。資源級GRRP與GRIP協(xié)議用于構(gòu)建目錄l 合作分配，進度安排及代理服務(wù)允許ACO參加者請求為一個專門的用途分配一個或多個資源以及在適當(dāng)資源上為任務(wù)安排進度。例子包括AppLes, CondorG, Nimrod以及DEM代理。l 監(jiān)控和診斷服務(wù)支持關(guān)于失敗,對手攻擊(“入侵檢測”)及超載等方面的VO資源的監(jiān)控。l 數(shù)據(jù)備份服務(wù)支持VO存儲(或許也有網(wǎng)絡(luò)和計算)資源的管理,以使得相對于如響應(yīng)時間,可靠性以及成本度量來說,數(shù)據(jù)訪問性能極大化。l Gridenabled 程序設(shè)計系統(tǒng)使得能在網(wǎng)格環(huán)境中使用熟知的程序設(shè)計模式,能以此類模式使用各種網(wǎng)格服務(wù)解決資源發(fā)現(xiàn),安全性,資源分配及其它關(guān)鍵問題。這樣的例子有消息傳遞接口和manageworker框架。l 工作負(fù)載管理系統(tǒng)和集中框架也就是問題求解環(huán)境“PSEs”, 用于多步驟,異步的,多組件工作流的描述使用及管理。l 軟件發(fā)現(xiàn)服務(wù)根據(jù)正在求解的問題的參數(shù),發(fā)現(xiàn)并選擇最佳的軟件實現(xiàn)和執(zhí)行平臺。例子包括NetSlove 和 Ninf。l 團體認(rèn)證服務(wù)器實施管理資源訪問,生成團體成員能用于訪問團體資源的能力的團體策略。通過建立在資源層中的資源信息和資源管理協(xié)議,以及連通層的安全性協(xié)議,這些服務(wù)器提供全局的策略實施。Akenti解決其中的部分問題。l 團體記賬和付費服務(wù),由團體成員收集用于記賬,付費與/或資源用法限制的資源用法信息。l 集中服務(wù)支持在可能出現(xiàn)在大的用戶團體中的信息的協(xié)調(diào)交換,不管同步還是異步。例子是CAVERNsoft, Access Grid及日用品組織系統(tǒng)。這些例子給出了在實踐中遇到的各種匯集層協(xié)議和服務(wù)。注意,雖然資源層協(xié)議本質(zhì)上必須是一般的并被廣泛地部署,但是匯集層從一般目的跨越到非常應(yīng)用或領(lǐng)域?qū)ｉT,這或許只有在專門的VO中才存在。匯集功能被實現(xiàn)成與相關(guān)協(xié)議關(guān)聯(lián)的持久性服務(wù)/實現(xiàn)成企圖與應(yīng)用鏈接到一起的SDK與(API關(guān)聯(lián))這兩種情形下,它們的實現(xiàn)能建立在資源層(或其它匯集層)協(xié)議和服務(wù)之上。例如,圖22顯示使用資源層管理協(xié)議來操作基本資源的匯集共同分配(Collective coallocation)API及SDK(中間層)。在此之上可以定義一個共同保留服務(wù)協(xié)議并且實現(xiàn)講此協(xié)議的共同保留服務(wù),調(diào)用共同分配API來實現(xiàn)共同分配操作并有可能提供附加的功能性,比如認(rèn)證,容錯及日志。應(yīng)用則可以使用共同保留服務(wù)協(xié)議來請求端到端網(wǎng)絡(luò)保留。圖22 能以各種方式組合匯集和資源層協(xié)議,服務(wù),APIs和SDKs向應(yīng)用發(fā)送功能可以將匯集組件剪裁到專門的用戶團體,VO或應(yīng)用領(lǐng)域的需求。例如,一個實現(xiàn)應(yīng)用專門的連貫性協(xié)議的SDK或關(guān)于網(wǎng)絡(luò)資源專門集的共同保留服務(wù)。其它的匯集組件能更一般化。例如管理多個團體的存儲系統(tǒng)的國際性集中的備份服務(wù),或為了能夠發(fā)現(xiàn)VO的目錄服務(wù)。一般地,目標(biāo)用戶團體越大,匯集組件的協(xié)議和API以標(biāo)準(zhǔn)為基礎(chǔ)就越重要。Globus Toolkit：除了上面列出的服務(wù)之外,匯集層許多服務(wù)建立在Globus 的連通和資源協(xié)議之上,叫做元目錄服務(wù)。這種服務(wù)引入Grid信息索引服務(wù)器(GIIS)支持在資源子集上的任意觀察,LDAP用于訪問資源專門的GRIP以獲得資源狀態(tài),GRRP用于資源登記。此外,備份目錄和備份管理服務(wù)用于在網(wǎng)格環(huán)境中支持?jǐn)?shù)據(jù)集復(fù)制品的管理。一個在線信任倉庫服務(wù)(MyProxy)提供關(guān)于代理信任的安全存儲。DURO共同分配庫提供資源共同分配的API和SDK。 應(yīng)用層網(wǎng)格體系結(jié)構(gòu)的最終層次由在VO環(huán)境中操作的應(yīng)用組成。網(wǎng)格體系結(jié)構(gòu)的應(yīng)用程序員視圖如圖23所示,應(yīng)用由在任何層上定義的服務(wù)的形式以及對這些服務(wù)的調(diào)用形式組成。在每一層有界限分明的協(xié)議,它們規(guī)定H訪問某些有用的服務(wù)、資源管理、數(shù)據(jù)訪問、資源發(fā)現(xiàn)等等。在每一層中,也可以定義實現(xiàn)與適當(dāng)?shù)姆?wù)交換協(xié)議消息來執(zhí)行期望的動作的API。 圖23API由軟件開發(fā)工具包(套件)SDK實現(xiàn),開發(fā)工具依次使用網(wǎng)格協(xié)議與向末端用戶提供能力的網(wǎng)格服務(wù)交互。上層的SDK除了實現(xiàn)本地的功能外,也提供雖未被映射到專門的協(xié)議上,但可以將協(xié)議操作與對附加的API的調(diào)用結(jié)合的功能。圖4中,實線表示一個直接的調(diào)用,虛線表示協(xié)議交互。需要指出的是,在圖23中,在一個單獨層中標(biāo)出的(應(yīng)用)及給出的內(nèi)容,實際上可在精細的框架和庫之上調(diào)用(如,Common Component Architecture, SciRun, CORBA,Cactus,Woekdlow system),并以更多內(nèi)部結(jié)構(gòu)為特點。 網(wǎng)格體系結(jié)構(gòu)實例下面，通過兩個實例來說明實際的網(wǎng)格體系結(jié)構(gòu)如何工作。表21顯示可以用于實現(xiàn)多學(xué)科模擬及射線跟蹤的服務(wù)。二者基本的基礎(chǔ)結(jié)構(gòu)元素是相同的:計算機,存儲系統(tǒng),網(wǎng)絡(luò),而且,每種資源講關(guān)于通信和安全性的標(biāo)準(zhǔn)的連通協(xié)議。對詢問分配及管理,講標(biāo)準(zhǔn)的資源協(xié)議。在此之上,每個應(yīng)用使用一般的和更加應(yīng)用專門的混合的匯集服務(wù)[3]。表21用于構(gòu)建多學(xué)科模擬及射線跟蹤在射線跟蹤的例子中,該工作基于大吞吐量計算系統(tǒng),為了管理VO環(huán)境中大量獨立的任務(wù)的執(zhí)行,系統(tǒng)必須保留現(xiàn)行(活動)的和逼近的任務(wù)集的蹤跡,找出每個任務(wù)的合適的資源的位置,策劃那些資源的執(zhí)行表,探測并響應(yīng)各種類型的失敗。在這里的網(wǎng)格體系結(jié)構(gòu)的上下文中,一個實現(xiàn)除使用標(biāo)準(zhǔn)的資源和連通協(xié)議外,它既能使用領(lǐng)域?qū)ｉT的匯集服務(wù)(動態(tài)檢查點,任務(wù)池管理,失敗重復(fù)),也能使用更一般的匯集服務(wù)(代理,執(zhí)行表和公共輸入文件的備份)。CondorG給出向此目標(biāo)前進的第一步。在多學(xué)科模擬應(yīng)用中,在最高層的問題是完全不同的?？梢允褂媚承?yīng)用框架(如CORBA,CCA)來根據(jù)它的各種組件構(gòu)建應(yīng)用。同時也要求以下機制:發(fā)現(xiàn)適合的計算性方面的機制。在這些資源上的保留時間的機制,策劃執(zhí)行表機制,提供對遠程存儲的訪問機制等等。這里,也使用了一些領(lǐng)域?qū)ｉT的匯集服務(wù)(例如,解答者耦合器,分布式數(shù)據(jù)歸檔者),但基本的支持與射線跟蹤是相同的。第三章 網(wǎng)格計算技術(shù)詳解第三章 網(wǎng)格計算技術(shù)詳解 網(wǎng)格計算的內(nèi)容在詳細地討論網(wǎng)格的體系結(jié)構(gòu)以及各層的協(xié)議后，到目前為止，網(wǎng)格技術(shù)已經(jīng)跨越了最初的原型研究階段,正在進入實際應(yīng)用。用戶希望網(wǎng)格在使用上類似電力網(wǎng)一樣可靠易用。不需要知道電能的來源,路徑,類型,而“即插即用”。也希望網(wǎng)格給最終用戶提供與地理位置無關(guān)、與具體的計算設(shè)施無關(guān)的計算能力,最終用戶可以將網(wǎng)格看作一個自主管理的強大的虛擬計算環(huán)境。技術(shù)層面上,網(wǎng)格計算是分布式計算的一個新的階段,它解決在動態(tài)的異構(gòu)的虛擬組織中如何控制和協(xié)調(diào)對資源的共享。(1) 虛擬組織由遵守資源共享規(guī)則的一組個體和機構(gòu)組成,具有分布、動態(tài)、異構(gòu)性質(zhì)。成員在地理上分布,屬性隨時間變化,各成員在目標(biāo)、結(jié)構(gòu)、規(guī)模、管理/ 運行模式等方面各不相同。 (2) 資源范圍很廣,包括計算機、設(shè)備(如天文望遠鏡、雷達) 、軟件、服務(wù)、數(shù)據(jù)等。用戶不需考慮資位置。 (3) 共享不再是簡單的資源互連和簡單使用,而是通過互連、組合和協(xié)作來解決問題,產(chǎn)生新服務(wù)、增值數(shù)據(jù)和知識等資源。到目前為止，網(wǎng)格技術(shù)現(xiàn)在已經(jīng)發(fā)展到了第三代。第一代網(wǎng)格連接地理上分布的超級計算,共享計算資源,也稱作元計算,代表性項目有FAFNER 和I2WAY。第二代網(wǎng)格采用標(biāo)準(zhǔn)化接口、中間件處理和異構(gòu),支持進行大規(guī)模計算和海量數(shù)據(jù)處理的高性能應(yīng)用程序,代表性項目有Globus 和Legion。通常將側(cè)重提供大規(guī)模計算能力的網(wǎng)格稱作計算網(wǎng)格,而將具有海量數(shù)據(jù)處理能力的網(wǎng)格稱作數(shù)據(jù)網(wǎng)格。第三代網(wǎng)格采用面向服務(wù),具有自主計算的特性[4]。 網(wǎng)格計算的特點：l 具有單一映像空間:單一映像空間可以屏蔽硬件邊界,實現(xiàn)異構(gòu)數(shù)據(jù)的格式轉(zhuǎn)換,提供虛擬文件服務(wù),把分散在各地的主機節(jié)點映射成一個統(tǒng)一入口的虛擬機器。l 支持節(jié)點自治:參與計算的節(jié)點可能屬于不同的管理域,計算網(wǎng)格必須保證各個節(jié)點的自主權(quán)。l 支持高效安全與容錯:網(wǎng)絡(luò)安全包括信息安全與系統(tǒng)安全兩個方面,網(wǎng)絡(luò)容錯支持例外處理、軟件調(diào)試與排錯。l 包含統(tǒng)一的資源管理:計算網(wǎng)格通過中間件來保證異構(gòu)硬件和軟件的互操作性,進行資源的統(tǒng)一管理和調(diào)度。l 協(xié)同工作:很多網(wǎng)格結(jié)點可以共同處理一個項目,能夠自動進行計算、優(yōu)化、組織、協(xié)調(diào)。而這對于用戶是透明的,用戶的感覺像是在使用一臺機器處理事務(wù)。 網(wǎng)格計算的基本功能在網(wǎng)格計算中,首先要查清網(wǎng)格里所有可用資源,比如哪些主機可供訪問、還空置多少處理能力、數(shù)據(jù)庫里可供使用的數(shù)據(jù)是什么、共享的應(yīng)用程序是否準(zhǔn)備好、共享主機采用何種文件系統(tǒng)等。用戶提交的任務(wù)由系統(tǒng)來分配資源并控制其運行,包括要將其分配到哪些主機上運行、調(diào)用哪些數(shù)據(jù)、啟動何種應(yīng)用程序、何時開始運行等。這樣,網(wǎng)格計算至少需要具備3 種基本功能:任務(wù)管理、任務(wù)調(diào)度和資源管理。任務(wù)管理　用戶通過該功能向網(wǎng)格提交任務(wù),為任務(wù)指定所需資源,刪除任務(wù)并監(jiān)測任務(wù)的運行狀態(tài)。任務(wù)調(diào)度　用戶提交的任務(wù)由該功能按照任務(wù)的類型、所需資源、可用資源等情況安排運行日程和策略。資源管理　確定并監(jiān)測網(wǎng)格資源狀況,收集任務(wù)運行時的資源占用數(shù)據(jù)。網(wǎng)格計算可分為集中式任務(wù)管理系統(tǒng)、分布式任務(wù)管理系統(tǒng)、分布式操作系統(tǒng)、參量分析、資源監(jiān)測P預(yù)測以及分布式計算接口等5 類,現(xiàn)有的網(wǎng)格計算技