【文章內(nèi)容簡介】 Jobkeeper任務(wù)調(diào)度系統(tǒng)的基本組成和主要功能。 cStor 系統(tǒng)基本組成 cStor 云存儲資源管理系統(tǒng)采用分布式的存儲機制，將數(shù)據(jù)分散存儲在多臺獨立的存儲服務(wù)器上。它采用包括卷管理服務(wù)器、元數(shù)據(jù)管理服務(wù)器（ Master Server）、數(shù)據(jù)存儲節(jié)點服務(wù)器（ Chunk Server）和掛接訪問客戶端以及管理監(jiān)控中心服務(wù)器的結(jié)構(gòu)構(gòu)成虛擬統(tǒng)一的海量存儲空間。在每個服務(wù)器節(jié)點上運行 cStor 云存儲資源管理系統(tǒng)的相應(yīng)的軟件服務(wù)程序模塊。系統(tǒng)架構(gòu)框圖如下圖所示。 cStor 云存儲資源管理系統(tǒng)架構(gòu) 其中， Master Server 保存系統(tǒng)的元數(shù)據(jù)，負責(zé)對整個文件系統(tǒng)的管理， Master Server在邏輯上只有一個，但采用主備雙機鏡像的方式，保證系統(tǒng)的不間斷服務(wù)； Chunk Server負責(zé)具體的數(shù)據(jù)存儲工作，數(shù)據(jù)以文件的形式存儲在 Chunk Server 上， Chunk Server 的個數(shù)可以有多個，它的數(shù)目直接決定了 cStor 云存儲系統(tǒng)的規(guī)模；掛接訪問客戶端即為服務(wù)器對外提供數(shù)據(jù)存儲和訪問服務(wù)的窗口，通常情況下，客戶端可以部署在 Chunk Server 上，每一個塊數(shù)據(jù)服務(wù)器，既可以作為存儲服務(wù)器同時也可以作為客戶端服務(wù)器。 由一對元數(shù)據(jù)服務(wù)器及其管理的存儲服務(wù)器節(jié)點所提供的存儲空間稱為一個卷空間，不同的卷空間由卷管理服務(wù)器虛擬化統(tǒng)一管理，對外可提供統(tǒng)一的海量存儲空間。 管理 監(jiān) 控中心提供統(tǒng)一易用的 WEB 配置管理監(jiān)控平臺，提供設(shè)備監(jiān)控、 空間監(jiān)控、文件監(jiān)控、服務(wù)監(jiān)控、用戶認證管理、配額管理、故障告警及預(yù)警等功能，實現(xiàn)智能化管理。 這種分布式系統(tǒng)最大的好處是有利于存儲系統(tǒng)的擴展和實現(xiàn)，在小規(guī)模的數(shù)據(jù)擴展時，只需要添加具體的 Chunk Server 即可，而不需要添加整套設(shè)備。在實現(xiàn)大規(guī)模擴展時也可方便地添加整個卷設(shè)備。 cStor 系統(tǒng)功能描述 cStor 云存儲資源管理系統(tǒng)從功能上劃份為三大部分： 1) cStor 分布式 文 件 系統(tǒng) 分布式文件系統(tǒng)實現(xiàn)文件數(shù)據(jù)存儲、可靠性容錯、可伸縮性保證、高可用保證、負載均衡和流量分擔(dān)等功能 。 2) 存儲訪問接口 cStor 提 供符合 POSIX 規(guī)范的文件系統(tǒng)訪問接口，通過 cStor 訪問掛接程序可將云存儲空間掛接為本地目錄或磁盤。同時可提供專用的 API 接口，支持業(yè)務(wù)應(yīng)用層程序?qū)υ拼鎯ο到y(tǒng)的直接訪問。 3) 管理 監(jiān)控中心 管理監(jiān)控中心提供帳戶管理、設(shè)備管理、系統(tǒng)監(jiān)控、卷管理、告警管理、故障管理等功能。 下面逐一詳細介紹各部分系統(tǒng)功能。 cStor 分布式 文 件 系統(tǒng) cStor 分布式 文 件 系統(tǒng) 包括卷管理、元數(shù)據(jù)管理、塊數(shù)據(jù)管理服務(wù)。參考上面系統(tǒng)架構(gòu)框圖左側(cè)部分。 元數(shù)據(jù)是指文件的名稱、屬性、數(shù)據(jù)塊位置信息等，元數(shù)據(jù)管理通過元數(shù)據(jù)服務(wù)程序完成。 因元數(shù)據(jù)訪問頻繁，故系統(tǒng)將元數(shù)據(jù)加載緩存至內(nèi)存中管理，提高訪問效率。由于元數(shù)據(jù)的重要性，元數(shù)據(jù)損壞或丟失則相當(dāng)于文件數(shù)據(jù)丟失，因此實現(xiàn)了元數(shù)據(jù)服務(wù)器主備雙機高可用，確保７２４小時不間斷服務(wù)。 通過元數(shù)據(jù)遠程多機冗余備份功能，實現(xiàn)在多臺其它機器上備份元數(shù)據(jù)，當(dāng)元數(shù)據(jù)服務(wù)器損壞，可以通過備份的元數(shù)據(jù)重新恢復(fù)服務(wù)，切保數(shù)據(jù)可以完整找回。 塊數(shù)據(jù)是指文件數(shù)據(jù)被按照一定大小（默認 64MB）分割而成的多個數(shù)據(jù)塊，分布存儲到不同的存儲節(jié)點服務(wù)器上，并通過編解碼容錯算法產(chǎn)生相應(yīng)的冗余塊。 塊數(shù)據(jù)服務(wù)是運行在每個存儲節(jié)點服 務(wù)器上的塊數(shù)據(jù)管理程序，負責(zé)使用存儲服務(wù)器上的磁盤空間存儲文件數(shù)據(jù)塊，并實現(xiàn)相應(yīng)的編解碼功能。 相比較傳統(tǒng)業(yè)界的云存儲采用塊數(shù)據(jù)簡單備份冗余容錯機制，編解碼容錯方式大大降低了硬件資源冗余度，提高了磁盤利用率。 由一對主備元數(shù)據(jù)服務(wù)器及其所管理的塊數(shù)據(jù)服務(wù)器管理節(jié)點設(shè)備及其所提供的存儲空間稱為一個卷。 卷管理服務(wù)器負責(zé)將多個卷虛擬化整合，對外提供統(tǒng)一的整體訪問云存儲空間。 文件系統(tǒng)采用中心服務(wù)器模式分布式存儲架構(gòu)，控制流與數(shù)據(jù)流分離，通過增加存儲節(jié)點 系統(tǒng)采用自動注冊機制，實現(xiàn)系統(tǒng)高可伸縮性，增加或減少存儲節(jié) 點規(guī)模，不影響系統(tǒng)正常提供存儲訪問服務(wù)。 該系統(tǒng)架構(gòu)實現(xiàn)了統(tǒng)一調(diào)度，負載均衡和流量自動分擔(dān)功能，多個存儲節(jié)點同時對外提供數(shù)據(jù)流服務(wù)，系統(tǒng)根據(jù)磁盤空間使用比例進行資源優(yōu)化配置。同時在多個不同的存儲節(jié)點之間實現(xiàn)根據(jù)空間比例進行優(yōu)化配置，數(shù)據(jù)優(yōu)先存儲的空間利用比例相對較低的磁盤或存儲服務(wù)器上。 cStor 分布式 文 件 系統(tǒng) 具有自動冗余重 建 功能 ， 確保損壞的數(shù)據(jù)塊能夠被解碼或編碼后存儲到在線的正常的存儲服務(wù)器節(jié)點上。 存儲訪問接口 cStor 分布式文件系統(tǒng)提供符合 POSIX 規(guī)范的文件系統(tǒng)訪問接口。支持 Linux、Windows、 MaxOS X 等操作系統(tǒng)平臺?？蓪⒃拼鎯ο到y(tǒng)提供的存儲空間掛接為本地目錄或本地盤符來使用。用戶操作云存儲空間和操作本地文件相同。 另外 cStor 提供專用的高速存取訪問 API 接口，供性能要求很高的高端應(yīng)用程序?qū)邮褂谩? 管理監(jiān)控中心 管理監(jiān)控中心為系統(tǒng)管理員配置和維護 cStor 云存儲資源管理系統(tǒng)的有效工具，充分體現(xiàn)了系統(tǒng)的可維護性。 管理監(jiān)控中心提供帳戶管理、設(shè)備管理、系統(tǒng)監(jiān)控、卷管理、告警管理、故障管理等功能。以下為部分系統(tǒng)管理界面。 ? 設(shè)備管理 ? 系統(tǒng)監(jiān)控 ? 告警信息 ? 告警配置 ? 告警日志 ? 故障處理 ? 卷管理 ? 帳戶管理 ? 添加帳戶 Jobkeeper 系統(tǒng)基本組成 Jobkeeper 的系統(tǒng)架構(gòu)如下圖所示： 上圖中對 Jobkeeper 進行了分層，對每層進行具體闡述 ? 虛擬化資源層：將機器進行虛擬化，形成更大范圍的服務(wù)集群。 ? 存儲層：存儲數(shù)據(jù)的處理結(jié)果集或其他中間結(jié)果集的單元。 ? 數(shù)據(jù)處理層：獨立的數(shù)據(jù)處理程序，是對不同需求數(shù)據(jù)的統(tǒng)一處理方案，由JobKeeper 調(diào)度平臺進行統(tǒng)一的配置管理。 ? 業(yè)務(wù)層：對于應(yīng)用層的相關(guān)功能的業(yè)務(wù)化，數(shù)字化處理，用于將應(yīng)用層的需求任務(wù)進行規(guī)則化劃分，形成統(tǒng)一的處理化模式。 ? 應(yīng)用層：一組用于管理和結(jié)果反饋的顯示組件。是整個系統(tǒng)面向用戶和開發(fā)人員的基礎(chǔ)承載。 JobKeeper 的任務(wù)分發(fā)流程如下圖所示： JobKeeper 任務(wù)分發(fā)流程圖 當(dāng)用戶在應(yīng)用層下發(fā)任務(wù)給管理節(jié)點，管理節(jié)點調(diào)度機器采集機器節(jié)點的信息，根據(jù)具體的算法選取最優(yōu)節(jié)點并分發(fā)任務(wù)，接下來具體的處理節(jié)點接收到任務(wù)并處理同時將結(jié)果返回給管理節(jié)點，管理節(jié)點整理匯總處理結(jié)果，而后返回給應(yīng)用層。 服務(wù)器 節(jié)點組：負責(zé)對處理節(jié)點的系統(tǒng)信息以及任務(wù)處理信息進行實時的跟蹤和保存，對應(yīng)的信息鏡像存儲在基于 cStor 或者 NFS 服務(wù)的存儲系統(tǒng)上。 處理節(jié)點組：通過 RPC 的遠程調(diào)用獲取各自節(jié)點的任務(wù)處理目標(biāo)，并實時的和處理節(jié)點上的任務(wù)處理目標(biāo)進行對比，控制程序的執(zhí)行和結(jié)束。處理節(jié)點組會在一個設(shè)定的心跳間隔內(nèi)主動的和管理節(jié)點組聯(lián)系一次，報告節(jié)點存活狀態(tài)。 4 系統(tǒng)安全性設(shè)計 安全保障體系框架 NSA 提出的信息安全保障技術(shù)框架（ IATF），如下圖所示。 IATF 依據(jù)“深度防護戰(zhàn)略”理論，要求從整體、過程的角度看待信息安全問題， 強調(diào)人、技術(shù)、操作這三個核心原則，關(guān)注四個層次的安全保障：保護網(wǎng)絡(luò)和基礎(chǔ)設(shè)施、保護邊界、保護計算環(huán)境、支撐基礎(chǔ)設(shè)施。 圖表 基于深度防護戰(zhàn)略的 IATF 模型 IATF 模型從深度防護戰(zhàn)略出發(fā)，強調(diào)人、技術(shù)和操作三個要素： 人：人是信息的主體，是信息系統(tǒng)的擁有者、管理者和使用者，是信息保障體系的核心，是第一位的要素，同時也是最脆弱的。正是基于這樣的認識，安全組織和安全管理在安全保障體系中是第一位的，要建設(shè)信息安全保障體系，首先必須建立安全組織和安全管理，包括組織管理、技術(shù)管理和操作管理等多個方面。 技術(shù)：技術(shù)是實現(xiàn)信息安全保障的重要手段，信息安全保障體系所應(yīng)具備的各項安全服務(wù)就是通過技術(shù)機制來實現(xiàn)的。當(dāng)然 IATF 所指的技術(shù)是防護、檢測、響應(yīng)、恢復(fù)并重的、動態(tài)的技術(shù)體系。 操作：也可稱之“運行”，它體現(xiàn)了安全保障體系的主動防御，如果說技術(shù)的構(gòu)成是被動的，那操作和流程就是將各方面技術(shù)緊密結(jié)合在一起的主動過程，運行保障至少包括安全評估、入侵檢測、安全審計、安全監(jiān)控、響應(yīng)恢復(fù)等內(nèi)容。 信息安全保障體系的實現(xiàn)就是通過建立安全組織、安全管理和防護技術(shù)體系，協(xié)調(diào)組織、技術(shù)、運作三者之間的關(guān)系，明確技術(shù)實施和安全操作 中技術(shù)人員的安全職責(zé)，從網(wǎng)絡(luò)和基礎(chǔ)設(shè)施、區(qū)域邊界、計算環(huán)境、支撐基礎(chǔ)設(shè)施等多層次保護，從而達到對安全風(fēng)險的及時發(fā)現(xiàn)和有效控制，提高安全問題發(fā)生時的反應(yīng)速度和恢復(fù)能力，增強網(wǎng)絡(luò)與信息的整體安全保障能力。 對于 云計算安全參考模型 ， 云安全聯(lián)盟 CSA（ Cloud Security Alliance）提出了基于 3 種基本云服務(wù)的層次性及其依賴關(guān)系的安全參考模型 ,并實現(xiàn)了從云服務(wù)模型到安全控制模型的映射。該模型顯示 PaaS 位于 IaaS 之上 ,SaaS 位于 PaaS 之上。該模型的重要特點是供應(yīng)商所在的等級越低 ,云服務(wù)用戶所要承 擔(dān)的安全能力和管理職責(zé)就越多。 根據(jù)資源或服務(wù)的管理權(quán)、所有權(quán)和資源物理位置的不同 ,CSA 也給出了不同的云部署模型的可能實現(xiàn)方式及其不同部署模式下共享云服務(wù)的消費者之間的信任關(guān)系 ,如下 圖所示。 圖表 云部署模型的實現(xiàn) 此圖顯示 ,對于私有云和社區(qū)云 ,有多種實現(xiàn)方式 ,可以和公共云一樣 ,由第三方擁有和管理并提供場外服務(wù)（ offpremises） ,所不同的是共享云服務(wù)的消費者群體之間具有信任關(guān)系 ,局限于組織內(nèi)部和可信任的群體之間。 對于每一種云部署實現(xiàn)方式 ,都可以提供 3 種基本的云服務(wù)。云部署實現(xiàn)的不同 方式和基本云服務(wù)的組合構(gòu)成不同的云服務(wù)消費模式。結(jié)合云服務(wù)安全參考模型 ,可以確定不同的云服務(wù)消費模式下供應(yīng)商和用戶的安全控制范圍和責(zé)任 ,用戶評估和比較不同云服務(wù)消費模式的風(fēng)險及現(xiàn)有安全控制與要求的安全控制之間的差距 ,做出合理的決策。 云計算平臺的多級信任保護 云計算可信平臺實現(xiàn)系統(tǒng)平臺（計算環(huán)境）認證、應(yīng)用系統(tǒng)完整性認證、分布式資源信任認證和用戶身份認證 4 個層次。多層信任保護的具體結(jié)構(gòu)如下圖所示。 圖表 多級信任保護 在上圖中，平臺認證是基礎(chǔ)，為其他 3 種認證提供一個可靠的計算環(huán)境。平臺認證、應(yīng)用認證、資 源認證和用戶認證都通過統(tǒng)一的證書機制來實現(xiàn)。 （ 1）云平臺信任保護 由于 TPM（ trust platform module）規(guī)范能夠支持現(xiàn)有的公鑰基礎(chǔ)設(shè)施，并且 TPM內(nèi)部的認證密鑰和 64 位物理唯一序列號都能很好地實現(xiàn)自身和平臺的綁定。因此可信平臺之間的信任關(guān)系可以借助基于可信第三方的證書機制來保障。即每一個節(jié)點將能夠代表自身特征的關(guān)鍵信息以可靠地方式提交到可信第三方（如 CA 中心），可信第三方在核實這些數(shù)據(jù)的真實性和完整性后對其簽名，并為其頒發(fā)一個平臺證書。此后，該平臺在和其他平臺通信時可以出示該證書，以表明 自己的合法身份。平臺在向可信第三方提交平臺信息和驗證其他平臺證書合法性時，都需要借助 TPM 的硬件支持。在下圖所示的實例中，云平臺 A 和 B 都從證書頒發(fā)中心獲得自己的平臺證書。當(dāng) B 請求與 A 建立連接并向 A 出示自己的證書后， A 借助 TPM 驗證 B 出示的證書的有效