基于云計算的校園云的設(shè)計與開發(fā)(編輯修改稿)
2025-07-24 18:58 本頁面
【文章內(nèi)容簡介】 高校原有硬件資源終端機(jī)，服務(wù)器虛擬化平臺圖53 校園云基礎(chǔ)設(shè)施層資源監(jiān)控是保證基礎(chǔ)設(shè)施層高效率工作的一個關(guān)鍵任務(wù)。在校園云這樣的大規(guī)模資源集群環(huán)境中, 任何時刻所有節(jié)點(diǎn)的負(fù)載都不是均勻的, 負(fù)載差異過大時, 會造成資源的浪費(fèi)?；A(chǔ)設(shè)施層的自動化負(fù)載平衡機(jī)制將負(fù)載進(jìn)行轉(zhuǎn)移, 從而使得所有資源在整體負(fù)載上趨于平衡。數(shù)據(jù)可靠性要求將數(shù)據(jù)的損壞和丟失的幾率降到最低,這就需要對數(shù)據(jù)進(jìn)行冗余備份, 以保證數(shù)據(jù)的高可靠性。動態(tài)部署一個典型場景就是實(shí)現(xiàn)基礎(chǔ)設(shè)施層的動態(tài)可伸縮性, 也就是說校園云的應(yīng)用可以在極短的時間內(nèi)根據(jù)具體用戶的需求和服務(wù)狀況的變化進(jìn)行調(diào)整。另一個典型場景是故障恢復(fù)和硬件維護(hù), 基礎(chǔ)設(shè)施層需要能夠復(fù)制該服務(wù)器的數(shù)據(jù)和運(yùn)行環(huán)境并通過動態(tài)部署在另外一個節(jié)點(diǎn)上建立起相同的環(huán)境。 為進(jìn)一步提高校園云環(huán)境中虛擬機(jī)的部署速度, 可使用并行部署或者協(xié)同部署技術(shù)。資源調(diào)度指的是在特定的資源環(huán)境下, 根據(jù)一定的資源使用規(guī)則, 在不同的資源使用者之間進(jìn)行資源調(diào)整的過程。 在校園云環(huán)境中, 軟件以軟件即服務(wù)的方式發(fā)布出去, 提供給所有需要使用該軟件的師生共享使用, 使軟硬件資源能夠更好地共享, 具有良好的可伸縮性, 每個用戶可以按需使用資源,多租戶技術(shù)示意圖如圖54所示。用戶用戶用戶用戶用戶SaaS圖54多租戶技術(shù)示意圖 一些學(xué)科需要使用大量科學(xué)計算, 以及在一些科研實(shí)踐中也需要大量數(shù)據(jù)處理。以往, 一般采用購買大型機(jī)的手段來得到這種數(shù)據(jù)處理能力,代價高昂。現(xiàn)在,利用校園云便可輕松解決, 不需額外的硬件投資,進(jìn)行動態(tài)資源調(diào)度實(shí)現(xiàn)一個可擴(kuò)展的可靠的計算環(huán)境。要進(jìn)行海量數(shù)據(jù)處理, 必然要運(yùn)用海量數(shù)據(jù)處理編程模型。Google 公司設(shè)計的MapReduce編程模型是一種主流海量數(shù)據(jù)處理編程模型, 可賦予程序員分布式應(yīng)用開發(fā)能力。MapReduce的出現(xiàn)將開發(fā)者所關(guān)注的業(yè)務(wù)邏輯與分布式計算涉及到的復(fù)雜細(xì)節(jié)劃分開來, 讓并行應(yīng)用開發(fā)通過MapReduc提供的編程模型屏蔽底層實(shí)現(xiàn)細(xì)節(jié), MapReduce 框架的基本工作流程如圖55所示。圖55 MapReduce框架的基本工作流程 隨著高校信息化的發(fā)展與完善, 越來越多的項(xiàng)目有存儲海量數(shù)據(jù)的需求。校園云采用分布式存儲的方式來存儲數(shù)據(jù), 采用冗余存儲的方式來保證數(shù)據(jù)的可靠性, 即為同一份數(shù)據(jù)存儲多個副本。校園云利用多臺服務(wù)器滿足其他服務(wù)器所不能滿足的存儲需求。校園云基于主流云計算的數(shù)據(jù)存儲技術(shù),如Google 非開源的GFS(Goog leFile System) Hadoop 開發(fā)團(tuán)隊(duì)開發(fā)的GFS 的開源實(shí)現(xiàn)HDFS( Hadoop Distributed File System),并根據(jù)高校特點(diǎn)做了相應(yīng)的配置與改進(jìn)。GFS是一個管理大型分布式數(shù)據(jù)密集型計算的可擴(kuò)展的分布式文件系統(tǒng)。GFS是一個可擴(kuò)展、結(jié)構(gòu)化、具備日志的分布式文件系統(tǒng), 支持大型、分布式大數(shù)據(jù)量的讀寫操作。建立在龐大數(shù)據(jù)中心之上的GFS 集群通常由一個控制中心(Master)、多個數(shù)據(jù)服務(wù)器(Chunkserver) 以及客戶機(jī)(Client) 組成。GFS架構(gòu)如圖56所示。圖56 Google File System架構(gòu)圖 校園云的數(shù)據(jù)管理是基于Google提出的BigTable數(shù)據(jù)管理技術(shù)加以改進(jìn)來實(shí)現(xiàn)的。BigTable 是為了管理結(jié)構(gòu)化數(shù)據(jù)在GFS和MapReduce基礎(chǔ)之上設(shè)計的一個分布式的結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng), 用來處理海量數(shù)據(jù)。在結(jié)構(gòu)上看, BigTable 是一個有序、稀疏、多維度的映射表, 在設(shè)計上具備很好的伸縮性以及高可用性等特點(diǎn)。 在計算節(jié)點(diǎn)上,開發(fā)者定義Map(分治) 函數(shù)來處理“鍵/值”對, 并生成“鍵/值”對集合形式的中間結(jié)果,之后根據(jù)開發(fā)者定義的Reduce(規(guī)約) 函數(shù)將所有中間結(jié)果進(jìn)行合并,完成任務(wù)的處理。并行應(yīng)用在執(zhí)行過程中,輸入數(shù)據(jù)的劃分、節(jié)點(diǎn)業(yè)務(wù)的執(zhí)行調(diào)度、容錯處理以及節(jié)點(diǎn)間信息交換等細(xì)節(jié)都將由MapReduce提供的編程模型實(shí)現(xiàn)。6. 校園云的實(shí)施 通過上述對校園云的理論分析，我們可以建立校園云計算服務(wù)中心：搭建基礎(chǔ)云設(shè)施，云平臺，高性能計算平臺來完成校園云的構(gòu)思。 其架構(gòu)圖如下圖所示： 圖61基礎(chǔ)云設(shè)施架構(gòu) 根據(jù)系統(tǒng)的特點(diǎn)，通過硬分區(qū)和軟分區(qū)的方式構(gòu)建基礎(chǔ)設(shè)施云，采用Vmware等云計算解決方案，實(shí)現(xiàn)基礎(chǔ)設(shè)施云的部署與管理?？刹捎枚嗯_惠普Proliant DL388 G7服務(wù)器等硬件設(shè)施和VMware vSphere 構(gòu)建基礎(chǔ)設(shè)施云。Proliant DL388 G7是機(jī)架式服務(wù)器，具有強(qiáng)勁的性能和虛擬化的優(yōu)勢，非常適合做基礎(chǔ)虛擬化平臺。其機(jī)器的基本配置為：CPU：2路4 核Intel Xeon E5620處理器內(nèi)存：2G DDR3硬盤：SFF SAS/SATA熱插拔硬盤網(wǎng)卡：雙千兆和雙萬兆共4 個網(wǎng)絡(luò)接口電源：冗余電源惠普Proliant DL388 G7不僅在處理器平臺上進(jìn)行升級，更加完善的支持至強(qiáng)5600系列，并且在內(nèi)存和硬盤上進(jìn)行擴(kuò)展，滿足虛擬化等苛刻應(yīng)用的需要，通過
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1