【文章內(nèi)容簡介】 和科研能夠順利地完成。第四章、 云計算大數(shù)據(jù)實驗室建設(shè)原則本方案符合云計算大數(shù)據(jù)才培養(yǎng)的需要。云計算大數(shù)據(jù)是未來計算機發(fā)展的一個重要方向。目前全國信息化發(fā)展迅猛，但人才匱乏問題也隨之凸顯。對于各大高校而言，云計算大數(shù)據(jù)人才的培養(yǎng)就非常重要。云計算大數(shù)據(jù)才的培養(yǎng)是未來人才培養(yǎng)戰(zhàn)略重點之一，建立一個完善的、科學的云計算大數(shù)據(jù)實驗平臺，才能形成云計算大數(shù)據(jù)人才培養(yǎng)的實踐基礎(chǔ)，本項目就是基于云計算大數(shù)據(jù)的發(fā)展大方向而進行建設(shè)的，希望能夠借助新建的平臺培養(yǎng)這方面的人才，同時提升各大高校對云計算大數(shù)據(jù)的學習和科研。云計算大數(shù)據(jù)實驗室的建設(shè)應(yīng)遵循以下原則來建設(shè)： . 方便擴展在架構(gòu)設(shè)計上，要充分考慮可擴充性，為未來擴展留出空間。在初期研究工作不飽滿的情況下，盡量讓一臺設(shè)備有多種用途。未來工作規(guī)模擴大，可以補充設(shè)備做到專項專用?？紤]設(shè)備的更新?lián)Q代以及后期維護的方便，同類設(shè)備盡量采購型號接近的產(chǎn)品，以便在個別設(shè)備出故障時，彼此容易替代。. 自身安全云計算大數(shù)據(jù)實驗室是與互聯(lián)網(wǎng)相互連通的，因此實驗室自身的網(wǎng)絡(luò)安全建設(shè)也十分重要。實驗室必須設(shè)置較強的遠程訪問控制手段和防護措施，避免因自身安全漏洞，導致研究結(jié)果的偏差，或被外部不法人員攻擊。 . 業(yè)務(wù)高可用云計算大數(shù)據(jù)平臺作為承載未來政府信息中心應(yīng)用的重要IT基礎(chǔ)設(shè)施，承擔著穩(wěn)定運行和業(yè)務(wù)創(chuàng)新的重任。伴隨著數(shù)據(jù)與業(yè)務(wù)的集中，云計算平臺的建設(shè)及運維給信息部門帶來了巨大的壓力，因此云計算大數(shù)據(jù)實驗室的建設(shè)從基礎(chǔ)資源池（計算、存儲、網(wǎng)絡(luò)）、虛擬化平臺、云平臺等多個層面充分考慮業(yè)務(wù)的高可用，基礎(chǔ)單元出現(xiàn)故障后業(yè)務(wù)應(yīng)用能夠迅速進行切換與遷移，用戶無感知，保證業(yè)務(wù)的連續(xù)性。. 統(tǒng)一管理與自動化云計算大數(shù)據(jù)的最終目標是要實現(xiàn)系統(tǒng)的按需運營，多種服務(wù)的開通，而這依賴于對計算、存儲、網(wǎng)絡(luò)資源的調(diào)度和分配，同時提供用戶管理、組織管理、工作流管理、自助Portal界面等。從用戶資源的申請、審批到分配部署的智能化。管理系統(tǒng)不僅要實現(xiàn)對傳統(tǒng)的物理資源和新的虛擬資源進行管理，還要從全局而非割裂地管理資源，因此統(tǒng)一管理與自動化將成為必然趨勢。. 開放接口傳統(tǒng)的管理系統(tǒng)與上層系統(tǒng)對接，注重故障的上報和信息的查詢。而云計算大數(shù)據(jù)的管理系統(tǒng)更關(guān)注如何實現(xiàn)自動化的部署，在接口方面更關(guān)注資源調(diào)度和分配，這就需要管理系統(tǒng)在業(yè)務(wù)調(diào)度方面實現(xiàn)開放。為保證服務(wù)器、存儲、網(wǎng)絡(luò)等資源能夠被云計算運營平臺良好的調(diào)度與管理，要求系統(tǒng)提供開放的API接口，云計算運營管理平臺能夠通過API接口、命令行腳本實現(xiàn)對設(shè)備的配置與策略下發(fā)聯(lián)動。同時云平臺也提供開放的API接口，未來可以在這些接口的基礎(chǔ)上進行二次定制開放，實現(xiàn)面向云計算的數(shù)據(jù)中心管理平臺。. 豐富、清晰的培訓教材對于云計算大數(shù)據(jù)實驗室承擔的培訓工作，比如基礎(chǔ)課程的培訓、行業(yè)應(yīng)用培訓，應(yīng)該具有豐富、清晰的教材，包括教師指導書、學員課本和實驗手冊。這樣可以充分提高教學培訓的效率。但是不是所有標準化教材都能滿足所有實驗室，很多學校在承擔特殊化的培訓工作時，往往需要定制開發(fā)教材，這就需要實驗設(shè)備提供商和學校聯(lián)合開發(fā)相應(yīng)的課程。. 師資培訓 新技術(shù)交流雖然多數(shù)科研人員和授課教師都有很深的學術(shù)功底，但是不見得對實驗設(shè)備了解非常深入，這就對科研進度和培訓工作帶來影響。供應(yīng)商在提供實驗設(shè)備的同時應(yīng)該對科研人員和授課教師進行詳細的設(shè)備使用培訓，使他們能夠更好的開展后續(xù)工作。為了使研究、培訓內(nèi)容跟上最新技術(shù)的發(fā)展，應(yīng)當有業(yè)界技術(shù)領(lǐng)先的企業(yè)定期和科研人員、授課教師充分交流前沿技術(shù)的發(fā)展，已達到開拓科研視野、增加企業(yè)產(chǎn)品方案競爭力的雙贏目的。. 技術(shù)服務(wù)保障雖然云計算大數(shù)據(jù)實驗室對設(shè)備的可靠性不及電信、金融系統(tǒng)對設(shè)備可靠性要求高，但是如果科研課題進度非常緊，或者學員是付費使用實驗室，那么實驗平臺對可靠性以及廠家對故障的服務(wù)響應(yīng)就非常重要了。另一個維度來講，實驗平臺涉及多種高、精、尖技術(shù)，廠家服務(wù)人員對技術(shù)掌握的深度和范圍也顯得非常必要。第五章、 云計算大數(shù)據(jù)實驗室建設(shè)目標. 建設(shè)目標云計算大數(shù)據(jù)實驗室的設(shè)計是為了滿足云計算大數(shù)據(jù)實驗教學的需求，實驗內(nèi)容的設(shè)計來源于社會需求調(diào)研以及云計算業(yè)界專業(yè)人士的建議，實驗內(nèi)容涵蓋的技術(shù)知識點能夠與目前云計算大數(shù)據(jù)人才的技能需求貼合，實驗設(shè)計以真實的工作場景為背景，培養(yǎng)學生的綜合能力，增強學生對真實工作環(huán)境的體驗感，適應(yīng)社會人才發(fā)展的需要。云計算大數(shù)據(jù)實驗室的建設(shè)目標體現(xiàn)在以下方面：. 培養(yǎng)學生云計算大數(shù)據(jù)職業(yè)技能 目前市場上針對于云計算大數(shù)據(jù)的相關(guān)實驗，大多以在云平臺或者大數(shù)據(jù)分析平臺的應(yīng)用操作為主，以體驗教學為主，并不能支持云計算技術(shù)本身的研究與 學習。而目前學校云計算相關(guān)的教學處于起步階段，并無完善的課程體系標準， 云計算大數(shù)據(jù)實驗室的實驗內(nèi)容設(shè)計以社會人才需求為導向，輔助 學校構(gòu)建符合市場需求的云計算大數(shù)據(jù)人才培養(yǎng)課程體系及實驗環(huán)境。實驗內(nèi)容設(shè)計來源于云計算大數(shù)據(jù)相關(guān)崗位人才技能要求的統(tǒng)計、分析及歸納，側(cè)重于云計算大數(shù)據(jù)技術(shù)本身的學習、使用及研究，實驗以真實項目為背景，實驗內(nèi)容和培養(yǎng)方式更貼合社會云計算大數(shù)據(jù)人才需求。. 提供獨立的用戶實驗環(huán)境 云計算大數(shù)據(jù)實驗室為每個實驗用戶提供獨立的實驗環(huán)境，保證實驗環(huán)境的獨立性以及延續(xù)性。每位實驗用戶具有獨立的實驗環(huán)境，與其他用戶互不干擾，培養(yǎng)用戶獨立完成實驗的能力，對云計算的核心技術(shù)點能夠全方位掌握，實驗操作實時保存，能夠保證實驗的延續(xù)開展。. 提高系統(tǒng)資源的利用率 云計算大數(shù)據(jù)技術(shù)的學習需要硬件服務(wù)器環(huán)境的支撐，為每位用戶配置一到三臺的物理服務(wù)器用于實驗教學，成本過高，并且實驗占用資源有限，服務(wù)器大量資源閑置。本系統(tǒng)采用虛擬化技術(shù)，將單個硬件資源虛擬為多個虛擬服務(wù)器，基于動態(tài)分配技術(shù)為用戶分配虛擬服務(wù)器資源開展實驗，可有效提高硬件設(shè)備的利用率。. 系統(tǒng)具有良好擴展性 云計算大數(shù)據(jù)技術(shù)在不斷的發(fā)展進步，平臺應(yīng)具有良好的擴展性，實驗內(nèi)容及虛擬機資源能夠靈活添加，保證實驗內(nèi)容及虛擬機資源隨著云計算技術(shù)的發(fā)展不斷更新完善。同時，系統(tǒng)支持對其他課程實驗環(huán)境或科研項目所需計算存儲資源的添加及分配，硬件資源可得到充分復用。. 建設(shè)內(nèi)容. 云計算大數(shù)據(jù)實驗平臺部署在實驗室構(gòu)建一套完整的云計算大數(shù)據(jù)平臺，包括云計算服務(wù)器集群、云計算虛擬化管理平臺。云計算大數(shù)據(jù)平臺通過對底層服務(wù)器硬件、網(wǎng)絡(luò)設(shè)備和存儲資源實現(xiàn)虛擬化聚合部署，配合云計算虛擬化管理平臺，實現(xiàn)云計算中基礎(chǔ)設(shè)施即服務(wù)（IaaS）部分，為實驗室開展云計算IaaS層的研究、教學、實驗提供基礎(chǔ)環(huán)境。同時該云計算大數(shù)據(jù)平臺也為更高層次的云計算服務(wù)，如PaaS，SaaS服務(wù)提供了良好的基礎(chǔ)平臺，且具有很高的自適應(yīng)性和擴展空間。. 云計算大數(shù)據(jù)實驗環(huán)境學習及搭建易霖博云計算大數(shù)據(jù)實驗分為五個階段，涵蓋了從基礎(chǔ)架構(gòu)到中間件和saas應(yīng)用層服務(wù)以及大數(shù)據(jù)分析和云安全實驗，各階段都有詳細的課程講解及配套教材。下面將對五個階段進行介紹。云計算基本架構(gòu)安裝和部署階段，讓學生了解云計算的基礎(chǔ)架構(gòu)，熟悉OpenStack各組件的部署，掌握實例的創(chuàng)建及調(diào)度，學生能夠通過自己部署的openstack平臺對所有實例進行分配和管理，包括對實例資源、配額及網(wǎng)絡(luò)的管理，充分發(fā)揮openstack的高效管理和可擴展性。 云計算中間件和環(huán)境部署階段，基于openstack 的IAAS平臺，構(gòu)建完整的服務(wù)提供平臺，平臺主要面向開發(fā)者，能夠根據(jù)開發(fā)環(huán)境的需求提供定制化的開發(fā)環(huán)境，完成一鍵化的開發(fā)平臺部署?；诜植际轿募到y(tǒng)的大數(shù)據(jù)部署、挖掘和分析階段，通過對云計算分布式的部署，了解了分布式的概念，從而更快速的學習Hadoop 分布式文件系統(tǒng)，通過構(gòu)建一個簡單的集群，能夠建立數(shù)據(jù)模型，進行數(shù)據(jù)挖掘和分析。 云計算應(yīng)用層安裝及使用階段，通過PAAS平臺提供的開發(fā)套件及工具，開發(fā)出可用的web應(yīng)用平臺和軟件，如:電子商務(wù)系統(tǒng)，博客系統(tǒng)以及網(wǎng)盤等常見web端服務(wù)。云安全加固和防護階段，通過學習openstack的部署和應(yīng)用，還必須對云安全進行一定的了解，對實例的網(wǎng)絡(luò)進行劃分和管理，對安全組和規(guī)則進行調(diào)整，使得對實例和資源的控制更加有效。第六章、 云計算大數(shù)據(jù)實驗室解決方案. 云計算大數(shù)據(jù)實驗室整體架構(gòu)云計算大數(shù)據(jù)實驗平臺的實驗內(nèi)容設(shè)計均來源于社會人才需求技能調(diào)研及業(yè)界專家建議，力求云計算大數(shù)據(jù)專業(yè)人才培養(yǎng)符合社會人才需求現(xiàn)狀，適用于云計算大數(shù)據(jù)、虛擬化、大數(shù)據(jù)、云安全等課程實驗教學及實訓，也可基于本產(chǎn)品的軟硬件平臺進行云計算大數(shù)據(jù)相關(guān)科研項目。易霖博云計算大數(shù)據(jù)實驗平臺架構(gòu)圖易霖博云計算大數(shù)據(jù)實驗平臺，包括云計算服務(wù)器集群，云計算大數(shù)據(jù)管理和應(yīng)用，云安全等。平臺通過對底層服務(wù)器硬件、網(wǎng)絡(luò)設(shè)備和存儲資源實現(xiàn)虛擬化聚合部署，配合云計算大數(shù)據(jù)管理，實現(xiàn)云計算中基礎(chǔ)設(shè)施即服務(wù)（IaaS）部分，為實驗室開展云計算IaaS、PaaS、SaaS、大數(shù)據(jù)管理和挖掘、云安全等提供了良好的基礎(chǔ)平臺，具有很高的自適應(yīng)性和擴展空間。. 云計算大數(shù)據(jù)實驗室物理布局云計算大數(shù)據(jù)實驗室的布局設(shè)計要以能夠有效利用實驗室場地，方便開展教學和實訓為原則，這里我們推薦用目前最主流的布局方式島式布局。島式布局是目前最流行的實驗室布局方式，每個物理實訓組成為一個小島，每個組推薦6個學員使用，每組配置一個2m標準機柜。易霖博云計算大數(shù)據(jù)實驗室每個實驗組采取“4N+1”的教學架構(gòu)平臺，即一個資源平臺，四個分布式節(jié)點（控制節(jié)點、網(wǎng)絡(luò)節(jié)點、計算節(jié)點、存儲節(jié)點）讓學生通過實際部署從而理解分布式的概念和掌握各節(jié)點功能以及核心組件。. 云計算大數(shù)據(jù)實驗平臺部署云計算大數(shù)據(jù)實驗平臺提供了一個功能完整的、標準開放的方便集成的IaaS服務(wù)層。這層提供的動態(tài)基礎(chǔ)架構(gòu)是整個云計算服務(wù)的核心支撐層，最核心的部分包括采用了服務(wù)器、存儲設(shè)備、網(wǎng)絡(luò)設(shè)備和易霖博云計算管理平臺構(gòu)建的云計算服務(wù)基礎(chǔ)架構(gòu)。該基礎(chǔ)架構(gòu)具備良好的性能、可用性和可靠性。虛擬化軟件實現(xiàn)對底層的服務(wù)器硬件、存儲資源和網(wǎng)絡(luò)設(shè)備的虛擬化，然后通過虛擬化管理平臺，將計算資源、存儲資源、網(wǎng)絡(luò)資源進行聚合，構(gòu)建新一代的資源中心，形成統(tǒng)一的云計算大數(shù)據(jù)實驗平臺。在實驗平臺，所有資源整合后在邏輯上以單一整體（虛擬機）的形式呈現(xiàn)，這些資源根據(jù)需要進行動態(tài)擴展和配置，各信息系統(tǒng)業(yè)務(wù)按需使用資源。易霖博云計算虛擬化管理平臺提供自服務(wù)功能和基本的服務(wù)管理能力。. 實驗平臺基礎(chǔ)設(shè)施. 服務(wù)器集群云計算大數(shù)據(jù)實驗平臺的服務(wù)器按照功能和作用的不同分為管理節(jié)點服務(wù)器和計算節(jié)點服務(wù)器。管理節(jié)點服務(wù)器用于安裝易霖博云計算大數(shù)據(jù)管理軟件，是整個云計算平臺的指揮中樞。易霖博云計算大數(shù)據(jù)管理軟件采用集中式管理架構(gòu)，負責整個云計算大數(shù)據(jù)實驗平臺服務(wù)請求的處理，包括硬件、虛擬機和網(wǎng)絡(luò)的管理操作，并發(fā)送給對應(yīng)的計算節(jié)點和系統(tǒng)虛擬機去執(zhí)行。同時，易霖博云計算大數(shù)據(jù)管理軟件還會在數(shù)據(jù)庫中記錄整個云計算大數(shù)據(jù)實驗平臺的所有信息，并監(jiān)控計算節(jié)點、存儲和虛擬機的狀態(tài)，以及網(wǎng)絡(luò)的使用情況，從而幫助用戶了解整個云計算大數(shù)據(jù)實驗平臺各個部分的運行情況。在小規(guī)模應(yīng)用環(huán)境中，可以將易霖博云計算大數(shù)據(jù)管理軟件和數(shù)據(jù)庫安裝在同一臺服務(wù)器上；在大規(guī)模應(yīng)用環(huán)境中，可以部署多臺管理服務(wù)器，并搭建實時同步的從屬數(shù)據(jù)庫，實現(xiàn)分攤壓力和提高可靠性。計算節(jié)點服務(wù)器承擔著云計算大數(shù)據(jù)實驗平臺的“計算”功能。對于云計算大數(shù)據(jù)實驗平臺上的計算節(jié)點服務(wù)器，通常都是將相同或者相似類型的服務(wù)器組合在一起，作為資源分配的母體，即所謂的計算資源池。在這個計算資源池上，再安裝虛擬化軟件，使得其計算資源能以虛擬機的方式被不同的應(yīng)用使用。. 存儲系統(tǒng)云計算大數(shù)據(jù)實驗平臺中的存儲用于保存虛擬機的操作系統(tǒng)、模板文件、應(yīng)用程序文件、配置文件以及與活動相關(guān)的其它數(shù)據(jù)，是虛擬機正常工作的基本前提條件。支持本地存儲和共享存儲兩種存儲類型。訪問存儲空間有三種主流方式：基于數(shù)據(jù)塊(FC SAN或iSCSI)、基于文件(CIFS/NFS)、或通過Web服務(wù)，基于塊和文件的訪問方式在企業(yè)應(yīng)用中最常見，能更好地控制性能、可用性和安全性。. 本地存儲將存儲服務(wù)器作為被管理資源對象添加到云計算大數(shù)據(jù)實驗平臺之后，該主機默