【正文】 、CPU、網(wǎng)絡(luò)均衡設(shè)計(jì)，針對數(shù)據(jù)倉庫訪問最優(yōu)設(shè)計(jì)，比傳統(tǒng)類似平臺(tái)高出一個(gè)數(shù)量級(jí)以上。同時(shí)SQL支持，以Hive+HADOOP為代表的SQL界面支持，在大數(shù)據(jù)技術(shù)上用云計(jì)算構(gòu)建下一代數(shù)據(jù)倉庫成為熱門話題。大數(shù)據(jù)必然無法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理,必須采用分布式計(jì)算架構(gòu)。. 云計(jì)算與大數(shù)據(jù)的關(guān)系本質(zhì)上，云計(jì)算與大數(shù)據(jù)的關(guān)系是靜與動(dòng)的關(guān)系；云計(jì)算強(qiáng)調(diào)的是計(jì)算，這是動(dòng)的概念；而數(shù)據(jù)則是計(jì)算的對象，是靜的概念?！斑@使得計(jì)算機(jī)能夠真正幫助我們，甚至代表我們?nèi)スぷ鳌?。在技術(shù)領(lǐng)域，以往更多是依靠模型的方法，現(xiàn)在我們可以借用規(guī)模龐大的數(shù)據(jù)，用基于統(tǒng)計(jì)的方法，有望使語音識(shí)別、機(jī)器翻譯這些技術(shù)領(lǐng)域在大數(shù)據(jù)時(shí)代取得新的進(jìn)展。個(gè)人用戶將文檔、照片、視頻、游戲存檔記錄上傳至“云”中永久保存，企業(yè)客戶根據(jù)自身需求，可以搭建自己的“私有云”，或托管、或租用“公有云”上的IT資源與服務(wù)，這些都已不是新鮮事。第一章、 云計(jì)算與大數(shù)據(jù)的發(fā)展趨勢. 云計(jì)算與大數(shù)據(jù)云計(jì)算和大數(shù)據(jù)是一個(gè)硬幣的兩面，云計(jì)算是大數(shù)據(jù)的IT基礎(chǔ)，而大數(shù)據(jù)是云計(jì)算的一個(gè)殺手級(jí)應(yīng)用，云計(jì)算是大數(shù)據(jù)成長的驅(qū)動(dòng)力，而另一方面，由于數(shù)據(jù)越來越多、越來越復(fù)雜、越來越實(shí)時(shí)，這就更加需要云計(jì)算去處理，所以二者之間是相輔相成的。北京易霖博信息技術(shù)有限公司 易霖博云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)解決方案北京易霖博信息技術(shù)有限公司2016年5月目錄概述 4第一章、 云計(jì)算與大數(shù)據(jù)的發(fā)展趨勢 4. 云計(jì)算與大數(shù)據(jù) 4. 云計(jì)算與大數(shù)據(jù)的關(guān)系 5. 當(dāng)大數(shù)據(jù)遭遇云計(jì)算 5. 云計(jì)算環(huán)境作為大數(shù)據(jù)處理平臺(tái) 6. 發(fā)展趨勢：大數(shù)據(jù)逐步“云”化 7第二章、 云計(jì)算大數(shù)據(jù)人才現(xiàn)狀分析 9. 我國云計(jì)算大數(shù)據(jù)人才緊缺 9. 云計(jì)算大數(shù)據(jù)人才培養(yǎng)情況 10. 云計(jì)算大數(shù)據(jù)人才培養(yǎng)面臨的問題 10. 高職實(shí)驗(yàn)室設(shè)備落后，教學(xué)資源無法合理分配 11. 教學(xué)資源分散，共享程度低 11. 對云計(jì)算大數(shù)據(jù)技術(shù)認(rèn)識(shí)不夠，無法有效運(yùn)用 11第三章、 云計(jì)算大數(shù)據(jù)人才培養(yǎng)需求分析 12. 云計(jì)算大數(shù)據(jù)崗位需求 12. 云計(jì)算大數(shù)據(jù)人才培養(yǎng)策略 13. 根據(jù)就業(yè)前景,加大人才培養(yǎng)力度 13. 德才兼修,開拓新型教學(xué)方式 13. 選擇以工作過程為向?qū)У慕滩?13. 云計(jì)算大數(shù)據(jù)帶給高職實(shí)驗(yàn)室建設(shè)的前景 14. 建立統(tǒng)一信息平臺(tái)來管理海量教學(xué)資源 14. 云計(jì)算降低維護(hù)和運(yùn)營成本 14. 整合教學(xué)資源，加強(qiáng)資源共享，提高教學(xué)質(zhì)量 15. 促進(jìn)教師和學(xué)生的信息交互，進(jìn)一步促進(jìn)教學(xué)相長 15. 借助云計(jì)算大數(shù)據(jù)技術(shù)可以提升科研實(shí)力 15第四章、 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)原則 16. 方便擴(kuò)展 16. 自身安全 16. 業(yè)務(wù)高可用 16. 統(tǒng)一管理與自動(dòng)化 17. 開放接口 17. 豐富、清晰的培訓(xùn)教材 17. 師資培訓(xùn) 新技術(shù)交流 17. 技術(shù)服務(wù)保障 18第五章、 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)目標(biāo) 19. 建設(shè)目標(biāo) 19. 培養(yǎng)學(xué)生云計(jì)算大數(shù)據(jù)職業(yè)技能 19. 提供獨(dú)立的用戶實(shí)驗(yàn)環(huán)境 19. 提高系統(tǒng)資源的利用率 19. 系統(tǒng)具有良好擴(kuò)展性 20. 建設(shè)內(nèi)容 20. 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)部署 20. 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)環(huán)境學(xué)習(xí)及搭建 20第六章、 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)室解決方案 22. 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)室整體架構(gòu) 22. 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)室物理布局 23. 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)部署 24. 實(shí)驗(yàn)平臺(tái)基礎(chǔ)設(shè)施 25. 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)環(huán)境學(xué)習(xí)及搭建 28. 云計(jì)算基本架構(gòu)安裝和部署 28. 云計(jì)算中間件環(huán)境部署 29. 基于分布式文件系統(tǒng)的大數(shù)據(jù)部署、挖掘和分析 30. 云計(jì)算應(yīng)用層安裝及使用 31. 云安全加固和防護(hù) 31第七章、 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)室課程體系 33第八章、 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)室方案優(yōu)勢 35. Web 形式開展實(shí)驗(yàn)，實(shí)現(xiàn)無所不在的網(wǎng)絡(luò)訪問 35. 基于資源的負(fù)載均衡，實(shí)現(xiàn)實(shí)驗(yàn)資源彈性分配 35. 增量存儲(chǔ)技術(shù)，實(shí)現(xiàn)用戶實(shí)驗(yàn)環(huán)境的獨(dú)立性和延續(xù)性 36. 項(xiàng)目驅(qū)動(dòng)式實(shí)驗(yàn)設(shè)計(jì)，培養(yǎng)學(xué)生的綜合云能力 36. 資源的開放性及復(fù)用性，可支持科研等其他用途 36. 完善的課程體系 豐富的教學(xué)內(nèi)容 36第九章、 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)室校企合作 38. 課程與教材服務(wù) 38. 師資培訓(xùn)服務(wù) 39. 雙師型教師培養(yǎng) 39. 企業(yè)講師計(jì)劃 39. 學(xué)生實(shí)習(xí)就業(yè)服務(wù) 39第十章、 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)室配置清單 41第十一章、 北京易霖博信息技術(shù)有限公司 42概述云計(jì)算大數(shù)據(jù)技術(shù)是當(dāng)今信息技術(shù)發(fā)展的一個(gè)主要方向，云計(jì)算大數(shù)據(jù)技術(shù)一經(jīng)提出就得到人們的追捧，其應(yīng)用領(lǐng)域也得到了快速的發(fā)展，已經(jīng)在商業(yè)、政府、金融、教育等領(lǐng)域得到廣泛應(yīng)用。30年前，存儲(chǔ)1TB也就是約1000GB數(shù)據(jù)的成本大約是16億美元，如今存儲(chǔ)到云上只需不到100美元?？梢哉f，云是一棵掛滿了大數(shù)據(jù)的蘋果樹。在搜索引擎和在線廣告中發(fā)揮重要作用的機(jī)器學(xué)習(xí)，被認(rèn)為是大數(shù)據(jù)發(fā)揮真正價(jià)值的領(lǐng)域在海量的數(shù)據(jù)中統(tǒng)計(jì)分析出人的行為、習(xí)慣等方式，計(jì)算機(jī)可以更好地學(xué)習(xí)模擬人類智能。以往，移動(dòng)運(yùn)營商和互聯(lián)網(wǎng)服務(wù)運(yùn)營商等擁有著大量的用戶行為習(xí)慣的各種數(shù)據(jù)，在IT產(chǎn)業(yè)鏈中具有舉足輕重的地位。如果結(jié)合實(shí)際的應(yīng)用，前者強(qiáng)調(diào)的是計(jì)算能力，或者看重的存儲(chǔ)能力；但是這樣說，并不意味著兩個(gè)概念就如此涇渭分明。它的特色在于對海量數(shù)據(jù)的挖掘,但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫、云存儲(chǔ)和虛擬化技術(shù)。從系統(tǒng)需求來看，大數(shù)據(jù)的架構(gòu)對系統(tǒng)提出了新的挑戰(zhàn)：　　集成度更高?！　≌w能耗更低?！　」芾砭S護(hù)費(fèi)用低。同時(shí)，當(dāng)所有用戶的數(shù)據(jù)全部放在云端時(shí)，雖然存儲(chǔ)容量可以很方便地?cái)U(kuò)充，但面對大量用戶同時(shí)發(fā)起的海量數(shù)據(jù)處理請求，簡單的數(shù)據(jù)處理邏輯已經(jīng)無法滿足需要。對系統(tǒng)而言，需要把握一個(gè)大原則，需要消除任何單點(diǎn)故障。. 發(fā)展趨勢：大數(shù)據(jù)逐步“云”化縱觀歷史，過去的數(shù)據(jù)中心無論應(yīng)用層次還是規(guī)模大小，都僅僅是停留在過去有限的基礎(chǔ)架構(gòu)之上，采用的是傳統(tǒng)精簡指令集計(jì)算機(jī)和傳統(tǒng)大型機(jī)，各個(gè)基礎(chǔ)架構(gòu)之間都相互孤立，沒有形成一個(gè)統(tǒng)一的有機(jī)整體。在云計(jì)算時(shí)代背景下，數(shù)據(jù)中心需要向集中大規(guī)模共享平臺(tái)推進(jìn)，并且，數(shù)據(jù)中心要能實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)擴(kuò)容，實(shí)現(xiàn)自助和自動(dòng)部署服務(wù)。而公有云則是由服務(wù)商建立IT基礎(chǔ)架構(gòu)，并向外部用戶提供商業(yè)服務(wù)，而用戶可以在不擁有云計(jì)算資源的條件下通過網(wǎng)絡(luò)訪問這些服務(wù)。第二章、 云計(jì)算大數(shù)據(jù)人才現(xiàn)狀分析. 我國云計(jì)算大數(shù)據(jù)人才緊缺經(jīng)過多年的技術(shù)發(fā)展和經(jīng)驗(yàn)積累，云計(jì)算行業(yè)已經(jīng)進(jìn)入一個(gè)相對成熟的階段。 大數(shù)據(jù)出現(xiàn)以后，云計(jì)算并沒有因此落幕，反而大有用武之地。根據(jù)IDC的調(diào)查報(bào)告，從2012年至2015年的3年之間里，云計(jì)算大數(shù)據(jù)的相關(guān)工作需求將出現(xiàn)26%的年增長率，超過1/4的增長率再次證明了企業(yè)對云計(jì)算大數(shù)據(jù)人才的巨大需求。我國能否在云計(jì)算和大數(shù)據(jù)時(shí)代這一輪新的競爭中取得先機(jī)，人才是關(guān)鍵。在這些已經(jīng)開設(shè)云計(jì)算和大數(shù)據(jù)專業(yè)和方向的高校中，目前專業(yè)建設(shè)最快的是高職院校、本科和研究生教育層次的專業(yè)和方向建設(shè)速度較慢。. 云計(jì)算大數(shù)據(jù)人才培養(yǎng)面臨的問題對于高職院校的教學(xué)實(shí)踐，其主要是指通過實(shí)驗(yàn)、實(shí)訓(xùn)進(jìn)行實(shí)踐教學(xué)，使學(xué)生在實(shí)踐動(dòng)手操作過程中學(xué)到相關(guān)的知識(shí)和技能，主要的教學(xué)方式包括實(shí)驗(yàn)、實(shí)訓(xùn)、課程設(shè)計(jì)和畢業(yè)設(shè)計(jì)等。. 對云計(jì)算大數(shù)據(jù)技術(shù)認(rèn)識(shí)不夠，無法有效運(yùn)用現(xiàn)在雖然對云計(jì)算技術(shù)已經(jīng)做了大量研究，相關(guān)的文章與書籍也同步而出，但由于云計(jì)算技術(shù)起源于企業(yè)界而非學(xué)術(shù)界，并且與教育相關(guān)的文檔不多，尤其是將云計(jì)算技術(shù)運(yùn)用到高校實(shí)踐教學(xué)中少之甚少，使得大多數(shù)教師對云計(jì)算技術(shù)認(rèn)識(shí)不夠，更談不上將云計(jì)算技術(shù)在教學(xué)實(shí)踐中廣泛運(yùn)用。接下來為大家介紹相關(guān)技能所體現(xiàn)的熱門工作崗位及其職能：云計(jì)算大數(shù)據(jù)運(yùn)維工程師：在云計(jì)算大數(shù)據(jù)時(shí)代，可以在網(wǎng)絡(luò)服務(wù)規(guī)劃上，以最小成本提供更易維護(hù)的架構(gòu)，以最小的成本快速擴(kuò)容服務(wù)。在這種情況下，IT系統(tǒng)的規(guī)劃部署，需要有云計(jì)算大數(shù)據(jù)咨詢顧根據(jù)用戶需求詳細(xì)規(guī)劃，是滿足面向未來大數(shù)據(jù)分析、云計(jì)算服務(wù)應(yīng)用的需要。數(shù)據(jù)挖掘是通過分析每個(gè)數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)。我國能否在云計(jì)算和大數(shù)據(jù)時(shí)代這一輪新的競爭中取得先機(jī)，人才是關(guān)鍵。要在沿襲普通高校大體教學(xué)模式的基礎(chǔ)上，結(jié)合新的教改方案,提高專業(yè)課和實(shí)踐教學(xué)內(nèi)容在整個(gè)教學(xué)體系中的比重，加大實(shí)驗(yàn)室建設(shè)力度,加大實(shí)踐教學(xué)力度。所選用教材應(yīng)該既強(qiáng)調(diào)基本概念和基礎(chǔ)知識(shí),又注意理論與實(shí)際應(yīng)用相結(jié)合,并且對許多新技術(shù)和新的發(fā)展方向有不同程度的介紹。在眾多的方案中，云計(jì)算大數(shù)據(jù)技術(shù)是提升高職實(shí)驗(yàn)室建設(shè)的一個(gè)有效辦法，具備擁有提高效率、安全可靠、節(jié)約成本等諸多方面的優(yōu)勢。大規(guī)模地更換設(shè)備和實(shí)驗(yàn)室改造，必然帶來資金壓力，而云計(jì)算技術(shù)可以有效解決這個(gè)問題。教師可以通過云技術(shù)在線編輯和修改云平臺(tái)上的教學(xué)資源，將結(jié)果直接存儲(chǔ)和發(fā)布在云平臺(tái)上，對于學(xué)習(xí)者，則可以通過網(wǎng)絡(luò)在任何地方連接到云平臺(tái)，獲取所需要的學(xué)習(xí)資源和服務(wù)，從而實(shí)現(xiàn)教和學(xué)。高職實(shí)驗(yàn)室可以借助云計(jì)算大數(shù)據(jù)技術(shù)的優(yōu)勢，部分地改善這些問題，使這些項(xiàng)目和科研能夠順利地完成。對于各大高校而言，云計(jì)算大數(shù)據(jù)人才的培養(yǎng)就非常重要。未來工作規(guī)模擴(kuò)大，可以補(bǔ)充設(shè)備做到專項(xiàng)專用。 . 業(yè)務(wù)高可用云計(jì)算大數(shù)據(jù)平臺(tái)作為承載未來政府信息中心應(yīng)用的重要IT基礎(chǔ)設(shè)施，承擔(dān)著穩(wěn)定運(yùn)行和業(yè)務(wù)創(chuàng)新的重任。管理系統(tǒng)不僅要實(shí)現(xiàn)對傳統(tǒng)的物理資源和新的虛擬資源進(jìn)行管理，還要從全局而非割裂地管理資源，因此統(tǒng)一管理與自動(dòng)化將成為必然趨勢。同時(shí)云平臺(tái)也提供開放的API接口，未來可以在這些接口的基礎(chǔ)上進(jìn)行二次定制開放，實(shí)現(xiàn)面向云計(jì)算的數(shù)據(jù)中心管理平臺(tái)。. 師資培訓(xùn) 新技術(shù)交流雖然多數(shù)科研人員和授課教師都有很深的學(xué)術(shù)功底，但是不見得對實(shí)驗(yàn)設(shè)備了解非常深入，這就對科研進(jìn)度和培訓(xùn)工作帶來影響。另一個(gè)維度來講，實(shí)驗(yàn)平臺(tái)涉及多種高、精、尖技術(shù)，廠家服務(wù)人員對技術(shù)掌握的深度和范圍也顯得非常必要。實(shí)驗(yàn)內(nèi)容設(shè)計(jì)來源于云計(jì)算大數(shù)據(jù)相關(guān)崗位人才技能要求的統(tǒng)計(jì)、分析及歸納，側(cè)重于云計(jì)算大數(shù)據(jù)技術(shù)本身的學(xué)習(xí)、使用及研究，實(shí)驗(yàn)以真實(shí)項(xiàng)目為背景，實(shí)驗(yàn)內(nèi)容和培養(yǎng)方式更貼合社會(huì)云計(jì)算大數(shù)據(jù)人才需求。本系統(tǒng)采用虛擬化技術(shù)，將單個(gè)硬件資源虛擬為多個(gè)虛擬服務(wù)器，基于動(dòng)態(tài)分配技術(shù)為用戶分配虛擬服務(wù)器資源開展實(shí)驗(yàn)，可有效提高硬件設(shè)備的利用率。云計(jì)算大數(shù)據(jù)平臺(tái)通過對底層服務(wù)器硬件、網(wǎng)絡(luò)設(shè)備和存儲(chǔ)資源實(shí)現(xiàn)虛擬化聚合部署，配合云計(jì)算虛擬化管理平臺(tái)，實(shí)現(xiàn)云計(jì)算中基礎(chǔ)設(shè)施即服務(wù)（IaaS）部分，為實(shí)驗(yàn)室開展云計(jì)算IaaS層的研究、教學(xué)、實(shí)驗(yàn)提供基礎(chǔ)環(huán)境。云計(jì)算基本架構(gòu)安裝和部署階段，讓學(xué)生了解云計(jì)算的基礎(chǔ)架構(gòu)，熟悉OpenStack各組件的部署，掌握實(shí)例的創(chuàng)建及調(diào)度，學(xué)生能夠通過自己部署的openstack平臺(tái)對所有實(shí)例進(jìn)行分配和管理，包括對實(shí)例資源、配額及網(wǎng)絡(luò)的管理，充分發(fā)揮openstack的高效管理和可擴(kuò)展性。云安全加固和防護(hù)階段，通過學(xué)習(xí)openstack的部署和應(yīng)用，還必須對云安全進(jìn)行一定的了解，對實(shí)例的網(wǎng)絡(luò)進(jìn)行劃分和管理，對安全組和規(guī)則進(jìn)行調(diào)整，使得對實(shí)例和資源的控制更加有效。平臺(tái)通過對底層服務(wù)器硬件、網(wǎng)絡(luò)設(shè)備和存儲(chǔ)資源實(shí)現(xiàn)虛擬化聚合部署，配合云計(jì)算大數(shù)據(jù)管理，實(shí)現(xiàn)云計(jì)算中基礎(chǔ)設(shè)施即服務(wù)（IaaS）部分，為實(shí)驗(yàn)室開展云計(jì)算IaaS、PaaS、SaaS、大數(shù)據(jù)管理和挖掘、云安全等提供了良好的基礎(chǔ)平臺(tái)，具有很高的自適應(yīng)性和擴(kuò)展空間。. 云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)部署云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)提供了一個(gè)功能完整的、標(biāo)準(zhǔn)開放的方便集成的IaaS服務(wù)層。在實(shí)驗(yàn)平臺(tái)，所有資源整合后在邏輯上以單一整體（虛擬機(jī)）的形式呈現(xiàn)，這些資源根據(jù)需要進(jìn)行動(dòng)態(tài)擴(kuò)展和配置，各信息系統(tǒng)業(yè)務(wù)按需使用資源。易霖博云計(jì)算大數(shù)據(jù)管理軟件采用集中式管理架構(gòu)，負(fù)責(zé)整個(gè)云計(jì)算大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)服務(wù)請求的處理，包括硬件