【正文】 和硬件變?yōu)檐浖陀布? 南華大學計算機科學與技術(shù)畢業(yè)設計（論文） 第 3 頁 共 54 頁 將 隱沒于云端，用戶在這種技術(shù)下面所對的將全部是服務。所以它不僅僅是改變了計算機的使用法方，它也將改變?nèi)藗兊娜粘Ｉ睢? 企業(yè)中 4/5 的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年按指數(shù)增長 3/5。非結(jié)構(gòu)化數(shù)據(jù)，顧名思義，是存儲在文件系統(tǒng)的信息，而不是數(shù)據(jù)庫。據(jù)報道指出 :平均只有 1%5%的數(shù)據(jù)是結(jié)構(gòu)化的數(shù)據(jù)。如今，這種迅猛增長的從不使用的數(shù)據(jù)在企業(yè)里消耗著復雜而昂貴的一級存儲的存儲容量。如何 能夠 更好的保留那些在全球范圍內(nèi) 都 具有潛在價值的不同類型的文件，而不 會 因為處理它們卻干擾日常的工作？ 雖然 可以采購更多的就地存儲設 備，但這 些存儲設備 總會有局限性的。云存儲 技術(shù)已經(jīng)獲得越來越多的 IT 公司的青睞。 實現(xiàn)在云端的文件的共享 是 云計算的一種應用 ，是 將用戶計算機上的文件分塊上傳到不同的存儲節(jié)點，然后可以使其他地區(qū)的用戶可以共享到你上傳的文件?？偟膩碚f，本文主要講述了以下幾方面的意義： 1）隨著計算機技術(shù)的飛速發(fā)展，數(shù)據(jù)量也隨之變得越來越龐大，怎么對大量數(shù)據(jù)進行有效管理已經(jīng)成為企業(yè)的關(guān)鍵問題。而如果利用云存儲技術(shù)解決這個問題，會 對企業(yè)的經(jīng)濟效益有很大的提高。 2）對 HDFS 的研究方法可以推廣到別的集群存儲技術(shù)研究上，為下一步研究打好基礎。 3） HDFS 可以很輕松的運行在普通的 PC 集群上，這就會降低了實施運行分布式系統(tǒng)的成本。 4） Hadoop 平臺還沒有被廣泛地推廣應用于各行各業(yè)，但是當基于 HDFS 的云存儲應用研究獲得一定的成效時，就會對 Hadoop 技術(shù)起到很好的推廣作用。 云計算是將軟硬件隱藏在云端，給用戶提供便利的服務，現(xiàn)在來看一下云計算的優(yōu)缺點。 （ 1）云計算的優(yōu)點： 1）降低電腦用戶成本 因為云計算的開發(fā)平臺對 PC 機幾乎沒有 什么特殊要求，因此在進行云計算開發(fā)時幾乎不需要高買一些高端的計算機來滿足設計的必要，這就大大的降低了用戶電腦成本。 2）改善計算機的性能 因為云集算就是一種用戶提出請求而不需要在自己的PC 機上運行就能得到結(jié)果的技術(shù)，因此用戶不需要在自己的 PC 機上安裝大量所 南華大學計算機科學與技術(shù)畢業(yè)設計（論文） 第 4 頁 共 54 頁 需的軟件及高的硬件配置從而也就是不用消耗大量用戶 PC 機的資源所以用戶計算機的性能獎的到大的改善。 3）降低 IT基礎設施投資 一些組織的 IT 部門也可以通過使用云計算而降低成本，用云計算的計算和存儲能力代替組織能的資源開銷，從而企業(yè)可以減少IT 本門的投資，而 對于一些需要處理計算量很大的企業(yè)我們也不需要購買大量的和高端的軟硬件來處理大量的數(shù)據(jù)，這也可以通過云計算狠容易的完成。 4）減少軟硬件的維護問題 因為用戶所需要的服務都是在云端完成，因此不再用擔心軟硬件的維護問題，所用到的軟硬件幾乎都是在云計算管理者那里，所以只要維護好自己用的 PC機的軟硬件就好了。 5）減少軟件開發(fā) 由于一些成本的降低，很多云計算的軟件服務費用都會降低，所以這將減少軟件的開發(fā)。 6）及時的軟件更新 由于 大部分軟件都隱藏在云端所以用戶幾乎不在用對軟件的更新，這些將在云計算管理者那里由管理人員更新，用戶將不用再花費高額的費用或時間進行軟件的 更新。 7）計算能力的增加 這是非常明顯的，應為當用戶和云端連接起來后幾乎可以用整個云的計算能力。 8）無限的存儲能力 因為云計算就是非本地的計算機資源的集合，它是將大量的計算機沒有用到的資源集合起來 ，所以它有無限的存儲能力。 9） 增加數(shù)據(jù)的安全性。因為在云計算系統(tǒng)里一臺計算機的崩潰不會影響到整個的系統(tǒng)，將不會影響我們存儲在云端的數(shù)據(jù)，而如果沒有云的存儲我們自己的計算機的 崩潰將可能使我們的數(shù)據(jù)丟失，因此使用云計算將很高的增加數(shù)據(jù)的安全性。 10） 數(shù)據(jù)的獲取將無地點限制 云計算及將大量的非本地的計算機集合成集群，因此只要我們有一臺能連接到網(wǎng)絡的計算機就可以在這個集群里索取任何地點的數(shù)據(jù)。 （ 2）云計算的缺點： 1）要求持續(xù)的網(wǎng)絡連接 用戶要通過連接網(wǎng)絡來應用程序和一些文檔，而不連接網(wǎng)絡幾乎不能做這方面的任何事情，因此要能充分的利用云計算就需要持續(xù) 南華大學計算機科學與技術(shù)畢業(yè)設計（論文） 第 5 頁 共 54 頁 的連接網(wǎng)絡。 2）低網(wǎng)絡環(huán)境下不能很好工作 幾乎與你計算的各種應用都需要大量的帶寬來下載，因此在底網(wǎng)絡連接下就不能很好的進行云計算。 3） 反應慢 因為數(shù)據(jù)在客戶端和云端要不斷的進行傳輸，因此應用程序的反應都要比在桌面的應用程序反應要慢。 4）功能有限制 就現(xiàn)在的云計算功能和桌面的應用程序比較他的功能還是有限制的，較桌面的應用程序功能縮水了很多。 5）云不能保證數(shù)據(jù)有丟失 雖然在云端存儲的數(shù)據(jù)較個人計算機數(shù)據(jù)的安全性能要高，但是它也有不完善的地方，當我們的數(shù)據(jù)不知道因為什么原因丟失時，云計算相應的持有者并不負有任何責任。 6）數(shù)據(jù)安全性 由于云上的資源是公共獲取的，所以當我們把數(shù)據(jù)存儲在云端時，存在數(shù)據(jù)被泄露出去的危險。 課題的研究內(nèi) 容 本文主要研究基于云計算文件系統(tǒng)的實現(xiàn)，本文首先介紹了云計算的定義及其發(fā)展歷史，從云計算的一路發(fā)展，揭示了云計算的優(yōu)點及缺點。第二本文介紹了云計算系統(tǒng)的體系結(jié)構(gòu)及工作原理，第三本文主要做關(guān)于文件系統(tǒng)的實現(xiàn)，從而介紹了實現(xiàn)文件系統(tǒng)的云平臺，第四就是搭建這里所需要用到的平臺及環(huán)境，最后通過平臺及環(huán)境實現(xiàn)文件系統(tǒng)。 南華大學計算機科學與技術(shù)畢業(yè)設計（論文） 第 6 頁 共 54 頁 第二章 云計算系統(tǒng)的研究 云計算的服務層次 與傳統(tǒng)的 PC系統(tǒng)相對應，云計算系統(tǒng)可以在硬件資源、平臺到和應用程序等各個層次為用戶提供各種級別的服務，即業(yè)界普遍認同的經(jīng)典云計算服務 體系基礎設施即服務（ IaaS）、平臺即服務（ PaaS）和軟件即服務（ SaaS）。這些服務的交互可以與云計算實現(xiàn)模型的不同層次對應： IAAS 服務主要依托于云計算基礎構(gòu)架層，向外提供基礎資源服務， PAAS 服務主要依托于云計算應用開發(fā)和執(zhí)行環(huán)境，向外提供應用開發(fā)與運行托管服務， SAAS 服務主要通過云計算應用軟件層向外提供應用軟件服務。其服務體系如圖 ： 圖 經(jīng)典云計算服務體系 在云計算中，根據(jù)其服務集合提供的不同服務類型，把云計算的整個服務體系劃分為 4個層次分別為應用層、平臺層、虛擬化層及基礎設施層，其中每一層都對應了一個子服務集合，如下為云計算服務層次。 SaaS PaaS IaaS 云計算基礎架構(gòu) 南華大學計算機科學與技術(shù)畢業(yè)設計（論文） 第 7 頁 共 54 頁 圖 云計算服務體系結(jié)構(gòu) 云計算的服務層次結(jié)構(gòu)是根據(jù)服務集合來劃分的，這與計算機網(wǎng)絡體系結(jié)構(gòu)中的層次劃分有所不同。在計算機網(wǎng)絡體系結(jié)構(gòu)中每個層次都會實現(xiàn)一定的功能，層與層之間都會有一定的聯(lián)系。但是云計算體系結(jié)構(gòu)中的層次是可以分割的，即某一層次可以獨立的完成一個用戶請求而不用其他的層次為它提供一些必要的支持和服務 。 云計算系統(tǒng)的結(jié)構(gòu) 和原理 云計算的體系結(jié)構(gòu) 云計算平臺是一個十分強大的云網(wǎng)絡，連接了很多的并發(fā)網(wǎng)絡計算和服務，可以利用虛擬化技術(shù)增強每一個服務器的能力，并且將各自的資源通過云計算平臺整合起來，提供超級計算的能力和存儲能力。通用的云計算體系結(jié)構(gòu)如下。 應用層 平臺層 基礎設施層 虛擬化層 軟件即服務 平臺即服務 基礎設施即服務 硬件即服務 云計算四層模式 云服務集合中的子服務 南華大學計算機科學與技術(shù)畢業(yè)設計（論文） 第 8 頁 共 54 頁 圖 云計算體系結(jié)構(gòu) 這里的云用戶端指向云端提出請求的交互界面，提供可以讓用戶使用云的入口，云計算的“大門”為瀏覽器，因此用戶可以通過 web 瀏覽器進行注 冊，登錄、制定服務、配置和管理用戶。打開應用的實例與本地桌面系統(tǒng)一樣。 管理系統(tǒng)和部署工具就是提供管理和服務，能夠管理云用戶及對用戶授權(quán)、登陸、認證等進行管理，并且可以管理可用計算資源，接受用戶的請求，根據(jù)請求轉(zhuǎn)發(fā)到相應的應用程序，調(diào)動資源和應用，動態(tài)的部署、回收、配置資源。 服務目錄是云用戶在取得相應的權(quán)限后可以選擇或制定服務，也可以對已有的服務進行取消定制的操作，在云用戶端生成相應列表或圖標的形式用以展現(xiàn)相關(guān)的服務。 監(jiān)控是計算和監(jiān)控云計算系統(tǒng)的資源的使用情況，當發(fā)生某事件是可以做出充分的反應，完成節(jié)點 資源監(jiān)控、負載均衡配置和同步配置，確保資源能夠順利的分配給需要的用戶。 服務器集群式虛擬的或物理的服務器，由管理系統(tǒng)管理，負責高并發(fā)量用戶請求處理、用戶 web 應用服務、大運算量計算處理，云數(shù)據(jù)存儲是采用相應數(shù)據(jù)的數(shù)據(jù)切割算法采用并 行方式上傳下載大容量數(shù)據(jù)。 云用戶端 管理系統(tǒng) 部署工具 服務器集群 服務目錄 資源監(jiān)控 南華大學計算機科學與技術(shù)畢業(yè)設計（論文） 第 9 頁 共 54 頁 云計算系統(tǒng)的原理 云計算是對分布式處理、并行處理和網(wǎng)格計算及分布式數(shù)據(jù)庫的改進，它基于解決大型問題的并行計算和網(wǎng)格計算，將計算資源作為可計量的服務為用戶提供公用計算，在互聯(lián)網(wǎng)寬帶技術(shù)和虛擬化技術(shù)的高速發(fā)展后產(chǎn)生出云計算。 云計算的基本原理為利用 遠程的或非本地的服務器的分布式計算為互聯(lián)網(wǎng)的用戶提供服務。這可以使用戶將資源切換到有需求的應用那里，根據(jù)需求訪問計算機和存儲系統(tǒng)。云計算可以把普通服務器或 pc 機連接起來獲得超級計算機及計算機的計算和存儲等功能，而且成本很低。云計算實現(xiàn)了按需計算，提高了計算機軟硬件的利用效率。 云計算是一種全新的基于互聯(lián)網(wǎng)的超級計算機模式和理念，實現(xiàn)云計算需要很多種不同技術(shù)的結(jié)合，并且需要使用軟件來實現(xiàn)將硬件資源虛擬化的調(diào)度及管理，形成一個大的虛擬化資源池，把存儲與移動設備、個人計算機和其他設備設備上的處理器資源集中在一起 協(xié)同工作。 按照最大化理解云計算就是把計算機的資源都放到互聯(lián)網(wǎng)上，互聯(lián)網(wǎng)就是與計算時代的云，其中計算資源包括計算機的軟件資源和硬件資源。 南華大學計算機科學與技術(shù)畢業(yè)設計（論文） 第 10 頁 共 54 頁 第三章 開發(fā)環(huán)境的概述 典型云計算平臺 因為云計算的快速發(fā)展及其功能進一步的體現(xiàn)，所以云計算的研究吸引不同領域的巨頭，因此對云計算的理論及實現(xiàn)架構(gòu)有所不同。如亞馬遜利用虛擬化的技術(shù)提供云計算服務，退出 S3提供可靠、可擴展的及快速的網(wǎng)絡存儲設備服務，而彈性可擴展的云計算服務器 EC2 則采用 Xen 虛擬化的技術(shù)，實現(xiàn)一個虛擬化的執(zhí)行環(huán)境，可以讓用戶通過互 聯(lián)網(wǎng)來執(zhí)行自己的程序。 IBM 將包括 Xen 和 PowerVM的虛擬的 Linux 操作系統(tǒng)景象與 Hadoop 并行工作負載調(diào)度。 現(xiàn)在的云計算通過對資源層、應用層的虛擬化和平臺層以及對物理上的分布式集成，使龐大的計算機資源整合在一起。更為突出的是，云計算不僅是資源的簡單匯聚，他為我們提供了一種管理機制，讓整個集群作為一種資源池對外提供服務，并對開發(fā)者透明的獲取資源和使用的權(quán)限。 Hadoop 架構(gòu)的介紹 在云計算技術(shù)中，編程平臺的搭建是十分重要的一個環(huán)節(jié)，而在各種編程平臺中 hadoop 技術(shù)是應用最為廣泛 的開源編程平臺 Hadoop 的概述 在 Google 發(fā)表 MapReduce 之后， 04 年開源社群用 java 語言搭建了一套Hadoop 框架，用來實現(xiàn) MapReduce 算法，用其能把應用程序分割成很多很小的工作單元，每個單元能在任何集群的節(jié)點上執(zhí)行或重復執(zhí)行。 Hadoop 是一個分布式存儲與計算平臺 ,其適合大數(shù)據(jù)，對于小數(shù)據(jù)而言， Hadoop 處理效果反而不佳。 Hadoop 還提供了一種分布式文件系統(tǒng) GFS，是一個可擴展的、結(jié)構(gòu)化的、具備日志分布式文件系統(tǒng)，支持分布式大數(shù)據(jù)量的讀寫操作，其容錯性很強。 Hadoop 南華大學計算機科學與技術(shù)畢業(yè)設計（論文） 第 11 頁 共 54 頁 框架具有高容錯性和對數(shù)據(jù)讀寫的高吞吐率，可以自動的處理失敗節(jié)點，下圖為hadoop 的架構(gòu) 圖 Hadoop 架構(gòu) 在 Hadoop 架構(gòu)中 MapReduce API 提供 reduce 和 map 的處理、 BigTable 分布式數(shù)據(jù)庫的數(shù)據(jù)存儲和 GFS 分布式文件系統(tǒng)。使用 Hadoop 架構(gòu)可以非常輕松的和方便的完成處理海量數(shù)據(jù)的分布式并行程序，并且可以運行到大規(guī)模集群上。 基于 Hado