【正文】 和硬件變?yōu)檐浖陀布? 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 3 頁(yè) 共 54 頁(yè) 將 隱沒(méi)于云端，用戶在這種技術(shù)下面所對(duì)的將全部是服務(wù)。所以它不僅僅是改變了計(jì)算機(jī)的使用法方，它也將改變?nèi)藗兊娜粘Ｉ睢? 企業(yè)中 4/5 的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年按指數(shù)增長(zhǎng) 3/5。非結(jié)構(gòu)化數(shù)據(jù)，顧名思義，是存儲(chǔ)在文件系統(tǒng)的信息，而不是數(shù)據(jù)庫(kù)。據(jù)報(bào)道指出 :平均只有 1%5%的數(shù)據(jù)是結(jié)構(gòu)化的數(shù)據(jù)。如今，這種迅猛增長(zhǎng)的從不使用的數(shù)據(jù)在企業(yè)里消耗著復(fù)雜而昂貴的一級(jí)存儲(chǔ)的存儲(chǔ)容量。如何 能夠 更好的保留那些在全球范圍內(nèi) 都 具有潛在價(jià)值的不同類型的文件，而不 會(huì) 因?yàn)樘幚硭鼈儏s干擾日常的工作？ 雖然 可以采購(gòu)更多的就地存儲(chǔ)設(shè) 備，但這 些存儲(chǔ)設(shè)備 總會(huì)有局限性的。云存儲(chǔ) 技術(shù)已經(jīng)獲得越來(lái)越多的 IT 公司的青睞。 實(shí)現(xiàn)在云端的文件的共享 是 云計(jì)算的一種應(yīng)用 ，是 將用戶計(jì)算機(jī)上的文件分塊上傳到不同的存儲(chǔ)節(jié)點(diǎn)，然后可以使其他地區(qū)的用戶可以共享到你上傳的文件。總的來(lái)說(shuō)，本文主要講述了以下幾方面的意義： 1）隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，數(shù)據(jù)量也隨之變得越來(lái)越龐大，怎么對(duì)大量數(shù)據(jù)進(jìn)行有效管理已經(jīng)成為企業(yè)的關(guān)鍵問(wèn)題。而如果利用云存儲(chǔ)技術(shù)解決這個(gè)問(wèn)題，會(huì) 對(duì)企業(yè)的經(jīng)濟(jì)效益有很大的提高。 2）對(duì) HDFS 的研究方法可以推廣到別的集群存儲(chǔ)技術(shù)研究上，為下一步研究打好基礎(chǔ)。 3） HDFS 可以很輕松的運(yùn)行在普通的 PC 集群上，這就會(huì)降低了實(shí)施運(yùn)行分布式系統(tǒng)的成本。 4） Hadoop 平臺(tái)還沒(méi)有被廣泛地推廣應(yīng)用于各行各業(yè)，但是當(dāng)基于 HDFS 的云存儲(chǔ)應(yīng)用研究獲得一定的成效時(shí)，就會(huì)對(duì) Hadoop 技術(shù)起到很好的推廣作用。 云計(jì)算是將軟硬件隱藏在云端，給用戶提供便利的服務(wù)，現(xiàn)在來(lái)看一下云計(jì)算的優(yōu)缺點(diǎn)。 （ 1）云計(jì)算的優(yōu)點(diǎn)： 1）降低電腦用戶成本 因?yàn)樵朴?jì)算的開(kāi)發(fā)平臺(tái)對(duì) PC 機(jī)幾乎沒(méi)有 什么特殊要求，因此在進(jìn)行云計(jì)算開(kāi)發(fā)時(shí)幾乎不需要高買一些高端的計(jì)算機(jī)來(lái)滿足設(shè)計(jì)的必要，這就大大的降低了用戶電腦成本。 2）改善計(jì)算機(jī)的性能 因?yàn)樵萍憔褪且环N用戶提出請(qǐng)求而不需要在自己的PC 機(jī)上運(yùn)行就能得到結(jié)果的技術(shù)，因此用戶不需要在自己的 PC 機(jī)上安裝大量所 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 4 頁(yè) 共 54 頁(yè) 需的軟件及高的硬件配置從而也就是不用消耗大量用戶 PC 機(jī)的資源所以用戶計(jì)算機(jī)的性能獎(jiǎng)的到大的改善。 3）降低 IT基礎(chǔ)設(shè)施投資 一些組織的 IT 部門也可以通過(guò)使用云計(jì)算而降低成本，用云計(jì)算的計(jì)算和存儲(chǔ)能力代替組織能的資源開(kāi)銷，從而企業(yè)可以減少IT 本門的投資，而 對(duì)于一些需要處理計(jì)算量很大的企業(yè)我們也不需要購(gòu)買大量的和高端的軟硬件來(lái)處理大量的數(shù)據(jù)，這也可以通過(guò)云計(jì)算狠容易的完成。 4）減少軟硬件的維護(hù)問(wèn)題 因?yàn)橛脩羲枰姆?wù)都是在云端完成，因此不再用擔(dān)心軟硬件的維護(hù)問(wèn)題，所用到的軟硬件幾乎都是在云計(jì)算管理者那里，所以只要維護(hù)好自己用的 PC機(jī)的軟硬件就好了。 5）減少軟件開(kāi)發(fā) 由于一些成本的降低，很多云計(jì)算的軟件服務(wù)費(fèi)用都會(huì)降低，所以這將減少軟件的開(kāi)發(fā)。 6）及時(shí)的軟件更新 由于 大部分軟件都隱藏在云端所以用戶幾乎不在用對(duì)軟件的更新，這些將在云計(jì)算管理者那里由管理人員更新，用戶將不用再花費(fèi)高額的費(fèi)用或時(shí)間進(jìn)行軟件的 更新。 7）計(jì)算能力的增加 這是非常明顯的，應(yīng)為當(dāng)用戶和云端連接起來(lái)后幾乎可以用整個(gè)云的計(jì)算能力。 8）無(wú)限的存儲(chǔ)能力 因?yàn)樵朴?jì)算就是非本地的計(jì)算機(jī)資源的集合，它是將大量的計(jì)算機(jī)沒(méi)有用到的資源集合起來(lái) ，所以它有無(wú)限的存儲(chǔ)能力。 9） 增加數(shù)據(jù)的安全性。因?yàn)樵谠朴?jì)算系統(tǒng)里一臺(tái)計(jì)算機(jī)的崩潰不會(huì)影響到整個(gè)的系統(tǒng)，將不會(huì)影響我們存儲(chǔ)在云端的數(shù)據(jù)，而如果沒(méi)有云的存儲(chǔ)我們自己的計(jì)算機(jī)的 崩潰將可能使我們的數(shù)據(jù)丟失，因此使用云計(jì)算將很高的增加數(shù)據(jù)的安全性。 10） 數(shù)據(jù)的獲取將無(wú)地點(diǎn)限制 云計(jì)算及將大量的非本地的計(jì)算機(jī)集合成集群，因此只要我們有一臺(tái)能連接到網(wǎng)絡(luò)的計(jì)算機(jī)就可以在這個(gè)集群里索取任何地點(diǎn)的數(shù)據(jù)。 （ 2）云計(jì)算的缺點(diǎn)： 1）要求持續(xù)的網(wǎng)絡(luò)連接 用戶要通過(guò)連接網(wǎng)絡(luò)來(lái)應(yīng)用程序和一些文檔，而不連接網(wǎng)絡(luò)幾乎不能做這方面的任何事情，因此要能充分的利用云計(jì)算就需要持續(xù) 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 5 頁(yè) 共 54 頁(yè) 的連接網(wǎng)絡(luò)。 2）低網(wǎng)絡(luò)環(huán)境下不能很好工作 幾乎與你計(jì)算的各種應(yīng)用都需要大量的帶寬來(lái)下載，因此在底網(wǎng)絡(luò)連接下就不能很好的進(jìn)行云計(jì)算。 3） 反應(yīng)慢 因?yàn)閿?shù)據(jù)在客戶端和云端要不斷的進(jìn)行傳輸，因此應(yīng)用程序的反應(yīng)都要比在桌面的應(yīng)用程序反應(yīng)要慢。 4）功能有限制 就現(xiàn)在的云計(jì)算功能和桌面的應(yīng)用程序比較他的功能還是有限制的，較桌面的應(yīng)用程序功能縮水了很多。 5）云不能保證數(shù)據(jù)有丟失 雖然在云端存儲(chǔ)的數(shù)據(jù)較個(gè)人計(jì)算機(jī)數(shù)據(jù)的安全性能要高，但是它也有不完善的地方，當(dāng)我們的數(shù)據(jù)不知道因?yàn)槭裁丛騺G失時(shí)，云計(jì)算相應(yīng)的持有者并不負(fù)有任何責(zé)任。 6）數(shù)據(jù)安全性 由于云上的資源是公共獲取的，所以當(dāng)我們把數(shù)據(jù)存儲(chǔ)在云端時(shí)，存在數(shù)據(jù)被泄露出去的危險(xiǎn)。 課題的研究?jī)?nèi) 容 本文主要研究基于云計(jì)算文件系統(tǒng)的實(shí)現(xiàn)，本文首先介紹了云計(jì)算的定義及其發(fā)展歷史，從云計(jì)算的一路發(fā)展，揭示了云計(jì)算的優(yōu)點(diǎn)及缺點(diǎn)。第二本文介紹了云計(jì)算系統(tǒng)的體系結(jié)構(gòu)及工作原理，第三本文主要做關(guān)于文件系統(tǒng)的實(shí)現(xiàn)，從而介紹了實(shí)現(xiàn)文件系統(tǒng)的云平臺(tái)，第四就是搭建這里所需要用到的平臺(tái)及環(huán)境，最后通過(guò)平臺(tái)及環(huán)境實(shí)現(xiàn)文件系統(tǒng)。 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 6 頁(yè) 共 54 頁(yè) 第二章 云計(jì)算系統(tǒng)的研究 云計(jì)算的服務(wù)層次 與傳統(tǒng)的 PC系統(tǒng)相對(duì)應(yīng)，云計(jì)算系統(tǒng)可以在硬件資源、平臺(tái)到和應(yīng)用程序等各個(gè)層次為用戶提供各種級(jí)別的服務(wù)，即業(yè)界普遍認(rèn)同的經(jīng)典云計(jì)算服務(wù) 體系基礎(chǔ)設(shè)施即服務(wù)（ IaaS）、平臺(tái)即服務(wù)（ PaaS）和軟件即服務(wù)（ SaaS）。這些服務(wù)的交互可以與云計(jì)算實(shí)現(xiàn)模型的不同層次對(duì)應(yīng)： IAAS 服務(wù)主要依托于云計(jì)算基礎(chǔ)構(gòu)架層，向外提供基礎(chǔ)資源服務(wù)， PAAS 服務(wù)主要依托于云計(jì)算應(yīng)用開(kāi)發(fā)和執(zhí)行環(huán)境，向外提供應(yīng)用開(kāi)發(fā)與運(yùn)行托管服務(wù)， SAAS 服務(wù)主要通過(guò)云計(jì)算應(yīng)用軟件層向外提供應(yīng)用軟件服務(wù)。其服務(wù)體系如圖 ： 圖 經(jīng)典云計(jì)算服務(wù)體系 在云計(jì)算中，根據(jù)其服務(wù)集合提供的不同服務(wù)類型，把云計(jì)算的整個(gè)服務(wù)體系劃分為 4個(gè)層次分別為應(yīng)用層、平臺(tái)層、虛擬化層及基礎(chǔ)設(shè)施層，其中每一層都對(duì)應(yīng)了一個(gè)子服務(wù)集合，如下為云計(jì)算服務(wù)層次。 SaaS PaaS IaaS 云計(jì)算基礎(chǔ)架構(gòu) 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 7 頁(yè) 共 54 頁(yè) 圖 云計(jì)算服務(wù)體系結(jié)構(gòu) 云計(jì)算的服務(wù)層次結(jié)構(gòu)是根據(jù)服務(wù)集合來(lái)劃分的，這與計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中的層次劃分有所不同。在計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中每個(gè)層次都會(huì)實(shí)現(xiàn)一定的功能，層與層之間都會(huì)有一定的聯(lián)系。但是云計(jì)算體系結(jié)構(gòu)中的層次是可以分割的，即某一層次可以獨(dú)立的完成一個(gè)用戶請(qǐng)求而不用其他的層次為它提供一些必要的支持和服務(wù) 。 云計(jì)算系統(tǒng)的結(jié)構(gòu) 和原理 云計(jì)算的體系結(jié)構(gòu) 云計(jì)算平臺(tái)是一個(gè)十分強(qiáng)大的云網(wǎng)絡(luò)，連接了很多的并發(fā)網(wǎng)絡(luò)計(jì)算和服務(wù)，可以利用虛擬化技術(shù)增強(qiáng)每一個(gè)服務(wù)器的能力，并且將各自的資源通過(guò)云計(jì)算平臺(tái)整合起來(lái)，提供超級(jí)計(jì)算的能力和存儲(chǔ)能力。通用的云計(jì)算體系結(jié)構(gòu)如下。 應(yīng)用層 平臺(tái)層 基礎(chǔ)設(shè)施層 虛擬化層 軟件即服務(wù) 平臺(tái)即服務(wù) 基礎(chǔ)設(shè)施即服務(wù) 硬件即服務(wù) 云計(jì)算四層模式 云服務(wù)集合中的子服務(wù) 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 8 頁(yè) 共 54 頁(yè) 圖 云計(jì)算體系結(jié)構(gòu) 這里的云用戶端指向云端提出請(qǐng)求的交互界面，提供可以讓用戶使用云的入口，云計(jì)算的“大門”為瀏覽器，因此用戶可以通過(guò) web 瀏覽器進(jìn)行注 冊(cè)，登錄、制定服務(wù)、配置和管理用戶。打開(kāi)應(yīng)用的實(shí)例與本地桌面系統(tǒng)一樣。 管理系統(tǒng)和部署工具就是提供管理和服務(wù)，能夠管理云用戶及對(duì)用戶授權(quán)、登陸、認(rèn)證等進(jìn)行管理，并且可以管理可用計(jì)算資源，接受用戶的請(qǐng)求，根據(jù)請(qǐng)求轉(zhuǎn)發(fā)到相應(yīng)的應(yīng)用程序，調(diào)動(dòng)資源和應(yīng)用，動(dòng)態(tài)的部署、回收、配置資源。 服務(wù)目錄是云用戶在取得相應(yīng)的權(quán)限后可以選擇或制定服務(wù)，也可以對(duì)已有的服務(wù)進(jìn)行取消定制的操作，在云用戶端生成相應(yīng)列表或圖標(biāo)的形式用以展現(xiàn)相關(guān)的服務(wù)。 監(jiān)控是計(jì)算和監(jiān)控云計(jì)算系統(tǒng)的資源的使用情況，當(dāng)發(fā)生某事件是可以做出充分的反應(yīng)，完成節(jié)點(diǎn) 資源監(jiān)控、負(fù)載均衡配置和同步配置，確保資源能夠順利的分配給需要的用戶。 服務(wù)器集群式虛擬的或物理的服務(wù)器，由管理系統(tǒng)管理，負(fù)責(zé)高并發(fā)量用戶請(qǐng)求處理、用戶 web 應(yīng)用服務(wù)、大運(yùn)算量計(jì)算處理，云數(shù)據(jù)存儲(chǔ)是采用相應(yīng)數(shù)據(jù)的數(shù)據(jù)切割算法采用并 行方式上傳下載大容量數(shù)據(jù)。 云用戶端 管理系統(tǒng) 部署工具 服務(wù)器集群 服務(wù)目錄 資源監(jiān)控 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 9 頁(yè) 共 54 頁(yè) 云計(jì)算系統(tǒng)的原理 云計(jì)算是對(duì)分布式處理、并行處理和網(wǎng)格計(jì)算及分布式數(shù)據(jù)庫(kù)的改進(jìn)，它基于解決大型問(wèn)題的并行計(jì)算和網(wǎng)格計(jì)算，將計(jì)算資源作為可計(jì)量的服務(wù)為用戶提供公用計(jì)算，在互聯(lián)網(wǎng)寬帶技術(shù)和虛擬化技術(shù)的高速發(fā)展后產(chǎn)生出云計(jì)算。 云計(jì)算的基本原理為利用 遠(yuǎn)程的或非本地的服務(wù)器的分布式計(jì)算為互聯(lián)網(wǎng)的用戶提供服務(wù)。這可以使用戶將資源切換到有需求的應(yīng)用那里，根據(jù)需求訪問(wèn)計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。云計(jì)算可以把普通服務(wù)器或 pc 機(jī)連接起來(lái)獲得超級(jí)計(jì)算機(jī)及計(jì)算機(jī)的計(jì)算和存儲(chǔ)等功能，而且成本很低。云計(jì)算實(shí)現(xiàn)了按需計(jì)算，提高了計(jì)算機(jī)軟硬件的利用效率。 云計(jì)算是一種全新的基于互聯(lián)網(wǎng)的超級(jí)計(jì)算機(jī)模式和理念，實(shí)現(xiàn)云計(jì)算需要很多種不同技術(shù)的結(jié)合，并且需要使用軟件來(lái)實(shí)現(xiàn)將硬件資源虛擬化的調(diào)度及管理，形成一個(gè)大的虛擬化資源池，把存儲(chǔ)與移動(dòng)設(shè)備、個(gè)人計(jì)算機(jī)和其他設(shè)備設(shè)備上的處理器資源集中在一起 協(xié)同工作。 按照最大化理解云計(jì)算就是把計(jì)算機(jī)的資源都放到互聯(lián)網(wǎng)上，互聯(lián)網(wǎng)就是與計(jì)算時(shí)代的云，其中計(jì)算資源包括計(jì)算機(jī)的軟件資源和硬件資源。 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 10 頁(yè) 共 54 頁(yè) 第三章 開(kāi)發(fā)環(huán)境的概述 典型云計(jì)算平臺(tái) 因?yàn)樵朴?jì)算的快速發(fā)展及其功能進(jìn)一步的體現(xiàn)，所以云計(jì)算的研究吸引不同領(lǐng)域的巨頭，因此對(duì)云計(jì)算的理論及實(shí)現(xiàn)架構(gòu)有所不同。如亞馬遜利用虛擬化的技術(shù)提供云計(jì)算服務(wù)，退出 S3提供可靠、可擴(kuò)展的及快速的網(wǎng)絡(luò)存儲(chǔ)設(shè)備服務(wù)，而彈性可擴(kuò)展的云計(jì)算服務(wù)器 EC2 則采用 Xen 虛擬化的技術(shù)，實(shí)現(xiàn)一個(gè)虛擬化的執(zhí)行環(huán)境，可以讓用戶通過(guò)互 聯(lián)網(wǎng)來(lái)執(zhí)行自己的程序。 IBM 將包括 Xen 和 PowerVM的虛擬的 Linux 操作系統(tǒng)景象與 Hadoop 并行工作負(fù)載調(diào)度。 現(xiàn)在的云計(jì)算通過(guò)對(duì)資源層、應(yīng)用層的虛擬化和平臺(tái)層以及對(duì)物理上的分布式集成，使龐大的計(jì)算機(jī)資源整合在一起。更為突出的是，云計(jì)算不僅是資源的簡(jiǎn)單匯聚，他為我們提供了一種管理機(jī)制，讓整個(gè)集群作為一種資源池對(duì)外提供服務(wù)，并對(duì)開(kāi)發(fā)者透明的獲取資源和使用的權(quán)限。 Hadoop 架構(gòu)的介紹 在云計(jì)算技術(shù)中，編程平臺(tái)的搭建是十分重要的一個(gè)環(huán)節(jié)，而在各種編程平臺(tái)中 hadoop 技術(shù)是應(yīng)用最為廣泛 的開(kāi)源編程平臺(tái) Hadoop 的概述 在 Google 發(fā)表 MapReduce 之后， 04 年開(kāi)源社群用 java 語(yǔ)言搭建了一套Hadoop 框架，用來(lái)實(shí)現(xiàn) MapReduce 算法，用其能把應(yīng)用程序分割成很多很小的工作單元，每個(gè)單元能在任何集群的節(jié)點(diǎn)上執(zhí)行或重復(fù)執(zhí)行。 Hadoop 是一個(gè)分布式存儲(chǔ)與計(jì)算平臺(tái) ,其適合大數(shù)據(jù)，對(duì)于小數(shù)據(jù)而言， Hadoop 處理效果反而不佳。 Hadoop 還提供了一種分布式文件系統(tǒng) GFS，是一個(gè)可擴(kuò)展的、結(jié)構(gòu)化的、具備日志分布式文件系統(tǒng)，支持分布式大數(shù)據(jù)量的讀寫操作，其容錯(cuò)性很強(qiáng)。 Hadoop 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 11 頁(yè) 共 54 頁(yè) 框架具有高容錯(cuò)性和對(duì)數(shù)據(jù)讀寫的高吞吐率，可以自動(dòng)的處理失敗節(jié)點(diǎn)，下圖為hadoop 的架構(gòu) 圖 Hadoop 架構(gòu) 在 Hadoop 架構(gòu)中 MapReduce API 提供 reduce 和 map 的處理、 BigTable 分布式數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)和 GFS 分布式文件系統(tǒng)。使用 Hadoop 架構(gòu)可以非常輕松的和方便的完成處理海量數(shù)據(jù)的分布式并行程序，并且可以運(yùn)行到大規(guī)模集群上。 基于 Hado