【正文】 發(fā)展、多個(gè) IT 巨頭的實(shí)踐）共同促進(jìn)下形成的一個(gè)新的業(yè)務(wù)領(lǐng)域。 課題研究意義及研究?jī)?nèi)容 課題的研究意義 隨著 電子計(jì)算機(jī)技術(shù)的 的發(fā)展， 人們開(kāi)始適應(yīng)的單機(jī)工作模式將隨著云計(jì)算的出現(xiàn)面臨著巨大的變革 。云存儲(chǔ) 技術(shù)已經(jīng)獲得越來(lái)越多的 IT 公司的青睞。 （ 1）云計(jì)算的優(yōu)點(diǎn)： 1）降低電腦用戶成本 因?yàn)樵朴?jì)算的開(kāi)發(fā)平臺(tái)對(duì) PC 機(jī)幾乎沒(méi)有 什么特殊要求，因此在進(jìn)行云計(jì)算開(kāi)發(fā)時(shí)幾乎不需要高買(mǎi)一些高端的計(jì)算機(jī)來(lái)滿足設(shè)計(jì)的必要，這就大大的降低了用戶電腦成本。 9） 增加數(shù)據(jù)的安全性。 6）數(shù)據(jù)安全性 由于云上的資源是公共獲取的，所以當(dāng)我們把數(shù)據(jù)存儲(chǔ)在云端時(shí)，存在數(shù)據(jù)被泄露出去的危險(xiǎn)。但是云計(jì)算體系結(jié)構(gòu)中的層次是可以分割的，即某一層次可以獨(dú)立的完成一個(gè)用戶請(qǐng)求而不用其他的層次為它提供一些必要的支持和服務(wù) 。 服務(wù)器集群式虛擬的或物理的服務(wù)器，由管理系統(tǒng)管理，負(fù)責(zé)高并發(fā)量用戶請(qǐng)求處理、用戶 web 應(yīng)用服務(wù)、大運(yùn)算量計(jì)算處理，云數(shù)據(jù)存儲(chǔ)是采用相應(yīng)數(shù)據(jù)的數(shù)據(jù)切割算法采用并 行方式上傳下載大容量數(shù)據(jù)。 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 10 頁(yè) 共 54 頁(yè) 第三章 開(kāi)發(fā)環(huán)境的概述 典型云計(jì)算平臺(tái) 因?yàn)樵朴?jì)算的快速發(fā)展及其功能進(jìn)一步的體現(xiàn)，所以云計(jì)算的研究吸引不同領(lǐng)域的巨頭，因此對(duì)云計(jì)算的理論及實(shí)現(xiàn)架構(gòu)有所不同。 Hadoop 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 11 頁(yè) 共 54 頁(yè) 框架具有高容錯(cuò)性和對(duì)數(shù)據(jù)讀寫(xiě)的高吞吐率，可以自動(dòng)的處理失敗節(jié)點(diǎn)，下圖為hadoop 的架構(gòu) 圖 Hadoop 架構(gòu) 在 Hadoop 架構(gòu)中 MapReduce API 提供 reduce 和 map 的處理、 BigTable 分布式數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)和 GFS 分布式文件系統(tǒng)。 Hadoop 的 MapReduce 功能實(shí)現(xiàn)了將單個(gè)任務(wù)打碎，并將碎片任務(wù)發(fā)送 (Map)到多個(gè)節(jié)點(diǎn)上，之后再以單個(gè)數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉(cāng)庫(kù)里。 MapReduce 軟件實(shí)現(xiàn)是指定 一個(gè) 映射函數(shù)，把鍵值對(duì)（ key/value）映射成新的鍵值對(duì)，并形成一系列的中間形式的 key/value 對(duì)，在把他們傳給化簡(jiǎn)函數(shù)，把有相同中間形式的 key 及 value 合并在一起。然后再指定一個(gè)化簡(jiǎn)函數(shù)合并所有的具有相同中間形式的 key 的 value 合并在一起。如果要處理海量數(shù)據(jù)，從目前硬件的局限，只能是運(yùn)行很多的服務(wù)器來(lái)處理海量數(shù)據(jù)，運(yùn)行少量的服務(wù)器處理中間結(jié)果。 其中 HDFS 他把數(shù)據(jù)分成很多很小的快，以 64M 的大小為一個(gè)快，塊是磁盤(pán)上最小單位。 和具體數(shù)據(jù)的對(duì)應(yīng)信息。元數(shù)據(jù)職責(zé)，處理每個(gè)節(jié)點(diǎn)的信息。然而，就現(xiàn)在的 DHFS 這些性能都不會(huì)被影響到。 HDFS 是由 Java 編程語(yǔ)言編寫(xiě)的，因此，HDFS 能在任何支持 Java 編程語(yǔ)言的機(jī)器上運(yùn)行。主節(jié)點(diǎn)啟動(dòng)的時(shí)候就合并映射文件和事物日志，而Secondary NameNode 周期性的從主節(jié)點(diǎn)復(fù)制映射文件和事物日志到臨時(shí)目錄，合并成為新的映射文件后再重新上傳到主節(jié)點(diǎn)，主節(jié)點(diǎn)及時(shí)更新映射文件和清理事物日志，使事物日 志大小始終控制在可配置的限度內(nèi)。這里下載有個(gè)好處就是，在以后沒(méi)有網(wǎng)絡(luò)的情況下也可以自由安裝；第三項(xiàng)“ Install From Local Directory”表示安裝已下載到本地目錄下的安裝文件。 Windows 下系統(tǒng)環(huán)境變量的配置 （ 1）右鍵“我的電腦” 〉系統(tǒng)屬性 〉高級(jí) /高級(jí)系統(tǒng)設(shè)置 〉環(huán)境變量；在這里進(jìn)行環(huán)境變量的配置。如下圖所示 。 （ 1）配置 sshd 服務(wù)的無(wú)密碼登陸 1）首先生成密鑰對(duì)。注意：自己解壓 hadoop 安裝包后所存放的目錄，這里為：“ D:\”。 5) 找到找到 D:\\src\hdfs 下的文件“ ”，并將其拷貝到 D:\\conf 下。 $ start sshd $ ssh localhost 并通過(guò) who指令來(lái)查看是否登陸成功。因此只要將此包導(dǎo)入 eclipse 并加以配置 eclipse 之后就可以在eclipse 上創(chuàng)建 MapReduce 應(yīng)用程序了。 圖 Hadoop 安裝目錄 （ 4）把工作目錄切換到 Map/Reduce。 5） Advanced parameter 配置。但是在一般的情況下，由于接受的數(shù)據(jù)比較多，我們可以將中文封裝轉(zhuǎn)化為一個(gè)轉(zhuǎn)換方法 handleString（ String s）， 這就可以在需要字符串進(jìn)行轉(zhuǎn)換時(shí)，隨時(shí)的進(jìn)行調(diào)用轉(zhuǎn)換，方法如下： Public string handlestring(string s){ Try{ Byte bb[] = (“ iso88591” )。其實(shí)現(xiàn)步驟如下： 1）堆棧及相應(yīng)變量的設(shè)置 2）后退按鈕的處理函數(shù)。 } Private function getfoid():int{//獲取所在文件夾信息 Ruturn ； } 3）將用戶新建的文件夾信息發(fā)送給服務(wù)器端進(jìn)行數(shù)據(jù)同步。 這次的畢業(yè)設(shè)計(jì)很有意義，它讓我切身體會(huì)到理論與實(shí)際結(jié)合才能讓自己獲得更大的進(jìn)步。 的確作這個(gè)題目在學(xué)校里是一個(gè)十分新鮮的題目，通過(guò)這個(gè)設(shè)計(jì)讓我了解了很多以前從沒(méi)有接觸過(guò)得知識(shí)，其中了解了云計(jì)算的主要計(jì)算方法 MapReduce，了解了為這個(gè)計(jì)算量身定做的 Hadoop 編程平臺(tái)，也簡(jiǎn)單的通過(guò)這個(gè)平臺(tái)設(shè)計(jì)出了文件系統(tǒng)。//定義共享變量 Private function init():void{//初始化共享變量 Usershare=(“userdata”)。其實(shí)現(xiàn)代碼如下 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 47 頁(yè) 共 54 頁(yè) 云盤(pán)信息如下 其實(shí)現(xiàn)如下 圖 云盤(pán)信息 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 48 頁(yè) 共 54 頁(yè) 文件欄 文件欄當(dāng)用戶進(jìn)入自己的的需要訪問(wèn)的文件夾的時(shí)候 ,可以通過(guò)文件欄了解文件夾下的內(nèi)容 ,對(duì)其進(jìn)行操作 ,為方便 ,一般會(huì)用戶設(shè)計(jì) 3 種顯示形式 ,即縮略圖、列表、詳細(xì)信息。 （ 3）將字節(jié)數(shù)組從新轉(zhuǎn)化為 utf8（字符集編碼）格式的字符串， Stringname = new String（ bytearrayname,” utf8”） 。對(duì)于Map/Reduce Master 中， Host 填寫(xiě) 的 IP 地址，單擊的話也可以是 localhost； Port 為之前固定配置的 9001。我這里為： D:\。這里的目錄為：D:\\contrib\eclipseplugin。 7）啟動(dòng) Hadoop； 啟動(dòng) Cygwin Teminal。刪除原有文件“ ”，并將拷貝過(guò)來(lái)的文件“ ”改名“ ”，然后用記事本打開(kāi)。 (2) 配置 Hadoop 安裝包 1)將 以 下 載 的 Hadoop 安 裝 包 解 壓 。如下圖： 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 32 頁(yè) 共 54 頁(yè) 圖 sshd 服務(wù)啟動(dòng) 注意：在啟動(dòng) ssh 服務(wù)的時(shí)候可能 會(huì)彈出“本地計(jì)算機(jī)上的 cygwin sshd服務(wù)啟動(dòng)后停止 .....”的錯(cuò)誤?！?,這個(gè)不能少寫(xiě)或?qū)戝e(cuò)。其中“ keep”為安裝， “ Reinstall”為重新安裝；“ Uninstall”為不安裝其檢測(cè)如下圖： 圖 的安裝步驟 （ 4）點(diǎn)擊下一步，直接到完 成界面。現(xiàn)在來(lái)對(duì)其進(jìn)行安裝，首先，我是先下載了一個(gè)引導(dǎo)程序來(lái)對(duì)它進(jìn)行安裝我先登錄網(wǎng)站 文件 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 23 頁(yè) 共 54 頁(yè) （ 1）打開(kāi)以下載的 圖 界面 （ 2）點(diǎn)擊下一步進(jìn)入下面的界面 圖 的安裝步驟 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 24 頁(yè) 共 54 頁(yè) 第一項(xiàng)“ Install from Inter”表示從網(wǎng)絡(luò)上找到安裝文件后會(huì)自動(dòng)安裝。主節(jié)點(diǎn)啟動(dòng)時(shí)，從一存儲(chǔ)的了映射文件和事物日志的盤(pán)里 讀取映射文件和事物日志，使事物日志的事物都可以應(yīng)用到內(nèi)存中的映射文件上，然后將新的元數(shù)據(jù)移動(dòng)到本地磁盤(pán)新的映射文件中，這樣就可以截去舊的事物日志，這個(gè)過(guò)程通常被稱為檢查點(diǎn)（ Checkpoint）。主節(jié)點(diǎn)作為系統(tǒng)元數(shù)據(jù)的存儲(chǔ)及仲裁者，使得這種設(shè)計(jì)形成了一個(gè)簡(jiǎn)化模型用來(lái)管理每個(gè)名稱空間的數(shù)據(jù)分布，使得用戶數(shù)據(jù)不會(huì)流經(jīng)名字節(jié)點(diǎn)。用戶可以對(duì)文件進(jìn)行刪除、創(chuàng)建或者讓文件從一個(gè)目錄移到另外一個(gè)目錄以及對(duì)一個(gè)文件進(jìn)行重命名等操作。節(jié)點(diǎn)上面跑服務(wù)，不會(huì)停止。 下面我們通過(guò)一個(gè)主從節(jié)點(diǎn)的例子在了解一下主從結(jié)構(gòu)。 并且設(shè)計(jì)用來(lái)部署在低廉的（ lowcost）硬件 設(shè)備 上 ，它有單一的文本空間， 而且它提供高傳輸率（ high throughput）來(lái)訪問(wèn) 應(yīng)用程序 的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（ large data set）的應(yīng)用程序。怎么改進(jìn)？如果都跑相同的報(bào)表系統(tǒng)，跑多臺(tái)，上面做累加，但是數(shù)據(jù)庫(kù)這塊分成三份，北京一個(gè)庫(kù)，河北一個(gè)庫(kù)，可以報(bào)表 1 系統(tǒng)跑北京數(shù)據(jù)，報(bào)表系統(tǒng) 2 跑天津數(shù)據(jù)，這樣每個(gè)報(bào)表處理的數(shù)據(jù)量處理為原來(lái)的一部分。 MapReduce 架構(gòu) MapReduce 主要用于處理產(chǎn)生大數(shù)據(jù)集的相關(guān)實(shí)現(xiàn)。 MapReduce 分布式處理技術(shù)的介紹 MapReduce 是 Goole 開(kāi)發(fā)的 c++、 java、 python 的編程工具，用于大規(guī)模的數(shù)據(jù)集的并行運(yùn)算，同時(shí)也是云計(jì)算的核心 技術(shù)，一種分布式運(yùn)算技術(shù)，也是簡(jiǎn)化的分布式編程模式，適合處理大量的數(shù)據(jù)的分布式運(yùn)算，用于解決問(wèn)題的程序開(kāi)發(fā)模式，同時(shí)也是開(kāi)發(fā)人員解決問(wèn)題的方法。 MapReduce API Master Worker1 worker2…… ..workern 選擇執(zhí)行Map 程序的 Worker機(jī)器 分配數(shù)據(jù)塊到執(zhí)行map 的機(jī)器執(zhí)行 將 map 結(jié)果存到本機(jī)磁盤(pán) 選擇執(zhí)行Reduce程序的worker 機(jī)器 結(jié)合 GFS 和BigTable 讀取遠(yuǎn)程Map，混合、匯聚、排序，執(zhí)行 Reduce 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 13 頁(yè) 共 54 頁(yè) Hadoop 得以在大數(shù)據(jù)處理應(yīng)用中廣泛應(yīng)用得益于其自身在數(shù)據(jù)提取、變形和加載 (ETL)方面上的天然優(yōu)勢(shì)。 Hadoop 是一個(gè)分布式存儲(chǔ)與計(jì)算平臺(tái) ,其適合大數(shù)據(jù)，對(duì)于小數(shù)據(jù)而言， Hadoop 處理效果反而不佳。 云計(jì)算是一種全新的基于互聯(lián)網(wǎng)的超級(jí)計(jì)算機(jī)模式和理念，實(shí)現(xiàn)云計(jì)算需要很多種不同技術(shù)的結(jié)合，并且需要使用軟件來(lái)實(shí)現(xiàn)將硬件資源虛擬化的調(diào)度及管理，形成一個(gè)大的虛擬化資源池，把存儲(chǔ)與移動(dòng)設(shè)備、個(gè)人計(jì)算機(jī)和其他設(shè)備設(shè)備上的處理器資源集中在一起 協(xié)同工作。 服務(wù)目錄是云用戶在取得相應(yīng)的權(quán)限后可以選擇或制定服務(wù)，也可以對(duì)已有的服務(wù)進(jìn)行取消定制的操作，在云用戶端生成相應(yīng)列表或圖標(biāo)的形式用以展現(xiàn)相關(guān)的服務(wù)。 SaaS PaaS IaaS 云計(jì)算基礎(chǔ)架構(gòu) 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 7 頁(yè) 共 54 頁(yè) 圖 云計(jì)算服務(wù)體系結(jié)構(gòu) 云計(jì)算的服務(wù)層次結(jié)構(gòu)是根據(jù)服務(wù)集合來(lái)劃分的，這與計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中的層次劃分有所不同。 4）功能有限制 就現(xiàn)在的云計(jì)算功能和桌面的應(yīng)用程序比較他的功能還是有限制的，較桌面的應(yīng)用程序功能縮水了很多。 7）計(jì)算能力的增加 這是非常明顯的，應(yīng)為當(dāng)用戶和云端連接起來(lái)后幾乎可以用整個(gè)云的計(jì)算能力。 4） Hadoop 平臺(tái)還沒(méi)有被廣泛地推廣應(yīng)用于各行各業(yè)，但是當(dāng)基于 HDFS 的云存儲(chǔ)應(yīng)用研究獲得一定的成效時(shí)，就會(huì)對(duì) Hadoop 技術(shù)起到很好的推廣作用。如今，這種迅猛增長(zhǎng)的從不使用的數(shù)據(jù)在企業(yè)里消耗著復(fù)雜而昂貴的一級(jí)存儲(chǔ)的存儲(chǔ)容量。 第三階段：云計(jì)算技術(shù)和商業(yè)模式實(shí)踐期（ 21 世紀(jì)初至今）。 人們將從習(xí)慣于購(gòu)買(mǎi)軟件和硬件變?yōu)檐浖陀布紝㈦[沒(méi)于云端，用戶在這種技術(shù)下面所對(duì)的將全部是服務(wù)。s intention to file directory and file management. Keywords: cloud puting。文章給出了云計(jì)算分布式文件系統(tǒng)的主 要類型 ,分析了 Google 文件系統(tǒng) (GFS)和Hadoop 分布式文件系統(tǒng) (HDFS)的演進(jìn)情況。從云計(jì)算的角度看軟硬件都是服務(wù)，云計(jì)算將催生出新的增長(zhǎng)模式，如云軟件托管中心、云軟件銷售等。 云計(jì)算的發(fā)展經(jīng)歷了以下幾個(gè)階段： 第一階段：關(guān)鍵技術(shù)探索期（ 20 世紀(jì) 90 年代之前）。 人們將隨著