【正文】 發(fā)展、多個 IT 巨頭的實踐）共同促進下形成的一個新的業(yè)務領域。 課題研究意義及研究內(nèi)容 課題的研究意義 隨著 電子計算機技術的 的發(fā)展， 人們開始適應的單機工作模式將隨著云計算的出現(xiàn)面臨著巨大的變革 。云存儲 技術已經(jīng)獲得越來越多的 IT 公司的青睞。 （ 1）云計算的優(yōu)點： 1）降低電腦用戶成本 因為云計算的開發(fā)平臺對 PC 機幾乎沒有 什么特殊要求，因此在進行云計算開發(fā)時幾乎不需要高買一些高端的計算機來滿足設計的必要，這就大大的降低了用戶電腦成本。 9） 增加數(shù)據(jù)的安全性。 6）數(shù)據(jù)安全性 由于云上的資源是公共獲取的，所以當我們把數(shù)據(jù)存儲在云端時，存在數(shù)據(jù)被泄露出去的危險。但是云計算體系結(jié)構(gòu)中的層次是可以分割的，即某一層次可以獨立的完成一個用戶請求而不用其他的層次為它提供一些必要的支持和服務 。 服務器集群式虛擬的或物理的服務器，由管理系統(tǒng)管理，負責高并發(fā)量用戶請求處理、用戶 web 應用服務、大運算量計算處理，云數(shù)據(jù)存儲是采用相應數(shù)據(jù)的數(shù)據(jù)切割算法采用并 行方式上傳下載大容量數(shù)據(jù)。 南華大學計算機科學與技術畢業(yè)設計（論文） 第 10 頁 共 54 頁 第三章 開發(fā)環(huán)境的概述 典型云計算平臺 因為云計算的快速發(fā)展及其功能進一步的體現(xiàn)，所以云計算的研究吸引不同領域的巨頭，因此對云計算的理論及實現(xiàn)架構(gòu)有所不同。 Hadoop 南華大學計算機科學與技術畢業(yè)設計（論文） 第 11 頁 共 54 頁 框架具有高容錯性和對數(shù)據(jù)讀寫的高吞吐率，可以自動的處理失敗節(jié)點，下圖為hadoop 的架構(gòu) 圖 Hadoop 架構(gòu) 在 Hadoop 架構(gòu)中 MapReduce API 提供 reduce 和 map 的處理、 BigTable 分布式數(shù)據(jù)庫的數(shù)據(jù)存儲和 GFS 分布式文件系統(tǒng)。 Hadoop 的 MapReduce 功能實現(xiàn)了將單個任務打碎，并將碎片任務發(fā)送 (Map)到多個節(jié)點上，之后再以單個數(shù)據(jù)集的形式加載(Reduce)到數(shù)據(jù)倉庫里。 MapReduce 軟件實現(xiàn)是指定 一個 映射函數(shù)，把鍵值對（ key/value）映射成新的鍵值對，并形成一系列的中間形式的 key/value 對，在把他們傳給化簡函數(shù)，把有相同中間形式的 key 及 value 合并在一起。然后再指定一個化簡函數(shù)合并所有的具有相同中間形式的 key 的 value 合并在一起。如果要處理海量數(shù)據(jù)，從目前硬件的局限，只能是運行很多的服務器來處理海量數(shù)據(jù)，運行少量的服務器處理中間結(jié)果。 其中 HDFS 他把數(shù)據(jù)分成很多很小的快，以 64M 的大小為一個快，塊是磁盤上最小單位。 和具體數(shù)據(jù)的對應信息。元數(shù)據(jù)職責，處理每個節(jié)點的信息。然而，就現(xiàn)在的 DHFS 這些性能都不會被影響到。 HDFS 是由 Java 編程語言編寫的，因此，HDFS 能在任何支持 Java 編程語言的機器上運行。主節(jié)點啟動的時候就合并映射文件和事物日志，而Secondary NameNode 周期性的從主節(jié)點復制映射文件和事物日志到臨時目錄，合并成為新的映射文件后再重新上傳到主節(jié)點，主節(jié)點及時更新映射文件和清理事物日志，使事物日 志大小始終控制在可配置的限度內(nèi)。這里下載有個好處就是，在以后沒有網(wǎng)絡的情況下也可以自由安裝；第三項“ Install From Local Directory”表示安裝已下載到本地目錄下的安裝文件。 Windows 下系統(tǒng)環(huán)境變量的配置 （ 1）右鍵“我的電腦” 〉系統(tǒng)屬性 〉高級 /高級系統(tǒng)設置 〉環(huán)境變量；在這里進行環(huán)境變量的配置。如下圖所示 。 （ 1）配置 sshd 服務的無密碼登陸 1）首先生成密鑰對。注意：自己解壓 hadoop 安裝包后所存放的目錄，這里為：“ D:\”。 5) 找到找到 D:\\src\hdfs 下的文件“ ”，并將其拷貝到 D:\\conf 下。 $ start sshd $ ssh localhost 并通過 who指令來查看是否登陸成功。因此只要將此包導入 eclipse 并加以配置 eclipse 之后就可以在eclipse 上創(chuàng)建 MapReduce 應用程序了。 圖 Hadoop 安裝目錄 （ 4）把工作目錄切換到 Map/Reduce。 5） Advanced parameter 配置。但是在一般的情況下，由于接受的數(shù)據(jù)比較多，我們可以將中文封裝轉(zhuǎn)化為一個轉(zhuǎn)換方法 handleString（ String s）， 這就可以在需要字符串進行轉(zhuǎn)換時，隨時的進行調(diào)用轉(zhuǎn)換，方法如下： Public string handlestring(string s){ Try{ Byte bb[] = (“ iso88591” )。其實現(xiàn)步驟如下： 1）堆棧及相應變量的設置 2）后退按鈕的處理函數(shù)。 } Private function getfoid():int{//獲取所在文件夾信息 Ruturn ； } 3）將用戶新建的文件夾信息發(fā)送給服務器端進行數(shù)據(jù)同步。 這次的畢業(yè)設計很有意義，它讓我切身體會到理論與實際結(jié)合才能讓自己獲得更大的進步。 的確作這個題目在學校里是一個十分新鮮的題目，通過這個設計讓我了解了很多以前從沒有接觸過得知識，其中了解了云計算的主要計算方法 MapReduce，了解了為這個計算量身定做的 Hadoop 編程平臺，也簡單的通過這個平臺設計出了文件系統(tǒng)。//定義共享變量 Private function init():void{//初始化共享變量 Usershare=(“userdata”)。其實現(xiàn)代碼如下 南華大學計算機科學與技術畢業(yè)設計（論文） 第 47 頁 共 54 頁 云盤信息如下 其實現(xiàn)如下 圖 云盤信息 南華大學計算機科學與技術畢業(yè)設計（論文） 第 48 頁 共 54 頁 文件欄 文件欄當用戶進入自己的的需要訪問的文件夾的時候 ,可以通過文件欄了解文件夾下的內(nèi)容 ,對其進行操作 ,為方便 ,一般會用戶設計 3 種顯示形式 ,即縮略圖、列表、詳細信息。 （ 3）將字節(jié)數(shù)組從新轉(zhuǎn)化為 utf8（字符集編碼）格式的字符串， Stringname = new String（ bytearrayname,” utf8”） 。對于Map/Reduce Master 中， Host 填寫 的 IP 地址，單擊的話也可以是 localhost； Port 為之前固定配置的 9001。我這里為： D:\。這里的目錄為：D:\\contrib\eclipseplugin。 7）啟動 Hadoop； 啟動 Cygwin Teminal。刪除原有文件“ ”，并將拷貝過來的文件“ ”改名“ ”，然后用記事本打開。 (2) 配置 Hadoop 安裝包 1)將 以 下 載 的 Hadoop 安 裝 包 解 壓 。如下圖： 南華大學計算機科學與技術畢業(yè)設計（論文） 第 32 頁 共 54 頁 圖 sshd 服務啟動 注意：在啟動 ssh 服務的時候可能 會彈出“本地計算機上的 cygwin sshd服務啟動后停止 .....”的錯誤?！?,這個不能少寫或?qū)戝e。其中“ keep”為安裝， “ Reinstall”為重新安裝；“ Uninstall”為不安裝其檢測如下圖： 圖 的安裝步驟 （ 4）點擊下一步，直接到完 成界面。現(xiàn)在來對其進行安裝，首先，我是先下載了一個引導程序來對它進行安裝我先登錄網(wǎng)站 文件 南華大學計算機科學與技術畢業(yè)設計（論文） 第 23 頁 共 54 頁 （ 1）打開以下載的 圖 界面 （ 2）點擊下一步進入下面的界面 圖 的安裝步驟 南華大學計算機科學與技術畢業(yè)設計（論文） 第 24 頁 共 54 頁 第一項“ Install from Inter”表示從網(wǎng)絡上找到安裝文件后會自動安裝。主節(jié)點啟動時，從一存儲的了映射文件和事物日志的盤里 讀取映射文件和事物日志，使事物日志的事物都可以應用到內(nèi)存中的映射文件上，然后將新的元數(shù)據(jù)移動到本地磁盤新的映射文件中，這樣就可以截去舊的事物日志，這個過程通常被稱為檢查點（ Checkpoint）。主節(jié)點作為系統(tǒng)元數(shù)據(jù)的存儲及仲裁者，使得這種設計形成了一個簡化模型用來管理每個名稱空間的數(shù)據(jù)分布，使得用戶數(shù)據(jù)不會流經(jīng)名字節(jié)點。用戶可以對文件進行刪除、創(chuàng)建或者讓文件從一個目錄移到另外一個目錄以及對一個文件進行重命名等操作。節(jié)點上面跑服務，不會停止。 下面我們通過一個主從節(jié)點的例子在了解一下主從結(jié)構(gòu)。 并且設計用來部署在低廉的（ lowcost）硬件 設備 上 ，它有單一的文本空間， 而且它提供高傳輸率（ high throughput）來訪問 應用程序 的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（ large data set）的應用程序。怎么改進？如果都跑相同的報表系統(tǒng)，跑多臺，上面做累加，但是數(shù)據(jù)庫這塊分成三份，北京一個庫，河北一個庫，可以報表 1 系統(tǒng)跑北京數(shù)據(jù)，報表系統(tǒng) 2 跑天津數(shù)據(jù)，這樣每個報表處理的數(shù)據(jù)量處理為原來的一部分。 MapReduce 架構(gòu) MapReduce 主要用于處理產(chǎn)生大數(shù)據(jù)集的相關實現(xiàn)。 MapReduce 分布式處理技術的介紹 MapReduce 是 Goole 開發(fā)的 c++、 java、 python 的編程工具，用于大規(guī)模的數(shù)據(jù)集的并行運算，同時也是云計算的核心 技術，一種分布式運算技術，也是簡化的分布式編程模式，適合處理大量的數(shù)據(jù)的分布式運算，用于解決問題的程序開發(fā)模式，同時也是開發(fā)人員解決問題的方法。 MapReduce API Master Worker1 worker2…… ..workern 選擇執(zhí)行Map 程序的 Worker機器 分配數(shù)據(jù)塊到執(zhí)行map 的機器執(zhí)行 將 map 結(jié)果存到本機磁盤 選擇執(zhí)行Reduce程序的worker 機器 結(jié)合 GFS 和BigTable 讀取遠程Map，混合、匯聚、排序，執(zhí)行 Reduce 南華大學計算機科學與技術畢業(yè)設計（論文） 第 13 頁 共 54 頁 Hadoop 得以在大數(shù)據(jù)處理應用中廣泛應用得益于其自身在數(shù)據(jù)提取、變形和加載 (ETL)方面上的天然優(yōu)勢。 Hadoop 是一個分布式存儲與計算平臺 ,其適合大數(shù)據(jù)，對于小數(shù)據(jù)而言， Hadoop 處理效果反而不佳。 云計算是一種全新的基于互聯(lián)網(wǎng)的超級計算機模式和理念，實現(xiàn)云計算需要很多種不同技術的結(jié)合，并且需要使用軟件來實現(xiàn)將硬件資源虛擬化的調(diào)度及管理，形成一個大的虛擬化資源池，把存儲與移動設備、個人計算機和其他設備設備上的處理器資源集中在一起 協(xié)同工作。 服務目錄是云用戶在取得相應的權(quán)限后可以選擇或制定服務，也可以對已有的服務進行取消定制的操作，在云用戶端生成相應列表或圖標的形式用以展現(xiàn)相關的服務。 SaaS PaaS IaaS 云計算基礎架構(gòu) 南華大學計算機科學與技術畢業(yè)設計（論文） 第 7 頁 共 54 頁 圖 云計算服務體系結(jié)構(gòu) 云計算的服務層次結(jié)構(gòu)是根據(jù)服務集合來劃分的，這與計算機網(wǎng)絡體系結(jié)構(gòu)中的層次劃分有所不同。 4）功能有限制 就現(xiàn)在的云計算功能和桌面的應用程序比較他的功能還是有限制的，較桌面的應用程序功能縮水了很多。 7）計算能力的增加 這是非常明顯的，應為當用戶和云端連接起來后幾乎可以用整個云的計算能力。 4） Hadoop 平臺還沒有被廣泛地推廣應用于各行各業(yè)，但是當基于 HDFS 的云存儲應用研究獲得一定的成效時，就會對 Hadoop 技術起到很好的推廣作用。如今，這種迅猛增長的從不使用的數(shù)據(jù)在企業(yè)里消耗著復雜而昂貴的一級存儲的存儲容量。 第三階段：云計算技術和商業(yè)模式實踐期（ 21 世紀初至今）。 人們將從習慣于購買軟件和硬件變?yōu)檐浖陀布紝㈦[沒于云端，用戶在這種技術下面所對的將全部是服務。s intention to file directory and file management. Keywords: cloud puting。文章給出了云計算分布式文件系統(tǒng)的主 要類型 ,分析了 Google 文件系統(tǒng) (GFS)和Hadoop 分布式文件系統(tǒng) (HDFS)的演進情況。從云計算的角度看軟硬件都是服務，云計算將催生出新的增長模式，如云軟件托管中心、云軟件銷售等。 云計算的發(fā)展經(jīng)歷了以下幾個階段： 第一階段：關鍵技術探索期（ 20 世紀 90 年代之前）。 人們將隨著