【正文】 謝辭 ............................................................... 54 i 云計算文件系統(tǒng)的實現(xiàn) 摘要 云計算是一種基于互聯(lián)網(wǎng)提供服務(wù)的業(yè)務(wù)模式 ,它能夠?qū)崿F(xiàn) IT基礎(chǔ)設(shè)施的資源化和服務(wù)化 ,用戶可以按需進行定制和付費 ,從而徹底改變了傳統(tǒng) IT 基礎(chǔ)設(shè)施的提供和支付方式 ,有效解決了無限增長的海量信息存儲和計算問題。本文主要完成云計算文件系統(tǒng)的實現(xiàn)，主要的實現(xiàn)方法是通過 Hadoop平臺及 Eclipce 開發(fā)環(huán)境來實現(xiàn)文件系統(tǒng)的各種功能及文件系統(tǒng)的創(chuàng)建和撤銷。 Hadoop； HDFS； the file system 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 1 頁 共 54 頁 緒 論 云計算是基于互聯(lián)網(wǎng)將規(guī)?；Y源池的計算、存儲、開發(fā)平臺和軟件能力提供給用戶，實現(xiàn)自動化、低成本、快速提供和靈活伸縮的 IT 服務(wù)。云計算能夠給用 戶提供可靠的、自定義的、最大化資源利用的服務(wù) ,是一種嶄新的分布式計算模式。所以它不僅僅是改變了計算機的使用方法，它也將改變?nèi)藗兊娜粘Ｉ睢? 第二階段： IT 服務(wù)化商業(yè)模式探索期（ 20 世紀 90 年代初到 21 世紀初）。在虛擬化、自動化、分布式計算和存儲技術(shù)開始走向成熟后，互聯(lián)網(wǎng)巨頭在借鑒以往經(jīng)驗的基礎(chǔ)上對商業(yè)模式進行了在創(chuàng)新，并且涌現(xiàn)出了若干經(jīng)典的成功案例，從而為云計算最終的粉墨登場提供了素材。 企業(yè)中 4/5 的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年按指數(shù)增長 3/5。如何 能夠 更好的保留那些在全球范圍內(nèi) 都 具有潛在價值的不同類型的文件，而不 會 因為處理它們卻干擾日常的工作？ 雖然 可以采購更多的就地存儲設(shè) 備，但這 些存儲設(shè)備 總會有局限性的。而如果利用云存儲技術(shù)解決這個問題，會 對企業(yè)的經(jīng)濟效益有很大的提高。 云計算是將軟硬件隱藏在云端，給用戶提供便利的服務(wù)，現(xiàn)在來看一下云計算的優(yōu)缺點。 4）減少軟硬件的維護問題 因為用戶所需要的服務(wù)都是在云端完成，因此不再用擔(dān)心軟硬件的維護問題，所用到的軟硬件幾乎都是在云計算管理者那里，所以只要維護好自己用的 PC機的軟硬件就好了。 8）無限的存儲能力 因為云計算就是非本地的計算機資源的集合，它是將大量的計算機沒有用到的資源集合起來 ，所以它有無限的存儲能力。 （ 2）云計算的缺點： 1）要求持續(xù)的網(wǎng)絡(luò)連接 用戶要通過連接網(wǎng)絡(luò)來應(yīng)用程序和一些文檔，而不連接網(wǎng)絡(luò)幾乎不能做這方面的任何事情，因此要能充分的利用云計算就需要持續(xù) 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 5 頁 共 54 頁 的連接網(wǎng)絡(luò)。 5）云不能保證數(shù)據(jù)有丟失 雖然在云端存儲的數(shù)據(jù)較個人計算機數(shù)據(jù)的安全性能要高，但是它也有不完善的地方，當(dāng)我們的數(shù)據(jù)不知道因為什么原因丟失時，云計算相應(yīng)的持有者并不負有任何責(zé)任。 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 6 頁 共 54 頁 第二章 云計算系統(tǒng)的研究 云計算的服務(wù)層次 與傳統(tǒng)的 PC系統(tǒng)相對應(yīng)，云計算系統(tǒng)可以在硬件資源、平臺到和應(yīng)用程序等各個層次為用戶提供各種級別的服務(wù)，即業(yè)界普遍認同的經(jīng)典云計算服務(wù) 體系基礎(chǔ)設(shè)施即服務(wù)（ IaaS）、平臺即服務(wù)（ PaaS）和軟件即服務(wù)（ SaaS）。在計算機網(wǎng)絡(luò)體系結(jié)構(gòu)中每個層次都會實現(xiàn)一定的功能，層與層之間都會有一定的聯(lián)系。 應(yīng)用層 平臺層 基礎(chǔ)設(shè)施層 虛擬化層 軟件即服務(wù) 平臺即服務(wù) 基礎(chǔ)設(shè)施即服務(wù) 硬件即服務(wù) 云計算四層模式 云服務(wù)集合中的子服務(wù) 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 8 頁 共 54 頁 圖 云計算體系結(jié)構(gòu) 這里的云用戶端指向云端提出請求的交互界面，提供可以讓用戶使用云的入口，云計算的“大門”為瀏覽器，因此用戶可以通過 web 瀏覽器進行注 冊，登錄、制定服務(wù)、配置和管理用戶。 監(jiān)控是計算和監(jiān)控云計算系統(tǒng)的資源的使用情況，當(dāng)發(fā)生某事件是可以做出充分的反應(yīng)，完成節(jié)點 資源監(jiān)控、負載均衡配置和同步配置，確保資源能夠順利的分配給需要的用戶。這可以使用戶將資源切換到有需求的應(yīng)用那里，根據(jù)需求訪問計算機和存儲系統(tǒng)。 按照最大化理解云計算就是把計算機的資源都放到互聯(lián)網(wǎng)上，互聯(lián)網(wǎng)就是與計算時代的云，其中計算資源包括計算機的軟件資源和硬件資源。 現(xiàn)在的云計算通過對資源層、應(yīng)用層的虛擬化和平臺層以及對物理上的分布式集成，使龐大的計算機資源整合在一起。 Hadoop 還提供了一種分布式文件系統(tǒng) GFS，是一個可擴展的、結(jié)構(gòu)化的、具備日志分布式文件系統(tǒng)，支持分布式大數(shù)據(jù)量的讀寫操作，其容錯性很強。 云計算架構(gòu) Hadoop MapReduce API (Map,Reduce) BigTable (分布式數(shù)據(jù)庫 ) GFS（ Goole 分布式文件系統(tǒng) ） 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 12 頁 共 54 頁 圖 云計算的執(zhí)行過程 Hadoop 作為應(yīng)用最廣泛的云計算編程環(huán)境所以它有著大量的優(yōu)點： 1）可擴展性：不管是計算機的擴展性還是存儲的擴展性都是 hadoop 設(shè)計的基礎(chǔ)對 hadoop 的設(shè)計十分重要， hadoop 的擴展性十分的簡單，不用修改已有的任何結(jié)構(gòu)。 Hadoop 的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲，對例如像 ETL 這樣的批處理操作相對合適，因為類似這樣操作的批處理結(jié)果可以直接走向存儲。 Hadoop 最有趣的方面之一是 Map and Reduce 流程，它受到 Google 開發(fā)的啟發(fā)。 MapReduce 模式的運行方式是將問題拆分為 Map 映射和 Rduce 化簡的方法，先通過映射程序?qū)?shù)據(jù)分割成不相關(guān)的區(qū)塊，調(diào)度非大量計算機處理達到分布式運算的效果，然后通過化簡程序?qū)⒔Y(jié)果整合起來，最后輸出開發(fā)者需要的結(jié)果。在 map 過程中將數(shù)據(jù)并行，就是把數(shù)據(jù)用映射函數(shù)分開，而 redduce 是把分開后處理過的分開數(shù)據(jù)用化簡函數(shù)的規(guī)則在整合在一起，其實就是 map 函數(shù)是將數(shù)據(jù)分開的過程，而 reduce 則是對應(yīng)的整合數(shù)據(jù) 。用戶指定一個映射函數(shù)來處理一個 key/value 對，從而形成一些列中間形式的 key/value 對。 下面為舉例查看 mapreduce 架構(gòu)報表系統(tǒng)，數(shù)據(jù)庫和數(shù)據(jù)倉庫會設(shè)計的比較麻煩，送一個指令給數(shù)據(jù)庫。再找一臺服務(wù)器進行匯總，匯總只是加上，邏輯是不一樣的。報表叫 map 最后的 匯總叫 reduce .讓一個節(jié)點關(guān)系管理這些東西， Map 和 reduce 在管理上看沒有什么差別，由他分配誰是什么角色。 HDFS 放寬了（ relax） POSIX 的要求，可以以流的形式訪問（ streaming access）文件系統(tǒng) 中的數(shù)據(jù)。 （ 2）主從結(jié)構(gòu) 首先介紹主節(jié)點和從節(jié)點。 主從結(jié)構(gòu)： 須有地方存儲服務(wù)器和磁盤的映射關(guān)系。所有的節(jié)點信息，包括容量信息（不斷變化， 需要通過節(jié)點和元數(shù)據(jù)不斷可以通信，經(jīng)常通信可以稱為心跳機制，節(jié)點不停向元數(shù)據(jù)發(fā)送信息，元數(shù)據(jù)的職責(zé)已經(jīng)改變，管理各個節(jié)點的資源情況）都在元數(shù)據(jù)節(jié)點上注冊，元數(shù)據(jù)，索引機制，數(shù)據(jù)量越大，價值越能體現(xiàn)出來。調(diào)用元數(shù)據(jù)函數(shù)，傳入形參，我節(jié)點的信息。 下面通過一個 例子的圖來了解一下元數(shù)據(jù)維護文件和快的關(guān)系，以及快與所在節(jié)點的關(guān)系。就現(xiàn)在的 DHFS 而言還不能實現(xiàn)訪問權(quán)限控制及用戶配置，也不支持軟硬連接。DataNode 數(shù)據(jù)節(jié)點還根據(jù) NameNode 名字節(jié)點指令刪除、創(chuàng)建及復(fù)制數(shù)據(jù)塊。 客戶端 Namenode Metadata ops Read datanodes 客戶端 寫 blocks 應(yīng)用 Block ops datanodes 存儲服務(wù)器 存儲服務(wù)器 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 19 頁 共 54 頁 （ 1）主節(jié)點 和 從節(jié)點 之間的關(guān)系 主節(jié)點和從節(jié)點是一些軟件組件，主要目的是用一種解耦和方式跨越多個異構(gòu)操作系統(tǒng)在普通的計算機上運行。一個集群只能一個主節(jié)點。 HDFS 還設(shè)有 Secondary NameNode 節(jié)點，它輔助主節(jié)點處理事物日志和映射文件。主節(jié)點負責(zé)所有塊復(fù)制決定。一般網(wǎng)絡(luò)環(huán)境好的可以先擇此項，但此安裝不會保存安裝文件，因此若下次需再次安裝時也一定需要有網(wǎng)絡(luò)；第二項“ Download Without Installing”表示下載安裝鏡像，但不安裝。 （ 2）點擊下一步按鈕，繼續(xù)安裝 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 25 頁 共 54 頁 圖 的安裝步驟 這 里選擇的是之前下載的 setup 是存放的地址。 圖 的安裝步驟 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 27 頁 共 54 頁 在這里點擊完成就可以完成 Cygwin 的安裝 了。%JAVA_HOME%\lib。 圖 JAVA_HOME 環(huán)境變量配置 （ 4） 新建環(huán)境變量 CYGWIN 在系統(tǒng)變量里新建，在“變量名”處輸入 CYGWIN 在“變量值”處輸入：ntsec。如下圖所示。這種情況可能是由于權(quán)限問題所導(dǎo)致，這是要先解決掉這個錯誤才可啟動 cygwin ssh 服務(wù)。先進入 .ssh 的目錄，輸入： cd .ssh/；然后將該目錄下的文件 的文件加入公鑰授權(quán)文件 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 33 頁 共 54 頁 中： cp authorized_keys； 圖 sshd 服務(wù)啟動 3)退出 Cygwin sshd 的登錄 。 我 這 里 使 用 的 Hadoop 為。 保存之后，退出即可。 搜索到節(jié)點“ ”： 將其中 value 值改成“ 保存退出即可。 6） 找到 D:\\src\mapred 下的文件“ ”，并 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 35 頁 共 54 頁 將其拷貝到 D:\\conf 下。開啟 sshd 服務(wù)并登陸。至此， Windows 上基于 Hadoop 的云平臺搭建完成。該包中包含 eclipse 上 Hadoop 開發(fā)的所有 API。然后重 啟 eclipse，即可看到相應(yīng)的效果，當(dāng)發(fā)現(xiàn) DFS Locations 時，則表示 Eclipse 已經(jīng)識 別到了 Hadoop eclipse 插件。如下圖所示。如下圖所示。對于 DFS Master 中 ，勾選 Use M/R Master host； Port 也是之前固定配置好了的 9000；而 Host 已經(jīng)固定了localhost。此時會看到 Map/Reduce Location 下多出 myHadoop 鏈接信息。 經(jīng)以上 3個步驟，就可以將中文字符串接受到我們的 servlet 中作后續(xù)的操作。 } Return s。 云文件系統(tǒng)的功能能實現(xiàn) 、云文件系統(tǒng)中的前進和后退實現(xiàn) 當(dāng)用戶進入文件系統(tǒng)的操作過程，經(jīng)常想在進入下一個目錄后，返回上一個訪問的目錄，這就相當(dāng)于在電腦里實現(xiàn)前進和后退的功能的實現(xiàn) 。 1）顯示效果的設(shè)計，這一步的實現(xiàn)比較簡單其代碼如下 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 49 頁 共 54 頁 圖 新建文件夾界面 2）在新建文件夾過程中，要讓此模塊識別到用戶在目錄下的那個文件夾內(nèi)新建文件夾，這里需要用到一個共享變量當(dāng)用戶選擇進入一個文件夾時就將該文件夾 ID存儲到共享變量中，然后只需將共享變量中的所需信息取出 ，便可識別在哪個文件夾下建立文件夾。 } Private function getuid():int{//獲取用戶 id 信息 Ruturn 。 1） 用戶讀權(quán)限的設(shè)置 我這里要設(shè)置的文件為 將此文件設(shè)置為所有人皆可讀輸入： chmod a+r 2)寫權(quán)限的設(shè)置 將文件 設(shè)置為所有者及和所有者同組的可寫，其他的不可寫輸入： Chmod ug+w,ow file 3)查看權(quán)限的配置輸入： ls all 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 51 頁 共 54 頁 第六章 總結(jié) 今天，大學(xué)里最后的一次“作業(yè) —— 我 的畢業(yè)設(shè)計，終于完成了！這次我選擇的題目是基于云計算文件系統(tǒng)的設(shè)計。當(dāng)然做這個設(shè)計需要的信息量也是十分龐大的，我要搜集很多資料，來做出我的論 文，同時在搭建平臺時也是十分困難的，要在網(wǎng)上咨詢一些專業(yè)人員，總算是做出