【正文】 ii Cloud puting file system implementation Abstract Cloud puting is an interbased service business model, IT can realize the utilization of IT infrastructure and service, the user can according to need to customize and paid, which pletely changed the traditional IT infrastructure to provide and pay way, effectively solve the mass information storage and putational problems of unlimited growth. Article gives the main types of cloud puting distributed file system, analyzes the Google file system (GFS) and the evolution of the Hadoop distributed file system (HDFS). Finally, describes in detail the working principle of the distributed file system. This paper mainly pleted the implementation of cloud puting file system, the realization of the main way is through the Hadoop platform and Eclipce development environment to implement the functions of file system and file system creation and revoked. Give users a similar to Windows in my puter as user experience, can according to user39。文章給出了云計算分布式文件系統(tǒng)的主 要類型 ,分析了 Google 文件系統(tǒng) (GFS)和Hadoop 分布式文件系統(tǒng) (HDFS)的演進(jìn)情況。最后 ,詳細(xì)描述了分布式文件系統(tǒng)的工作原理。s intention to file directory and file management. Keywords: cloud puting。云計算將使技術(shù)人員和使用者都面臨著一個巨大的變革。 人們將從習(xí)慣于購買軟件和硬件變?yōu)檐浖陀布紝㈦[沒于云端，用戶在這種技術(shù)下面所對的將全部是服務(wù)。在這一階段，虛擬化、分布式計算、并行計算等關(guān)鍵計算和概念紛紛出現(xiàn)并取得了一系列的進(jìn)展。 第三階段：云計算技術(shù)和商業(yè)模式實踐期（ 21 世紀(jì)初至今）。所以它不僅僅是改變了計算機(jī)的使用法方，它也將改變?nèi)藗兊娜粘Ｉ睢Ｈ缃?，這種迅猛增長的從不使用的數(shù)據(jù)在企業(yè)里消耗著復(fù)雜而昂貴的一級存儲的存儲容量?？偟膩碚f，本文主要講述了以下幾方面的意義： 1）隨著計算機(jī)技術(shù)的飛速發(fā)展，數(shù)據(jù)量也隨之變得越來越龐大，怎么對大量數(shù)據(jù)進(jìn)行有效管理已經(jīng)成為企業(yè)的關(guān)鍵問題。 4） Hadoop 平臺還沒有被廣泛地推廣應(yīng)用于各行各業(yè)，但是當(dāng)基于 HDFS 的云存儲應(yīng)用研究獲得一定的成效時，就會對 Hadoop 技術(shù)起到很好的推廣作用。 3）降低 IT基礎(chǔ)設(shè)施投資 一些組織的 IT 部門也可以通過使用云計算而降低成本，用云計算的計算和存儲能力代替組織能的資源開銷，從而企業(yè)可以減少IT 本門的投資，而 對于一些需要處理計算量很大的企業(yè)我們也不需要購買大量的和高端的軟硬件來處理大量的數(shù)據(jù)，這也可以通過云計算狠容易的完成。 7）計算能力的增加 這是非常明顯的，應(yīng)為當(dāng)用戶和云端連接起來后幾乎可以用整個云的計算能力。 10） 數(shù)據(jù)的獲取將無地點限制 云計算及將大量的非本地的計算機(jī)集合成集群，因此只要我們有一臺能連接到網(wǎng)絡(luò)的計算機(jī)就可以在這個集群里索取任何地點的數(shù)據(jù)。 4）功能有限制 就現(xiàn)在的云計算功能和桌面的應(yīng)用程序比較他的功能還是有限制的，較桌面的應(yīng)用程序功能縮水了很多。第二本文介紹了云計算系統(tǒng)的體系結(jié)構(gòu)及工作原理，第三本文主要做關(guān)于文件系統(tǒng)的實現(xiàn)，從而介紹了實現(xiàn)文件系統(tǒng)的云平臺，第四就是搭建這里所需要用到的平臺及環(huán)境，最后通過平臺及環(huán)境實現(xiàn)文件系統(tǒng)。 SaaS PaaS IaaS 云計算基礎(chǔ)架構(gòu) 南華大學(xué)計算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 7 頁 共 54 頁 圖 云計算服務(wù)體系結(jié)構(gòu) 云計算的服務(wù)層次結(jié)構(gòu)是根據(jù)服務(wù)集合來劃分的，這與計算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中的層次劃分有所不同。通用的云計算體系結(jié)構(gòu)如下。 服務(wù)目錄是云用戶在取得相應(yīng)的權(quán)限后可以選擇或制定服務(wù)，也可以對已有的服務(wù)進(jìn)行取消定制的操作，在云用戶端生成相應(yīng)列表或圖標(biāo)的形式用以展現(xiàn)相關(guān)的服務(wù)。 云計算的基本原理為利用 遠(yuǎn)程的或非本地的服務(wù)器的分布式計算為互聯(lián)網(wǎng)的用戶提供服務(wù)。 云計算是一種全新的基于互聯(lián)網(wǎng)的超級計算機(jī)模式和理念，實現(xiàn)云計算需要很多種不同技術(shù)的結(jié)合，并且需要使用軟件來實現(xiàn)將硬件資源虛擬化的調(diào)度及管理，形成一個大的虛擬化資源池，把存儲與移動設(shè)備、個人計算機(jī)和其他設(shè)備設(shè)備上的處理器資源集中在一起 協(xié)同工作。 IBM 將包括 Xen 和 PowerVM的虛擬的 Linux 操作系統(tǒng)景象與 Hadoop 并行工作負(fù)載調(diào)度。 Hadoop 是一個分布式存儲與計算平臺 ,其適合大數(shù)據(jù)，對于小數(shù)據(jù)而言， Hadoop 處理效果反而不佳。 基于 Hadoop 架構(gòu)平臺可以給出云計算的執(zhí)行過程如下圖所示。 MapReduce API Master Worker1 worker2…… ..workern 選擇執(zhí)行Map 程序的 Worker機(jī)器 分配數(shù)據(jù)塊到執(zhí)行map 的機(jī)器執(zhí)行 將 map 結(jié)果存到本機(jī)磁盤 選擇執(zhí)行Reduce程序的worker 機(jī)器 結(jié)合 GFS 和BigTable 讀取遠(yuǎn)程Map，混合、匯聚、排序，執(zhí)行 Reduce 南華大學(xué)計算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 13 頁 共 54 頁 Hadoop 得以在大數(shù)據(jù)處理應(yīng)用中廣泛應(yīng)用得益于其自身在數(shù)據(jù)提取、變形和加載 (ETL)方面上的天然優(yōu)勢。雖然它不是惟一的 軟件 框架 應(yīng)用程序 ，但作為一個并行 數(shù)據(jù)處理 引擎，它的表現(xiàn)非常突出。 MapReduce 分布式處理技術(shù)的介紹 MapReduce 是 Goole 開發(fā)的 c++、 java、 python 的編程工具，用于大規(guī)模的數(shù)據(jù)集的并行運算，同時也是云計算的核心 技術(shù)，一種分布式運算技術(shù)，也是簡化的分布式編程模式，適合處理大量的數(shù)據(jù)的分布式運算，用于解決問題的程序開發(fā)模式，同時也是開發(fā)人員解決問題的方法。 南華大學(xué)計算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 14 頁 共 54 頁 表 map、 reduce 關(guān)聯(lián)表 其中 v v2 即可以使簡單數(shù)據(jù)，也可是一組數(shù)據(jù)，對應(yīng)不同的映射函數(shù)規(guī)則。 MapReduce 架構(gòu) MapReduce 主要用于處理產(chǎn)生大數(shù)據(jù)集的相關(guān)實現(xiàn)。 Mapreduce 的主從結(jié)構(gòu)： 主節(jié)點，只有一個 : JobTracker 其主要的功能負(fù)責(zé)接收客戶提交的計算任務(wù)、把計算任務(wù)分配給 TaskTrackers 執(zhí)行、監(jiān)控 TaskTracker 的執(zhí)行情況、 從節(jié)點，有很多個： TaskTrackers 它的主要功能是執(zhí)行 JobTracker 分配的計函數(shù) 輸入 輸出 Map Reduce （ K1， l1） （ k2， list（ v2）） List（ k2， v2） List（ v2） 南華大學(xué)計算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 15 頁 共 54 頁 算任務(wù)。怎么改進(jìn)？如果都跑相同的報表系統(tǒng)，跑多臺，上面做累加，但是數(shù)據(jù)庫這塊分成三份，北京一個庫，河北一個庫，可以報表 1 系統(tǒng)跑北京數(shù)據(jù)，報表系統(tǒng) 2 跑天津數(shù)據(jù)，這樣每個報表處理的數(shù)據(jù)量處理為原來的一部分。 MapReduce ：匯總和報表系統(tǒng)。 并且設(shè)計用來部署在低廉的（ lowcost）硬件 設(shè)備 上 ，它有單一的文本空間， 而且它提供高傳輸率（ high throughput）來訪問 應(yīng)用程序 的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（ large data set）的應(yīng)用程序。 （ 1）與普通文件系統(tǒng)的比較 分布式文件系統(tǒng)較普通的文件系統(tǒng)而言，其相同的是分布式文件系統(tǒng)中的文件也是被分成以大小為 64MB 為一塊的數(shù)據(jù)塊存儲的，而與普通的文件系統(tǒng)不同之處在于，當(dāng)一個文件的大小不足 64mb 時，則這個文件將不占用整個數(shù)據(jù)塊。 下面我們通過一個主從節(jié)點的例子在了解一下主從結(jié)構(gòu)。檢索數(shù)據(jù)更快的話，先訪問元數(shù)據(jù)。節(jié)點上面跑服務(wù)，不會停止。元數(shù)據(jù)就是 Namenode，主節(jié)點。用戶可以對文件進(jìn)行刪除、創(chuàng)建或者讓文件從一個目錄移到另外一個目錄以及對一個文件進(jìn)行重命名等操作。名字節(jié)點 NameNode 會將block 映射到數(shù)據(jù)節(jié)點 DataNode 上，并處理來自 HDFS 客戶端的讀或?qū)懻埱?。主?jié)點作為系統(tǒng)元數(shù)據(jù)的存儲及仲裁者，使得這種設(shè)計形成了一個簡化模型用來管理每個名稱空間的數(shù)據(jù)分布，使得用戶數(shù)據(jù)不會流經(jīng)名字節(jié)點。 HDFS 典型部署是在專門的機(jī)器上運行主節(jié)點，集群中的其他機(jī) 從節(jié)點；也可以在運行主節(jié)點的機(jī)器上同時運行從節(jié)點，也可以一臺機(jī)器上運行多個從節(jié)點。主節(jié)點啟動時，從一存儲的了映射文件和事物日志的盤里 讀取映射文件和事物日志，使事物日志的事物都可以應(yīng)用到內(nèi)存中的映射文件上，然后將新的元數(shù)據(jù)移動到本地磁盤新的映射文件中，這樣就可以截去舊的事物日志，這個過程通常被稱為檢查點（ Checkpoint）。我們知道 HDFS 有很強(qiáng)的容錯性，所以 HDFS 復(fù)制文件塊以便容錯，應(yīng)用程序在一個文件創(chuàng)建時就制定該文件副本數(shù)，這個數(shù)量值可以在以后任何時候更改，這個數(shù)量值成為復(fù)制因子。現(xiàn)在來對其進(jìn)行安裝，首先，我是先下載了一個引導(dǎo)程序來對它進(jìn)行安裝我先登錄網(wǎng)站 文件 南華大學(xué)計算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 23 頁 共 54 頁 （ 1）打開以下載的 圖 界面 （ 2）點擊下一步進(jìn)入下面的界面 圖 的安裝步驟 南華大學(xué)計算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 24 頁 共 54 頁 第一項“ Install from Inter”表示從網(wǎng)絡(luò)上找到安裝文件后會自動安裝。 （ 1）點擊 “ Install From Local Directory”進(jìn)入下一步 圖 的安裝步驟 這里為 Cygwin 選擇安裝的地址，我將它安裝在“ d:\program files\cygwin”目錄下。其中“ keep”為安裝， “ Reinstall”為重新安裝；“ Uninstall”為不安裝其檢測如下圖： 圖 的安裝步驟 （ 4）點擊下一步，直接到完 成界面。 南華大學(xué)計算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 28 頁 共 54 頁 圖 JAVA_HOME 環(huán)境變量配置 （ 3）新建加入環(huán)境變量 CLASSPATH； 要在系統(tǒng)變量里新建，在“變量名”處寫入 CLASSPATH 在“變量值”處輸入：“ .?！?,這個不能少寫或?qū)戝e。 1）第一步首先是添加 JDK 的路徑，并以 分號結(jié)束；路徑為：C:\Java\； 2）第二步添加 JRE 的路徑；路徑為： C:\Java\jre8； 3 ） 第三 步添 加 Cygwin 的 bin 路 徑 ； 路 徑為 ： D:\Program Files (x86)\cygwin64\bin； 4）第四步添加 Cygwin usr 的 bin 或 sbin 路徑；路徑為： D:\Program Files (x86)\cygwin64\usr\sbin； 將這些都添加到 PATH 的最前面，最后就完成了 path 目錄的配置了。如下圖： 南華大學(xué)計算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 32 頁 共 54 頁 圖 sshd 服務(wù)啟動 注意：在啟動 ssh 服務(wù)的時候可能 會彈出“本地計算機(jī)上的 cygwin sshd服務(wù)啟動后停止 .....”的錯誤。 圖 sshd 服務(wù)啟動 2)在將生成的密鑰對中的公鑰加入到公鑰授權(quán)文件中。 (2) 配置 Hadoop 安裝包 1)將 以 下 載