【正文】 發(fā)環(huán)境下，我們可以很方便的開發(fā)應用程序。 國內在國內，云計算這些年發(fā)展迅速。這些公司分別以云計算為基礎在不同的方向上發(fā)展。綜合國內的云計算發(fā)展狀況，國內企業(yè)本身發(fā)展比國外晚，在技術的成熟上勢必會弱一些，雖然現(xiàn)今已經(jīng)取得了很驚人的成績，但仍有很多需要努力之處。 本論文研究的主要內容在廣泛的文獻調研基礎上，此論文主要對基于Windows下Hadoop的云計算理論及其上的開發(fā)來研究，通過對云計算的了解與學習，實現(xiàn)搭建Windows上Hadoop云平臺，并在該平臺上使用Eclipse開發(fā)應用程序實現(xiàn)視頻文件的上傳和下載，從而完成多媒體云上的存儲。本論文主要以云計算與Hadoop為主題進行研究，涉及下面三個方面的內容：1).廣泛查閱資料的基礎上，對云計算的背景以及國內外的發(fā)展現(xiàn)狀進行了一個很全面的了解。與計算的發(fā)展伴隨著很多重要技術的革新，數(shù)據(jù)存儲和管理，還有分布式編程模式的思想，其中虛擬化技術更是為云計算的發(fā)展帶來了鋪墊。2).本文的下一部分對在Hadoop云計算在Windows平臺上的實現(xiàn)進行研究。Hadoop是的構架和實現(xiàn)原理，接著介紹了部分Hadoop API 的使用，熟悉了這些API就能更好的在開發(fā)環(huán)境上開發(fā)出好的應用程序。第二章 Hadoop云平臺 概述 在云計算技術中，一個非常的重要的模塊就是編程平臺。 Hadoop介紹Hadoop是Apache下的一個項目，是一個包括HDFS（重要）、HBase、MapReduce（重要）、ZooKeeper和Hive等成員組成的分布式計算平臺（ Hadoop的項目結構圖所示）。 Hadoop的項目結構圖Hadoop這一平臺就是提供存儲海量數(shù)據(jù)的平臺。Hadoop在架構上采用的是主從結構，底層是HDFS文件系統(tǒng)，上層是Map/Reduce處理（）。Map/Reduce是HDFS的上層，是一種分布式計算，并且由JobTrackers和TaskerTrackers組成了其引擎。圖 Hadoop的基本結構 HDFS HDFS簡介Hadoop的HDFS是一個能使用在通用硬件設備上的分布式系統(tǒng)，也是一個高度容錯的分布式系統(tǒng)。它被設計在低成本的硬件上運行，具有單一的文件命名空間。在多個DataNode節(jié)點上有同一個數(shù)據(jù)塊的副本，客戶端通過NameNode節(jié)點得到數(shù)據(jù)塊的位置，直接訪問數(shù)據(jù)節(jié)點來獲得數(shù)據(jù)，（1） 數(shù)據(jù)塊（block）：HDFS的最基本的存儲單位是64MB的數(shù)據(jù)塊。而與普通文件系統(tǒng)不相同的是，在一個文件的大小小于HDFS上的最小存儲塊大小時，它不會獨占次存儲空間，而是與其他共享的。這些文件信息也會同時在保存在硬盤上， 并且采用鏡像文件的重命名空間和日志的修改的這樣的兩種方式來保存。但是這些信息不是存儲在硬盤上，而是從啟動的時候各數(shù)據(jù)節(jié)點上集結而成的精髓。 NameNode節(jié)點文件夾架構圖（3） 從元數(shù)據(jù)節(jié)點（secondary NameNode）：這個節(jié)點不是備用的數(shù)據(jù)節(jié)點，他負責是防日志文件過大——把元素數(shù)據(jù)節(jié)點鏡像命名空間的文件和修改日志周期性地合并在一起。（4） 文件系統(tǒng)的名字空間：HDFS支持完全傳統(tǒng)的文件組織體系結構，因此用戶或者程序可以其上創(chuàng)建目錄來存儲文件。用戶的基本操作都一樣，如創(chuàng)建、刪除、文件移動、重命名等。 HDFS體系結構HDFS由一些互連的節(jié)點集群組成，他是主/從結構的。另外還有一堆數(shù)據(jù)節(jié)點DataNode，一般一個物理節(jié)點上部署一個數(shù)據(jù)節(jié)點，數(shù)據(jù)節(jié)點DataNode將數(shù)據(jù)作為塊存儲在文件中。名字節(jié)點NameNode還將數(shù)據(jù)塊映射到數(shù)據(jù)節(jié)點DataNode，并處理來自HDFS客戶端的讀/寫請求。HDFS體系架構， HDFS體系架構圖所示。NameNode充當著系統(tǒng)中文件存儲和仲裁者的角色，這樣的一個結構大大有效于對節(jié)點的控制等。NameNode和DataNode是屬于軟件組件。一個典型的安裝集群擁有一臺專用機 器，用于運行一個NameNode，可能還有一個DataNode，其他處在集群中的機器都運行相同的一個DataNode。一個集群只能一個NameNode。事物日志和映射文件均存儲在元數(shù)據(jù)節(jié)點所在的本地文件系統(tǒng)中。這個叫做檢查點。元數(shù)據(jù)節(jié)點啟動的時候會合并映射文件和事物日志，而Secondary NameNode周期性的從 NameNode復制映射和事物日志到臨時的目錄，合并后等生成了新的映射文件之后再在重新上傳到名字節(jié)點上，元數(shù)據(jù)節(jié)點會在更新映射文件的同時清理事物日志，使得事物日志文件的大小不至于大到無法控制的地步。HDFS客戶端連接到名字節(jié)點上所打開的一個TCP端口，然后使用一個基 于Remote Protocol Call（RPC）的專有協(xié)議與NameNode通信。DataNode持續(xù)循環(huán)詢問NameNode的指令，NameNode不能直接連接到DataNode，它只是從DataNode調用的函數(shù)返回值。名字節(jié)點知道這個服務器的主機或端口，這些主機及端口信息都將通過它提供給有關客戶端或其它數(shù)據(jù)節(jié)點。NameNode維護系統(tǒng)的名字空間，它將記錄名字空間內的任何改動或者名字 空間本身的屬性改變。NameNode負責所有塊復制的決定。 HDFS API（1） (Path srcPath,Path dstPath) 將本地文件上傳；此函數(shù)用于上傳本地文件到HDFS上，其中參數(shù)src（源路徑）為本地磁盤的全路徑，值得注意的是：如果是在Windows平臺上搭建的環(huán)境，那么此路徑中的對應上、下兩級目錄之間應以“\\”隔開（如“G:\\Movie\\”表示G ）；參數(shù)dst為HDFS上的全路徑位置，如“/user/userFile/”。上傳完成之后可通過瀏覽器（“://localhost:50070”訪問hdfs；“://localhost:50030”訪問JobTracker）查看新上傳的文件，也可以通 過控制臺查看（通過FileStatus對象來實現(xiàn)對目錄下文件的遍歷）和終端查看（Linux上終端或者Windows上的Cygwin）。 FileSystem HDFSFile = (conf)。 Path dstPath = new Path(“/user/userFile/”)。（2） (Path pathFile)和 (Path pathDir) 在HDFS上創(chuàng)建文件和目錄；此兩函數(shù)分別用于在HDFS上創(chuàng)建新文件和新的目錄。這里需要另外注意的是權限問題和 安全模式，在這兩種情況下都回出現(xiàn)創(chuàng)建失敗。中間 我們可以通過“./Hadoop fs ls pathFile或pathDir”來查看對應文件或目錄 的權限；通過“./Hadoop dfsadmin safemode get”來查看安全模式狀態(tài)。 FileSystem HDFSFile = (conf)。 Path filePath = new Path(“/user/userFile/”)。 (filePath)。示例： Configuration conf = new Configuration()。 Path srcPath = new Path(“/user/userFile/”)。 Path filePath = new Path(“/user/userFile/”)。 (filePath，true)。若返回的值為true，則表示對應路徑下文件或目錄存在；反之為false表示對應文件或目錄不存在。 FileSystem HDFSFile = (conf)。 if(()){(“File ”+filePath+“ exist!\n”)。函數(shù)返回的為修改的時間。 FileSystem HDFSFile = (conf)。 FileStatus fileStatus = (srcPath)。（6） () 查看目錄下所有文件先根據(jù)指定的全路徑獲取一個FileStatus對象，然后再通過遍歷該對象來實現(xiàn)對目錄下文件的遍歷。示例： Configuration conf = new Configuration()。 Path srcPath = new Path(“/user/userFile/”)。 For(int i=0。++i) { (fileStatus[i].getPath().toString())。 Map/ReduceMapReduce被InfoWord評為2009年新興技術的領頭軍。 Map/Reduce原理圖Map承擔著打散用戶提供的數(shù)據(jù)的工作，Reduce承擔數(shù)據(jù)聚集數(shù)據(jù)的工作，用戶可以通過實現(xiàn)map和reduce兩個接口來實現(xiàn)大規(guī)模數(shù)據(jù)（TB級）的計算，常見的應用有日志分析和數(shù)據(jù)挖掘等數(shù)據(jù)分析應用。Hadoop MapReduce的同樣是采用Master/Slave的結構來實現(xiàn)的。Job是用戶提交的計算的稱謂，每一個Job會被系統(tǒng)自動分成若干個Tasks。MapReduce是一個編程模型，在Hadoop云平臺上用來處理大數(shù)據(jù)集的相關實現(xiàn)。：圖 MapReduce處理流程從圖中可以看出，源源不斷是輸入數(shù)據(jù)在MapReduce模式下被拆分成很多的Map任務，而Map任務在Hadoop框架內進行并行的處理，而若干個Map任務在Hadoop框架處理后被一個Reduce所合并匯總，最終輸出給用戶。第 57 頁 共 57 頁第三章 Hadoop與Eclipse開發(fā)環(huán)境的搭建 概要分析環(huán)境搭建顧名思義，對于“云存儲系統(tǒng)”那首先就必須要有一個云平臺。在眾多的云平臺中Hadoop是開源中的典范。這里就設計到一個問題，需要一個東西來將Windows環(huán)境模擬出Unix系統(tǒng)。而Hadoop本身帶有供二次開發(fā)應用程序所用的插件，插件中封裝了很多API供應用程序調用，進而實現(xiàn)對云服務器上的操作。為了實現(xiàn)Windows上Hadoop平臺的搭建，我們需要安裝JDK、模擬Unix環(huán)境的Cygwin、然后配置好環(huán)境變量，實現(xiàn)無密碼SSH服務登陸，之后安裝配置Hadoop。另外，只有將插件安裝到eclipse環(huán)境下才能在其上調用Hadoop云平臺上訪問HDFS的API，這樣為下一步軟件開發(fā)與云平臺建立了一個可靠的橋梁。 Windows上Hadoop云平臺搭建 下載JDK安裝包。但是這里雖然只是安裝一個Java開發(fā)環(huán)境，但是還是有個地方值得一提。對于64位操作系統(tǒng)，JDK默認安裝位置是在“C:\Program Files (x86)\Java\...”目錄下，此目錄中帶有“（）”，里面修改的時JAVA_HOME路徑，而這一路徑中若存在“（）”或者空格之類的將直接導致無法尋找到該路徑，進而給接下來云平臺搭建帶來麻煩，所以安裝時應該必開這么帶括號等這類非數(shù)字、字母、下 劃線的路徑。Cygwin的作用就是在Windows平臺上模擬出Unix環(huán)境。通過查看“計算機”〉“屬性”來查看計算機操作系統(tǒng)。一般網(wǎng)絡條件好的可以先擇此項，但此安裝不會保存安裝文件，因此若下次需再次安裝時也必須要有網(wǎng)絡；第二項“Download Without Installing”表示下載安裝鏡像，但不安裝。建議先選擇“Download Without Installing”之后再通過“Install From Local Directory”來安裝，這樣就方便于日后無網(wǎng)絡的時候安裝。我這離為D:\Program Files (x86)\cygwin64；Install for “All Users”。下一步。點擊出現(xiàn)版本號即可。 Cygwin安裝完成 配置Windows系統(tǒng)環(huán)境變量打開系統(tǒng)環(huán)境變量設置。 Windows環(huán)境變量添加環(huán)境變量JAVA_HOME；“系統(tǒng)變量（S）”〉“新建”，并且在“變量名（N）”處輸入JAVA_HOME，在“變量值（V）”處輸入在第一步安裝JDK時JDK的所在路徑。 Windows環(huán)境變量JAVE_HOME配置添加環(huán)境變量CLASSPATH；“系統(tǒng)變量（S）”〉“新建”，并且在“變量名（N）”處輸入CLASSPATH在“變量值（V）”處輸入：“.。%JAVA_HOME%\lib\”注意最前面的“.。 Windows環(huán)境變量CLASSPATH配置修改PATH目錄“系統(tǒng)變量（S）”中選中“PATH”后點“編輯”。我這里為：D:\Program Files (x86)\cygwin64\usr\sbin；完整后為：C:\Java\jre8\bin。D:\ProgramFiles(x86)\cygwin64\bin。將這些添加到PATH的最前面。： Windows環(huán)境變量CYGWIN配置 安裝和配置SSHD服務安裝sshd服務啟動Cygwin（Unix環(huán)境模擬工具）；， Cygwin啟動輸入指令$ sshhostconfig問題Should privilege separation be used？（yes/no）這里是有關權限隔離的抉擇，此處先擇 “no”接著下一問題“(Sa