【正文】 Map/Reduce 14第三章 Hadoop與Eclipse開(kāi)發(fā)環(huán)境的搭建 16 概要分析環(huán)境搭建 16 Windows上Hadoop云平臺(tái)搭建 16 16 17 配置Windows系統(tǒng)環(huán)境變量 23 安裝和配置SSHD服務(wù) 25 配置Hadoop安裝包 29 Eclipse Hadoop插件開(kāi)發(fā)配置 33 Eclipse插件介紹 33I 第 頁(yè) , 共 2 頁(yè) 33 Eclipse上Hadoop插件開(kāi)發(fā)配置 33第四章 實(shí)現(xiàn)與運(yùn)行 37 程序的實(shí)現(xiàn) 37 37 程序流程圖 38 部分重要代碼分析 38 38 39 HDFS上文件信息的獲取 39 40 程序運(yùn)行界面 40 文件上傳 40總 結(jié) 42參考文獻(xiàn) 43謝 辭 45附錄 46I 第 頁(yè) , 共 2 頁(yè)云存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)摘要：云計(jì)算是通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)資源的共享，其資源包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、服務(wù)和應(yīng)用軟件等，它能高效地為用戶提供服務(wù)。storage。而對(duì)于當(dāng)今數(shù)據(jù)日趨龐大，以至到現(xiàn)今的大數(shù)據(jù)時(shí)代，其對(duì)數(shù)據(jù)計(jì)算的速度和對(duì)數(shù)據(jù)處理的效率變成了關(guān)鍵。 目的和意義 云計(jì)算的興起不是偶然的，而是信息技術(shù)和應(yīng)用發(fā)展的必然產(chǎn)物，最根本的目第 I 頁(yè) 共 60 頁(yè)南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院畢業(yè)設(shè)計(jì)（論文）的是最大限度的使用整個(gè)網(wǎng)絡(luò)上的資源。普通的計(jì)算機(jī)上也可以安裝Hadoop平臺(tái)，極大程度地降低開(kāi)發(fā)項(xiàng)目的成本，這也讓研究項(xiàng)目、使用分布式系統(tǒng)更加簡(jiǎn)便，而且還是開(kāi)源的。隨著云計(jì)算技術(shù)的慢慢成熟，他們都相繼推出了相關(guān)的產(chǎn)品和服務(wù)。IBM的云系統(tǒng)給客戶提供了一種基于開(kāi)放標(biāo)準(zhǔn)的可信賴的平臺(tái)。在群雄崛起之時(shí)，微軟也不遜色。這些公司分別以云計(jì)算為基礎(chǔ)在不同的方向上發(fā)展。與計(jì)算的發(fā)展伴隨著很多重要技術(shù)的革新，數(shù)據(jù)存儲(chǔ)和管理，還有分布式編程模式的思想，其中虛擬化技術(shù)更是為云計(jì)算的發(fā)展帶來(lái)了鋪墊。 Hadoop介紹Hadoop是Apache下的一個(gè)項(xiàng)目，是一個(gè)包括HDFS（重要）、HBase、MapReduce（重要）、ZooKeeper和Hive等成員組成的分布式計(jì)算平臺(tái)（ Hadoop的項(xiàng)目結(jié)構(gòu)圖所示）。圖 Hadoop的基本結(jié)構(gòu) HDFS HDFS簡(jiǎn)介Hadoop的HDFS是一個(gè)能使用在通用硬件設(shè)備上的分布式系統(tǒng)，也是一個(gè)高度容錯(cuò)的分布式系統(tǒng)。這些文件信息也會(huì)同時(shí)在保存在硬盤上， 并且采用鏡像文件的重命名空間和日志的修改的這樣的兩種方式來(lái)保存。用戶的基本操作都一樣，如創(chuàng)建、刪除、文件移動(dòng)、重命名等。HDFS體系架構(gòu)， HDFS體系架構(gòu)圖所示。一個(gè)集群只能一個(gè)NameNode。HDFS客戶端連接到名字節(jié)點(diǎn)上所打開(kāi)的一個(gè)TCP端口，然后使用一個(gè)基 于Remote Protocol Call（RPC）的專有協(xié)議與NameNode通信。NameNode負(fù)責(zé)所有塊復(fù)制的決定。 Path dstPath = new Path(“/user/userFile/”)。 FileSystem HDFSFile = (conf)。 Path srcPath = new Path(“/user/userFile/”)。 FileSystem HDFSFile = (conf)。 FileStatus fileStatus = (srcPath)。 For(int i=0。Hadoop MapReduce的同樣是采用Master/Slave的結(jié)構(gòu)來(lái)實(shí)現(xiàn)的。第 57 頁(yè) 共 57 頁(yè)第三章 Hadoop與Eclipse開(kāi)發(fā)環(huán)境的搭建 概要分析環(huán)境搭建顧名思義，對(duì)于“云存儲(chǔ)系統(tǒng)”那首先就必須要有一個(gè)云平臺(tái)。為了實(shí)現(xiàn)Windows上Hadoop平臺(tái)的搭建，我們需要安裝JDK、模擬Unix環(huán)境的Cygwin、然后配置好環(huán)境變量，實(shí)現(xiàn)無(wú)密碼SSH服務(wù)登陸，之后安裝配置Hadoop。對(duì)于64位操作系統(tǒng)，JDK默認(rèn)安裝位置是在“C:\Program Files (x86)\Java\...”目錄下，此目錄中帶有“（）”，里面修改的時(shí)JAVA_HOME路徑，而這一路徑中若存在“（）”或者空格之類的將直接導(dǎo)致無(wú)法尋找到該路徑，進(jìn)而給接下來(lái)云平臺(tái)搭建帶來(lái)麻煩，所以安裝時(shí)應(yīng)該必開(kāi)這么帶括號(hào)等這類非數(shù)字、字母、下 劃線的路徑。建議先選擇“Download Without Installing”之后再通過(guò)“Install From Local Directory”來(lái)安裝，這樣就方便于日后無(wú)網(wǎng)絡(luò)的時(shí)候安裝。 Cygwin安裝完成 配置Windows系統(tǒng)環(huán)境變量打開(kāi)系統(tǒng)環(huán)境變量設(shè)置。 Windows環(huán)境變量CLASSPATH配置修改PATH目錄“系統(tǒng)變量（S）”中選中“PATH”后點(diǎn)“編輯”。： Windows環(huán)境變量CYGWIN配置 安裝和配置SSHD服務(wù)安裝sshd服務(wù)啟動(dòng)Cygwin（Unix環(huán)境模擬工具）；， Cygwin啟動(dòng)輸入指令$ sshhostconfig問(wèn)題Should privilege separation be used？（yes/no）這里是有關(guān)權(quán)限隔離的抉擇，此處先擇 “no”接著下一問(wèn)題“(Say “no” if it is already installed as a service)(yes/no)”選擇“yes”；： 安裝SSHD服務(wù)接著上面問(wèn)題：“Enter the value of CYGWIN for the daemon:[]”，入 ntsec；接著下一問(wèn)題“Do you want to use a differen name?(yes/no)”， 選擇 no ；“Create new privileged user account ‘cyg_server’?(yes/no)”， 選擇 yes；接著會(huì)出現(xiàn)“Please enter the password：”，這里不設(shè)置密碼，回 車即可（包括密碼在次的輸入）。打開(kāi)Cygwin輸入 sshkeygen中間會(huì)有三次回車（如果不出錯(cuò)誤的話）。注意自己解壓后所存放的目錄，路徑最好是純英文的，這樣更方便。找到D:\\src\hdfs 下的文件“”，并將其拷貝到D:\\conf下。啟動(dòng)Hadoop；先啟動(dòng)Cygwin Teminal。該包中包含eclipse上Hadoop開(kāi)發(fā)的所有API。 設(shè)置Hadoop安裝目錄把工作目錄切換到Map/Reduce。 與Hadoop集群鏈接的設(shè)置——Advanced parameter配置設(shè)置完后回車即可。結(jié)束后再次重新查找新的按鍵操作。//讀取文件OutputStream out = new FileOutputStream(stringLocal)。打開(kāi)HDFS上對(duì)應(yīng)文件后，復(fù)制到本地目標(biāo)路徑下if((upLoadFromLocal)) //local upload{//(Wrong:localpath \+upLoadFromLocal+\ is not exist!\n)。并且用fileCount記錄下存在的文件總數(shù)，并輸出。 上傳文件后HDFS上user目錄下文件截圖，其屬性星系一目了然。但是我一直都沒(méi)有特別認(rèn)真的去做，加上沒(méi)考上研究生而回學(xué)校后匆忙找工作浪費(fèi)了很多寶貴的時(shí)間。這幾個(gè)月的學(xué)習(xí)確實(shí)讓我豐富了不少知識(shí)，讓我有種成就感，很自豪，雖然做的也不是很好。import 。import 。import 。 //false = upload。 JPanel panel = new JPanel()。 JLabel labelState = new JLabel(State: )。 JComboBox HDFSFileList = new JComboBox(HDFSFiles)。 ()。 // (buttonCancel)。 //JCombobox (HDFSFileList)。 (, buttonDownload, 300, , panel)。 (, labelHDFSPath, 100, , panel)。 //State label position (, labelState, 170, , panel)。 Configuration conf = new Configuration()。 //the download file local path //calculate the file and direct count at hdfs path FileStatus files[] = (pathHDFS)。 } FileSystem fs = ((stringHDFS),conf)。//保存到本地 最后 關(guān)閉輸入輸出流 (Upload to + ()+\n)。 } else { (UpLoad!\n)。 OutputStream out = (pathHDFS)。 //int readLen = (ioBuffer)。 } else { downOrUpLoad = true。 String stringHDFS = /user/userFile/。 //OK button position (, buttonOK, 170, , panel)。 (, HDFSFileList, 180, , panel)。 (, textLocalPath, 180, , panel)。 //set position (lay)。 (labelState)。 //(())。 ()。 //static JButton buttonCancel = new JButton(Cancel)。 JFileChooser fileChooser = new JFileChooser()。 } public void setOperator(boolean b) { if(b) { downOrUpLoad = true。import 。import 。import 。import .*。接著通過(guò)自己購(gòu)買的書(shū)籍、借來(lái)的資料及網(wǎng)絡(luò)上有關(guān)Windows平臺(tái)上Hadoop云平臺(tái)的搭建，整個(gè)平臺(tái)的搭建大概花了一個(gè)月。而確定的題目正是當(dāng)下最熱的技術(shù)云計(jì)算。 程序運(yùn)行界面，為程序運(yùn)行的用戶界面。(in, out, 4096, true)。 readLen = (ioBuffer)。之后打開(kāi)該路徑下的文件，讀取并寫入到本地的完整路徑下。兩個(gè)路徑中，一個(gè)是源路徑；另一個(gè)是目標(biāo)路徑。對(duì)于Map/Reduce Master中，單擊的話也可以是localhost；Port為之前固定配置的9001。換句話說(shuō)就是將 。至此，Windows上基于Hadoop的云平臺(tái)搭建完成。刪除原有文件“”，并將拷貝過(guò)來(lái)的文件“”改名“”，然后用記事本打開(kāi)。 找到D:\\src\core 下的文件 “”，并將其拷貝到D:\\conf下。：cp authorized_keys；。： 啟動(dòng)SSHD服務(wù)注意：在啟動(dòng)服務(wù)的時(shí)候可能會(huì)彈出“本地計(jì)算機(jī)上的cygwin sshd服務(wù)啟動(dòng)后停止.....”的錯(cuò)誤。D:\ProgramFiles(x86)\cygwin64\bin。 Windows環(huán)境變量JAVE_HOME配置添加環(huán)境變量CLASSPATH；“系統(tǒng)變量（S）”〉“新建”，并且在“變量名（N）”處輸入CLASSPATH在“變量值（V）”處輸入：“.。下一步。通過(guò)查看“計(jì)算機(jī)”〉“屬性”來(lái)查看計(jì)算機(jī)操作系統(tǒng)。 Windows上Hadoop云平臺(tái)搭建 下載JDK安裝包。這里就設(shè)計(jì)到一個(gè)問(wèn)題，需要一個(gè)東西來(lái)將Windows環(huán)境模擬出Unix系統(tǒng)。MapReduce是一個(gè)編程模型，在Hadoop云平臺(tái)上用來(lái)處理大數(shù)據(jù)集的相關(guān)實(shí)現(xiàn)。 Map/ReduceMapReduce被InfoWord評(píng)為2009年新興技術(shù)的領(lǐng)頭軍。示例： Configuration conf = new Configuration()。函數(shù)返回的為修改的時(shí)間。 (filePath，true)。 (filePath)。這里需要另外注意的是權(quán)限問(wèn)題和 安全模式，在這兩種情況下都回出現(xiàn)創(chuàng)建失敗。上傳完成之后可通過(guò)瀏覽器（“://localhost:50070”訪問(wèn)hdfs；“://localhost:50030”訪問(wèn)JobTracker）查看新上傳的文件，也可以通 過(guò)控制臺(tái)查看（通過(guò)FileStatus對(duì)象來(lái)實(shí)現(xiàn)對(duì)目錄下文件的遍歷）和終端查看（Linux上終端或者Windows上的Cygwin）。名字節(jié)點(diǎn)知道這個(gè)服務(wù)器的主機(jī)或端口，這些主機(jī)及端口信息都將通過(guò)它提供給有關(guān)客戶端或其它數(shù)據(jù)節(jié)點(diǎn)。這個(gè)叫做檢查點(diǎn)。NameNode和DataNode是屬于軟件組件。另外還有一堆