【正文】 的 Hadoop 安 裝 包 解 壓 。找到“ export JAVA_HOME=/usr/lib/”將 JAVA_HOME 之后的修改成 JDK的安裝目錄，并且在目錄前加入 /cygdrive/ ，即修改成“ export JAVA_HOME=/cygdrive/C/Java/”。刪除原有文件“ ”，并將拷貝過來的文件“ ”改名“ ”，然后用記事本打開。搜索到節(jié)點(diǎn)“ ”： 將其中 value 值改成“ 1”： 保存退出即可。 7）啟動(dòng) Hadoop； 啟動(dòng) Cygwin Teminal。 $ cd D: $ cd \bin $ ./hadoop namenode format （格式化 bin目錄，第一次登陸須格式化） $ ./ 9）校驗(yàn) Hadoop 是否開啟成功 $ ./hadoop dfsadmin report 圖 Hadoop 啟動(dòng) 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 36 頁 共 54 頁 如上圖所示， Hadoop 啟動(dòng)成功。這里的目錄為：D:\\contrib\eclipseplugin。其實(shí)就是將 放入 Eclipse 的plugins 目錄中。我這里為： D:\。 （ 5）建立 Hadoop 集群鏈接 在下方的 Map/Reduce Location 中右鍵單擊，選擇 New Hadoop Location， 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 38 頁 共 54 頁 并在彈出的對(duì)話框中填寫鏈接 Hadoop 集群的信息。對(duì)于Map/Reduce Master 中， Host 填寫 的 IP 地址，單擊的話也可以是 localhost； Port 為之前固定配置的 9001。 圖 Advanced parameter 配置 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 39 頁 共 54 頁 設(shè)置完后回車即可。 （ 3）將字節(jié)數(shù)組從新轉(zhuǎn)化為 utf8（字符集編碼）格式的字符串， Stringname = new String（ bytearrayname,” utf8”） 。 } Catch(exception e){ (e)。其實(shí)現(xiàn)代碼如下 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 47 頁 共 54 頁 云盤信息如下 其實(shí)現(xiàn)如下 圖 云盤信息 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 48 頁 共 54 頁 文件欄 文件欄當(dāng)用戶進(jìn)入自己的的需要訪問的文件夾的時(shí)候 ,可以通過文件欄了解文件夾下的內(nèi)容 ,對(duì)其進(jìn)行操作 ,為方便 ,一般會(huì)用戶設(shè)計(jì) 3 種顯示形式 ,即縮略圖、列表、詳細(xì)信息。對(duì)于新建文件夾這里分兩步實(shí)現(xiàn)。//定義共享變量 Private function init():void{//初始化共享變量 Usershare=(“userdata”)。 搭建的平臺(tái)是一個(gè)模擬的 Linux 環(huán)境，打開 Cygwin 進(jìn)入要修改的文件夾或文件目錄。 的確作這個(gè)題目在學(xué)校里是一個(gè)十分新鮮的題目，通過這個(gè)設(shè)計(jì)讓我了解了很多以前從沒有接觸過得知識(shí)，其中了解了云計(jì)算的主要計(jì)算方法 MapReduce，了解了為這個(gè)計(jì)算量身定做的 Hadoop 編程平臺(tái)，也簡(jiǎn)單的通過這個(gè)平臺(tái)設(shè)計(jì)出了文件系統(tǒng)。 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 52 頁 共 54 頁 參考文獻(xiàn) [1] 王鵬 .走近云計(jì)算（第一版） .人民郵電出版社 .20xx 年 6月 [2] 羅軍舟 .宋愛波 .云計(jì)算體系架構(gòu)與關(guān)鍵技術(shù) .通信學(xué)報(bào) .20xx 年 7 月 [3] John Rhoton .Cloud Computing Explained: Implementation Handbook for [4] 劉鵬 .云計(jì)算 (第二版 ） .電子工業(yè)出版社 .20xx 年 5月 [5] Hadoop 技術(shù)論壇 .Hadoop 開發(fā)者 .第一期 .20xx 年 1月 27日 [6] Hadoop 技術(shù)論壇 .Hadoop 開發(fā)者 .第二期 .20xx 年 3月 30日 [7] Hadoop 技術(shù)論壇 .Hadoop 開發(fā)者 .第三期 .20xx 年 6月 20日 [8] Hadoop 技術(shù)論壇 .Hadoop 開發(fā)者 .第四期 .20xx 年 [9] 李錚 .多媒體云計(jì)算平臺(tái)關(guān) 鍵技術(shù)研究 .博士學(xué)位論文 . 20xx 年 5 月 5 日 [10] 吳朱華 .云計(jì)算核心技術(shù)剖析 .人民郵電出版社 .20xx 年 5 月 第一版 [11] 張為民 .云計(jì)算：深刻改變未來 .科學(xué)出版社 .20xx [12] 周洪波 .云計(jì)算：技術(shù)、應(yīng)用、標(biāo)準(zhǔn)和商業(yè)模式 .電子工業(yè)出版社 20xx 年 6月 [13] Tom ： The Definitive Guide [14] 徐立冰 .云計(jì)算和大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)技術(shù)揭秘 .人民郵電出。 這次的畢業(yè)設(shè)計(jì)很有意義，它讓我切身體會(huì)到理論與實(shí)際結(jié)合才能讓自己獲得更大的進(jìn)步。在接觸這個(gè)設(shè)計(jì)之前，我對(duì)云計(jì)算的概念是只是聽說過而從來沒有接觸過，再者云計(jì)算還沒有被推廣，所以我認(rèn)為這是個(gè)比較新穎的題目。 } Private function getfoid():int{//獲取所在文件夾信息 Ruturn ； } 3）將用戶新建的文件夾信息發(fā)送給服務(wù)器端進(jìn)行數(shù)據(jù)同步。具體實(shí)現(xiàn)如下： Import 。其實(shí)現(xiàn)步驟如下： 1）堆棧及相應(yīng)變量的設(shè)置 2）后退按鈕的處理函數(shù)。 }//handlestring 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 41 頁 共 54 頁 文件系統(tǒng)服務(wù)器端代碼 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 42 頁 共 54 頁 云腦系統(tǒng)的登錄實(shí)現(xiàn) 登陸實(shí)現(xiàn)代碼 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 43 頁 共 54 頁 圖 登陸界面 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 44 頁 共 54 頁 圖 注冊(cè)界面 云文件夾的制作 工具菜單欄 這一部分的作用是組織操作整個(gè)云盤文件系統(tǒng)的選型菜單 針對(duì)工具欄菜單，要對(duì)它制定鼠標(biāo)點(diǎn)擊出發(fā)的方法，這里定義了一個(gè)menuhandler 函數(shù)對(duì)菜單欄的每一個(gè)按鈕進(jìn)行事件處理，當(dāng)發(fā)生點(diǎn)擊事件時(shí)，函 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 45 頁 共 54 頁 數(shù)將捕捉被點(diǎn)擊的選項(xiàng)，并對(duì)其內(nèi)容標(biāo)簽進(jìn)行保存，用 switch 語句對(duì)標(biāo)簽類型進(jìn)行判斷，從而針對(duì)不同的點(diǎn)擊內(nèi)容進(jìn)行不同的處理。但是在一般的情況下，由于接受的數(shù)據(jù)比較多，我們可以將中文封裝轉(zhuǎn)化為一個(gè)轉(zhuǎn)換方法 handleString（ String s）， 這就可以在需要字符串進(jìn)行轉(zhuǎn)換時(shí)，隨時(shí)的進(jìn)行調(diào)用轉(zhuǎn)換，方法如下： Public string handlestring(string s){ Try{ Byte bb[] = (“ iso88591” )。鏈接完成之后，可以通過 Eclipse 軟件 左側(cè)的 DFS Locations 查看 HDFS文件 系統(tǒng)結(jié)構(gòu)。 5） Advanced parameter 配置。 圖 Hadoop 集群鏈 General 配置。 圖 Hadoop 安裝目錄 （ 4）把工作目錄切換到 Map/Reduce。如下圖所示。因此只要將此包導(dǎo)入 eclipse 并加以配置 eclipse 之后就可以在eclipse 上創(chuàng)建 MapReduce 應(yīng)用程序了。 Eclipse Hadoop 插件開發(fā)配置 Eclipse 插件的介紹 Hadoop eclipse 是 Hadoop 開發(fā)環(huán)境的插件。 $ start sshd $ ssh localhost 并通過 who指令來查看是否登陸成功。刪除 原有文件“ ”，并將拷貝過來的文件“ ”改名“ ”，然后用記事本打開。 5) 找到找到 D:\\src\hdfs 下的文件“ ”，并將其拷貝到 D:\\conf 下。 如下圖所示。注意：自己解壓 hadoop 安裝包后所存放的目錄，這里為：“ D:\”。 4)打開 Cygwin；輸入： ssh localhost，這時(shí) 會(huì)遇到一個(gè)問題 Are you sure you want to continue connecting (yes/no)? 這里選擇 yes。 （ 1）配置 sshd 服務(wù)的無密碼登陸 1）首先生成密鑰對(duì)。 圖 path 目錄 配置 安裝和配置 SSHD 服務(wù) （ 1）安裝 SSHD 服務(wù) 啟動(dòng)已下載安裝好的 Cygwin； 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 30 頁 共 54 頁 圖 sshd 服務(wù)安裝 在已啟動(dòng)的 Cygwin 中輸入命令 $ sshhostconfig； 當(dāng)我們輸入了$ sshhostconfig 會(huì)出現(xiàn)供我們選擇的問題 Should privilege separation be used？（ yes/no）在這里選擇 no；之后還回出現(xiàn)一個(gè)問題，選擇 yes； 圖 sshd 服務(wù)配置 接著上面會(huì)出現(xiàn)：“ Enter the value of CYGWIN for the daemon:[]”，在這里輸入 ntsec； 接著下一個(gè)問題是： “ Do you want to use a differen name?(yes/no)”，這里選擇是 no； 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 31 頁 共 54 頁 接著是：“ Create new privileged user account ‘ cyg_server’ ?(yes/no)”，這里選擇 yes； 最后出現(xiàn)：“ Please enter the password：”，但是在這里不用對(duì)它設(shè)置密碼，回車之后，當(dāng)我們看到：“ Host configuration fun!”之后，表示 sshd 已經(jīng)安裝成功； 圖 sshd 服務(wù)配置 啟動(dòng) ssh 服務(wù) 在我的電腦那里右鍵打開到管理到服務(wù)和應(yīng)用程序再到服務(wù)。如下圖所示 。%JAVA_HOME%\lib\”。 Windows 下系統(tǒng)環(huán)境變量的配置 （ 1）右鍵“我的電腦” 〉系統(tǒng)屬性 〉高級(jí) /高級(jí)系統(tǒng)設(shè)置 〉環(huán)境變量；在這里進(jìn)行環(huán)境變量的配置。 （ 3）繼續(xù)點(diǎn)擊下一步，出現(xiàn)如下界面 圖 的安裝步驟 這里要保證下載時(shí)選的 4 個(gè)包在這里已經(jīng)全部被選中， base—sed、 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 26 頁 共 54 頁 editorsvim、 libs 、 OpenSSH。這里下載有個(gè)好處就是，在以后沒有網(wǎng)絡(luò)的情況下也可以自由安裝；第三項(xiàng)“ Install From Local Directory”表示安裝已下載到本地目錄下的安裝文件。 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 20 頁 共 54 頁 第四章 Hadoop 云平臺(tái)搭建 Hadoop 平臺(tái)搭建所用到的安裝包 Hadoop 安裝包 JDK 平臺(tái)的搭建 . 的安裝 將 jdk 的安裝包拷貝到 root/Downloads/目錄下并在此安裝 jdk 其步驟如下； 圖 jdk 安裝包的存放路徑 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 21 頁 共 54 頁 圖 jdk 的安裝步驟 圖 jdk 的安裝步驟 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 22 頁 共 54 頁 圖 jdk 的安裝步驟 圖 jdk 的安裝步驟 在這我們看到 jdk 已經(jīng)配置成功。主節(jié)點(diǎn)啟動(dòng)的時(shí)候就合并映射文件和事物日志，而Secondary NameNode 周期性的從主節(jié)點(diǎn)復(fù)制映射文件和事物日志到臨時(shí)目錄，合并成為新的映射文件后再重新上傳到主節(jié)點(diǎn)，主節(jié)點(diǎn)及時(shí)更新映射文件和清理事物日志