【正文】 HD 服務(wù) 啟動已下載安裝好的 Cygwin； 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 30 頁 共 54 頁 圖 sshd 服務(wù)安裝 在已啟動的 Cygwin 中輸入命令 $ sshhostconfig； 當(dāng)我們輸入了$ sshhostconfig 會出現(xiàn)供我們選擇的問題 Should privilege separation be used？（ yes/no）在這里選擇 no；之后還回出現(xiàn)一個問題，選擇 yes； 圖 sshd 服務(wù)配置 接著上面會出現(xiàn)：“ Enter the value of CYGWIN for the daemon:[]”，在這里輸入 ntsec； 接著下一個問題是： “ Do you want to use a differen name?(yes/no)”，這里選擇是 no； 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 31 頁 共 54 頁 接著是：“ Create new privileged user account ‘ cyg_server’ ?(yes/no)”，這里選擇 yes； 最后出現(xiàn)：“ Please enter the password：”，但是在這里不用對它設(shè)置密碼，回車之后，當(dāng)我們看到：“ Host configuration fun!”之后，表示 sshd 已經(jīng)安裝成功； 圖 sshd 服務(wù)配置 啟動 ssh 服務(wù) 在我的電腦那里右鍵打開到管理到服務(wù)和應(yīng)用程序再到服務(wù)。%JAVA_HOME%\lib\”。 （ 3）繼續(xù)點擊下一步，出現(xiàn)如下界面 圖 的安裝步驟 這里要保證下載時選的 4 個包在這里已經(jīng)全部被選中， base—sed、 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 26 頁 共 54 頁 editorsvim、 libs 、 OpenSSH。 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 20 頁 共 54 頁 第四章 Hadoop 云平臺搭建 Hadoop 平臺搭建所用到的安裝包 Hadoop 安裝包 JDK 平臺的搭建 . 的安裝 將 jdk 的安裝包拷貝到 root/Downloads/目錄下并在此安裝 jdk 其步驟如下； 圖 jdk 安裝包的存放路徑 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 21 頁 共 54 頁 圖 jdk 的安裝步驟 圖 jdk 的安裝步驟 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 22 頁 共 54 頁 圖 jdk 的安裝步驟 圖 jdk 的安裝步驟 在這我們看到 jdk 已經(jīng)配置成功。 主節(jié)點使用事物日志（ editLog）用來記錄 HDFS 元數(shù)據(jù)的變化，同時也使用使用映射文件（ FsImage）存儲文件系統(tǒng)的命名空間，其中包含文件的屬性信息等。HDFS 體系架構(gòu)，如下圖所 示。 圖 主從結(jié)構(gòu)圖 （ 3） 文件系統(tǒng)的名字空間 傳統(tǒng)的文件組織體系結(jié)構(gòu)是被 HDFS 所支持的，程序或用戶可以創(chuàng)建目錄，并在其中存儲自己想要存儲的文件。 引出角色劃分：繼續(xù)增加節(jié)點的時候會比較麻煩。 主節(jié)點：只有一個 Namenode， 其主要的功能責(zé)任是接受用戶的操作請求、 維護文件系統(tǒng)的目錄結(jié)構(gòu)，便于對文件進行分類管理及管理文件與 Block 之間關(guān)系， Block 與 Datanode 之間關(guān)系。其 mapreduce 架構(gòu)圖形如下。報表內(nèi)存可能小于數(shù)據(jù)庫數(shù)據(jù)，不能一次性加載，可以采用分布讀取，但十分慢，報表系統(tǒng)負責(zé)計算的性能遠遠低 于數(shù)據(jù)量本身。使用 mapreduce，即使編程人員不會分布式并行編程的情況下，也同樣可以將自己的程序運行在分布式系統(tǒng)上。這個流程稱為創(chuàng)建索引，它將 Web 爬行器 檢索到的文本 Web 頁面作為輸入，并且將這些頁面上的單詞的頻率報告作為結(jié)果。 2） Hadoop 很可靠： mapreduce 的監(jiān)控和分布式文件系統(tǒng)備份恢復(fù)機制使hadoop 有了很高的可靠性。更為突出的是，云計算不僅是資源的簡單匯聚，他為我們提供了一種管理機制，讓整個集群作為一種資源池對外提供服務(wù)，并對開發(fā)者透明的獲取資源和使用的權(quán)限。云計算可以把普通服務(wù)器或 pc 機連接起來獲得超級計算機及計算機的計算和存儲等功能，而且成本很低。打開應(yīng)用的實例與本地桌面系統(tǒng)一樣。這些服務(wù)的交互可以與云計算實現(xiàn)模型的不同層次對應(yīng)： IAAS 服務(wù)主要依托于云計算基礎(chǔ)構(gòu)架層，向外提供基礎(chǔ)資源服務(wù)， PAAS 服務(wù)主要依托于云計算應(yīng)用開發(fā)和執(zhí)行環(huán)境，向外提供應(yīng)用開發(fā)與運行托管服務(wù)， SAAS 服務(wù)主要通過云計算應(yīng)用軟件層向外提供應(yīng)用軟件服務(wù)。 2）低網(wǎng)絡(luò)環(huán)境下不能很好工作 幾乎與你計算的各種應(yīng)用都需要大量的帶寬來下載，因此在底網(wǎng)絡(luò)連接下就不能很好的進行云計算。 5）減少軟件開發(fā) 由于一些成本的降低，很多云計算的軟件服務(wù)費用都會降低，所以這將減少軟件的開發(fā)。 2）對 HDFS 的研究方法可以推廣到別的集群存儲技術(shù)研究上，為下一步研究打好基礎(chǔ)。非結(jié)構(gòu)化數(shù)據(jù)，顧名思義，是存儲在文件系統(tǒng)的信息，而不是數(shù)據(jù)庫。在這一階段隨著硬件性能的大幅提提升，服務(wù)器的利用率迅速下降，管理運營成本逐 漸成為 IT 的主要支出之一。同時 ,云計算和其他技術(shù)及理論的有機結(jié)合 ,也是解決理論研究和實際應(yīng)用的重要途徑。給用戶一個類似 Windows 中我的電腦一樣的用戶體驗，可以根據(jù)用戶意愿實現(xiàn)文件目錄及文件進行管理。本文主要完成云計算文件系統(tǒng)的實現(xiàn)，主要的實現(xiàn)方法是通過 Hadoop平臺及 Eclipce 開發(fā)環(huán)境來實現(xiàn)文件系統(tǒng)的各種功能及文件系統(tǒng)的創(chuàng)建和撤銷。云計算能夠給用 戶提供可靠的、自定義的、最大化資源利用的服務(wù) ,是一種嶄新的分布式計算模式。 第二階段： IT 服務(wù)化商業(yè)模式探索期（ 20 世紀(jì) 90 年代初到 21 世紀(jì)初）。 企業(yè)中 4/5 的數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)每年按指數(shù)增長 3/5。而如果利用云存儲技術(shù)解決這個問題，會 對企業(yè)的經(jīng)濟效益有很大的提高。 4）減少軟硬件的維護問題 因為用戶所需要的服務(wù)都是在云端完成，因此不再用擔(dān)心軟硬件的維護問題，所用到的軟硬件幾乎都是在云計算管理者那里，所以只要維護好自己用的 PC機的軟硬件就好了。 （ 2）云計算的缺點： 1）要求持續(xù)的網(wǎng)絡(luò)連接 用戶要通過連接網(wǎng)絡(luò)來應(yīng)用程序和一些文檔，而不連接網(wǎng)絡(luò)幾乎不能做這方面的任何事情，因此要能充分的利用云計算就需要持續(xù) 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 5 頁 共 54 頁 的連接網(wǎng)絡(luò)。 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 6 頁 共 54 頁 第二章 云計算系統(tǒng)的研究 云計算的服務(wù)層次 與傳統(tǒng)的 PC系統(tǒng)相對應(yīng)，云計算系統(tǒng)可以在硬件資源、平臺到和應(yīng)用程序等各個層次為用戶提供各種級別的服務(wù)，即業(yè)界普遍認(rèn)同的經(jīng)典云計算服務(wù) 體系基礎(chǔ)設(shè)施即服務(wù)（ IaaS）、平臺即服務(wù)（ PaaS）和軟件即服務(wù)（ SaaS）。 應(yīng)用層 平臺層 基礎(chǔ)設(shè)施層 虛擬化層 軟件即服務(wù) 平臺即服務(wù) 基礎(chǔ)設(shè)施即服務(wù) 硬件即服務(wù) 云計算四層模式 云服務(wù)集合中的子服務(wù) 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 8 頁 共 54 頁 圖 云計算體系結(jié)構(gòu) 這里的云用戶端指向云端提出請求的交互界面，提供可以讓用戶使用云的入口，云計算的“大門”為瀏覽器，因此用戶可以通過 web 瀏覽器進行注 冊，登錄、制定服務(wù)、配置和管理用戶。這可以使用戶將資源切換到有需求的應(yīng)用那里，根據(jù)需求訪問計算機和存儲系統(tǒng)。 現(xiàn)在的云計算通過對資源層、應(yīng)用層的虛擬化和平臺層以及對物理上的分布式集成，使龐大的計算機資源整合在一起。 云計算架構(gòu) Hadoop MapReduce API (Map,Reduce) BigTable (分布式數(shù)據(jù)庫 ) GFS（ Goole 分布式文件系統(tǒng) ） 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 12 頁 共 54 頁 圖 云計算的執(zhí)行過程 Hadoop 作為應(yīng)用最廣泛的云計算編程環(huán)境所以它有著大量的優(yōu)點： 1）可擴展性：不管是計算機的擴展性還是存儲的擴展性都是 hadoop 設(shè)計的基礎(chǔ)對 hadoop 的設(shè)計十分重要， hadoop 的擴展性十分的簡單，不用修改已有的任何結(jié)構(gòu)。 Hadoop 最有趣的方面之一是 Map and Reduce 流程，它受到 Google 開發(fā)的啟發(fā)。在 map 過程中將數(shù)據(jù)并行，就是把數(shù)據(jù)用映射函數(shù)分開，而 redduce 是把分開后處理過的分開數(shù)據(jù)用化簡函數(shù)的規(guī)則在整合在一起，其實就是 map 函數(shù)是將數(shù)據(jù)分開的過程，而 reduce 則是對應(yīng)的整合數(shù)據(jù) 。 下面為舉例查看 mapreduce 架構(gòu)報表系統(tǒng)，數(shù)據(jù)庫和數(shù)據(jù)倉庫會設(shè)計的比較麻煩，送一個指令給數(shù)據(jù)庫。報表叫 map 最后的 匯總叫 reduce .讓一個節(jié)點關(guān)系管理這些東西， Map 和 reduce 在管理上看沒有什么差別，由他分配誰是什么角色。 （ 2）主從結(jié)構(gòu) 首先介紹主節(jié)點和從節(jié)點。所有的節(jié)點信息，包括容量信息（不斷變化， 需要通過節(jié)點和元數(shù)據(jù)不斷可以通信，經(jīng)常通信可以稱為心跳機制，節(jié)點不停向元數(shù)據(jù)發(fā)送信息，元數(shù)據(jù)的職責(zé)已經(jīng)改變，管理各個節(jié)點的資源情況）都在元數(shù)據(jù)節(jié)點上注冊，元數(shù)據(jù)，索引機制，數(shù)據(jù)量越大，價值越能體現(xiàn)出來。 下面通過一個 例子的圖來了解一下元數(shù)據(jù)維護文件和快的關(guān)系，以及快與所在節(jié)點的關(guān)系。DataNode 數(shù)據(jù)節(jié)點還根據(jù) NameNode 名字節(jié)點指令刪除、創(chuàng)建及復(fù)制數(shù)據(jù)塊。一個集群只能一個主節(jié)點。主節(jié)點負責(zé)所有塊復(fù)制決定。 （ 2）點擊下一步按鈕，繼續(xù)安裝 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 25 頁 共 54 頁 圖 的安裝步驟 這 里選擇的是之前下載的 setup 是存放的地址。%JAVA_HOME%\lib。如下圖所示。先進入 .ssh 的目錄，輸入： cd .ssh/；然后將該目錄下的文件 的文件加入公鑰授權(quán)文件 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 33 頁 共 54 頁 中： cp authorized_keys； 圖 sshd 服務(wù)啟動 3)退出 Cygwin sshd 的登錄 。 保存之后，退出即可。 6） 找到 D:\\src\mapred 下的文件“ ”，并 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 35 頁 共 54 頁 將其拷貝到 D:\\conf 下。至此， Windows 上基于 Hadoop 的云平臺搭建完成。然后重 啟 eclipse，即可看到相應(yīng)的效果，當(dāng)發(fā)現(xiàn) DFS Locations 時，則表示 Eclipse 已經(jīng)識 別到了 Hadoop eclipse 插件。如下圖所示。此時會看到 Map/Reduce Location 下多出 myHadoop 鏈接信息。 } Return s。 1）顯示效果的設(shè)計，這一步的實現(xiàn)比較簡單其代碼如下 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 49 頁 共 54 頁 圖 新建文件夾界面 2）在新建文件夾過程中，要讓此模塊識別到用戶在目錄下的那個文件夾內(nèi)新建文件夾，這里需要用到一個共享變量當(dāng)用戶選擇進入一個文件夾時就將該文件夾 ID存儲到共享變量中，然后只需將共享變量中的所需信息取出 ，便可識別在哪個文件夾下建立文件夾。 1） 用戶讀權(quán)限的設(shè)置 我這里要設(shè)置的文件為 將此文件設(shè)置為所有人皆可讀輸入： chmod a+r 2)寫權(quán)限的設(shè)置 將文件 設(shè)置為所有者及和所有者同組的可寫，其他的不可寫輸入： Chmod ug+w,ow file 3)查看權(quán)限的配置輸入： ls all 南華大學(xué)計算機科學(xué)與技術(shù)畢業(yè)設(shè)計（論文） 第 51 頁 共 54 頁 第六章 總結(jié) 今天，大學(xué)里最后的一次“作業(yè) —— 我 的畢業(yè)設(shè)計，終于完成了！這次我選擇的題目是基于云計算文件系統(tǒng)的