【正文】 當(dāng)然做這個(gè)設(shè)計(jì)需要的信息量也是十分龐大的，我要搜集很多資料，來做出我的論 文，同時(shí)在搭建平臺(tái)時(shí)也是十分困難的，要在網(wǎng)上咨詢一些專業(yè)人員，總算是做出來了。 } Private function getuid():int{//獲取用戶 id 信息 Ruturn 。 云文件系統(tǒng)的功能能實(shí)現(xiàn) 、云文件系統(tǒng)中的前進(jìn)和后退實(shí)現(xiàn) 當(dāng)用戶進(jìn)入文件系統(tǒng)的操作過程，經(jīng)常想在進(jìn)入下一個(gè)目錄后，返回上一個(gè)訪問的目錄，這就相當(dāng)于在電腦里實(shí)現(xiàn)前進(jìn)和后退的功能的實(shí)現(xiàn) 。 經(jīng)以上 3個(gè)步驟，就可以將中文字符串接受到我們的 servlet 中作后續(xù)的操作。對(duì)于 DFS Master 中 ，勾選 Use M/R Master host； Port 也是之前固定配置好了的 9000；而 Host 已經(jīng)固定了localhost。如下圖所示。該包中包含 eclipse 上 Hadoop 開發(fā)的所有 API。開啟 sshd 服務(wù)并登陸。 搜索到節(jié)點(diǎn)“ ”： 將其中 value 值改成“ 保存退出即可。 我 這 里 使 用 的 Hadoop 為。這種情況可能是由于權(quán)限問題所導(dǎo)致，這是要先解決掉這個(gè)錯(cuò)誤才可啟動(dòng) cygwin ssh 服務(wù)。 圖 JAVA_HOME 環(huán)境變量配置 （ 4） 新建環(huán)境變量 CYGWIN 在系統(tǒng)變量里新建，在“變量名”處輸入 CYGWIN 在“變量值”處輸入：ntsec。 圖 的安裝步驟 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 27 頁 共 54 頁 在這里點(diǎn)擊完成就可以完成 Cygwin 的安裝 了。一般網(wǎng)絡(luò)環(huán)境好的可以先擇此項(xiàng)，但此安裝不會(huì)保存安裝文件，因此若下次需再次安裝時(shí)也一定需要有網(wǎng)絡(luò)；第二項(xiàng)“ Download Without Installing”表示下載安裝鏡像，但不安裝。 HDFS 還設(shè)有 Secondary NameNode 節(jié)點(diǎn)，它輔助主節(jié)點(diǎn)處理事物日志和映射文件。 客戶端 Namenode Metadata ops Read datanodes 客戶端 寫 blocks 應(yīng)用 Block ops datanodes 存儲(chǔ)服務(wù)器 存儲(chǔ)服務(wù)器 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 19 頁 共 54 頁 （ 1）主節(jié)點(diǎn) 和 從節(jié)點(diǎn) 之間的關(guān)系 主節(jié)點(diǎn)和從節(jié)點(diǎn)是一些軟件組件，主要目的是用一種解耦和方式跨越多個(gè)異構(gòu)操作系統(tǒng)在普通的計(jì)算機(jī)上運(yùn)行。就現(xiàn)在的 DHFS 而言還不能實(shí)現(xiàn)訪問權(quán)限控制及用戶配置，也不支持軟硬連接。調(diào)用元數(shù)據(jù)函數(shù)，傳入形參，我節(jié)點(diǎn)的信息。 主從結(jié)構(gòu)： 須有地方存儲(chǔ)服務(wù)器和磁盤的映射關(guān)系。 HDFS 放寬了（ relax） POSIX 的要求，可以以流的形式訪問（ streaming access）文件系統(tǒng) 中的數(shù)據(jù)。再找一臺(tái)服務(wù)器進(jìn)行匯總，匯總只是加上，邏輯是不一樣的。用戶指定一個(gè)映射函數(shù)來處理一個(gè) key/value 對(duì)，從而形成一些列中間形式的 key/value 對(duì)。 MapReduce 模式的運(yùn)行方式是將問題拆分為 Map 映射和 Rduce 化簡(jiǎn)的方法，先通過映射程序?qū)?shù)據(jù)分割成不相關(guān)的區(qū)塊，調(diào)度非大量計(jì)算機(jī)處理達(dá)到分布式運(yùn)算的效果，然后通過化簡(jiǎn)程序?qū)⒔Y(jié)果整合起來，最后輸出開發(fā)者需要的結(jié)果。 Hadoop 的分布式架構(gòu)，將大數(shù)據(jù)處理引擎盡可能的靠近存儲(chǔ)，對(duì)例如像 ETL 這樣的批處理操作相對(duì)合適，因?yàn)轭愃七@樣操作的批處理結(jié)果可以直接走向存儲(chǔ)。 Hadoop 還提供了一種分布式文件系統(tǒng) GFS，是一個(gè)可擴(kuò)展的、結(jié)構(gòu)化的、具備日志分布式文件系統(tǒng)，支持分布式大數(shù)據(jù)量的讀寫操作，其容錯(cuò)性很強(qiáng)。 按照最大化理解云計(jì)算就是把計(jì)算機(jī)的資源都放到互聯(lián)網(wǎng)上，互聯(lián)網(wǎng)就是與計(jì)算時(shí)代的云，其中計(jì)算資源包括計(jì)算機(jī)的軟件資源和硬件資源。 監(jiān)控是計(jì)算和監(jiān)控云計(jì)算系統(tǒng)的資源的使用情況，當(dāng)發(fā)生某事件是可以做出充分的反應(yīng)，完成節(jié)點(diǎn) 資源監(jiān)控、負(fù)載均衡配置和同步配置，確保資源能夠順利的分配給需要的用戶。在計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu)中每個(gè)層次都會(huì)實(shí)現(xiàn)一定的功能，層與層之間都會(huì)有一定的聯(lián)系。 5）云不能保證數(shù)據(jù)有丟失 雖然在云端存儲(chǔ)的數(shù)據(jù)較個(gè)人計(jì)算機(jī)數(shù)據(jù)的安全性能要高，但是它也有不完善的地方，當(dāng)我們的數(shù)據(jù)不知道因?yàn)槭裁丛騺G失時(shí)，云計(jì)算相應(yīng)的持有者并不負(fù)有任何責(zé)任。 8）無限的存儲(chǔ)能力 因?yàn)樵朴?jì)算就是非本地的計(jì)算機(jī)資源的集合，它是將大量的計(jì)算機(jī)沒有用到的資源集合起來 ，所以它有無限的存儲(chǔ)能力。 云計(jì)算是將軟硬件隱藏在云端，給用戶提供便利的服務(wù)，現(xiàn)在來看一下云計(jì)算的優(yōu)缺點(diǎn)。如何 能夠 更好的保留那些在全球范圍內(nèi) 都 具有潛在價(jià)值的不同類型的文件，而不 會(huì) 因?yàn)樘幚硭鼈儏s干擾日常的工作？ 雖然 可以采購(gòu)更多的就地存儲(chǔ)設(shè) 備，但這 些存儲(chǔ)設(shè)備 總會(huì)有局限性的。在虛擬化、自動(dòng)化、分布式計(jì)算和存儲(chǔ)技術(shù)開始走向成熟后，互聯(lián)網(wǎng)巨頭在借鑒以往經(jīng)驗(yàn)的基礎(chǔ)上對(duì)商業(yè)模式進(jìn)行了在創(chuàng)新，并且涌現(xiàn)出了若干經(jīng)典的成功案例，從而為云計(jì)算最終的粉墨登場(chǎng)提供了素材。所以它不僅僅是改變了計(jì)算機(jī)的使用方法，它也將改變?nèi)藗兊娜粘Ｉ睢?Hadoop； HDFS； the file system 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 1 頁 共 54 頁 緒 論 云計(jì)算是基于互聯(lián)網(wǎng)將規(guī)?；Y源池的計(jì)算、存儲(chǔ)、開發(fā)平臺(tái)和軟件能力提供給用戶，實(shí)現(xiàn)自動(dòng)化、低成本、快速提供和靈活伸縮的 IT 服務(wù)。 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 畢業(yè)設(shè)計(jì) (論文 ) 論文題目 云計(jì)算文件系統(tǒng)的實(shí)現(xiàn) 指導(dǎo)教師 職 稱 講師 學(xué)生姓名 學(xué) 號(hào) 專 業(yè) 網(wǎng)絡(luò)工程 班 級(jí) 系 主 任 院 長(zhǎng) 目錄 摘要 ................................................................ i Abstract........................................................... ii 緒論 ................................................................ 1 第一章 云計(jì)算的介紹 ................................................. 1 云計(jì)算的發(fā)展概況 ............................................. 2 課題研究意義及研究?jī)?nèi)容 ....................................... 2 課題的研究意義 .................................................. 2 課題的研究?jī)?nèi)容 .................................................. 5 第二章 云計(jì)算系統(tǒng)的研究 ............................................. 6 云計(jì)算的服務(wù)層次 ............................................. 6 云計(jì)算系統(tǒng)的結(jié)構(gòu)和原理 ....................................... 7 云計(jì)算的體系結(jié)構(gòu) ................................................ 7 云計(jì)算系統(tǒng)的原理 ................................................ 9 第三章 開發(fā)環(huán)境的概述 .............................................. 10 典型云計(jì)算平臺(tái) .............................................. 10 Hadoop 架構(gòu)的介紹 ........................................... 10 Hadoop 的概述 .................................................. 10 MapReduce 分布式處理技術(shù)的介紹 ................................. 13 MapReduce 架構(gòu) ................................................ 14 HDFS 簡(jiǎn)介 ...................................................... 16 HDFS 體系結(jié)構(gòu) .................................................. 18 第四章 Hadoop 云平臺(tái)搭建 ............................................ 20 Hadoop 平臺(tái)搭建所用到的安裝包 ............................... 20 平臺(tái)的搭建 .................................................. 20 Windows 下系統(tǒng)環(huán)境變量的配置 .................................. 27 安裝和配置 SSHD 服務(wù) .......................................... 29 啟動(dòng) ssh 服務(wù) .................................................. 31 Eclipse Hadoop 插件開發(fā)配置 ................................. 36 Eclipse 插件的介紹 ............................................. 36 具體步驟 ...................................................... 39 第五章 云文件系統(tǒng)的實(shí)現(xiàn) ............................................ 40 云 文件系統(tǒng)實(shí)現(xiàn)前的技術(shù)準(zhǔn)備 .................................. 40 文件系統(tǒng)服務(wù)器端代碼 ........................................ 41 云腦系統(tǒng)的登錄實(shí)現(xiàn) .......................................... 42 登陸實(shí)現(xiàn)代碼 .................................................. 42 云文件夾的制作 .............................................. 44 工具菜單欄 ..................................................... 44 快捷操作欄 ..................................................... 46 文件欄 ........................................................ 48 云文件系統(tǒng)的功能能實(shí)現(xiàn) ..................................... 48 、云文件系統(tǒng)中的前進(jìn)和后退實(shí)現(xiàn) ................................. 48 新建文件夾的實(shí)現(xiàn) .............................................. 48 文件權(quán)限的設(shè)置 ................................................. 50 第六章 總結(jié) ................................................................ 51 參考文獻(xiàn) ................................................................... 52 謝辭 ............................................................... 54 i 云計(jì)算文件系統(tǒng)的實(shí)現(xiàn) 摘要 云計(jì)算是一種基于互聯(lián)網(wǎng)提供服務(wù)的業(yè)務(wù)模式 ,它能夠?qū)崿F(xiàn) IT基礎(chǔ)設(shè)施的資源化和服務(wù)化 ,用戶可以按需進(jìn)行定制和付費(fèi) ,從而徹底改變了傳統(tǒng) IT 基礎(chǔ)設(shè)施的提供和支付方式 ,有效解決了無限增長(zhǎng)的海量信息存儲(chǔ)和計(jì)算問題。云計(jì)算是利用將沒有用到的資源整合起來形成一個(gè)大型的集群，提高資源利用率。 云計(jì)算從技術(shù)理念出 現(xiàn)，到技術(shù)融合創(chuàng)新，再到商業(yè)運(yùn)營(yíng)成功，前后經(jīng)歷幾十年，是各種技術(shù)發(fā)張到一定階段，在某些因素（寬帶的普及、互聯(lián)網(wǎng)上的海量數(shù)據(jù)、信息化的快速