【正文】 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 畢業(yè)設(shè)計(jì) (論文 ) 論文題目 云計(jì)算文件系統(tǒng)的實(shí)現(xiàn) 指導(dǎo)教師 職 稱 講師 學(xué)生姓名 學(xué) 號 專 業(yè) 網(wǎng)絡(luò)工程 班 級 系 主 任 院 長 目錄 摘要 ................................................................ i Abstract........................................................... ii 緒論 ................................................................ 1 第一章 云計(jì)算的介紹 ................................................. 1 云計(jì)算的發(fā)展概況 ............................................. 2 課題研究意義及研究內(nèi)容 ....................................... 2 課題的研究意義 .................................................. 2 課題的研究內(nèi)容 .................................................. 5 第二章 云計(jì)算系統(tǒng)的研究 ............................................. 6 云計(jì)算的服務(wù)層次 ............................................. 6 云計(jì)算系統(tǒng)的結(jié)構(gòu)和原理 ....................................... 7 云計(jì)算的體系結(jié)構(gòu) ................................................ 7 云計(jì)算系統(tǒng)的原理 ................................................ 9 第三章 開發(fā)環(huán)境的概述 .............................................. 10 典型云計(jì)算平臺 .............................................. 10 Hadoop 架構(gòu)的介紹 ........................................... 10 Hadoop 的概述 .................................................. 10 MapReduce 分布式處理技術(shù)的介紹 ................................. 13 MapReduce 架構(gòu) ................................................ 14 HDFS 簡介 ...................................................... 16 HDFS 體系結(jié)構(gòu) .................................................. 18 第四章 Hadoop 云平臺搭建 ............................................ 20 Hadoop 平臺搭建所用到的安裝包 ............................... 20 平臺的搭建 .................................................. 20 Windows 下系統(tǒng)環(huán)境變量的配置 .................................. 27 安裝和配置 SSHD 服務(wù) .......................................... 29 啟動 ssh 服務(wù) .................................................. 31 Eclipse Hadoop 插件開發(fā)配置 ................................. 36 Eclipse 插件的介紹 ............................................. 36 具體步驟 ...................................................... 39 第五章 云文件系統(tǒng)的實(shí)現(xiàn) ............................................ 40 云 文件系統(tǒng)實(shí)現(xiàn)前的技術(shù)準(zhǔn)備 .................................. 40 文件系統(tǒng)服務(wù)器端代碼 ........................................ 41 云腦系統(tǒng)的登錄實(shí)現(xiàn) .......................................... 42 登陸實(shí)現(xiàn)代碼 .................................................. 42 云文件夾的制作 .............................................. 44 工具菜單欄 ..................................................... 44 快捷操作欄 ..................................................... 46 文件欄 ........................................................ 48 云文件系統(tǒng)的功能能實(shí)現(xiàn) ..................................... 48 、云文件系統(tǒng)中的前進(jìn)和后退實(shí)現(xiàn) ................................. 48 新建文件夾的實(shí)現(xiàn) .............................................. 48 文件權(quán)限的設(shè)置 ................................................. 50 第六章 總結(jié) ................................................................ 51 參考文獻(xiàn) ................................................................... 52 謝辭 ............................................................... 54 i 云計(jì)算文件系統(tǒng)的實(shí)現(xiàn) 摘要 云計(jì)算是一種基于互聯(lián)網(wǎng)提供服務(wù)的業(yè)務(wù)模式 ,它能夠?qū)崿F(xiàn) IT基礎(chǔ)設(shè)施的資源化和服務(wù)化 ,用戶可以按需進(jìn)行定制和付費(fèi) ,從而徹底改變了傳統(tǒng) IT 基礎(chǔ)設(shè)施的提供和支付方式 ,有效解決了無限增長的海量信息存儲和計(jì)算問題。文章給出了云計(jì)算分布式文件系統(tǒng)的主 要類型 ,分析了 Google 文件系統(tǒng) (GFS)和Hadoop 分布式文件系統(tǒng) (HDFS)的演進(jìn)情況。最后 ,詳細(xì)描述了分布式文件系統(tǒng)的工作原理。本文主要完成云計(jì)算文件系統(tǒng)的實(shí)現(xiàn)，主要的實(shí)現(xiàn)方法是通過 Hadoop平臺及 Eclipce 開發(fā)環(huán)境來實(shí)現(xiàn)文件系統(tǒng)的各種功能及文件系統(tǒng)的創(chuàng)建和撤銷。給用戶一個(gè)類似 Windows 中我的電腦一樣的用戶體驗(yàn)，可以根據(jù)用戶意愿實(shí)現(xiàn)文件目錄及文件進(jìn)行管理。 關(guān)鍵字 ： 云計(jì)算； Hadoop； HDFS；文件系統(tǒng) ii Cloud puting file system implementation Abstract Cloud puting is an interbased service business model, IT can realize the utilization of IT infrastructure and service, the user can according to need to customize and paid, which pletely changed the traditional IT infrastructure to provide and pay way, effectively solve the mass information storage and putational problems of unlimited growth. Article gives the main types of cloud puting distributed file system, analyzes the Google file system (GFS) and the evolution of the Hadoop distributed file system (HDFS). Finally, describes in detail the working principle of the distributed file system. This paper mainly pleted the implementation of cloud puting file system, the realization of the main way is through the Hadoop platform and Eclipce development environment to implement the functions of file system and file system creation and revoked. Give users a similar to Windows in my puter as user experience, can according to user39。s intention to file directory and file management. Keywords: cloud puting。 Hadoop； HDFS； the file system 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 1 頁 共 54 頁 緒 論 云計(jì)算是基于互聯(lián)網(wǎng)將規(guī)模化資源池的計(jì)算、存儲、開發(fā)平臺和軟件能力提供給用戶，實(shí)現(xiàn)自動化、低成本、快速提供和靈活伸縮的 IT 服務(wù)。云計(jì)算是利用將沒有用到的資源整合起來形成一個(gè)大型的集群，提高資源利用率。從云計(jì)算的角度看軟硬件都是服務(wù)，云計(jì)算將催生出新的增長模式，如云軟件托管中心、云軟件銷售等。云計(jì)算將使技術(shù)人員和使用者都面臨著一個(gè)巨大的變革。云計(jì)算能夠給用 戶提供可靠的、自定義的、最大化資源利用的服務(wù) ,是一種嶄新的分布式計(jì)算模式。同時(shí) ,云計(jì)算和其他技術(shù)及理論的有機(jī)結(jié)合 ,也是解決理論研究和實(shí)際應(yīng)用的重要途徑。 南華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)畢業(yè)設(shè)計(jì)（論文） 第 2 頁 共 54 頁 第一章 云計(jì)算的介紹 云計(jì)算的發(fā)展概況 隨著 電子計(jì)算機(jī)技術(shù)的 的發(fā)展， 人們開始適應(yīng)的單機(jī)工作模式將隨著云計(jì)算的出現(xiàn)面臨著巨大的變革 。 人們將從習(xí)慣于購買軟件和硬件變?yōu)檐浖陀布紝㈦[沒于云端，用戶在這種技術(shù)下面所對的將全部是服務(wù)。所以它不僅僅是改變了計(jì)算機(jī)的使用方法，它也將改變?nèi)藗兊娜粘Ｉ睢? 云計(jì)算從技術(shù)理念出 現(xiàn)，到技術(shù)融合創(chuàng)新，再到商業(yè)運(yùn)營成功，前后經(jīng)歷幾十年，是各種技術(shù)發(fā)張到一定階段，在某些因素（寬帶的普及、互聯(lián)網(wǎng)上的海量數(shù)據(jù)、信息化的快速發(fā)展、多個(gè) IT 巨頭的實(shí)踐）共同促進(jìn)下形成的一個(gè)新的業(yè)務(wù)領(lǐng)域。 云計(jì)算的發(fā)展經(jīng)歷了以下幾個(gè)階段： 第一階段：關(guān)鍵技術(shù)探索期（ 20 世紀(jì) 90 年代之前）。在這一階段，虛擬化、分布式計(jì)算、并行計(jì)算等關(guān)鍵計(jì)算和概念紛紛出現(xiàn)并取得了一系列的進(jìn)展。 第二階段： IT 服務(wù)化商業(yè)模式探索期（ 20 世紀(jì) 90 年代初到 21 世紀(jì)初）。在這一階段隨著硬件性能的大幅提提升，服務(wù)器的利用率迅速下降，管理運(yùn)營成本逐 漸成為 IT 的主要支出之一。為了提高服務(wù)器的利用率降低運(yùn)行成本開始實(shí)行虛擬化。 第三階段：云計(jì)算技術(shù)和商業(yè)模式實(shí)踐期（ 21 世紀(jì)初至今）。在虛擬化、自動化、分布式計(jì)算和存儲技術(shù)開始走向成熟后，互聯(lián)網(wǎng)巨頭在借鑒以往經(jīng)驗(yàn)的基礎(chǔ)上對商業(yè)模式進(jìn)行了在創(chuàng)新，并且涌現(xiàn)出了若干經(jīng)典的成功案例，從而為云計(jì)算最終的粉墨登場提供了素材。 課題研究意義及研究內(nèi)容 課題的研究意義 隨著 電子計(jì)算機(jī)技術(shù)的 的發(fā)展， 人們開始適應(yīng)的單機(jī)工作模式將隨著云計(jì)算的出現(xiàn)面臨著巨大的變革 。 人們將隨著習(xí)慣于購買軟件