【導(dǎo)讀】本畢業(yè)設(shè)計(jì)的技術(shù)特點(diǎn)是企業(yè)內(nèi)部云計(jì)算系統(tǒng)的組建。企業(yè)的計(jì)算中心或數(shù)。上提供給外部的客戶，從而取得收益。本設(shè)計(jì)實(shí)現(xiàn)云計(jì)算的關(guān)鍵是Hadoop，通。過將服務(wù)器集中，使數(shù)據(jù)中心幾百上千的服務(wù)器，可以并行計(jì)算分布存儲(chǔ)。IT成本具有重要的作用。

　　

【正文】 群所組成的機(jī)群系統(tǒng)。主要負(fù)責(zé)接收用戶應(yīng)用請(qǐng)求、驗(yàn)證用戶合法性，并根據(jù)應(yīng)用請(qǐng)求類型進(jìn)行應(yīng)用分類和負(fù)載均衡。 （ 2）存儲(chǔ)節(jié)點(diǎn)機(jī)群和應(yīng)用節(jié)點(diǎn)機(jī)群相當(dāng)于傳統(tǒng)計(jì)算機(jī)體系結(jié)構(gòu)中的存儲(chǔ)器部分，但又有所區(qū)別。存儲(chǔ)節(jié)點(diǎn)機(jī)群是由龐大的磁盤陣列系統(tǒng)或多組擁有海量存儲(chǔ)能力的機(jī)群系統(tǒng)所組成的存儲(chǔ)系統(tǒng)，它的責(zé)任是處理用戶數(shù)據(jù)資源的存取工作，并不關(guān)心用 戶對(duì)這些數(shù)據(jù)要如何應(yīng)用，也不會(huì)處理存取數(shù)據(jù)資源和后臺(tái)安全策略管理以外的任何操作。這里同時(shí)提出了一個(gè)新的概念 云盤，所謂云盤就是由云端主服務(wù)控制機(jī)群為云腦用戶所分配的、建立在存儲(chǔ)節(jié)點(diǎn)機(jī)群上的存儲(chǔ)空間，它雖不是用戶本地硬盤，但卻完全由用戶進(jìn)行應(yīng)用和管理，操作感與本地硬盤一致。應(yīng)用節(jié)點(diǎn)機(jī)群則是由一組或多組擁有不同業(yè)務(wù)處理邏輯的機(jī)群系統(tǒng)所組 33 成的應(yīng)用系統(tǒng)，它負(fù)責(zé)存儲(chǔ)應(yīng)用程序和處理各種邏輯復(fù)雜的用戶應(yīng)用。這兩個(gè)節(jié)點(diǎn)機(jī)群是完全按照主服務(wù)控制機(jī)群的任務(wù)控制流程運(yùn)行的，其本身不能擁有系統(tǒng)流程控制權(quán)。 （ 3）計(jì)算節(jié)點(diǎn)機(jī)群提供 類似運(yùn)算器的功能。對(duì)于計(jì)算節(jié)點(diǎn)機(jī)群，它是由多組架構(gòu)完善的云計(jì)算機(jī)群所組成，其主要工作是處理超大運(yùn)算量要求的計(jì)算，并不提供小計(jì)算量服務(wù)。因?yàn)闄C(jī)群運(yùn)算會(huì)在多級(jí)交互以及計(jì)算分配與組裝上花費(fèi)不少時(shí)間，所以小計(jì)算量運(yùn)算如在計(jì)算節(jié)點(diǎn)機(jī)群進(jìn)行處理不但開銷大，而且很有可能效率遠(yuǎn)不如單機(jī)運(yùn)算，可以說得不償失。這些小計(jì)算量運(yùn)算服務(wù)只需在應(yīng)用節(jié)點(diǎn)機(jī)群或計(jì)算節(jié)點(diǎn)機(jī)群的某臺(tái)機(jī)器中完成即可。 輸入輸出設(shè)備和當(dāng)今的個(gè)人計(jì)算機(jī)是沒有實(shí)質(zhì)性變化的，畢竟我們還需要依托顯示器和鍵盤鼠標(biāo)等人機(jī)交互設(shè)備才能實(shí)現(xiàn)用戶體驗(yàn)。 系統(tǒng)設(shè)計(jì) 系統(tǒng)整體架構(gòu) 下圖便是我們所要實(shí)現(xiàn)的系統(tǒng)架構(gòu)圖，最左邊的是用戶終端，也就是我們所說的云客戶端，不論是什么樣的設(shè)備，只要擁有瀏覽器，就可以像使用普通電腦一樣的使用云腦，所以瀏覽器也是我們不可缺少的一個(gè)部分。在 Inter 的右邊是用戶所看不到的整體云腦架構(gòu)，我們采用一臺(tái)計(jì)算機(jī)作為主服務(wù)器和監(jiān)控服務(wù)器，用兩臺(tái)計(jì)算機(jī)作為應(yīng)用節(jié)點(diǎn)服務(wù)器和存儲(chǔ)節(jié)點(diǎn)服務(wù)器，再用兩臺(tái)服務(wù)器作為計(jì)算節(jié)點(diǎn)服務(wù)器。 34 圖 18 系統(tǒng)功能分析 首先，當(dāng)用戶打開 Hadoop，做的第一件事情應(yīng)當(dāng)和我們?cè)谑褂闷胀ㄓ?jì)算機(jī)時(shí)一樣，就是登錄，所 以此處絕不可馬虎。從程序?qū)崿F(xiàn)的角度來看，登錄中牽扯到兩大模塊：一是登錄模塊，即處理用戶登錄信息的應(yīng)用模塊；二是注冊(cè)模塊，為第一次使用云腦的用戶提供系統(tǒng)注冊(cè)的功能，以便使用云腦系統(tǒng)時(shí)擁有一個(gè)確定自己身份的唯一標(biāo)識(shí)。 經(jīng)過了注冊(cè) /登錄后的用戶便真正進(jìn)入了云腦的世界。云腦和普通計(jì)算機(jī)一樣，剛剛買回家時(shí)（當(dāng)然對(duì)于云腦是剛剛注冊(cè)后），里面并沒有太多應(yīng)用，只有 35 一個(gè)簡(jiǎn)單的操作系統(tǒng)而已。對(duì)于組織云腦系統(tǒng)的整體結(jié)構(gòu)和程序人員的具體實(shí)現(xiàn)來說，必然會(huì)有 4 個(gè)新模塊的產(chǎn)生。 一是用戶管理模塊，用戶可根據(jù)自己喜好對(duì)自己的信息進(jìn)行補(bǔ)充， 以便得到更貼切的服務(wù)。 二是業(yè)務(wù)定制模塊，它是一個(gè)動(dòng)態(tài)的業(yè)務(wù)訂制模塊，隨時(shí)為用戶提供云腦可支持的服務(wù)事項(xiàng)，而用戶只需輕松點(diǎn)擊選擇，就可獲得他想要的應(yīng)用，構(gòu)造專屬于自己的個(gè)性化云腦。 第三便是目錄管理功能模塊，這類似于普通計(jì)算機(jī)操作系統(tǒng)中的資源管理目錄，它將可以根據(jù)用戶自己的意愿設(shè)計(jì)自己的目錄結(jié)構(gòu)，讓用戶可以方便地管理自己的云盤空間。 最后不能少的是文件管理模塊，這是相當(dāng)重要的，它將提供給用戶新建、刪除以及應(yīng)用文件等一系列問題的解決策略。 以上模塊就已經(jīng)可以初步構(gòu)成一臺(tái)帶有云操作系統(tǒng)的 Hadoop 了，但是為了程序的應(yīng)用，還需要設(shè)計(jì)一個(gè)應(yīng)用程序模塊，其實(shí)它是一個(gè)容器，將服務(wù)端抽象出來，封裝成各個(gè)應(yīng)用的 API，然后提供給第三方開發(fā)商，使其可以屏蔽底層進(jìn)行類似于單機(jī)軟件開發(fā)的方式開發(fā)用戶體驗(yàn)。 系統(tǒng)工作流程 首先對(duì)于用戶的操作，云客戶端將進(jìn)行操作判斷，不同類型的操作將以不同方式交給服務(wù)器端進(jìn)行處理。當(dāng)用戶在進(jìn)行登錄、注冊(cè)、用戶管理以及業(yè)務(wù)訂制或目錄管理操作時(shí)，將直接與主服務(wù)器打交道，而主服務(wù)器則將根據(jù)請(qǐng)求的種類，將這些信息與數(shù)據(jù)庫中信息進(jìn)行比對(duì)、錄入或取出，并返回用戶所要的信息。 其次，當(dāng)用戶進(jìn) 行業(yè)務(wù)應(yīng)用時(shí)，由于并非簡(jiǎn)單操作，所以主服務(wù)器會(huì)根據(jù)各節(jié)點(diǎn)狀況進(jìn)行負(fù)載均衡，把最適于用戶應(yīng)用的應(yīng)用節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)分配給用戶，使用戶的操作達(dá)到最高效率。對(duì)于文件管理，主要是上傳和下載兩方面，對(duì)于上傳操作，一樣需要主服務(wù)器策略為其分配存儲(chǔ)節(jié)點(diǎn)，根據(jù)獲得的分配進(jìn)行文件切片和多線程并行上傳至被分配節(jié)點(diǎn)，而下載則是一個(gè)逆過程。 最后，監(jiān)控機(jī)群的工作就是為主服務(wù)器進(jìn)行負(fù)載均衡時(shí)提供各節(jié)點(diǎn)的狀態(tài)信息，并對(duì)節(jié)點(diǎn)進(jìn)行狀態(tài)控制，以使其正常、高效而穩(wěn)定的工作。 36 認(rèn)識(shí) Hadoop Hadoop 簡(jiǎn)介 Hadoop 分布 式文件系統(tǒng) (HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件 (modity hardware)上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。但同時(shí)，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。 HDFS 是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。 HDFS 能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。 HDFS 放寬了一部分 POSIX 約束，來實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。 HDFS 在最開始是作為 Apache Nutch 搜索引擎項(xiàng)目的基礎(chǔ)架構(gòu)而開發(fā)的。 前提和設(shè)計(jì)目標(biāo) （ 1） 硬件錯(cuò)誤 硬件錯(cuò)誤是常態(tài)而不是異常。 HDFS 可能由成百上千的服務(wù)器所構(gòu)成，每個(gè)服務(wù)器上存儲(chǔ)著文件系統(tǒng)的部分?jǐn)?shù)據(jù)。我們面對(duì)的現(xiàn)實(shí)是構(gòu)成系統(tǒng)的組件數(shù)目是巨大的，而且任一組件都有可能失效，這意味著總是有一部分 HDFS 的組件是不工作的。因此錯(cuò)誤檢測(cè)和快速、自動(dòng)的恢復(fù)是 HDFS 最核心的架構(gòu)目標(biāo)。 （ 2） 流式數(shù)據(jù)訪問 運(yùn)行在 HDFS 上的應(yīng)用和普通的應(yīng)用不同，需要流式訪問它們的數(shù)據(jù)集。 HDFS的設(shè)計(jì)中更多的考慮到了數(shù)據(jù)批處理，而不是用戶交互處理。比之?dāng)?shù)據(jù)訪問的低延遲問題，更關(guān)鍵的在于數(shù)據(jù)訪問的高吞吐量。 POSIX 標(biāo)準(zhǔn)設(shè)置的很多 硬性約束對(duì) HDFS 應(yīng)用系統(tǒng)不是必需的。為了提高數(shù)據(jù)的吞吐量，在一些關(guān)鍵方面對(duì) POSIX的語義做了一些修改。 （ 3） 大規(guī)模數(shù)據(jù)集 運(yùn)行在 HDFS 上的應(yīng)用具有很大的數(shù)據(jù)集。 HDFS 上的一個(gè)典型文件大小一般都在 G 字節(jié)至 T 字節(jié)。因此， HDFS 被調(diào)節(jié)以支持大文件存儲(chǔ)。它應(yīng)該能提供整體上高的數(shù)據(jù)傳輸帶寬，能在一個(gè)集群里擴(kuò)展到數(shù)百個(gè)節(jié)點(diǎn)。一個(gè)單一的 HDFS實(shí)例應(yīng)該能支撐數(shù)以千萬計(jì)的文件。 （ 4） 簡(jiǎn)單的一致性模型 37 HDFS 應(yīng)用需要一個(gè) “ 一次寫入多次讀取 ” 的文件訪問模型。一個(gè)文件經(jīng)過創(chuàng)建、寫入和關(guān)閉之后就不需要改變。 這一假設(shè)簡(jiǎn)化了數(shù)據(jù)一致性問題，并且使高吞吐量的數(shù)據(jù)訪問成為可能。 Map/Reduce 應(yīng)用或者網(wǎng)絡(luò)爬蟲應(yīng)用都非常適合這個(gè)模型。目前還有計(jì)劃在將來擴(kuò)充這個(gè)模型，使之支持文件的附加寫操作。 （ 5） “ 移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更劃算 ” 一個(gè)應(yīng)用請(qǐng)求的計(jì)算，離它操作的數(shù)據(jù)越近就越高效，在數(shù)據(jù)達(dá)到海量級(jí)別的時(shí)候更是如此。因?yàn)檫@樣就能降低網(wǎng)絡(luò)阻塞的影響，提高系統(tǒng)數(shù)據(jù)的吞吐量。將計(jì)算移動(dòng)到數(shù)據(jù)附近，比之將數(shù)據(jù)移動(dòng)到應(yīng)用所在顯然更好。 HDFS 為應(yīng)用提供了將它們自己移動(dòng)到數(shù)據(jù)附近的接口。 （ 6） 異構(gòu)軟硬件平臺(tái)間的可移植性 HDFS 在設(shè)計(jì)的時(shí)候就考慮到平臺(tái)的可移植性。這種特性方便了 HDFS 作為大規(guī)模數(shù)據(jù)應(yīng)用平臺(tái)的推廣。 （ 7） Namenode 和 Datanode HDFS 采用 master/slave 架構(gòu)。一個(gè) HDFS 集群是由一個(gè) Namenode 和一定數(shù)目的 Datanodes 組成。 Namenode 是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間 (namespace)以及客戶端對(duì)文件的訪問。集群中的 Datanode 一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。 HDFS 暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲(chǔ)數(shù)據(jù)。從 內(nèi)部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組 Datanode 上。 Namenode 執(zhí)行文件系統(tǒng)的名字空間操作，比如打開、關(guān)閉、重命名文件或目錄。它也負(fù)責(zé)確定數(shù)據(jù)塊到具體 Datanode節(jié)點(diǎn)的映射。 Datanode 負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫請(qǐng)求。在 Namenode 的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。 Namenode 和 Datanode 被設(shè)計(jì)成可以在普通的商用機(jī)器上運(yùn)行。這些機(jī)器一般運(yùn)行著 GNU/Linux操作系統(tǒng) (OS)。 HDFS采用 Java語言開發(fā)，因此任何支持 Java的機(jī)器都可以部 署 Namenode 或 Datanode。由于采用了可移植性極強(qiáng)的 Java 語言，使得 HDFS 可以部署到多種類型的機(jī)器上。一個(gè)典型的部署場(chǎng)景是一臺(tái)機(jī)器上只運(yùn)行一個(gè) Namenode實(shí)例，而集群中的其它機(jī)器分別運(yùn)行一個(gè) Datanode實(shí)例。這種架構(gòu)并不排斥在一臺(tái)機(jī)器上運(yùn)行多個(gè) Datanode，只不過這樣的情況比較少見。 38 集群中單一 Namenode 的結(jié)構(gòu)大大簡(jiǎn)化了系統(tǒng)的架構(gòu)。 Namenode 是所有 HDFS元數(shù)據(jù)的仲裁者和管理者，這樣，用戶數(shù)據(jù)永遠(yuǎn)不會(huì)流過 Namenode。 （ 8） 文件系統(tǒng)的名字空間 (namespace) HDFS 支持傳統(tǒng)的層次型文件組織結(jié)構(gòu)。用戶或者應(yīng)用程序可以創(chuàng)建目錄，然后將文件保存在這些目錄里。文件系統(tǒng)名字空間的層次結(jié)構(gòu)和大多數(shù)現(xiàn)有的文件系統(tǒng)類似：用戶可以創(chuàng)建、刪除、移動(dòng)或重命名文件。當(dāng)前， HDFS 不支持用戶磁盤配額和訪問權(quán)限控制，也不支持硬鏈接和軟鏈接。但是 HDFS 架構(gòu)并不妨礙實(shí)現(xiàn)這些特性。 Namenode 負(fù)責(zé)維護(hù)文件系統(tǒng)的名字空間，任何對(duì)文件系統(tǒng)名字空間或?qū)傩缘男薷亩紝⒈?Namenode 記錄下來。應(yīng)用程序可以設(shè)置 HDFS 保存的文件的副本數(shù)目。文件副本的數(shù)目稱為文件的副本系數(shù)，這個(gè)信息也 是由 Namenode 保存的。 Hadoop 安裝說明 —— Cloud Computing Hadoop 安裝步驟 機(jī)器說明 總 共 7 臺(tái) 機(jī) 器 ： cloud1 （ ） 、 cloud2 （ ） 、 cloud3 （ ） 、 cloud4 （ ） 、 cloud5 （ ） 、 cloud6（ ）cloud7（ ） 操作系統(tǒng)： Fedora11 namenode（ master） :cloud1（ ） datanode（ slave） :cloudx（ ）（ x=2~7） 機(jī)器互連 （ 1） 用 root 用戶登錄 （ 2） 修改 /etc/hosts 文件 cloud1 cloud2 39 cloud3 cloud4 cloud5 cloud6 cloud7 （ 3） ping 測(cè)試： ping cloud5 PING cloud5 () 56(84) bytes of data. 64 bytes from cloud5 (): icmp_seq=1 ttl=64 time= ms 64 bytes from cloud5 (): icmp_seq=2 ttl=64 time= ms 其他 datanode 機(jī)器只要保證和 namenode 能 ping 通就可以了。 新建系統(tǒng) hadoop 用戶 Hadoop 要求所有機(jī)器上 hadoop 的部署目錄結(jié)構(gòu)要相同，并且都有一個(gè)相同的用戶名的帳戶，所以需要每臺(tái)機(jī)器見一個(gè)同名的用戶。 此處， Hadoop 用戶統(tǒng)一為： cloud，密碼： cloud，默認(rèn)路徑 /home/cloud/。 SSH 設(shè)置 Hadoop 需要 namenode 到 datanode 的無密碼 SSH，所以需要設(shè)置 namenode到其他 datanode 的無密碼公鑰認(rèn)證方式的 SSH。 （ 1） 首先用 cloud 用戶登錄每臺(tái)機(jī)器 (包括 namenode)，在 /home/cloud/目錄下建立 .ssh 目錄，并將目錄權(quán)設(shè)為： drwxrxrx，設(shè)置命令： $chmod 755 .ssh在 namenode 執(zhí)行入如下命令 (用新建的 cloud 用戶登錄 )：輸入 sshkeygen t rsa 后，終端顯示： Enter file in which to save the key (/home/cloud/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: （ 2） 這三個(gè)項(xiàng)目都直接回車。 （ 3） 然后將 的內(nèi)容復(fù)制到每個(gè)機(jī)器 (也包括本機(jī) )的 40 /home/cloud/.ssh/authorized_keys 文件中，如果機(jī)器上已經(jīng)有authorized_keys 這個(gè)文件了，就在文件末尾加上 中的內(nèi)容，如果沒有 authorized_keys 這個(gè)文件，直接 cp 或者 scp 就好了，下面的操作假設(shè)各個(gè)機(jī)器上都沒有 authorized_keys