【正文】 （ 3） 然后將 的內(nèi)容復(fù)制到每個機(jī)器 (也包括本機(jī) )的 40 /home/cloud/.ssh/authorized_keys 文件中，如果機(jī)器上已經(jīng)有authorized_keys 這個文件了，就在文件末尾加上 中的內(nèi)容，如果沒有 authorized_keys 這個文件，直接 cp 或者 scp 就好了，下面的操作假設(shè)各個機(jī)器上都沒有 authorized_keys 文件。 SSH 設(shè)置 Hadoop 需要 namenode 到 datanode 的無密碼 SSH，所以需要設(shè)置 namenode到其他 datanode 的無密碼公鑰認(rèn)證方式的 SSH。 新建系統(tǒng) hadoop 用戶 Hadoop 要求所有機(jī)器上 hadoop 的部署目錄結(jié)構(gòu)要相同，并且都有一個相同的用戶名的帳戶，所以需要每臺機(jī)器見一個同名的用戶。文件副本的數(shù)目稱為文件的副本系數(shù)，這個信息也 是由 Namenode 保存的。 Namenode 負(fù)責(zé)維護(hù)文件系統(tǒng)的名字空間，任何對文件系統(tǒng)名字空間或?qū)傩缘男薷亩紝⒈?Namenode 記錄下來。當(dāng)前， HDFS 不支持用戶磁盤配額和訪問權(quán)限控制，也不支持硬鏈接和軟鏈接。用戶或者應(yīng)用程序可以創(chuàng)建目錄，然后將文件保存在這些目錄里。 Namenode 是所有 HDFS元數(shù)據(jù)的仲裁者和管理者，這樣，用戶數(shù)據(jù)永遠(yuǎn)不會流過 Namenode。這種架構(gòu)并不排斥在一臺機(jī)器上運(yùn)行多個 Datanode，只不過這樣的情況比較少見。由于采用了可移植性極強(qiáng)的 Java 語言，使得 HDFS 可以部署到多種類型的機(jī)器上。這些機(jī)器一般運(yùn)行著 GNU/Linux操作系統(tǒng) (OS)。在 Namenode 的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。它也負(fù)責(zé)確定數(shù)據(jù)塊到具體 Datanode節(jié)點的映射。從 內(nèi)部看，一個文件其實被分成一個或多個數(shù)據(jù)塊，這些塊存儲在一組 Datanode 上。集群中的 Datanode 一般是一個節(jié)點一個，負(fù)責(zé)管理它所在節(jié)點上的存儲。一個 HDFS 集群是由一個 Namenode 和一定數(shù)目的 Datanodes 組成。這種特性方便了 HDFS 作為大規(guī)模數(shù)據(jù)應(yīng)用平臺的推廣。 HDFS 為應(yīng)用提供了將它們自己移動到數(shù)據(jù)附近的接口。因為這樣就能降低網(wǎng)絡(luò)阻塞的影響，提高系統(tǒng)數(shù)據(jù)的吞吐量。目前還有計劃在將來擴(kuò)充這個模型，使之支持文件的附加寫操作。 這一假設(shè)簡化了數(shù)據(jù)一致性問題，并且使高吞吐量的數(shù)據(jù)訪問成為可能。 （ 4） 簡單的一致性模型 37 HDFS 應(yīng)用需要一個 “ 一次寫入多次讀取 ” 的文件訪問模型。它應(yīng)該能提供整體上高的數(shù)據(jù)傳輸帶寬，能在一個集群里擴(kuò)展到數(shù)百個節(jié)點。 HDFS 上的一個典型文件大小一般都在 G 字節(jié)至 T 字節(jié)。為了提高數(shù)據(jù)的吞吐量，在一些關(guān)鍵方面對 POSIX的語義做了一些修改。比之?dāng)?shù)據(jù)訪問的低延遲問題，更關(guān)鍵的在于數(shù)據(jù)訪問的高吞吐量。 （ 2） 流式數(shù)據(jù)訪問 運(yùn)行在 HDFS 上的應(yīng)用和普通的應(yīng)用不同，需要流式訪問它們的數(shù)據(jù)集。我們面對的現(xiàn)實是構(gòu)成系統(tǒng)的組件數(shù)目是巨大的，而且任一組件都有可能失效，這意味著總是有一部分 HDFS 的組件是不工作的。 前提和設(shè)計目標(biāo) （ 1） 硬件錯誤 硬件錯誤是常態(tài)而不是異常。 HDFS 放寬了一部分 POSIX 約束，來實現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。 HDFS 是一個高度容錯性的系統(tǒng)，適合部署在廉價的機(jī)器上。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點。 最后，監(jiān)控機(jī)群的工作就是為主服務(wù)器進(jìn)行負(fù)載均衡時提供各節(jié)點的狀態(tài)信息，并對節(jié)點進(jìn)行狀態(tài)控制，以使其正常、高效而穩(wěn)定的工作。 其次，當(dāng)用戶進(jìn) 行業(yè)務(wù)應(yīng)用時，由于并非簡單操作，所以主服務(wù)器會根據(jù)各節(jié)點狀況進(jìn)行負(fù)載均衡，把最適于用戶應(yīng)用的應(yīng)用節(jié)點和計算節(jié)點分配給用戶，使用戶的操作達(dá)到最高效率。 系統(tǒng)工作流程 首先對于用戶的操作，云客戶端將進(jìn)行操作判斷，不同類型的操作將以不同方式交給服務(wù)器端進(jìn)行處理。 最后不能少的是文件管理模塊，這是相當(dāng)重要的，它將提供給用戶新建、刪除以及應(yīng)用文件等一系列問題的解決策略。 二是業(yè)務(wù)定制模塊，它是一個動態(tài)的業(yè)務(wù)訂制模塊，隨時為用戶提供云腦可支持的服務(wù)事項，而用戶只需輕松點擊選擇，就可獲得他想要的應(yīng)用，構(gòu)造專屬于自己的個性化云腦。對于組織云腦系統(tǒng)的整體結(jié)構(gòu)和程序人員的具體實現(xiàn)來說，必然會有 4 個新模塊的產(chǎn)生。 經(jīng)過了注冊 /登錄后的用戶便真正進(jìn)入了云腦的世界。 34 圖 18 系統(tǒng)功能分析 首先，當(dāng)用戶打開 Hadoop，做的第一件事情應(yīng)當(dāng)和我們在使用普通計算機(jī)時一樣，就是登錄，所 以此處絕不可馬虎。 系統(tǒng)設(shè)計 系統(tǒng)整體架構(gòu) 下圖便是我們所要實現(xiàn)的系統(tǒng)架構(gòu)圖，最左邊的是用戶終端，也就是我們所說的云客戶端，不論是什么樣的設(shè)備，只要擁有瀏覽器，就可以像使用普通電腦一樣的使用云腦，所以瀏覽器也是我們不可缺少的一個部分。這些小計算量運(yùn)算服務(wù)只需在應(yīng)用節(jié)點機(jī)群或計算節(jié)點機(jī)群的某臺機(jī)器中完成即可。對于計算節(jié)點機(jī)群，它是由多組架構(gòu)完善的云計算機(jī)群所組成，其主要工作是處理超大運(yùn)算量要求的計算，并不提供小計算量服務(wù)。這兩個節(jié)點機(jī)群是完全按照主服務(wù)控制機(jī)群的任務(wù)控制流程運(yùn)行的，其本身不能擁有系統(tǒng)流程控制權(quán)。這里同時提出了一個新的概念 云盤，所謂云盤就是由云端主服務(wù)控制機(jī)群為云腦用戶所分配的、建立在存儲節(jié)點機(jī)群上的存儲空間，它雖不是用戶本地硬盤，但卻完全由用戶進(jìn)行應(yīng)用和管理，操作感與本地硬盤一致。 （ 2）存儲節(jié)點機(jī)群和應(yīng)用節(jié)點機(jī)群相當(dāng)于傳統(tǒng)計算機(jī)體系結(jié)構(gòu)中的存儲器部分，但又有所區(qū)別。它是由一組或多組主引導(dǎo)服務(wù)機(jī)群和多組分類控制機(jī)群所組成的機(jī)群系統(tǒng)。在云計算機(jī)中應(yīng)該具有 6 個組成成分：主服務(wù)控制機(jī)群、存儲節(jié)點機(jī)群、應(yīng)用節(jié)點機(jī)群、計算節(jié)點機(jī)群、輸入設(shè)備和輸出設(shè)備，如圖 17所示： 圖 17 下面，我們對云計算機(jī)的設(shè)計思想進(jìn)行具體的講解。 總的來說，私有云與公共云各有各的優(yōu)勢，對于一般的中小企業(yè)來說，公共云是一種比較務(wù)實的選擇，而對于有一定的規(guī)模，對安全指數(shù)要求較高的企業(yè)，私有云也不失為一種謹(jǐn)慎的選擇。 最后，從成本上，建立私有云必然是比使用公共云需要更多的成本支出。同時，由于私有云的私有性，可能在安全技術(shù)的支持上，主觀上或客觀上都很可能比公共云要薄弱。 其次，從安全系數(shù)上來說，私有云因為在物理上可控，相比于不可控的公共云安全系數(shù)在物理上看起來是要更高一些。 首先，從控制 范圍來說，私有云基本上是根據(jù)用戶的要求來確定數(shù)據(jù)存放的位置，而公共云則是由服務(wù)提供商根據(jù)服務(wù)的需要或成本預(yù)算等來確定數(shù)據(jù)存放的位置。但也正因為如此，我們才有了將私有云與公共云進(jìn)行比較的意義。在這方面，私有云的適應(yīng)性比公有云超出很多，因為 IT 部門能完全控制私有云，所以他們能使私有云比公有云更好地與現(xiàn)有流程進(jìn)行整合。 （ 5）不影響現(xiàn)有 IT管理的流程 對大型企業(yè)而言，流程是其管理的核心，如果沒有完善的 流程，企業(yè)將會成為一盤散沙。 （ 4）支持定制和遺留應(yīng)用 因為現(xiàn)有公有云所支持應(yīng)用的范圍都偏主流，對一些定制化程度化高和遺留 31 應(yīng)用就很有可能束手無策，但是這些往往都屬于一個企業(yè)最核心的應(yīng)用，比如Mainframe， Unix 等平臺的應(yīng)用。 （ 2） SLA（服務(wù)質(zhì)量） 因為私有云一般在企業(yè)內(nèi)部，而不是在某一個遙遠(yuǎn)的數(shù)據(jù)中心中，所以當(dāng)公司員工訪問那些基于私有云的應(yīng)用時，它的 SLA 應(yīng)該會非常穩(wěn)定，不會受到網(wǎng)絡(luò)異常 的影響，比如上次“暴風(fēng)影音”事件，導(dǎo)致大規(guī)模的網(wǎng)絡(luò)中斷。所以短期而言，大型企業(yè)是不會將其 MissionCritical的應(yīng)用部署到公有云上。 29 企業(yè)所面臨的問題 （ 1） 全球企業(yè) IT 開銷大幅度增長，如圖 14所示： 圖 14 （ 2） 數(shù)據(jù)中心的成本高，如圖 15所示： 圖 15 （ 3） 不同地區(qū)電力價格的差異，如圖 16 所示： 30 圖 16 私有云的優(yōu)勢 （ 1）數(shù)據(jù)安全 雖然每個公有云的供應(yīng)商都對外宣稱，其服務(wù)在各方面都是非常安全，特別是在數(shù)據(jù)的管理。 （ 3）購買私有云服務(wù)。 （ 2）購買解決方案。 創(chuàng)建私有云的幾種模式 （ 1）獨自構(gòu)建。目前 Sony Picutures Imageworks 和 Stanford Genome Technology 已經(jīng)開始使用這些服務(wù)，一些公司利用這個軟件提供自己的云存儲服務(wù)。例如 ParaScale 公司發(fā)布云存儲軟件產(chǎn)品。 如果企業(yè)企業(yè)需要云計算的種種好處，例如按需使用，靈活的擴(kuò)展性等。一些大企業(yè)選擇這種云計算的方式建立自己的云計算平臺以支撐提供的服務(wù)或者內(nèi)部使用。這就等于使用云計算的企業(yè)自己建立的企業(yè)的內(nèi)部云。 私有云是企業(yè)內(nèi)部提供的云服務(wù)，在企業(yè)的防火墻內(nèi)，并能對其數(shù)據(jù)、安全性和服務(wù)質(zhì)量進(jìn)行有效地控制。亞馬遜的 彈性計算云則是托管式的云計算平臺，用戶可以通過遠(yuǎn)端的操作界面直接使用。而下面的兩個云計算的實現(xiàn)則為外部的開發(fā)人員以及中小公司提供了云計算的平臺環(huán)境，使得開發(fā)者能夠在 云計算的基礎(chǔ)設(shè)施之上構(gòu)建自己的新型網(wǎng)絡(luò)應(yīng)用。除了開放 有限的應(yīng)用程序接口，例如 GWT（ Google Web Toolkit）以及 Google Map API 等，Google 并沒有將云計算的內(nèi)部基礎(chǔ)設(shè)施共享給外部的用戶使用，上述的所有基礎(chǔ)設(shè)施都是私有的。云計算能夠為大規(guī)模的新一代網(wǎng)絡(luò)應(yīng)用打下良好的基礎(chǔ)。值得注意的是，通過這種云計算方式形成的應(yīng)用程序非常適合于多個用戶進(jìn)行共享以及協(xié)同編輯，為一個小組的人員進(jìn)行共同創(chuàng)作 帶來很大的方便性。 Google Docs 甚至可以用于監(jiān)控責(zé)任清晰、目標(biāo)明確的項目進(jìn)度。 Google Docs 是一個基于 Web 的工具，它有跟 Microsoft Office 相近的編輯界面，有一套簡單易用的文檔權(quán)限管理，而且它還記錄下所有用戶對文檔所做的修改。由于借鑒了異步網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)?Web 技術(shù)，這些應(yīng)用程序給予用戶全新的界面感受以及更加強(qiáng)大的多用戶交互能力。 圖 12 圖 13 以上是 Google 內(nèi)部云計算基礎(chǔ)平臺的三個主要部分，除了這三個部分之外，Google 還建立了分布式程序的調(diào)度器，分布式的鎖服務(wù)等一系列相關(guān)的云計算服務(wù)平臺。 BigTable 的內(nèi)容按照行來劃 分，將多個行組成一個小表，保存到某一個服務(wù)器節(jié)點中。 26 圖 12給出了在 BigTable 模型中的數(shù)據(jù)模型。為了處理 Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)， Google 構(gòu)建了弱一致性要求的大規(guī)模數(shù)據(jù)庫系統(tǒng) BigTable。很多應(yīng)用程序?qū)τ跀?shù)據(jù)的組織還是非 常有規(guī)則的。在 Google 內(nèi)部，每天有上千個 Map Reduce 的應(yīng)用程序在運(yùn)行。 25 圖 11 Map/Reduce 通過 “Map （映射） ” 和 “Reduce （化簡） ” 這樣兩個簡單的概念來參加運(yùn)算，用戶只需要 提供自己的 Map 函數(shù)以及 Reduce 函數(shù)就可以在集群上進(jìn)行大規(guī)模的分布式數(shù)據(jù)處理。這樣，非分布式專業(yè)的程序編寫人員也能夠為 大規(guī)模的集群編寫應(yīng)用程序而不用去顧慮集群的可靠性、可擴(kuò)展性等問題。通過服務(wù)器端 24 和客戶端的聯(lián)合設(shè)計， Google File System 能夠針對它本身的應(yīng)用獲得最大的性能以及可用性效果。客戶端跟主服務(wù)器交互進(jìn)行元數(shù)據(jù)操作，但是所有的數(shù)據(jù)操作的通信都是直接和塊服務(wù)器進(jìn)行 的。主服務(wù)器管理文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息和文件到塊的映射信 息，以及塊當(dāng)前所在的位置。塊服務(wù)器把塊作為 linux 文件保存在本地硬盤上，并根據(jù)指定的塊句柄和字節(jié)范圍來讀寫塊數(shù)據(jù)。文件被分割成固定尺寸的塊。有的集群擁有超過 1000 個存儲節(jié)點，超過 300T 的硬盤空間，被不同機(jī)器上的數(shù)百個客戶端連續(xù)不斷地頻繁訪問著。 總之， GFS 是為 Google 應(yīng)用程序本身而設(shè)計的。例如，放松了對 GFS一致性 模型的要求，這樣不用加重應(yīng)用程序的負(fù)擔(dān)，就大大簡化了文件系統(tǒng)的設(shè)計。它要么被完整地執(zhí)行，要么完全不執(zhí)行）保證的焦點。對文件的隨機(jī)寫是幾乎不存在的。 (3) Google 文件系統(tǒng)中的文件讀寫模式和傳統(tǒng)的文件系統(tǒng)不同。另外文件系統(tǒng)中的文件含義與通常文件不同，一個大文件可能包含大量數(shù)目的通常意義上的小文件。需要通過軟件程序模塊，監(jiān)視系統(tǒng)的動態(tài)運(yùn)行狀況，偵測錯誤，并且將容錯以及自動恢復(fù)系統(tǒng)集成在系統(tǒng)中。主要體現(xiàn)在以下四個方面 : (1) 集群中的節(jié)點失效是一種常態(tài)，而不是一種異常。 GFS 與過去的分布式文件系統(tǒng)擁有許多相同的目標(biāo)，例如性能、可伸縮性、可靠性以及可用性。包括 Google 建立在集群之上的文 件系統(tǒng) Google File System，針對 Google 應(yīng)用程序的特點提出的 Map/Reduce編程模式，分布式的鎖機(jī)制 Chubby 以及 Google 開發(fā)的模型簡化的大規(guī)模 分布式數(shù)據(jù)庫 BigTable。 22 從 2021 年開始， Google 連續(xù)幾年在計算機(jī)系統(tǒng)研究領(lǐng)域的最頂級會議與雜志上發(fā)表論文，揭示其內(nèi)部的分布式數(shù)據(jù)處理方法，向外界展示其使用的云計 算核 心技術(shù)。 典型云計算平臺 Google 的云計算技術(shù)實際上是針對 Google 特定的網(wǎng)絡(luò)應(yīng)