【正文】 （ 3） 然后將 的內(nèi)容復(fù)制到每個(gè)機(jī)器 (也包括本機(jī) )的 40 /home/cloud/.ssh/authorized_keys 文件中，如果機(jī)器上已經(jīng)有authorized_keys 這個(gè)文件了，就在文件末尾加上 中的內(nèi)容，如果沒有 authorized_keys 這個(gè)文件，直接 cp 或者 scp 就好了，下面的操作假設(shè)各個(gè)機(jī)器上都沒有 authorized_keys 文件。 SSH 設(shè)置 Hadoop 需要 namenode 到 datanode 的無密碼 SSH，所以需要設(shè)置 namenode到其他 datanode 的無密碼公鑰認(rèn)證方式的 SSH。 新建系統(tǒng) hadoop 用戶 Hadoop 要求所有機(jī)器上 hadoop 的部署目錄結(jié)構(gòu)要相同，并且都有一個(gè)相同的用戶名的帳戶，所以需要每臺(tái)機(jī)器見一個(gè)同名的用戶。文件副本的數(shù)目稱為文件的副本系數(shù)，這個(gè)信息也 是由 Namenode 保存的。 Namenode 負(fù)責(zé)維護(hù)文件系統(tǒng)的名字空間，任何對(duì)文件系統(tǒng)名字空間或?qū)傩缘男薷亩紝⒈?Namenode 記錄下來。當(dāng)前， HDFS 不支持用戶磁盤配額和訪問權(quán)限控制，也不支持硬鏈接和軟鏈接。用戶或者應(yīng)用程序可以創(chuàng)建目錄，然后將文件保存在這些目錄里。 Namenode 是所有 HDFS元數(shù)據(jù)的仲裁者和管理者，這樣，用戶數(shù)據(jù)永遠(yuǎn)不會(huì)流過 Namenode。這種架構(gòu)并不排斥在一臺(tái)機(jī)器上運(yùn)行多個(gè) Datanode，只不過這樣的情況比較少見。由于采用了可移植性極強(qiáng)的 Java 語(yǔ)言，使得 HDFS 可以部署到多種類型的機(jī)器上。這些機(jī)器一般運(yùn)行著 GNU/Linux操作系統(tǒng) (OS)。在 Namenode 的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。它也負(fù)責(zé)確定數(shù)據(jù)塊到具體 Datanode節(jié)點(diǎn)的映射。從 內(nèi)部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組 Datanode 上。集群中的 Datanode 一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。一個(gè) HDFS 集群是由一個(gè) Namenode 和一定數(shù)目的 Datanodes 組成。這種特性方便了 HDFS 作為大規(guī)模數(shù)據(jù)應(yīng)用平臺(tái)的推廣。 HDFS 為應(yīng)用提供了將它們自己移動(dòng)到數(shù)據(jù)附近的接口。因?yàn)檫@樣就能降低網(wǎng)絡(luò)阻塞的影響，提高系統(tǒng)數(shù)據(jù)的吞吐量。目前還有計(jì)劃在將來擴(kuò)充這個(gè)模型，使之支持文件的附加寫操作。 這一假設(shè)簡(jiǎn)化了數(shù)據(jù)一致性問題，并且使高吞吐量的數(shù)據(jù)訪問成為可能。 （ 4） 簡(jiǎn)單的一致性模型 37 HDFS 應(yīng)用需要一個(gè) “ 一次寫入多次讀取 ” 的文件訪問模型。它應(yīng)該能提供整體上高的數(shù)據(jù)傳輸帶寬，能在一個(gè)集群里擴(kuò)展到數(shù)百個(gè)節(jié)點(diǎn)。 HDFS 上的一個(gè)典型文件大小一般都在 G 字節(jié)至 T 字節(jié)。為了提高數(shù)據(jù)的吞吐量，在一些關(guān)鍵方面對(duì) POSIX的語(yǔ)義做了一些修改。比之?dāng)?shù)據(jù)訪問的低延遲問題，更關(guān)鍵的在于數(shù)據(jù)訪問的高吞吐量。 （ 2） 流式數(shù)據(jù)訪問 運(yùn)行在 HDFS 上的應(yīng)用和普通的應(yīng)用不同，需要流式訪問它們的數(shù)據(jù)集。我們面對(duì)的現(xiàn)實(shí)是構(gòu)成系統(tǒng)的組件數(shù)目是巨大的，而且任一組件都有可能失效，這意味著總是有一部分 HDFS 的組件是不工作的。 前提和設(shè)計(jì)目標(biāo) （ 1） 硬件錯(cuò)誤 硬件錯(cuò)誤是常態(tài)而不是異常。 HDFS 放寬了一部分 POSIX 約束，來實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。 HDFS 是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。 最后，監(jiān)控機(jī)群的工作就是為主服務(wù)器進(jìn)行負(fù)載均衡時(shí)提供各節(jié)點(diǎn)的狀態(tài)信息，并對(duì)節(jié)點(diǎn)進(jìn)行狀態(tài)控制，以使其正常、高效而穩(wěn)定的工作。 其次，當(dāng)用戶進(jìn) 行業(yè)務(wù)應(yīng)用時(shí)，由于并非簡(jiǎn)單操作，所以主服務(wù)器會(huì)根據(jù)各節(jié)點(diǎn)狀況進(jìn)行負(fù)載均衡，把最適于用戶應(yīng)用的應(yīng)用節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)分配給用戶，使用戶的操作達(dá)到最高效率。 系統(tǒng)工作流程 首先對(duì)于用戶的操作，云客戶端將進(jìn)行操作判斷，不同類型的操作將以不同方式交給服務(wù)器端進(jìn)行處理。 最后不能少的是文件管理模塊，這是相當(dāng)重要的，它將提供給用戶新建、刪除以及應(yīng)用文件等一系列問題的解決策略。 二是業(yè)務(wù)定制模塊，它是一個(gè)動(dòng)態(tài)的業(yè)務(wù)訂制模塊，隨時(shí)為用戶提供云腦可支持的服務(wù)事項(xiàng)，而用戶只需輕松點(diǎn)擊選擇，就可獲得他想要的應(yīng)用，構(gòu)造專屬于自己的個(gè)性化云腦。對(duì)于組織云腦系統(tǒng)的整體結(jié)構(gòu)和程序人員的具體實(shí)現(xiàn)來說，必然會(huì)有 4 個(gè)新模塊的產(chǎn)生。 經(jīng)過了注冊(cè) /登錄后的用戶便真正進(jìn)入了云腦的世界。 34 圖 18 系統(tǒng)功能分析 首先，當(dāng)用戶打開 Hadoop，做的第一件事情應(yīng)當(dāng)和我們?cè)谑褂闷胀ㄓ?jì)算機(jī)時(shí)一樣，就是登錄，所 以此處絕不可馬虎。 系統(tǒng)設(shè)計(jì) 系統(tǒng)整體架構(gòu) 下圖便是我們所要實(shí)現(xiàn)的系統(tǒng)架構(gòu)圖，最左邊的是用戶終端，也就是我們所說的云客戶端，不論是什么樣的設(shè)備，只要擁有瀏覽器，就可以像使用普通電腦一樣的使用云腦，所以瀏覽器也是我們不可缺少的一個(gè)部分。這些小計(jì)算量運(yùn)算服務(wù)只需在應(yīng)用節(jié)點(diǎn)機(jī)群或計(jì)算節(jié)點(diǎn)機(jī)群的某臺(tái)機(jī)器中完成即可。對(duì)于計(jì)算節(jié)點(diǎn)機(jī)群，它是由多組架構(gòu)完善的云計(jì)算機(jī)群所組成，其主要工作是處理超大運(yùn)算量要求的計(jì)算，并不提供小計(jì)算量服務(wù)。這兩個(gè)節(jié)點(diǎn)機(jī)群是完全按照主服務(wù)控制機(jī)群的任務(wù)控制流程運(yùn)行的，其本身不能擁有系統(tǒng)流程控制權(quán)。這里同時(shí)提出了一個(gè)新的概念 云盤，所謂云盤就是由云端主服務(wù)控制機(jī)群為云腦用戶所分配的、建立在存儲(chǔ)節(jié)點(diǎn)機(jī)群上的存儲(chǔ)空間，它雖不是用戶本地硬盤，但卻完全由用戶進(jìn)行應(yīng)用和管理，操作感與本地硬盤一致。 （ 2）存儲(chǔ)節(jié)點(diǎn)機(jī)群和應(yīng)用節(jié)點(diǎn)機(jī)群相當(dāng)于傳統(tǒng)計(jì)算機(jī)體系結(jié)構(gòu)中的存儲(chǔ)器部分，但又有所區(qū)別。它是由一組或多組主引導(dǎo)服務(wù)機(jī)群和多組分類控制機(jī)群所組成的機(jī)群系統(tǒng)。在云計(jì)算機(jī)中應(yīng)該具有 6 個(gè)組成成分：主服務(wù)控制機(jī)群、存儲(chǔ)節(jié)點(diǎn)機(jī)群、應(yīng)用節(jié)點(diǎn)機(jī)群、計(jì)算節(jié)點(diǎn)機(jī)群、輸入設(shè)備和輸出設(shè)備，如圖 17所示： 圖 17 下面，我們對(duì)云計(jì)算機(jī)的設(shè)計(jì)思想進(jìn)行具體的講解。 總的來說，私有云與公共云各有各的優(yōu)勢(shì)，對(duì)于一般的中小企業(yè)來說，公共云是一種比較務(wù)實(shí)的選擇，而對(duì)于有一定的規(guī)模，對(duì)安全指數(shù)要求較高的企業(yè)，私有云也不失為一種謹(jǐn)慎的選擇。 最后，從成本上，建立私有云必然是比使用公共云需要更多的成本支出。同時(shí)，由于私有云的私有性，可能在安全技術(shù)的支持上，主觀上或客觀上都很可能比公共云要薄弱。 其次，從安全系數(shù)上來說，私有云因?yàn)樵谖锢砩峡煽?，相比于不可控的公共云安全系?shù)在物理上看起來是要更高一些。 首先，從控制 范圍來說，私有云基本上是根據(jù)用戶的要求來確定數(shù)據(jù)存放的位置，而公共云則是由服務(wù)提供商根據(jù)服務(wù)的需要或成本預(yù)算等來確定數(shù)據(jù)存放的位置。但也正因?yàn)槿绱?，我們才有了將私有云與公共云進(jìn)行比較的意義。在這方面，私有云的適應(yīng)性比公有云超出很多，因?yàn)?IT 部門能完全控制私有云，所以他們能使私有云比公有云更好地與現(xiàn)有流程進(jìn)行整合。 （ 5）不影響現(xiàn)有 IT管理的流程 對(duì)大型企業(yè)而言，流程是其管理的核心，如果沒有完善的 流程，企業(yè)將會(huì)成為一盤散沙。 （ 4）支持定制和遺留應(yīng)用 因?yàn)楝F(xiàn)有公有云所支持應(yīng)用的范圍都偏主流，對(duì)一些定制化程度化高和遺留 31 應(yīng)用就很有可能束手無策，但是這些往往都屬于一個(gè)企業(yè)最核心的應(yīng)用，比如Mainframe， Unix 等平臺(tái)的應(yīng)用。 （ 2） SLA（服務(wù)質(zhì)量） 因?yàn)樗接性埔话阍谄髽I(yè)內(nèi)部，而不是在某一個(gè)遙遠(yuǎn)的數(shù)據(jù)中心中，所以當(dāng)公司員工訪問那些基于私有云的應(yīng)用時(shí)，它的 SLA 應(yīng)該會(huì)非常穩(wěn)定，不會(huì)受到網(wǎng)絡(luò)異常 的影響，比如上次“暴風(fēng)影音”事件，導(dǎo)致大規(guī)模的網(wǎng)絡(luò)中斷。所以短期而言，大型企業(yè)是不會(huì)將其 MissionCritical的應(yīng)用部署到公有云上。 29 企業(yè)所面臨的問題 （ 1） 全球企業(yè) IT 開銷大幅度增長(zhǎng)，如圖 14所示： 圖 14 （ 2） 數(shù)據(jù)中心的成本高，如圖 15所示： 圖 15 （ 3） 不同地區(qū)電力價(jià)格的差異，如圖 16 所示： 30 圖 16 私有云的優(yōu)勢(shì) （ 1）數(shù)據(jù)安全 雖然每個(gè)公有云的供應(yīng)商都對(duì)外宣稱，其服務(wù)在各方面都是非常安全，特別是在數(shù)據(jù)的管理。 （ 3）購(gòu)買私有云服務(wù)。 （ 2）購(gòu)買解決方案。 創(chuàng)建私有云的幾種模式 （ 1）獨(dú)自構(gòu)建。目前 Sony Picutures Imageworks 和 Stanford Genome Technology 已經(jīng)開始使用這些服務(wù)，一些公司利用這個(gè)軟件提供自己的云存儲(chǔ)服務(wù)。例如 ParaScale 公司發(fā)布云存儲(chǔ)軟件產(chǎn)品。 如果企業(yè)企業(yè)需要云計(jì)算的種種好處，例如按需使用，靈活的擴(kuò)展性等。一些大企業(yè)選擇這種云計(jì)算的方式建立自己的云計(jì)算平臺(tái)以支撐提供的服務(wù)或者內(nèi)部使用。這就等于使用云計(jì)算的企業(yè)自己建立的企業(yè)的內(nèi)部云。 私有云是企業(yè)內(nèi)部提供的云服務(wù)，在企業(yè)的防火墻內(nèi)，并能對(duì)其數(shù)據(jù)、安全性和服務(wù)質(zhì)量進(jìn)行有效地控制。亞馬遜的 彈性計(jì)算云則是托管式的云計(jì)算平臺(tái)，用戶可以通過遠(yuǎn)端的操作界面直接使用。而下面的兩個(gè)云計(jì)算的實(shí)現(xiàn)則為外部的開發(fā)人員以及中小公司提供了云計(jì)算的平臺(tái)環(huán)境，使得開發(fā)者能夠在 云計(jì)算的基礎(chǔ)設(shè)施之上構(gòu)建自己的新型網(wǎng)絡(luò)應(yīng)用。除了開放 有限的應(yīng)用程序接口，例如 GWT（ Google Web Toolkit）以及 Google Map API 等，Google 并沒有將云計(jì)算的內(nèi)部基礎(chǔ)設(shè)施共享給外部的用戶使用，上述的所有基礎(chǔ)設(shè)施都是私有的。云計(jì)算能夠?yàn)榇笠?guī)模的新一代網(wǎng)絡(luò)應(yīng)用打下良好的基礎(chǔ)。值得注意的是，通過這種云計(jì)算方式形成的應(yīng)用程序非常適合于多個(gè)用戶進(jìn)行共享以及協(xié)同編輯，為一個(gè)小組的人員進(jìn)行共同創(chuàng)作 帶來很大的方便性。 Google Docs 甚至可以用于監(jiān)控責(zé)任清晰、目標(biāo)明確的項(xiàng)目進(jìn)度。 Google Docs 是一個(gè)基于 Web 的工具，它有跟 Microsoft Office 相近的編輯界面，有一套簡(jiǎn)單易用的文檔權(quán)限管理，而且它還記錄下所有用戶對(duì)文檔所做的修改。由于借鑒了異步網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)?Web 技術(shù)，這些應(yīng)用程序給予用戶全新的界面感受以及更加強(qiáng)大的多用戶交互能力。 圖 12 圖 13 以上是 Google 內(nèi)部云計(jì)算基礎(chǔ)平臺(tái)的三個(gè)主要部分，除了這三個(gè)部分之外，Google 還建立了分布式程序的調(diào)度器，分布式的鎖服務(wù)等一系列相關(guān)的云計(jì)算服務(wù)平臺(tái)。 BigTable 的內(nèi)容按照行來劃 分，將多個(gè)行組成一個(gè)小表，保存到某一個(gè)服務(wù)器節(jié)點(diǎn)中。 26 圖 12給出了在 BigTable 模型中的數(shù)據(jù)模型。為了處理 Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)， Google 構(gòu)建了弱一致性要求的大規(guī)模數(shù)據(jù)庫(kù)系統(tǒng) BigTable。很多應(yīng)用程序?qū)τ跀?shù)據(jù)的組織還是非 常有規(guī)則的。在 Google 內(nèi)部，每天有上千個(gè) Map Reduce 的應(yīng)用程序在運(yùn)行。 25 圖 11 Map/Reduce 通過 “Map （映射） ” 和 “Reduce （化簡(jiǎn)） ” 這樣兩個(gè)簡(jiǎn)單的概念來參加運(yùn)算，用戶只需要 提供自己的 Map 函數(shù)以及 Reduce 函數(shù)就可以在集群上進(jìn)行大規(guī)模的分布式數(shù)據(jù)處理。這樣，非分布式專業(yè)的程序編寫人員也能夠?yàn)? 大規(guī)模的集群編寫應(yīng)用程序而不用去顧慮集群的可靠性、可擴(kuò)展性等問題。通過服務(wù)器端 24 和客戶端的聯(lián)合設(shè)計(jì)， Google File System 能夠針對(duì)它本身的應(yīng)用獲得最大的性能以及可用性效果?？蛻舳烁鞣?wù)器交互進(jìn)行元數(shù)據(jù)操作，但是所有的數(shù)據(jù)操作的通信都是直接和塊服務(wù)器進(jìn)行 的。主服務(wù)器管理文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息和文件到塊的映射信 息，以及塊當(dāng)前所在的位置。塊服務(wù)器把塊作為 linux 文件保存在本地硬盤上，并根據(jù)指定的塊句柄和字節(jié)范圍來讀寫塊數(shù)據(jù)。文件被分割成固定尺寸的塊。有的集群擁有超過 1000 個(gè)存儲(chǔ)節(jié)點(diǎn)，超過 300T 的硬盤空間，被不同機(jī)器上的數(shù)百個(gè)客戶端連續(xù)不斷地頻繁訪問著。 總之， GFS 是為 Google 應(yīng)用程序本身而設(shè)計(jì)的。例如，放松了對(duì) GFS一致性 模型的要求，這樣不用加重應(yīng)用程序的負(fù)擔(dān)，就大大簡(jiǎn)化了文件系統(tǒng)的設(shè)計(jì)。它要么被完整地執(zhí)行，要么完全不執(zhí)行）保證的焦點(diǎn)。對(duì)文件的隨機(jī)寫是幾乎不存在的。 (3) Google 文件系統(tǒng)中的文件讀寫模式和傳統(tǒng)的文件系統(tǒng)不同。另外文件系統(tǒng)中的文件含義與通常文件不同，一個(gè)大文件可能包含大量數(shù)目的通常意義上的小文件。需要通過軟件程序模塊，監(jiān)視系統(tǒng)的動(dòng)態(tài)運(yùn)行狀況，偵測(cè)錯(cuò)誤，并且將容錯(cuò)以及自動(dòng)恢復(fù)系統(tǒng)集成在系統(tǒng)中。主要體現(xiàn)在以下四個(gè)方面 : (1) 集群中的節(jié)點(diǎn)失效是一種常態(tài)，而不是一種異常。 GFS 與過去的分布式文件系統(tǒng)擁有許多相同的目標(biāo)，例如性能、可伸縮性、可靠性以及可用性。包括 Google 建立在集群之上的文 件系統(tǒng) Google File System，針對(duì) Google 應(yīng)用程序的特點(diǎn)提出的 Map/Reduce編程模式，分布式的鎖機(jī)制 Chubby 以及 Google 開發(fā)的模型簡(jiǎn)化的大規(guī)模 分布式數(shù)據(jù)庫(kù) BigTable。 22 從 2021 年開始， Google 連續(xù)幾年在計(jì)算機(jī)系統(tǒng)研究領(lǐng)域的最頂級(jí)會(huì)議與雜志上發(fā)表論文，揭示其內(nèi)部的分布式數(shù)據(jù)處理方法，向外界展示其使用的云計(jì) 算核 心技術(shù)。 典型云計(jì)算平臺(tái) Google 的云計(jì)算技術(shù)實(shí)際上是針對(duì) Google 特定的網(wǎng)絡(luò)應(yīng)