【正文】 }模型不匹配。這款產(chǎn)品被要求使用最新的技術和運行平臺，還得馬上交付。 從而 避免 將技術 或方法論 誤用于不適合的場景 ，這一點非常重要 。 Flickr發(fā)展了自己的 DevOps能力，使之能夠支撐業(yè)務部門 “每天部署 10次 ”的要求 ──如果一個組織要生產(chǎn)面向多種用戶、具備多樣功能的應用程序，其部署周期必然會很短。不過正因為這個潮流時差，也不難預測，兩三年后 ”敏捷運維 ”一定會像今天的 ”敏捷 ”一樣飛入百姓家。開發(fā)和運維，工作的環(huán)境不同，溝通的方式不同，使用的工具不同，通常還隸屬不同部門，沒有 點方法套路，說一句 ”你們要緊密協(xié)作 ”半點用都頂不上。從 2020年起，一陣被稱為 ”DevOps”的風潮從歐洲發(fā)端，迅速席卷了北美和澳洲 ──現(xiàn)在以 Flickr、 Twitter為代表的一干互聯(lián)網(wǎng)公司競相以快速發(fā)布、頻繁發(fā)布為榮：這廂 Flickr做個 PPT叫 ”每天 10次部署 ”，那邊 Twitter就在演講里有意無意地說 ”每天部署幾十次 ”。 集群配置說明 .................................................................... 錯誤 !未定義書簽。 Hadoop大記事 ........................................................................ 錯誤 !未定義書簽。 與 HDFS有關的地址及端口屬性 ......................................... 錯誤 !未定義書簽。 : Java heap space ............... 錯誤 !未定義書簽。 bailingout錯誤 !未定義書簽。 其它日常問題說明 .................................................................. 錯誤 !未定義書簽。 經(jīng)驗總結 ................................................................................ 錯誤 !未定義書簽。 7 系統(tǒng)維護 ...................................................................................... 錯誤 !未定義書簽。 算法介紹 ........................................................................... 錯誤 !未定義書簽。 HDFS ..................................................................................... 錯誤 !未定義書簽。 Mapreduce的運行狀態(tài)界面 ............................................. 錯誤 !未定義書簽。 停止 Hadoop ..................................................................... 錯誤 !未定義書簽。 Slave(60,245上 )配置 .............................................................. 錯誤 !未定義書簽。 4 Hadoop集群搭建過程手記 ............................................................ 錯誤 !未定義書簽。 偽分布式模式的操作方法 ........................................................ 錯誤 !未定義書簽。 安裝軟件 ........................................................................... 錯誤 !未定義書簽。 目的 ....................................................................................... 錯誤 !未定義書簽。 系統(tǒng)特點 ........................................................................... 錯誤 !未定義書簽。 使用場景 ........................................................................... 錯誤 !未定義書簽。 先決條件 ................................................................................ 錯誤 !未定義書簽。 下載 ....................................................................................... 錯誤 !未定義書簽。 配置 .................................................................................. 錯誤 !未定義書簽。 免密碼 SSH設置 ...................................................................... 錯誤 !未定義書簽。 初始化和啟動 hadoop集群 ....................................................... 錯誤 !未定義書簽。 測試 ....................................................................................... 錯誤 !未定義書簽。 直接的命令行查看 ............................................................. 錯誤 !未定義書簽。 HDFS的三個重要角色 ....................................................... 錯誤 !未定義書簽。 北京寬連十方數(shù)字技術有限公司 公開 內部公開 √ 機密 絕密 Hadoop框架下的 mapreduce ............................................. 錯誤 !未定義書簽。 Hadoop的系統(tǒng)監(jiān)控 ................................................................. 錯誤 !未定義書簽。 如何在一個 hadoop集群新增或刪除一些機器而不重啟 ............. 錯誤 !未定義書簽。 datanode啟動失敗，各 slave節(jié)點的 namespaceIDs與 masters不同 錯誤 !未定義書簽。 Too many fetchfailures .................................................... 錯誤 !未定義書簽。 解決 hadoop OutOfMemoryError問題： ............................. 錯誤 !未定義書簽。 與 MapReduce 有關的地址及端口屬性 .............................. 錯誤 !未定義書簽。 Hadoop的幾個主要子項目 ...................................................... 錯誤 !未定義書簽。 北京寬連十方數(shù)字技術有限公司 公開 內部公開 √ 機密 絕密 前言 身在 IT圈的你，可能已經(jīng)注意到了最近圈子 里的熱門詞語緊緊圍繞著以下幾個領域－云計算， nosql以及 DevOps, 與 Web2或者社會化網(wǎng)絡不同，上述三者并不是在網(wǎng)絡上產(chǎn)生內容或者消費內容的模型，事實上，它們是關于 構建和運營軟件系統(tǒng) 的模型。一說起做互聯(lián)網(wǎng)，你要是還在走倆月一個版本的發(fā)布周期呀，你都不好意思跟人打招呼 ──等你做出新版本，用戶都跑競爭對手那兒去啦。不過，辦法總比困難多：流程、技術、工具三管齊下，一點點改進現(xiàn)狀，最終達到交付與運維緊密無間的企業(yè)文化，至少已經(jīng)有先例告訴我們是可行的。所以呢，咱們得從現(xiàn)在開始早做準備 ──比如看看本期《架構師》精選的 幾篇文章，先大概了解一下這 ”敏捷運維 ”講的到底是個啥，然后開始做一點思考和分享。 DevOps的冉冉升起主要是由于商業(yè)應用以及運營之間的巨大鴻溝，大程度上歸也很因于 IaaS云計算 的快速增長，在這樣的環(huán)境中，少數(shù)幾個管理員管理著成百上千的主機，而沒有自動化，這些工作是不可能完成的。 一個熟悉的例子：部署軟件產(chǎn)品 下面是一個大家都基本熟悉的例子：部署軟件產(chǎn)品。于是開發(fā)部門沒日沒夜的加班、趕代碼 (cuts code like crazy），終于如期完成了任務。 3) 這款產(chǎn)品的 { 報告，安全，監(jiān)視，備份，服務提供 } 我們搞不懂 ，所以沒法把它做成實際可用的產(chǎn)品。而開發(fā)部門的回應基本上都是： 1) 這不是我們的錯 —— 我們的代 碼非常完美 —— 而是（運維部門的）部署做的太差勁了。終極的失敗。 什么是 DevOps？ 望文生義， 從名字上不難想到 DevOps是由 “ Development” 和 “ Operations” 兩個英文 北京寬連十方數(shù)字技術有限公司 公開 內部公開 √ 機密 絕密 單詞合并而成 ， 你也能猜個八九不離十，它就是在說 研發(fā)團隊 與 運維團隊 之間的那點事兒。 可以把 DevOps看作 開發(fā)（軟件工程） 、 技術運營 和 質量保障（ QA） 三者的交集。還有很多人雖然沒有提及 “DevOps”，但卻在遵循著類似的理念。 DevOps不是個技術問題，而是個業(yè)務問題 當然， DevOps 不乏反對者。在這里，我將嘗試澄清這些誤解： DevOps 不是個技術問題。這里正是 IT 所有不同功能所發(fā)揮作用的地方。從表面上看，每個人都在僅僅為自己工作。想想 吧，有誰會傻到給愛好付薪水呢。但是敏捷和 DevOps 是兩個截然不同的事物。但是，我們必須記?。汗ぞ呤冀K只是工具。但是，在爭論究竟是 Puppet 好還是 Chef 更好（譯者注： Puppet、 Chef都是開源的系統(tǒng)配置管理工具），應該圍繞文件還是圍繞包部署之前，也許我們更應該做的是：讓所有人都知道為 什么需要這些工具以及期望中的 業(yè)務流程改進是什么，這才是重點！ 北京寬連十方數(shù)字技術有限公司 公開 內部公開 √ 機密 絕密 既然 DevOps是關于業(yè)務流程的，那么為什么叫它 “DevOps”呢？ 在我看來，早期 DevOps 的一個不足之處是沒有直接地明確 DevOps 問題的真實范圍，即它的問題域到底有多大。 如上圖所示，在開發(fā)和運維之間存在著一面混亂之墻，在這種情況下，大部分早期DevOps 的注意力都放在在改善 部署活動 上。有時， DevOps 也指代開發(fā)基礎設施軟件以及軟件部署。 6) 架構師、開發(fā)者、測試人員、產(chǎn)品經(jīng)理、項目經(jīng)理五位一體 ? 我的個人經(jīng)驗是，在 DevOps團隊中， 個人／團隊更有舍我其誰的氣質，指定優(yōu)先級，找出依賴，對意料之外的事情做出響應，管理資源，所有一切都被同一個團隊中的不同個體完成。 9) 先手動，再自動 在我的經(jīng)驗里，一個 DevOps 任務常常是首先 手工完成，在稍后自動化，而在開發(fā)人員的世界里，寫程序之前很少還存在一個手工過程。例如這會導致以下錯誤端點：你是一個 DBA？或者是一個安全專家？那么不用擔心 DevOps，因為那是 DevOps 團隊的問題。為了滿足這些要求， IT組織需要強有力的流程、技術和人員作為保障 ，而 人們 也 越來越意識到傳統(tǒng)意義上的 北京寬連十方數(shù)字技術有限公司 公開 內部公開 √ 機密 絕密 開發(fā)行為和運維行為存在脫節(jié)現(xiàn)象，從而導致沖突和低效，因此 DevOps應運而生。軟件開發(fā)者 ── 尤其是面對交付壓力的軟件開發(fā)者 ── 常常對 “最后一公里 ”視而不見。謝福爾（ Andrew Shafer）所言， 在開發(fā)和運維之間存在一面 “混亂之墻 ”。因此他們被鼓勵盡可能進行變革。我們已經(jīng)多次聽到過如下統(tǒng)計數(shù)字：在所有宕機事件中有 80%情況是源于自殺式的改變。 更糟糕的是， 開發(fā)和運維團隊通常處于公司組織架構的不同部分 ，通常具有不同管理者的和競爭關系，而且通常工作在不同的地點。 當應用程序變動需要從開發(fā)團隊推向運維團隊時，混亂之墻的存在則將變得更加 明顯。后者拿到該版本產(chǎn)品后開始準備將其部署。 運維人員然后開始進行他們自認為正確的部署過程。而開發(fā)人員則會回應稱該產(chǎn)品在他們的環(huán)境下運行良好，因此一定是運維人員在部署的過 程中做錯了什么。