【正文】 1 Fault Tolerance Chapter 7 2 ?容錯性簡介 ?進(jìn)程恢復(fù) ?可靠的客戶 服務(wù)器通信 ?可靠的組通信 ?分布式提交 ?恢復(fù) 3 容錯性簡介 ?分布式系統(tǒng)區(qū)別于單機(jī)系統(tǒng)的一個特性是它可能部分失效。當(dāng)分布式系統(tǒng)中的一個組件發(fā)生故障時就可能產(chǎn)生部分失效。這個故障也許會影響到其他組件的正確操作，但同時也有可能完全不影響其他組件。而非分布式系統(tǒng)中的故障通常會影響到所有的組件，可能很容易就使整個應(yīng)用程序崩潰。 ?分布式系統(tǒng)設(shè)計中的一個重要目標(biāo)是以這樣的方式來構(gòu)造系統(tǒng)：它可以從部分失效中自動恢復(fù)，而且不會嚴(yán)重地影響整體性能。特別是，當(dāng)故障發(fā)生時，分布式系統(tǒng)應(yīng)該在進(jìn)行恢復(fù)的同時繼續(xù)以可接受的方式進(jìn)行操作，也就是說，它應(yīng)該能容忍錯誤，在發(fā)生錯誤時某種程度上可以繼續(xù)操作。 4 容錯性簡介 ?要理解容錯在分布式系統(tǒng)中的作用，首先需要深入了解分布式系統(tǒng)中的容錯到底意味著什么。容錯與被稱為可靠的系統(tǒng) (dependable system)緊密相關(guān)?？煽啃允且粋€術(shù)語，它包含了分布式系統(tǒng)中很多有用的需求，列舉以下： ?可用性 ?可靠性 ?安全性 ?可維護(hù)性 5 容錯性簡介 ?可用性被定義為系統(tǒng)的一個屬性，它說明系統(tǒng)已準(zhǔn)備好，馬上就可以使用。通常，它指在任何給定的時刻，系統(tǒng)都可以正確地操作，可根據(jù)用戶的行為來執(zhí)行它的功能。換句話說，高度可用的系統(tǒng)在任何給定的時刻都能及時地工作。 ?可靠性是指系統(tǒng)可以無故障地持續(xù)運(yùn)行。與可用性相反，可靠性是根據(jù)時間間隔而不是任何時刻來進(jìn)行定義的。高度可靠的系統(tǒng)可以在一個相對較長的時間內(nèi)持續(xù)工作而不被中斷。這很微妙，但是與可用性相比，這是一個重要的不同。 6 容錯性簡介 ?安全性 是指明在系統(tǒng)偶然出故障的情況下正確操作而不會造成任何災(zāi)難。例如，很多進(jìn)程控制系統(tǒng)，比如那些用來控制核電站或把人送入太空的控制系統(tǒng)，就必須提供高度的安全性。這樣的控制系統(tǒng)即使只是非常短時間瞬時故障，結(jié)果也將是災(zāi)難性的。過去的很多例子 (以后也還會有更多的例子 )都說明了要建立安全的系統(tǒng)是多么困難。 ?可維護(hù)性 是指發(fā)生故障的系統(tǒng)被恢復(fù)的難易程度。高度可維護(hù)的系統(tǒng)可能具有高度的可用性，特別是在可以在探測到故障并自動恢復(fù)時。但是，像我們在本章后面將看到的那樣，從故障中自動恢復(fù)說起來簡單，做起來就難了。 7 容錯性簡介 ?當(dāng)一個系統(tǒng)不能兌現(xiàn)它的承諾時就被認(rèn)為是失敗的。尤其是，如果一個分布式系統(tǒng)被設(shè)計為它為為它的用戶提供大量的服務(wù)，當(dāng)這些服務(wù)中的一個或多個不能被 (完整地 )提供時，系統(tǒng)就發(fā)生故障了。而錯誤是系統(tǒng)狀態(tài)的一部分，它可能會導(dǎo)致故障發(fā)生。例如，當(dāng)從網(wǎng)絡(luò)上傳輸數(shù)據(jù)包時，可能有一些數(shù)據(jù)包在到達(dá)接收者時已經(jīng)被破壞了。在這種環(huán)境下，被破壞了意味著接收者可能錯誤地得到某位的值 (例如把 0讀成 1)，甚至無法探測到有什么東西到達(dá)了。 8 容錯性簡介 ?造成錯誤的原因被稱為故障 (fault)。無疑，找到是什么引起了錯誤是很重要的。例如，不好的傳輸介質(zhì)可能很容易使得數(shù)據(jù)包被破壞。在這種情況下要解決故障是相對容易的，但是無線網(wǎng)絡(luò)中的傳輸錯誤可能是由惡劣的天氣條件引起的。要改變天氣來減少或防止錯誤是不可能的。 ?建立一個可靠的系統(tǒng)與控制故障緊密相關(guān)。防止、解決和預(yù)報故障三者之間是有差別的 (Lapire 1995)。對我們來說最重要的問題是容錯 (fault tolerance)，它意味著系統(tǒng)即使在發(fā)生故障時也能提供服務(wù)。 9 容錯性簡介 ?故障通常被分為暫時的、間歇的和持久的。暫時故障只發(fā)生一次，然后就消失了，即使重復(fù)操作也不會發(fā)生。 ?間歇故障發(fā)生，消失不見，然后再次發(fā)生，如此反復(fù)進(jìn)行。連接器接觸不良通常會造成間歇故障。間歇故障會造成情況的惡化，因?yàn)樗鼈兒茈y診斷。通常當(dāng)解決故障的人到來時系統(tǒng)工作良好。 ?持久故障是那些直到故障組件被修復(fù)之前持續(xù)存在的故障。芯片燃燒、軟件錯誤和磁盤頭損壞都是持久性故障的例子。 10 典型故障 ?發(fā)生故障的系統(tǒng)不能充分地提供所設(shè)計的服務(wù)。如果我們把分布式系統(tǒng)視為一個彼此之間且與它們的客戶進(jìn)行通信的服務(wù)集，那么不能充分提供服務(wù)就意味著服務(wù)器、通信通道或兩者都不能正常地進(jìn)行工作。但是，出現(xiàn)故障的服務(wù)器本身并不總是我們應(yīng)該查找錯誤的地方。如果這樣的服務(wù)器要依賴其他服務(wù)器才能充分提供它的服務(wù)，那么錯誤的原因就可能需要到別的地方去尋找。 ?這樣的依賴關(guān)系大量出項在分布式系統(tǒng)中。如果一個文件服務(wù)器的設(shè)計目的是提供高度可用的文件系統(tǒng)，那么失效的磁盤會使該服務(wù)器運(yùn)行困難。如果這樣的文件服務(wù)器是分布式數(shù)據(jù)庫的一部分，那么整個數(shù)據(jù)庫的正常工作都將被打亂，因?yàn)橹挥幸徊糠謹(jǐn)?shù)據(jù)真正可以訪問。 11 典型故障 圖 不同類型的故障 故障類型 說明 崩潰性故障 服務(wù)器停機(jī)，但是在停機(jī)之前工作正常 遺漏性故障 接收故障 發(fā)送故障 服務(wù)器不能響應(yīng)到來的請求 服務(wù)器不能接收到來的消息 服務(wù)器不能發(fā)送消息 定時故障 服務(wù)器的響應(yīng)在指定的時間間隔之外 響應(yīng)故障 值故障 狀態(tài)轉(zhuǎn)換故障 服務(wù)器的響應(yīng)不正確 響應(yīng)的值錯誤 服務(wù)器偏離了正確的控制流 隨意性故障 服務(wù)器可能在隨意的時間產(chǎn)生隨意的響應(yīng) 12 典型故障 ?如果服務(wù)器過早停機(jī)但在停止之前工作正常，就發(fā)生了崩潰性故障。崩潰性故障的一個重要方面是，一旦服務(wù)器停機(jī)，就不再提供任何服務(wù)。崩潰性故障的一個典型例子是操縱系統(tǒng)崩潰，這時只有一個解決方法：重新啟動。雖然人們期望個人計算機(jī)系統(tǒng)能正常運(yùn)行，但它經(jīng)常遭遇崩潰性故障。在這個意義上說，把復(fù)位按鈕從機(jī)箱背后轉(zhuǎn)移到前面是很有道理的?？赡苡幸惶爝€會把它移到背后，甚至完全去掉。 ?當(dāng)服務(wù)器不能對請求進(jìn)行響應(yīng)時就發(fā)生遺漏性故障。導(dǎo)致這種問題可能有多種原因。在發(fā)生接收遺漏性故障的情況下，首先服務(wù)器可能永遠(yuǎn)不會接收到請求。注意，這可能是由于盡管在客戶和服務(wù)器之間正確地建立起連接，但是沒有線程監(jiān)聽到來的請求。接收遺漏性故障通常不會影響到服務(wù)器的當(dāng)前狀態(tài)，因?yàn)榉?wù)器不知道有消息發(fā)送給了它。 13 典型故障 ?與此類似，如果服務(wù)器能正常工作，但是在發(fā)送響應(yīng)時失敗，則產(chǎn)生發(fā)送遺漏性故障。例如，當(dāng)發(fā)送緩沖區(qū)溢出而服務(wù)器又沒有為這樣的情況做好準(zhǔn)備時就發(fā)生此類故障。注意，與接收遺漏性故障，服務(wù)器現(xiàn)在的狀態(tài)可能說明它已經(jīng)完成了對客戶的服務(wù)。因此，如果響應(yīng)發(fā)送失敗，那么服務(wù)器可能需要為客戶重新發(fā)送先前的請求而做好準(zhǔn)備。 ?另外一種遺漏性故障與通信無關(guān)，可能由諸如無限循環(huán)或不正確的內(nèi)存管理的軟件錯誤引起，這時服務(wù)器的狀態(tài)被稱為 “ 掛起 ” 。 ?另外一種故障類型與時間有關(guān)。如果響應(yīng)是在指定的實(shí)時間隔之外，就發(fā)生了定時故障。 14 典型故障 ?一種嚴(yán)重的故障類型是響應(yīng)故障，就是說服務(wù)器的響應(yīng)不正確?？赡馨l(fā)生兩種響應(yīng)故障。在值故障的情況下，服務(wù)器為請求提供錯誤的響應(yīng)，例如搜索引擎系統(tǒng)返回了與使用的搜索項無關(guān)的 Web頁面，就是這種情況。 ?另外一種故障稱為狀態(tài)轉(zhuǎn)換故障。當(dāng)服務(wù)器對到來的請求做出意想不到的響應(yīng)時就發(fā)生這種故障。例如，如果服務(wù)器接收到一個它不能識別的信息，也沒有采取措施來處理這樣的信息，那么就會發(fā)生狀態(tài)轉(zhuǎn)換故障。特別是，發(fā)生故障的服務(wù)器可能會錯誤地采取一種從來沒有初始化的默認(rèn)行為來進(jìn)行處理，此時就發(fā)生這種故障。 15 典型故障 ?最嚴(yán)重的故障是隨意性故障，也被稱為拜占庭故障。實(shí)際上，當(dāng)發(fā)生隨意性故障時，客戶應(yīng)該做好最壞的準(zhǔn)備。特別是，服務(wù)器可能產(chǎn)生它從來沒有產(chǎn)生過的輸出，但是又不能檢測出錯誤。更壞的情況是發(fā)生故障的服務(wù)器惡意地與其他服務(wù)器共同工作來產(chǎn)生惡意的錯誤結(jié)果。這種情況說明了為什么談到可靠系統(tǒng)時安全被認(rèn)為是一個重要的需求。 16 使用冗余來掩蓋故障 ?如果系統(tǒng)是容錯的，那么它能做的最好的事情就是對其他進(jìn)程隱藏故障的發(fā)生。關(guān)鍵技術(shù)是使用冗余來掩蓋故障。有三種可能：信息冗余、時間冗余和物理冗余。文獻(xiàn) (Johnson 195)。在信息冗余中，添加額外的位可以使錯亂的位恢復(fù)正常。例如可以在傳輸?shù)臄?shù)據(jù)中添加一段 Hamming碼來從傳輸線路上的噪聲中恢復(fù)數(shù)據(jù)。 17 使用冗余來掩蓋故障 ?在時間冗余中，執(zhí)行一個動作，如果需要就再次執(zhí)行。使用事務(wù)是這種方法的例子。如果一個事務(wù)中止，那么它就可以無害地重新執(zhí)行。當(dāng)錯誤是臨時性或間歇性時，時間冗余特別有用。 ?在物理冗余中，通過添加額外的裝備或進(jìn)程使系統(tǒng)作為一個整體來容忍部分組件的失效或故障成為可能。物理冗余可以在硬件上也可以在軟件上進(jìn)行。例如，可以在系統(tǒng)中添加額外的進(jìn)程，這樣如果少數(shù)進(jìn)程崩潰，系統(tǒng)還是可以正常工作。換句話說，通過冗余的進(jìn)程可以獲得高度容錯性。 18 使用冗余來掩蓋故障 三倍的模塊冗余 19 ?容錯性簡介 ?進(jìn)程恢復(fù) ?可靠的客戶 服務(wù)器通信 ?可靠的組通信 ?分布式提交 ?恢復(fù) 20 進(jìn)程恢復(fù) ?已經(jīng)討論了容錯的基本問題，現(xiàn)在我們集中討論在分布式系統(tǒng)中如何獲得容錯性的問題。首先要討論的主題是防止進(jìn)程失敗，這是通過把進(jìn)程復(fù)制到組中來獲得的。在下面的內(nèi)容中，我們考慮進(jìn)程組中的一般設(shè)計問題，并討論容錯組到底是什么。我們也將討論當(dāng)一個或多個程度不能給出正確的回答時，如何在進(jìn)程組中達(dá)到一致。 21 進(jìn)程恢復(fù) ?容忍失敗進(jìn)程的關(guān)鍵方法是把多個同樣的進(jìn)程組織到一個組中。所有組都具有的關(guān)鍵特性是當(dāng)信息發(fā)送到組本身時，組中的所有成員都接收它。通過這種方式，如果組中的一個進(jìn)程失敗，其他的一些進(jìn)程可以接管它。 ?進(jìn)程組可以是動態(tài)的?？梢詣?chuàng)建新的組也可以刪除舊的組。在系統(tǒng)操作過程中，一個進(jìn)程可以加入一個組也可以離開一個組。一個進(jìn)程可以同時是多個組的成員。因此需要一些機(jī)制來管理組和組的成員。 ?引入組的目的在于允許把進(jìn)程的集合作為單一的抽象概念來處理。這樣，一個進(jìn)程就可以把消息發(fā)送給一個服務(wù)器組而不用知道有多少個進(jìn)程以及它們在哪里，而這些可以在兩次調(diào)用之間進(jìn)行改變。 22 平等組與等級組 ?不同的組之間一個重要的區(qū)別在于它們的內(nèi)部結(jié)構(gòu)。在一些組中，所有的進(jìn)程都是平等的。沒有指揮，所有的決定都是共同做出的。在其他的組中存在一些等級關(guān)系。例如，一個進(jìn)程是協(xié)調(diào)者而其他進(jìn)程都是工作者。在這種模式中，當(dāng)外部客戶或一個工作者產(chǎn)生一個工作請求時，請求被發(fā)送給協(xié)調(diào)者。協(xié)調(diào)者決定哪個