【文章內(nèi)容簡介】 解網(wǎng)絡(luò)連接，還需要專線做心跳監(jiān)測，當(dāng)主機 /應(yīng)用發(fā)生故障時， Octopus 會馬上監(jiān)測到，將故障情況向管理員報警，然后根據(jù)策略自動或手工快速地將應(yīng)用切換到過程的主 機。 重要說明的是，絕大多數(shù)容災(zāi)方案是支持主、備中心之間雙向數(shù)據(jù)復(fù)制和應(yīng)用切換的，并且支持多個不同物理地點間的容災(zāi)。 如何看待容災(zāi)的回報 一個容災(zāi)系統(tǒng)，由于需要 建立遠程災(zāi)備中心，因此，企業(yè)需要從軟件到硬件，進行多方面的投入。一個完整的容災(zāi)方案，大概要投資幾百萬，甚至上千 萬的人民幣。對企業(yè)來說，花這筆錢是否值得呢？ 對企業(yè)用戶而言，無論是傳統(tǒng)業(yè)務(wù)，還是新興業(yè)務(wù)，投資都要講究回報，投資到容災(zāi)系統(tǒng)上的回報，就是提高系統(tǒng)的可用性，給企業(yè)帶來的額外收益。以證券行業(yè)為例，現(xiàn)在系統(tǒng)的可用性一般能保證每年宕機 50 個小時 ，那么，企業(yè)會算一算，每年宕機 50 小時，會損失多少錢。如果用這些錢來追加投資，建立容災(zāi)系統(tǒng)，是否將損失減小。比如說，現(xiàn)在宕機 50 小時，要損失 1 千萬，那么，如果投資 1 千萬，能不能將宕機時間縮短到 1 小時。若能，從宕機 50 個小時到一個小時，減少的損失是多少，著實際上是量化分析。 而且，早先的傳統(tǒng)業(yè)務(wù)對系統(tǒng)的高可靠性沒有現(xiàn)在強。傳統(tǒng)的很多業(yè)務(wù)，比如手工業(yè)，甚至是證券行業(yè)，宕機幾個小時，損失銅子為幾百萬。但是，隨著電子商務(wù)的出現(xiàn)，使很多行業(yè)（尤其是金融領(lǐng)域）的業(yè)務(wù)出現(xiàn)了新的變化，從前固定的上班時間完成存取業(yè)務(wù)，現(xiàn)在可 以通過網(wǎng)絡(luò)，實現(xiàn) 24 小時網(wǎng)上存取，這就無形提高了對系統(tǒng)可用性的要求。因而，同樣是宕機一個小時，可損失卻在增加。金融、證券、電信等對可靠性要求高的企業(yè)，迫切地需要進行容災(zāi)，即使是日用百貨業(yè)也逐漸開始實施容災(zāi)方案。左表是美國日用百貨業(yè)的系統(tǒng)可用性與宕機時間、年宕機損失和金融業(yè)年宕機損失之間的關(guān)系。 在國內(nèi)，目前容災(zāi)系統(tǒng)中的 70%~80%都是在金融、銀行領(lǐng)域，幾乎所有的銀行都上了容災(zāi)方案。還有很多行業(yè)在逐漸的進入，如電信的計費系統(tǒng)，電力公司的計費系統(tǒng)、鐵路調(diào)度系統(tǒng)，國內(nèi)有部分電信部門已經(jīng)實施了容災(zāi)方案，還有大量的 電信行業(yè)目前正在認證過程中。 可用性 年宕機時間 日用百貨業(yè)年宕機損失 金融業(yè)年宕機損失 30 秒 950 美元 53750 美元 5 分鐘 9417 美元 537500 美元 52 分鐘 98000 美元 5390000 美元 小時 988750 美元 56000000 美元 小時 5000000 美元 280000000 美元 小時 10000000 美元 560000000 美元 180+小時 20200000+美元 1000000000+美元 450+小時 50000000+美元 3000000000+美元 （數(shù)據(jù)來源：亞美聯(lián)公司） 企業(yè)究竟需要什么 那么，從用戶角度來看，他們究竟需要什么樣的容災(zāi)方案呢？從總體上看，備份與恢復(fù)并不是一個簡單的技術(shù)，它應(yīng)該是一個完全滿足用戶需要的全面存儲解決方案。這種方案不僅僅可以保證災(zāi)難發(fā)生時間用戶系統(tǒng)的高可用性和數(shù)據(jù)的完整性。同時，整個方案應(yīng)該是自動地、智能化的完成備份和恢復(fù)，并且擁有簡單明了的管理界面，盡量減少人工干預(yù)和操作的復(fù)雜性，這些性能是所有用戶都需要的 。 容災(zāi)方案還應(yīng)該滿足用戶關(guān)于存儲速度，數(shù)據(jù)恢復(fù)速度和程度以及投資保護等方面的不同需求，這些需求會因用戶的行業(yè)和規(guī)模有所區(qū)別。比如在金融行業(yè)，數(shù)據(jù)的恢復(fù)必須在極短的時間內(nèi)完成，并且不能允許發(fā)生任何數(shù)據(jù)的丟失。但是在一個小型傳統(tǒng)企業(yè)中，各方面的需求可能會有所降低。也正是因為這個原因，國際標(biāo)準 SHARE78 將災(zāi)難恢復(fù)解決方案根據(jù)所達到的程度分為七級，即從低到高有七種不同層次的災(zāi)難復(fù)解決方案。企業(yè)可以根據(jù)數(shù)據(jù)的重要性以及需要恢復(fù)的速度和程度，來設(shè)計并實現(xiàn)各自的災(zāi)難恢復(fù)計劃。容災(zāi)方案也在不斷優(yōu)化改進。通過優(yōu)化傳輸， 遠程異地同步容災(zāi)方案，容災(zāi)方案正逐漸從高端企業(yè)走近中低端用戶，容災(zāi)方案也在向著小型化、低成本化發(fā)展。這一漲一降，使得今天能做容災(zāi)的企業(yè)越來越多，用得起容災(zāi)的企業(yè)和部門也越來越多。 計算機系統(tǒng)故障原因分析 第二章 西西 北北 電電 網(wǎng)網(wǎng) 容容 災(zāi)災(zāi) 項項 目目 的的 現(xiàn)現(xiàn) 狀狀 和和 可可 行行 性性 IT 業(yè)務(wù)現(xiàn)狀 目前， 西北電網(wǎng)業(yè)務(wù)支撐平臺正在規(guī)劃和實施階段，當(dāng)前采用了 2 臺互為雙機的多分區(qū) HP RX8640 作為核心數(shù)據(jù)服務(wù)器系統(tǒng)， 并配置 多臺 PC 服務(wù)器作為應(yīng)用服務(wù)器系統(tǒng)，這些核心服務(wù)器設(shè)備通過 2 臺互為冗余的 SAN 交換機通過冗余的光纖鏈路鏈接到 EMC 核心存儲陣列 CX340 上。 為保障業(yè)務(wù)數(shù)據(jù)的安全性和可靠性，在本地存儲局域網(wǎng)上配置了 EMC 快速備份恢復(fù)設(shè)備 EDL210，通過 Legato Networker 進行核心數(shù)據(jù)的備份，并能夠保障業(yè)務(wù)數(shù)據(jù)的快速恢復(fù)。 下圖為當(dāng)前存儲局域網(wǎng)拓撲圖： 容災(zāi)方案的可行性 目前 西北電網(wǎng)公司的核心業(yè)務(wù)正在 逐步上線， 傳統(tǒng)的分散業(yè)務(wù)通過 主機整合、存儲整合和網(wǎng)絡(luò)整合，逐漸整合為以 EMC 存儲為核心的存儲局域網(wǎng)系統(tǒng)，整合后西北電網(wǎng)的系統(tǒng)可以做到集中規(guī)劃、管理、監(jiān)控和負載調(diào)優(yōu)，可以提供統(tǒng)一的對外提供服務(wù) 窗口和品質(zhì)的一致性。 隨著 IT整合的 實現(xiàn)，傳統(tǒng)風(fēng) 險分散的多個業(yè)務(wù)環(huán)境 成 為一個完整的 IT平臺，這也造成 新的問題，如一旦因自然災(zāi)害、設(shè)備故障或人為因素對當(dāng)前系統(tǒng)造成影響，將 引起 局部或整個 計算機系統(tǒng)停頓 ，并導(dǎo)致 業(yè)務(wù)處理 的 中斷， 這 將會給 西北電力公司 造成巨大的經(jīng)濟損失和聲譽損害，而如果不能在短時間恢復(fù)的話，全局的業(yè)務(wù)將不能進行，將使電力業(yè)務(wù)都遭受一定影響。 當(dāng)前西北電網(wǎng)的本地主機業(yè)務(wù)和網(wǎng)絡(luò)節(jié)點系統(tǒng)均實現(xiàn)了雙機熱備或 負載均衡 ，當(dāng)某個 節(jié)點出現(xiàn)故障后，業(yè)務(wù)將自動或手動方式切換到冗余 節(jié)點， 業(yè)務(wù)不會因這些節(jié)點自身的故障導(dǎo)致業(yè)務(wù)的停滯， 但作為存放所有核心業(yè)務(wù)數(shù)據(jù)的存儲 陣列設(shè)備 ，依然存在單點故障，為了防范因硬件、軟件或人為因素造成 EMC 存儲陣列停止工作，基于存儲設(shè)備的容災(zāi)將勢在必行。 當(dāng)前西北電網(wǎng)公司在同城和異地均具備容災(zāi)機房環(huán)境，通過遠程鏈路，將本地 EMC 存儲陣列和遠程容災(zāi)數(shù)據(jù)中心的存儲陣列通過軟件方式實現(xiàn)支持存儲設(shè)備之間切換的容災(zāi)，可以很好的解決當(dāng)前存儲設(shè)備的單點故障隱患。 第三章 容容 災(zāi)災(zāi) 方方 案案 詳詳 細細 設(shè)設(shè) 計計 對同城容災(zāi)和異地容災(zāi)的比較 在容災(zāi)項目論證過程中，我們 建議首先確認我們對容災(zāi)系統(tǒng)的目標(biāo)期望值，目標(biāo)期望值包括對容災(zāi)系統(tǒng)的災(zāi)難 恢復(fù)的預(yù)期，一級容災(zāi)系統(tǒng) 能夠處理的災(zāi)難類型。 由于西北電 網(wǎng)當(dāng)前可以選擇本地容災(zāi)和異地容災(zāi)方式（且當(dāng)前本地容災(zāi)和異地容災(zāi)的鏈路均已具備），通過下表我們可以對兩種方式進行比較： 本地容災(zāi) 異地容災(zāi) 比較 鏈路和距離 同城 20KM以內(nèi) 光纖鏈路 異地 200KM 光纖、 ATM或其他鏈路 容災(zāi)方式 同步級容災(zāi) 異步級容災(zāi) 異步級容災(zāi)將根據(jù)鏈路質(zhì)量、延時和數(shù)據(jù)量等調(diào)整 異步時間間隔，不同的異步時間間隔所造成的數(shù)據(jù)丟失不同（ RPO 不同） RPO（數(shù)據(jù)丟失時間段） 無數(shù)據(jù)丟失 將出現(xiàn)數(shù)據(jù)丟失 由于異地容災(zāi)將造成一定數(shù)據(jù)的丟失，需要業(yè)務(wù)部門根據(jù)數(shù)據(jù)的丟失情況來調(diào) 整相關(guān)業(yè)務(wù)流程（如對丟失數(shù)據(jù)的人工處理等） RTO（業(yè)務(wù)中斷時間段） 較短時間 較長時間 均會造成業(yè)務(wù)的中斷 ，但 本地容災(zāi)切換方式簡單，操作性強，遠程容災(zāi)方式，當(dāng)生產(chǎn)中心出現(xiàn)故障后，首先需要 判斷故障的原因和切換的后果，否則對于假性災(zāi)難（沒有必要切換到容災(zāi)中心的情況），切換后將造成數(shù)據(jù)丟失的嚴重問題。 抵抗的災(zāi)難類型 水、火災(zāi)、電力故障、設(shè)備嚴重物理損壞、人為設(shè)備物理損壞等 地震、水、火災(zāi)、電力故障、設(shè)備嚴重物理損壞、人為設(shè)備物理損壞等 投資情況 一般 較高 實施復(fù)雜度 簡單 較復(fù)雜 其復(fù)雜度首先需 要進行容災(zāi)評估確認 技術(shù)成熟度 成熟 成熟 備注： 通過磁盤陣列復(fù)制級容災(zāi)方式，如沒有其他數(shù)據(jù)備份機制或數(shù)據(jù)鏡像機制，均無法抵抗人為或邏輯造成數(shù)據(jù)丟失，而這種災(zāi)難故障，我們可以通過本地或遠程數(shù)據(jù)備份或數(shù)據(jù)鏡像方式進行預(yù)防。 采用 MirrorView 同步 容災(zāi)方式 西北電力 業(yè)務(wù) ，實現(xiàn)核心業(yè)務(wù)系統(tǒng)的災(zāi)難備份。該容災(zāi)系統(tǒng)應(yīng)能實現(xiàn)備份中心與數(shù)據(jù)中心之間的互相容災(zāi)，即當(dāng)主中心故障、不可用時容災(zāi)備份中心將及時恢復(fù)主中心的業(yè)務(wù)并承擔(dān)主中心的各項生產(chǎn)職能，并確保容災(zāi)備份中心與主中心之間生產(chǎn)數(shù)據(jù)的完整性、一致性 及業(yè)務(wù)可 恢復(fù)性 。容災(zāi)中心不僅能夠保證數(shù)據(jù)中心數(shù)據(jù)備份，同時可以提供一個或多個業(yè)務(wù)系統(tǒng)的查詢和測試工作。 根據(jù) 西北電力公司 的實際情況和發(fā)展需要，我們對 西北電力公司 的災(zāi)難備份系統(tǒng)建設(shè)方案如下： 根據(jù)對多種遠程復(fù)制技術(shù)的比較，最終選定基于磁盤陣列的遠程數(shù)據(jù)復(fù)制方式， 建議在當(dāng)前數(shù)據(jù)量 雖然較小但 容災(zāi)距離都比較 遠 的情況下， 采用 異步 容災(zāi)方式 。 通過 CLARiiON 設(shè)備 的 MirrorView 遠程復(fù)制軟件功能，實現(xiàn) 數(shù)據(jù)復(fù)制。 容災(zāi)方案： 電力業(yè)務(wù) CX340 生產(chǎn)陣列 與 CX4480 備份陣列 做容災(zāi) 對當(dāng)前 數(shù)據(jù)中心 CX340 擴容， 當(dāng)前當(dāng)前容量從 5TB 擴展到 10TB。 CX340作為生產(chǎn)存儲 ，并配置 MirrorView/S 容災(zāi)管理軟件 ，可以滿足本地數(shù)據(jù)訪問和遠程數(shù)據(jù)復(fù)制的需要。 新增一臺 CX4480 存儲陣列作為容災(zāi)系統(tǒng)的容災(zāi)存儲設(shè)備，配置在容災(zāi)中心。 生產(chǎn)中心和容災(zāi)中心 存儲系統(tǒng)之間采用 EMC MirrorView/S 軟件 實現(xiàn)業(yè)務(wù)數(shù)據(jù)的復(fù)制，在數(shù)據(jù)中心的 IT 系統(tǒng)出現(xiàn)本中心無法自愈故障時整個生產(chǎn)系統(tǒng)可無縫切換至備份中心，實現(xiàn)最高可用的企業(yè)核心存儲數(shù)據(jù)平臺。 從性能方面分析，除了已建議的高性能存儲平臺和 MirrorView 容災(zāi)軟件外，我們還 需要考慮到主機端的 I/O 負載均衡問題，因此，在服務(wù)器端配置 EMC 的PowerPath負載均衡軟件，實現(xiàn)多個 I/O通道和路徑之間的負載均衡與容錯保護，使整個容災(zāi)存儲平臺的性能達到最優(yōu)。 在項目實施階段，也可以根據(jù)業(yè)務(wù)的實際情況，將容災(zāi)中心的 CX4480 作為生產(chǎn)存儲，并將當(dāng)前的 CX340 存儲上的數(shù)據(jù)遷移到 CX4480 上 （ CX4480相比 CX340，不僅在存儲 容量上 、 Cache 上 、 性能上，同時在 功能支持上，均優(yōu)于 CX340） 。 容災(zāi)方案說明 容災(zāi)系統(tǒng)對現(xiàn)有系統(tǒng)性能的影響 由于當(dāng)前數(shù)據(jù)量較小， 且 容災(zāi)距離 較近 ， 因此 本建議方案中推薦通過 EMC MirrorView/S 軟件實現(xiàn)遠程數(shù)據(jù) 同步 復(fù)制功能 ， EMC174。 MirrorView? 軟件可以在園區(qū)環(huán)境、國家范圍或在全球范圍內(nèi)提供高度可用的數(shù)據(jù)存儲。通過在 EMC CLARiiON174。 系統(tǒng)之間保持同步或異步數(shù)據(jù)鏡像， MirrorView 可為重要的業(yè)務(wù)功能確保數(shù)據(jù)可用性。 MirrorView 是基于陣列的， MirrorView 軟件運行在智能存儲設(shè)備 CX 上，其功能的實現(xiàn)完全與主機無關(guān)，對主機完全透明，不占用任何主機 CPU、主機I/O 通道、系統(tǒng)網(wǎng)絡(luò)資源，充分卸載主機 、網(wǎng)絡(luò)資源用于業(yè)務(wù)運行。 MirrorView 還集成有 EMC SnapView? 時間點快照軟件。 MirrorView 與SnapView 共同為在線數(shù)據(jù)可用性以及災(zāi)難恢復(fù)提供了一種獨特的解決方案。 在不增加現(xiàn)有系統(tǒng)風(fēng)險的基礎(chǔ)上，利用開放的設(shè)備及軟件，充分利用現(xiàn)有資源，節(jié)約投資。 首先由于 EMC 具有豐富的容災(zāi)項目實施經(jīng)驗，故本方案所采用的技術(shù)和設(shè)備不會對現(xiàn)有生產(chǎn)系統(tǒng)帶來任何系統(tǒng)風(fēng)險，而且會降低現(xiàn)有系統(tǒng)風(fēng)險。 EMC 遠程數(shù)據(jù)復(fù)制技術(shù)在國內(nèi)外也具有廣泛的應(yīng)用，在全球容災(zāi)市場上的份額占 50%以上。在本次建議方案 中，我們充分利用了現(xiàn)有的服務(wù)器、 存儲和網(wǎng)絡(luò)等現(xiàn)有資源。 本地復(fù)制加速備份，預(yù)防人為差錯和邏輯錯誤 采用 EMC Snapview 解決方案提高 電力業(yè)務(wù) 的業(yè)務(wù)連續(xù)性 。 降低生產(chǎn)系統(tǒng)備份窗口，應(yīng)對人為差錯和邏輯錯誤，防止 Rolling Disaster。 采用 Snapview解決方案后，所有的數(shù)據(jù)磁帶備份工作 ,可通過備份中心利用本地磁盤 快照 數(shù)據(jù)來完成，有效降低生產(chǎn)系統(tǒng)的備份窗口需求 ,大大延長生產(chǎn)系統(tǒng)的在線服務(wù)時間。 在沒有采用 EMC 智能化存儲之前，系統(tǒng)的磁帶備份只能通過主機系統(tǒng)來完成，這既增加了主機系統(tǒng)的負擔(dān)，又 影響了業(yè)務(wù)系統(tǒng)的正常運行。目前企業(yè)的數(shù)據(jù)備份工作都是在夜間進行一次，這種方式不僅不能隨時保存最新的業(yè)務(wù)數(shù)據(jù)，而且當(dāng)業(yè)務(wù)數(shù)據(jù)量很大或是備份工作出現(xiàn)不正常時極有可能影響業(yè)務(wù)第二天的正常開業(yè)。采用 EMC 的 Snapview 技術(shù)能夠完美地解決以上問題，實現(xiàn)數(shù)據(jù)快捷的定期備份，從而保證即使在日間這種備份工作也能實現(xiàn)。 Snapview 使系統(tǒng)和存儲管理者能夠在后臺狀態(tài)下，為主機和開放系統(tǒng)信息存儲器創(chuàng)建可獨立尋址快照 卷。 快照 卷建立后，通過命令可以與其生產(chǎn)卷分割