【導讀】XX省XX公司BOSS容災系統(tǒng)技術建。YY公司科技（中國）有限公司。XXX公司（）二期擴容改造及容。災工程項目容災中心

　　

【正文】 生改變或交易的原子操作發(fā)生變化時，兩個中心內嵌的復制代碼必須同步更新，從而增加同時同步維護多個外部系統(tǒng)的要求，否則會發(fā)生交易復制缺失或交易復制不完整的錯誤。由于需要重新初始化復制過程、重新測試復制機制，將增加系統(tǒng)升級的周期，增大新業(yè)務投產(chǎn)的風險。 當生產(chǎn)數(shù)據(jù)發(fā)生結構性變化時，這種結構性變化往往不能通過 交易復制受到傳輸?shù)疆惖刂行?；此時必須終止交易復制機制，在異地中心進行同樣的數(shù)據(jù)結構改變。從而要求系統(tǒng)管理人員實際上維護兩個生產(chǎn)系統(tǒng)。 基于應用的數(shù)據(jù)復制技術特點：基于應用的數(shù)據(jù)復制是由應用系統(tǒng)控制的，所以應用對流程的控制力度較強，靈活性大；但基于應用系統(tǒng)的復制對應用系統(tǒng)開發(fā)要求較高，在一定程度上增加了應用的復雜程度。 XX 省 XX 公司 BOSS 容災系統(tǒng)技術建議書 YY 公司 科技 （中國） 有限公司 22 復制技術比較 以上介紹的復制方式，在容災系統(tǒng)的建設中都有應用，在選擇時應根據(jù)具體軟硬件環(huán)境，下表對以上幾種復制作一個比較： 技術 特色 存儲級復制 第三方數(shù)據(jù)庫復制技術 應用復 制 備注 基于磁盤陣列 基于邏輯卷 復制 距離 同步 裸光纖 35KM DWDM 100KM 100KM 不適用 不適用 異步 無限制 無限制 無限制 無限制 數(shù)據(jù)庫 100%可用 同步模式可用性高；異步模式不能100%保證可用 同步模式可用性高；異步模式不能100%保證可用 100%保證可用 100%保證可用 恢復時間指標 RTO 一小時左右 一小時左右 20 分鐘 秒級 存儲級復制數(shù)據(jù)庫啟動時間要視當時數(shù)據(jù)庫配置、臟數(shù)據(jù)量等情況而定。 數(shù)據(jù)恢復時 間點RPO 分鐘級或零 丟失 丟失至少一個交易 幾個交易 丟失一個LOG 帶寬需求 大 大 較小 小 數(shù)據(jù)復用 需要額外空間 需要額外空間 方便 更方便 投資 大 較大 較小 小 維護復雜度 小 小 較小 大 誤操作 無法挽回 無法挽回 較好 好 數(shù)據(jù)的一致性 可保證 可保證 可保證 可保證 對主機性能的影響 同步模式影響大； 異步模式影響小 同步模式影響大； 異步模式影響小 影響小 影響大 XX 省 XX 公司 BOSS 容災系統(tǒng)技術建議書 YY 公司 科技 （中國） 有限公司 23 數(shù)據(jù)恢復技術 從上面的分析可以看出，無論采用哪種數(shù)據(jù)復制技術都無法保證數(shù)據(jù)不丟失，對于 RPO＝ 0 的應用系統(tǒng)（如營業(yè)系統(tǒng)），需要采用相應的數(shù)據(jù)恢復技術實現(xiàn)已丟失數(shù)據(jù)的再生。 數(shù)據(jù)恢復的關鍵是從什么時刻開始進行數(shù)據(jù)恢復。 對于一個應用級的 BOSS 容災系統(tǒng)來說，一旦確定了恢復數(shù)據(jù)目標（ Recovery Point Objective RPO）和恢復時間目標（ Recovery Time Objective RTO）之后，最重要的是確定一個全局控制的檢查點 CheckPoint,用來控制各個子系統(tǒng)的數(shù)據(jù)在邏輯上的一致性。否則即使各個子系統(tǒng)都達到自身的目標（ RTO、 RPO），但是由于各個子系統(tǒng)數(shù)據(jù)的關 聯(lián)性，最終無法拼湊成為一個完整的 BOSS 應用系統(tǒng)，應用級容災的目標無法完成，最后只是達到了數(shù)據(jù)級容災的目標。 容災系統(tǒng)數(shù)據(jù)恢復的問題最終可以理解成在某些點 (CheckPoint)上， BOSS 各個子系統(tǒng)在邏輯上的一致性。在災難發(fā)生的時候，整個系統(tǒng)能夠從某個CheckPoint 開始恢復。下圖描述了災難發(fā)生時，單個子系統(tǒng)中 CheckPoint 的作用。 生產(chǎn)系統(tǒng) 容災系統(tǒng)A1A2A0 A0A1A2A39。2A39。2A39。3A39。4B3B2B1B0注釋： A0：整個系統(tǒng)的 CheckPoint，與其他子系統(tǒng)的共用； A1：各個子系統(tǒng)自身的 CheckPoint，每個子系統(tǒng)可以取不同的值； A2：系統(tǒng)崩潰點； XX 省 XX 公司 BOSS 容災系統(tǒng)技術建議書 YY 公司 科技 （中國） 有限公司 24 A’ 2：子系統(tǒng)檢查開始點（大于 A2）； A’ 3：子系統(tǒng)檢查結束，恢復開始； A’4 ：子系統(tǒng)恢復完畢； B0：和整個系統(tǒng) CheckPoint 點 A0 的差異； B1：子系統(tǒng)崩潰時和容災端的差異； B2：子系統(tǒng)檢查時間； B3：系統(tǒng)啟動后恢復數(shù)據(jù)所用時間 其中： A’ 4－ A’ 2=RTO； 從上圖我們可以看到，只要恢復差異值 B1，對子系統(tǒng)本身來說就可以到應用級容災的目的，但是對整個系統(tǒng)來說，恢復 B1 有時只能到達數(shù)據(jù)級別容災的目的 ,具體原因請見下圖的分析。 子系統(tǒng)S 1 容災子系統(tǒng)S 1A1A2A0 A0A1A2A39。2A39。3A39。4B3B2B1B0子系統(tǒng)S 2 容災子系統(tǒng)S 2A1 A1B0A0 A0A39。2A39。3A39。4B3B2B1A2 A2D1D2 注釋： D1:子系統(tǒng)恢復量差異 D2：子系統(tǒng) S2 的 B1 假設子系統(tǒng) S1 和子系統(tǒng) S2 都只恢復 B1，在子系統(tǒng) S1 和子系統(tǒng) S2沒有交互的情況下，各自恢復 B1 之后，系統(tǒng)再次達到邏輯上的一致性，應用級容災的目標就可以到達。但對于 BOSS 系統(tǒng)來說，各個系統(tǒng)之間存在大量的數(shù)據(jù)交換，所以這種數(shù)據(jù)邏輯上的一致性就不可能達到。 比如，在 D1 這個時間段中，存在 S1 到 S2 的輸入，這樣 S1 在 D1 這個時間段的向 S2的輸出會有兩份，同時在 D2 這個時 間段中，存在 S2到 S1 的輸入，這 XX 省 XX 公司 BOSS 容災系統(tǒng)技術建議書 YY 公司 科技 （中國） 有限公司 25 樣 S2 在 D2 這個時間段的向 S1 的輸出也會有兩份，這樣都會導致數(shù)據(jù)恢復的失敗。由于系統(tǒng) S1 和系統(tǒng) S2 的 A1 不同，這種情況下只有兩個子系統(tǒng)都回退到 A0才能到達邏輯上的完整性。 對于只存在 S1 到 S2 的輸入的情況，可以先從 S1 的 A1恢復， S1 的恢復完成之后，在把 S2 從 A0 恢復，而且 A0 到 A2 期間所有 S1到 S2 的輸入必須做一次REDO 操作?；蛘邇蓚€子系統(tǒng)都回退到 A0 開始恢復。 同樣對于只存在 S2 到 S1的輸入的情況，可以先從 S2 的 A1 恢復， S2 的恢復完成之后，在把 S1 從 A0恢復，而且 A0 到 A2 期間所有 S2 到 S1 的輸入必須做一次 REDO 操作。或者兩個子系統(tǒng)都回退到 A0開始恢復。 理論上講 B 越小越好，但是這樣的代價是，隨著期望值 B的減小，風險（投資大小、實施難易程度等）成級數(shù)上升。 通過對 XX 省 BOSS 系統(tǒng)的分析，我們建議各個子系統(tǒng)設置以下兩種CheckPoint 點，即 A0（系統(tǒng)級的 CheckPoint）、 A1（子系統(tǒng)級的 CheckPoint），具體情況如下： ? 將 A0設置為天，這樣即使出現(xiàn)錯誤，我們可以只對崩潰當天的數(shù)據(jù)進行恢復；其余數(shù)據(jù)可以啟動流程重新處理，從而完整的恢復數(shù)據(jù)； ? 每天凌晨（ 1點左右），設置斷點，獲得 A0，將生產(chǎn)系統(tǒng)與災備系統(tǒng)主要對平（災備系統(tǒng)自然就平衡了），即使在 0點到 1 點之間系統(tǒng)崩潰，我們需要恢復的數(shù)據(jù)也不會超過 48 小時； ? A1 設置時間可以根據(jù)各個子系統(tǒng)進行具體定義，當系統(tǒng)崩潰時，根據(jù)兩個系統(tǒng)的系統(tǒng)處理實時標志，進行稽核處理，作為恢復起點的標志，如果這個點無法使用，可以回溯到 A0點。 ? 盡量縮小 B，我們可以將 B做如下分解： B＝ B0＋ B1＋ B2＋ B3， ? B0 需要縮小，可以通過減少同步周期來實現(xiàn)，但是這樣的后果可能會增加生產(chǎn)系統(tǒng)的負擔和修改程序的風險； ? B1 需要縮小，通過管理手段 實現(xiàn)； ? B2 需要縮小，分析 B2，我們可以將 B2分解為 TA0（稽核 A0 所用時間）和 TA1（稽核 A0， A1 所用時間），我們將這兩個時間進行分別對待 。 XX 省 XX 公司 BOSS 容災系統(tǒng)技術建議書 YY 公司 科技 （中國） 有限公司 26 ? TA0 每天進行一次，選擇時間可以在凌晨進行，這部分的時間可以作為一個相對固定的時間考慮； ? TA1 可以通過生產(chǎn)和容災同時輸出處理標記的方式進行對比，將實時更新的數(shù)據(jù)在處理過程中進行時間標記、數(shù)量標記、金額標記等必要的標記，這樣在對比時可以減少對比所消耗的時間， ? B3 需要縮小，需要通過完善的管理手段、人員的業(yè)務技術熟練程度、系統(tǒng)的處理程度，程序的優(yōu)化程度等多方面的因 素。是無法通過災備系統(tǒng)本身程序能夠實現(xiàn)的。 網(wǎng)絡切換技術 切換目標 容災系統(tǒng)也叫業(yè)務連續(xù)（ Business Continue Plan），所以應用的切換目標應該是，整個業(yè)務系統(tǒng)，而不是某個具體應用，在容災切換中需要考慮整個業(yè)務系統(tǒng)中所有應用系統(tǒng)的切換。如計費業(yè)務的切換，需要把采集、預處理、批價、入庫等應用系統(tǒng)同時切換，并要有一定順序。 而且為保障業(yè)務的連續(xù)性，需要考慮非 IT 系統(tǒng)因素，如人員等。所以，切換不僅是 IT 系統(tǒng)問題，而是這個企業(yè)協(xié)調運作的結果。 浮動 IP地址方案 生產(chǎn)中心、災備中心相應的主機采用相同的 IP 地址，將生產(chǎn)中心、災備中心相同子系統(tǒng)的業(yè)務主機與交換機相連的端口劃分在同一個 VLAN，在正常情況下，生產(chǎn)中心的主機的網(wǎng)卡處于工作狀態(tài)，災備中心的主機網(wǎng)卡處于禁用狀態(tài)。如下圖所示： XX 省 XX 公司 BOSS 容災系統(tǒng)技術建議書 YY 公司 科技 （中國） 有限公司 27 采用生產(chǎn)中心與災備中心相同的 IP 地址的方案不用對客戶端、 DCN 網(wǎng)做任何改動。這是因為，在正常情況下這部分地址從生產(chǎn)中心的核心交換機廣播到DCN 網(wǎng)，在生產(chǎn)中心不可用時，這部分地址通過災備中心的核心交換機廣播到DCN 網(wǎng)，這些路由的切換可以通過 DCN 網(wǎng)的域內路由協(xié)議（ OSPF 或 ISIS）自動實現(xiàn)。 智能 DNS方案 如果采用 DNS 方案，需要準備的條件是： ? 在生產(chǎn)中心和災備中心配置 DNS 服務器： DNS DNS2； ? 對于某個特定的域名，每臺 DNS 服務器需要有兩條記錄： IP IP2； ? 客戶端的 DNS Server 優(yōu)先指向 DNS1，超時則指向 DNS2 則正常情況下，客戶端的 DNS 請求先指向 DNS1， DNS1 Server 返回 IP1； 在生產(chǎn)中心業(yè)務主機不可用時，客戶端的 DNS 請求先指向 DNS1， DNS1 Server 返回 IP2； 在生產(chǎn)中心業(yè)務 DNS1 Server 不可用時， 客戶端的 DNS 請求先指向 DNS2，DNS2 Server 返回 IP1； 在生產(chǎn)中心都不可用時，客戶端的 DNS 請求先指向 DNS2， DNS2 Server XX 省 XX 公司 BOSS 容災系統(tǒng)技術建議書 YY 公司 科技 （中國） 有限公司 28 返回 IP2； 上述的復雜的 DNS 處理流程是現(xiàn)有的 BIND 軟件不能實現(xiàn)的，因此在容災應用環(huán)境，如采用 DNS 方案，需要增加智能 DNS 方案。如下圖所示： L4 Switch 方案 由于現(xiàn)有的營業(yè)應用都是基于固定端口號的應用，因此可以通過 L4 Switch