【導(dǎo)讀】維爾軟件有限公司廣州辦事處。創(chuàng)建日期：2021年2月21日。最后修改：2021年2月23日。廣東電信結(jié)算系統(tǒng)容災(zāi)方案

　　

【正文】 第 20 頁 系統(tǒng)的 CPU在寫 I/O時， I/O寫完成信號沒有返回前， CPU的狀態(tài)是 wait I/O, 不是 ideal，是不可用的。因此，鏡像或復(fù)制對應(yīng)用的性能影響大小，在于寫 I/O返回的速度，而不在于 CPU的使用。根據(jù)以上分析，鏡像方式比復(fù)制有更快的 I/O效率，在 東山口機房 生產(chǎn)中心和 天河大廈機房 容災(zāi)中心之間，利用 Volume Manager 進行鏡像是最有效的手段。 遠程容災(zāi) 由于遠程容災(zāi)考慮從廣州到深圳，距離一千公里，無法采用鏡像方式，因此只能考慮數(shù)據(jù)復(fù)制的技術(shù)來實現(xiàn)。 電信的數(shù)據(jù)變化數(shù)據(jù)量可估算如下： 秒級峰 值變化數(shù)據(jù)量： 假如 廣東電信業(yè)務(wù)系統(tǒng)的峰值秒級業(yè)務(wù)量為 3000 筆 /秒，每筆交易2KBytes，則寫峰值為每秒 6MBbytes 業(yè)務(wù)數(shù)據(jù)。每秒 6MBytes 是業(yè)務(wù)數(shù)據(jù)本身的變化，在數(shù)據(jù)庫中需定數(shù)據(jù)和日志，可估算實際數(shù)據(jù)庫的寫入量為 6MB * 2 = 12MB。數(shù)據(jù)庫操作時，會由于數(shù)據(jù)本身、日志、數(shù)據(jù)庫 data block 大小、改變數(shù)據(jù)的分布情況等多種因素影響。例如，數(shù)據(jù)庫在寫入磁盤時，是以 data block 為單位完成的，而不是以每筆交易為單位，再加上索引、數(shù)據(jù)塊中的空余空間、數(shù)據(jù)碎片等因素，保守估計可以以 3 倍 的寫入數(shù)據(jù)量來計算，即每秒鐘的 I/O 量為 12MB * 3 = 36MB。 每天變化數(shù)據(jù)量： 假如應(yīng)用系統(tǒng) 每天（ 24 小時內(nèi)）的交易量為 17,000,000 筆（ 17M 筆 /天 * 2K/筆 = 34GBytes/天），按照以上的計算方式，每天實際寫入數(shù)據(jù)量為 34G*2*3 = 204G。 以上數(shù)據(jù)只有一定的參考價值。實際環(huán)境的每秒的寫 I/O 量只能通過測試取得，如通過系統(tǒng)命令 iostat、 sar 等其它命令來取得更有意義的數(shù)據(jù)。 一般來說，復(fù)制有兩種模式：同步或異步。 中國銀聯(lián)新系統(tǒng)容災(zāi)方案 VERITAS Software Corporation. 第 21 頁 采用同步復(fù)制方式的分析 東山口機 房 與 天河大廈機房 采用鏡像方式，不采用復(fù)制方式。以 廣州與深圳采用復(fù)制方式，但不適合采用同步方式。因為要采用同步方式，至少網(wǎng)絡(luò)帶寬要大于本地寫 I/O 的峰值。如果網(wǎng)絡(luò)帶寬小于本地峰值寫 I/O，則對本地影響 I/O性能將有極大影響。 因此，要實現(xiàn)同步復(fù)制， 轉(zhuǎn)接數(shù)據(jù)庫 （根據(jù)前面分析，轉(zhuǎn)接數(shù)據(jù)庫的秒級寫 I/O為 36MB/秒）至少需要以下復(fù)制帶寬： 36MBytes/秒 * 8bits/byte / 60% = 480Mbits/秒 （ 60%為 TCP/IP的 overhead） 但是，并非采用了超過了 480M 帶寬的復(fù)制網(wǎng)絡(luò) 就可以對轉(zhuǎn)接數(shù)據(jù)庫進行同步復(fù)制。同步方式時，寫操作需要遠端系統(tǒng)寫完成信號返回后才算完成，因此會影響生產(chǎn)中心的性能。影響的程度與峰值寫操作的多少、本地寫操作的速度、遠地寫操作的速度、復(fù)制鏈路的帶寬、復(fù)制距離都有關(guān)系。 例如，本地寫峰值為 36MBytes/秒，即不進行復(fù)制時 36M數(shù)據(jù)可以 1秒內(nèi)寫完。但這 36M數(shù)據(jù)不是在一個 I/O中完成的，而同步復(fù)制時每次 I/O都需要遠端系統(tǒng)寫完成信號返回。以一個 I/O 為 10K數(shù)據(jù)計算（一般來說，一個 I/O寫速度可以達到 ），采用 480M帶寬的同步復(fù)制后， 1個 I/O數(shù)據(jù)需 要（單位：毫秒）： (本地寫 ) + (遠地寫 ) + 10*8/(480*1024*1000*60%) (10KB在 480Mbits/s網(wǎng)絡(luò)上傳輸速度 ) + 2*1000公里 /(300公里 /毫秒 ) = + + 0 + = 毫秒 因此，同步復(fù)制模式下，單個 I/O 的寫性能下降 35 倍。在非并行 I/O 下，36MBytes 的數(shù)據(jù)（秒級寫峰值）需要 36 * 1024 / 10 * = 秒，對應(yīng)用的影響極大。 根據(jù)以上的分析計算，廣州與深圳之間的容災(zāi)數(shù)據(jù)復(fù) 制不適合采用同步方式。 中國銀聯(lián)新系統(tǒng)容災(zāi)方案 VERITAS Software Corporation. 第 22 頁 采用異步復(fù)制方式的分析 與同步傳輸方式相比，異步傳輸方式對帶寬和距離的要求低很多，它只要求在某個時間段內(nèi)能將數(shù)據(jù)全部復(fù)制到異地即可，同時異步傳輸方式也不會明顯影響應(yīng)用系統(tǒng)的性能。其缺點是在本地生產(chǎn)數(shù)據(jù)發(fā)生災(zāi)難時，異地系統(tǒng)上的數(shù)據(jù)可能是幾秒鐘或幾分鐘以前的數(shù)據(jù)，即最近幾秒鐘或幾分鐘內(nèi)的交易會丟失。（注：丟失數(shù)據(jù)的多少，與寫 I/O量和復(fù)制帶寬有直接關(guān)系） 如果采用異步方式進行過程數(shù)據(jù)容災(zāi)復(fù)制，對生產(chǎn)系統(tǒng)影響會較小?？梢圆捎?VERITAS的 Volume Replicator 進行數(shù)據(jù)異步復(fù)制。 VERITAS VVR （ Volume Replicator）采用的是基于主機邏輯卷（ Volume）的數(shù)據(jù)復(fù)制方式。通過基于 Volume和 Log的復(fù)制技術(shù)，保證在任何時刻本地系統(tǒng)發(fā)生自然災(zāi)難時，在異地的數(shù)據(jù)仍是可用的。 VERITAS VVR在異步模式下采用了 Log技術(shù)來跟蹤未及時復(fù)制的數(shù)據(jù)塊，這個 Log是一個先到先服務(wù)的堆棧，每一筆 I/O處理都會首先被放進這個 Log，并按到達先后順序被復(fù)制到異地服務(wù)器系統(tǒng)。 下圖是其工作的結(jié)構(gòu)原理。 中國銀聯(lián)新系統(tǒng)容災(zāi)方案 VERITAS Software Corporation. 第 23 頁 從上圖，我們可以看到整個 I/O和復(fù)制的過程如 下： I/O請求 A到邏輯卷； I/O請求； 2’. 在往本地磁盤系統(tǒng) I/O的同時，邏輯卷向本地磁盤系統(tǒng)上的 VVR Log發(fā)出相同的寫請求； I/O操作；并通知邏輯卷“ I/O完成”； 3’. VVR完成針對這個 I/O的有關(guān)操作，并通知邏輯卷； “ I/O完成”，然后，主機系統(tǒng)發(fā)出第二個 I/O請求 B。 中國銀聯(lián)新系統(tǒng)容災(zāi)方案 VERITAS Software Corporation. 第 24 頁 服務(wù)器的另一個進程： VVR 的進程，負責(zé)將 Log隊列中的 I/O復(fù)制到異地服務(wù)器。這個過程和上面的 I/O過程在時間上無關(guān)。如 上圖中的標(biāo)記：“ i”和“ ii”。 i: 本地 VVR 進程從 Log隊列中取出最先到達的 I/O，復(fù)制到異地服務(wù)器 ii: 異地服務(wù)器接收到本地服務(wù)器 VVR 發(fā)出的 I/O請求，將相應(yīng)數(shù)據(jù)寫到異地磁盤系統(tǒng)，然后，通知本地系統(tǒng) VVR 進程，要求下一個 I/O。 這里，跟蹤未及時復(fù)制的數(shù)據(jù)塊的 Log技術(shù)是保證異地數(shù)據(jù)可用的必要條件。一個數(shù)據(jù)庫的 I/O是有嚴(yán)格順序的，這個順序是保證數(shù)據(jù)庫完整性的必要條件，一個完整性被破壞的數(shù)據(jù)庫一般是不可用的，比如根本無法啟動、打開該數(shù)據(jù)庫，且是無法修復(fù)的。 那么，復(fù)制時數(shù)據(jù)庫的完整性是 怎么保證的呢？我們知道，本地數(shù)據(jù)庫的完整性是由數(shù)據(jù)庫本身來維護的。例如，當(dāng)一個 ORACLE數(shù)據(jù)庫正在寫數(shù)據(jù)時突然發(fā)生斷電或服務(wù)器故障，下次數(shù)據(jù)庫重新啟動時， ORACLE數(shù)據(jù)庫會自動進行recover，利用 redo log將未寫進 datafile 的數(shù)據(jù)進行 redo，利用數(shù)據(jù)庫的 rollback功能將未 mit的數(shù)據(jù)進行回滾，把數(shù)據(jù)庫 recover 到一個一致的狀態(tài)。這是數(shù)據(jù)庫本身進行完整性維護的功能。 當(dāng)一個數(shù)據(jù)庫被實時復(fù)制到異地時，要保證異地數(shù)據(jù)庫的完整性，必然保證在異地磁盤 I/O上的 I/O順序和本地 I/O順序完全相同，否則，異地數(shù)據(jù)庫的完整性就無法保證。 VERITAS VVR采用的 I/O控制機制是支持先到先服務(wù)的 Log技術(shù)，因此，不管異地數(shù)據(jù)比本地數(shù)據(jù)落后多少時間，都能保證異地數(shù)據(jù)庫數(shù)據(jù)的一致性。比如：本地系統(tǒng)在 12： 00時發(fā)生自然災(zāi)難，由于部分?jǐn)?shù)據(jù)未被及時復(fù)制到異地，如有 10分鐘的數(shù)據(jù)未完成復(fù)制，那么在異地系統(tǒng)上存在 11： 50分鐘以前的所有數(shù)據(jù)，數(shù)據(jù)庫啟動時會自動做 recover，這個 11： 50分的數(shù)據(jù)庫是可用的。 中國銀聯(lián)新系統(tǒng)容災(zāi)方案 VERITAS Software Corporation. 第 25 頁 采用異步復(fù)制時，遠程容災(zāi)中心的數(shù)據(jù)可能會比生產(chǎn)中心滯后，滯后的數(shù)據(jù)量與生產(chǎn)系統(tǒng)寫 I/O量和網(wǎng)絡(luò)帶寬有關(guān)。例如，廣東電信 轉(zhuǎn)接數(shù)據(jù)庫 每天變化的數(shù)據(jù)量為 204G，采用 480M復(fù)制網(wǎng)絡(luò)，則同步可以在 204*1024/(480/8*60%) = 5800 秒 = 內(nèi)完成，完全可以滿足每天的變化要求。 而廣東電信生產(chǎn) 轉(zhuǎn)接數(shù)據(jù)庫 的每秒寫 I/O小于 36Mbyte/s， 480M復(fù)制網(wǎng)絡(luò)傳輸?shù)乃俣葹?480Mb/8*60%=36MB，所以正常情況下異步復(fù)制可以保證數(shù)據(jù)的丟失量小于 1 秒。因為復(fù)制帶寬是以每 1 秒的峰值寫 I/O 建立的，因此每個 I/O 所產(chǎn)生的數(shù)據(jù)，都在 1秒內(nèi)被復(fù)制完成了。 再次說明： 其它 數(shù)據(jù)庫和文件共享空間的寫 I/O 數(shù)據(jù)沒有得到，因此無法估算所需的復(fù)制帶寬。建議采用應(yīng)用實測的方法，對一定負載的每個數(shù)據(jù)庫進行寫 I/O 的測試統(tǒng)計，才可能正確估算出所需的復(fù)制帶寬。 中國銀聯(lián)新系統(tǒng)容災(zāi)方案 VERITAS Software Corporation. 第 26 頁 容災(zāi)軟件 對于廣東電信的容災(zāi)系統(tǒng)功能的實現(xiàn)， VERITAS對軟件配置有以下建議： 同城容災(zāi)采用 DWDM連接，通過 Volume鏡像實現(xiàn)；異地采用 Volume Replicator 進行異步數(shù)據(jù)復(fù)制，并利用廣域 Cluster 技術(shù)進行自動應(yīng)用級災(zāi)難監(jiān)控及切換。實施方式如下： 的建設(shè)： a) 生產(chǎn)中心與同城容災(zāi)中心建立一個在同一個 SAN環(huán)境中，不同位置的兩套磁盤陣列連接在該 SAN環(huán)境中 b) 生產(chǎn)中心及同城容災(zāi)中心的主機 OS 上安裝 VERITAS的 Volume Manager 及 Volume Replicator c) 所有外置磁盤劃分后通過 VxVM進行管理 d) 生產(chǎn)中心的磁盤與同城容災(zāi)中心的磁盤在操作系統(tǒng)級通過 VxVM建立鏡像（可實現(xiàn)同城數(shù)據(jù)同步） e) 建立生產(chǎn)中心與遠程容災(zāi)中心的 IP 網(wǎng)絡(luò) f) 設(shè)置生產(chǎn)中心與遠程容災(zāi)中心的復(fù)制鏈路，并設(shè)置哪些數(shù)據(jù)進行復(fù)制（最小單位為單個邏輯卷） 、網(wǎng)絡(luò)、存儲 系統(tǒng)的構(gòu)建，以及應(yīng)用系統(tǒng)的安裝，這些可基本上與生產(chǎn)中心的環(huán)境一致 a)遠程容災(zāi)中心的主機應(yīng)具有運行應(yīng)用和數(shù)據(jù)庫的能力 b)遠程容災(zāi)中心的存儲可采用任意磁盤陣列，容量應(yīng)滿足復(fù)制容量要求 c)遠程容災(zāi)中心的 OS 上安裝 VERITAS的 Volume Manager 及 Volume Replicator 3）建立基于廣域網(wǎng)的集群系統(tǒng)，使得生產(chǎn)系統(tǒng)和遠程容災(zāi)系統(tǒng)可以在廣域網(wǎng)上進行切換 中國銀聯(lián)新系統(tǒng)容災(zāi)方案 VERITAS Software Corporation. 第 27 頁 a)在生產(chǎn)中心和容災(zāi)中心安裝 VERITAS Cluster Server 及 Global Cluster Manager b)在 GCM中定義 災(zāi)難的條件及切換步驟 所需的軟件列表如下： 系統(tǒng) 所需軟件 功能 生產(chǎn)中心 數(shù)據(jù)庫服務(wù)器 Volume Manager 邏輯卷管理 Volume Replicator 卷復(fù)制 VERITAS