【正文】 dual cores) (2nd Copy for Cluster)1AIXG102 GoldenGate Capture (Oracle) 16 CPUs1HPUXG102 GoldenGate Capture (Oracle) 16 CPUs (2nd Copy for Cluster) 1HPUXG103 GoldenGate Delivery (Oracle) 16 CPUs1HPUXG103 GoldenGate Delivery (Oracle) 16 CPUs (2nd Copy for Cluster)1HPUXG102 GoldenGate Capture (Oracle) 16 CPUs (dual cores)1HPUXG102 GoldenGate Capture (Oracle) 16 CPUs (dual cores) (2nd Copy for Cluster) 1HPUXG103 GoldenGate Delivery (Oracle) 16 CPUs (dual cores)1HPUXG103 GoldenGate Delivery (Oracle) 16 CPUs (dual cores) (2nd Copy for Cluster)1HPUXG102 GoldenGate Capture (Oracle) 4 CPUs4LINUXG102 GoldenGate Capture (Oracle) 4 CPUs (2nd Copy for Cluster)4LINUXG103 GoldenGate Delivery (Oracle) 4 CPUs4LINUXG103 GoldenGate Delivery (Oracle) 4 CPUs (2nd Copy for Cluster)4LINUXG102 GoldenGate Capture (Oracle) 2 CPUs (dual cores)4LINUXG102 GoldenGate Capture (Oracle) 2 CPUs (dual cores) (2nd Copy for Cluster)4LINUXG103 GoldenGate Delivery (Oracle) 2 CPUs (dual cores)4LINUXG103 GoldenGate Delivery (Oracle) 2 CPUs (dual cores) (2nd Copy for Cluster)4LINUXV110 Veridata (12 copies)　　D111 Director (24 nodes) 軟件系統部署方案設計下面，我們分別以其中一條數據復制鏈路為例，說明一下GoldenGate TDM軟件、數據對比和管理工具的部署。 GoldenGate TDM軟件的部署兩端數據庫為Oracle RAC環(huán)境，其數據文件等安裝在共享陣列中，各個節(jié)點均可以訪問。在各個相對獨立的兩端數據庫服務器上，按照其操作系統、數據庫類型及版本選擇相匹配的GoldenGate TDM軟件包。GoldenGate是一個解壓縮后即可使用的軟件，其所有信息包括配置、進程信息、數據隊列等都放在安裝目錄下，可以將它安裝在共享陣列中，使得各主機均可以訪問。根據“大通關”系統災備要求，兩端需要定期切換和隨時應急切換，所以在兩端服務器上都需要部署捕捉和投遞進程。 數據對比工具的部署為了執(zhí)行兩端數據一致性和完整性的檢查，我們還需要部署數據對比工具GoldenGate Veridata。我們建議將Veridata Server部署在第三方服務器上，此服務器可以是一臺普通的PC。在兩端數據庫主機上安裝Veridata Agent，獲取需要對比的數據，發(fā)送到Veridata Server進行數據對比。Veridata Server可以集中管理多組數據一致性的對比。 管理維護工具的部署為了實現圖形化界面集中配置、管理和監(jiān)控“大通關”災備系統的GoldenGate TDM平臺，提高IT人員的生產力和響應速度，我們還需要部署GoldenGate Director。我們建議將Director Server部署在第三方服務器上，此服務器可以是一臺普通的PC。Director Server可以與GoldenGate進程通信，建立和管理GoldenGate進程之間的通信。管理維護人員可以通過客戶端方式或Web方式來管理維護“大通關”災備系統中的GoldenGate TDM平臺。 異常處理方案基于GoldenGate TDM的數據復制方案提供了完善的異常處理機制，可以自如應對各種異常，下面我們對常見的一些情況作具體分析： 網絡故障異常處理方案如數據傳輸過程中出現傳輸不穩(wěn)定甚至中斷等情況，GoldenGate可以自動的處理網絡中斷，在網絡恢復后重新啟動復制，中斷期間的數據可以在網絡恢復后復制到備份端數據庫，如下圖所示：在網絡中斷出現后，GoldenGate的抽取進程會自動停止，此時共享陣列中的檢查點記錄最后一次成功復制數據的位置。GoldenGate能夠以用戶自定義的間隔自動重新啟動抽取進程，直到網絡恢復進程重啟成功。抽取進程重新啟動后首先去讀取檢查點，找到中斷位置從對應日志中重新開始讀取，開始正常復制過程，整個過程無需人工干涉。 數據庫實例停止異常處理方案在日常維護中，經常會遇到需要停止數據庫的情況，此時GoldenGate抽取或者投遞進程也會終止。GoldenGate可以配置自動重起的功能，在自定義的時間間隔內監(jiān)測進程狀態(tài)，一旦發(fā)現其終止會重新試圖啟動該進程。因此，在數據庫重新啟動之后，GoldenGate可以各進程根據自己的檢查點自動繼續(xù)數據復制，保證無數據丟失。 生產中心RAC當前節(jié)點停機異常處理方案 在RAC當中，如果運行GoldenGate當前節(jié)點停機，可以將GoldenGate轉移到其它節(jié)點繼續(xù)運行，如下圖所示：當節(jié)點1停機后，GoldenGate進程終止，此時共享陣列中的檢查點記錄最后一次成功復制位置。我們可以通過網管軟件監(jiān)測節(jié)點失敗，然后通過腳本將GoldenGate切換到另外一個活動的節(jié)點上重新啟動。由于GoldenGate安裝于共享陣列，配置文件、斷點信息等信息對此節(jié)點也是可見的，抽取進程可以正常啟動。抽取進程首先去讀取檢查點，獲取中斷位置，然后繼續(xù)從該位置解析數據庫日志，恢復正常的復制過程。整個過程中備份中心不受影響，投遞進程會一直等待新數據的到來，直到復制恢復。 備份中心當前節(jié)點故障異常處理方案如果備份中心運行GoldenGate的RAC節(jié)點停機，類似于生產中心當前節(jié)點停機，可以將GoldenGate切換到其他節(jié)點繼續(xù)運行，如圖所示：同樣，在當前節(jié)點停機后，可以通過網管軟件或者人工切換GoldenGate到其他節(jié)點繼續(xù)運行，投遞進程的檢查點可以保證從隊列的中斷位置繼續(xù)復制。需要注意的是此時生產中心的抽取進程也會停止，可以通過配置自動啟動或者采用手動方式重啟抽取進程即可繼續(xù)復制。 兩端數據不一致異常處理方案GoldenGate的備份端數據庫處于活動狀態(tài)，可以開展實時查詢和統計的業(yè)務。如果由于人為操作失誤等原因造成了兩端數據不一致，可以通過更改GoldenGate的復制起始點重新復制。GoldenGate提供基于時間點的復制，只要日志（在線或歸檔狀態(tài)均可）沒有刪除，復制可以從任意時間點開始。出現誤操作以后，我們可以改變源數據庫抽取進程的時間點，從錯誤操作之前的時間點重新進行復制，結合GoldenGate沖突檢測機制，恢復備份端數據與源數據庫的一致性。 系統實施基礎環(huán)境要求 對網絡的要求為了實現遠程數據災備，質檢總局需要在生產中心與災備中心租賃通訊鏈路，租用鏈路的費用在容災系統建設中是一筆較大的支出。網絡租用的費用與帶寬成正比，因此以較低帶寬實現實時數據復制是最為理想的方式。GoldenGate只復制數據變化的機制保證了其在網絡上傳輸的數據量為最小，因此對帶寬要求也是最低的。GoldenGate對日志信息進行了過濾，提取出只包含增、刪、改變化的數據隊列，其大小約為日志大小的1/3到1/4（多家用戶統計數據）。在網絡傳輸過程中，GoldenGate提供了壓縮功能，壓縮的效能在1:81:9。壓縮后的網絡帶寬占用能達到一個非常低的水平，根據用戶實際使用監(jiān)測數據中，一般在系統數據庫每天產生5060G日志量的情況下，數據復制鏈路帶寬實際占用在100200K。此外，采用GoldenGate軟件進行數據復制對網絡穩(wěn)定性的要求不高，在網絡頻繁中斷的情況下，也能保證數據的傳送，而且不會影響生產系統的正常運行。綜上所述，基于GoldenGate TDM軟件的容災方案，對網絡帶寬和對網絡穩(wěn)定性要求低，能夠滿足“大通關”生產中心與災備中心距離遙遠的現狀，并大大降低網絡建設的費用。 對災備中心的要求GoldenGate軟件可以兼容多種存儲設備、操作系統、以及數據庫平臺，并可以跨平臺進行數據復制，可以實現在不同的存儲平臺，不同的操作系統平臺、不同的數據庫版本之間的實時數據復制。GoldenGate軟件在目標端的資源占用非常小，根據數據復制災備端的配置情況，完全能滿足復制軟件的要求。 方案特點對于國家質檢總局“大通關”災備項目而言，基于GoldenGate的容災解決方案具有以下特點：l 最快的RTO指標由于備份端的數據庫系統是出于活動狀態(tài)的，隨時處于可以被接管的狀態(tài)，因此在容災接管的過程中，不需要再將數據庫重新裝載或激活，只需要啟動應用系統就可以完成應用接管，因此可以達到最快的RTO指標。l 秒一級的RPO指標GoldenGate TDM軟件高效率的數據復制可以保證數據復制的實時性，即使在遠程異地復制的環(huán)境中，正常情況下的延時也僅為1～2秒，可以保證RPO指標為秒一級的。l 實現容災的最低帶寬需求GoldenGate能夠即時捕捉數據變化，抽取的數據變化僅為日志量的1/4，另外GoldenGate集成了高達1/9的數據壓縮算法，使得網絡上傳輸的數據量在各類技術中最小，可以低帶寬如幾兆專線實現每日日志增量上百G的大交易量數據交易，大幅降低了網絡方面的投資。l 對網絡穩(wěn)定性要求不高由于GoldenGate軟件可以自動監(jiān)測網絡連通狀況，一旦網絡恢復連通，GoldenGate將自動恢復數據復制。再原端配置的隊列將起到緩沖作用，在網絡不通的情況下將原端數據庫的數據變化暫存起來，不至于影響生產系統的正常運行，待網絡通暢時將數據追平到備份端。GoldenGate TDM對網絡穩(wěn)定性的要求不高的特性，非常適合遠程異地容災的應用，適應遠程網絡傳輸環(huán)節(jié)多，穩(wěn)定性較差的網絡環(huán)境。l 對源系統的影響小GoldenGate軟件的部署不需要改動原有系統的構架，而且對系統資源的占用很少，因此不用對原有系統做改造。l 數據的高可用性保障容災可靠性GoldenGate作為高級復制，只對數據邏輯變化進行復制，避免了一些底層磁盤或邏輯卷復制技術因錯誤傳播現象而造成的備份端失效的情況，保證備份端的可靠性和可用性。由于備份端是活動的，因此可以隨時驗證備份的可靠性。l 完善的災難恢復方案GoldenGate提供了各種異常及災難處理方案，如網絡故障導致工作停工、集群節(jié)點停機、數據庫停止服務、人為錯誤導致數據不一致等，使得客戶能夠從容應對災難的發(fā)生。l 簡易的安裝和維護GoldenGate的安裝非常簡單，無需在數據庫中插入表或者觸發(fā)器等對象，全部安裝配置過程可以在幾分鐘之內完成，在此期間源數據庫仍可對外提供服務。另外，GoldenGate軟件運行具有高度的自主性，在正常運行狀態(tài)下無需進行大量維護工作，并且具有完善的圖形管理界面，大大節(jié)約了維護管理成本。 容災產品選型――GoldenGate TDM軟件 軟件簡介GoldenGate是一家創(chuàng)建于1995年的美國公司，開發(fā)總部設在舊金山，在北美，歐洲和亞洲（包括新加坡、印度、澳大利亞）設有支持中心。GoldenGate公司專注于數據同步領域，是實現數據同步技術的領導者。至2007年，在全球35個國家售出超過2000個許可證，客戶分布在政府、銀行、電信、證券、傳媒、醫(yī)療等行業(yè)，大部分客戶為全球500強企業(yè)。 GoldenGate是許多一流的數據庫廠商如Oracle、Sybase、Microsoft、MySQL、Teradata等公司的認證合作伙伴，并且和著名的公司如HP、IBM、Sun等廠商建立了戰(zhàn)略合作伙伴關系。GoldenGate TDM軟件提供了一個單一的平臺，這個平臺可以為任何用戶環(huán)境實現秒一級的災難備份。GoldenGate TDM是一種基于軟件的數據復制方式，它從數據庫的日志中解析數據的變化（數據量只有日志的四分之一左右），GoldenGate將數據轉化為自定義的通用格式，直接通過TCP/IP網絡傳輸，而且可以通過高達9:1的壓縮比率對數據進行壓縮，大大降低帶寬需求。在目標端，GoldenGate可以通過交易重組，分批加載等技術手段大大加快數據投遞的速度和效率，降低目標系統的資源占用，可以在秒一級實現大量數據的復制。 GoldenGate TDM基本原理GoldenGate通過解析數據庫日志并將數據傳輸和應用到備份數據庫，實現數據復制，其復制的原理如下圖所示：如上圖所以，GoldenGate的數據復制過程如下：1. 利用捕捉進程(Capture Process)在源系統端讀取Online Redo Log或Archive Log，然后進行解析，只提取其中數據的變化如增、刪、改操作，并將相關信息傳送到目標系統。捕捉進程在每次讀完log中的數據變化并將數據傳送到目標系統后，會寫檢查點，記錄當前完成捕捉的log位置，檢查點的存在可以使捕捉進程在中止并恢復后仍可從原來log位置繼續(xù)復制。2. 目標系統接受數據變化并緩存到GoldenGate隊列當中，隊列為一系列臨時存儲數據變化的文件，