【正文】 GoldenGate安裝部署及解決方案目錄GoldenGate安裝部署及解決方案 1GoldenGate 簡介 3文檔約定和說明 5GoldenGate軟件安裝 6 GoldenGate軟件安裝包下載 6 Windows下安裝 7 Linux和Unix下安裝 8GoldenGate同步基本配置 9 oracle之間同步和GoldenGate基礎(chǔ) 9 oracle與db2同步 17 oracle與sybase同步 18GoldenGate同步方案 19 使用GoldenGate初始化加載 19 一對多數(shù)據(jù)同步（廣播復(fù)制） 21 多對一數(shù)據(jù)同步（集中復(fù)制） 22 數(shù)據(jù)轉(zhuǎn)換和過濾 23 關(guān)于目標(biāo)端高數(shù)據(jù)安全性下的GoldenGate配置方案 27 GoldenGate雙向復(fù)制（activeactive） 30GoldenGate數(shù)據(jù)同步性能測試 33 測試中主要監(jiān)測數(shù)據(jù)和監(jiān)測方式 33 測試腳本和GoldenGate配置 34 測試步驟 38 性能測試結(jié)果 40GoldenGate推薦配置 42 添加必要的環(huán)境參數(shù) 42 BATCHSQL參數(shù) 42 數(shù)據(jù)庫用戶密碼加密 43 trail再壓縮 44GoldenGate Troubleshooting 45 一些常用的進(jìn)程信息和日志的查看方式 45 解析trail文件 45附： GoldenGate新版本的一個特性 46參考文檔 48文檔控制日期作者版本說明2011519周炯初稿GoldenGate 簡介GoldenGate軟件是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制軟件，它通過解析源數(shù)據(jù)庫在線日志或歸檔日志獲得數(shù)據(jù)的增刪改變化，再將這些變化應(yīng)用到目標(biāo)數(shù)據(jù)庫，實(shí)現(xiàn)源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫實(shí)時同步（realtime data synchronize）、雙活（activeactive high availability）。GoldenGate軟件可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)（包括幾乎所有常用操作系統(tǒng)平臺和數(shù)據(jù)庫平臺）之間實(shí)現(xiàn)大量數(shù)據(jù)亞秒一級的實(shí)時復(fù)制，其復(fù)制過程簡圖如下： 如上圖所示，GoldenGate的數(shù)據(jù)復(fù)制過程如下： 利用捕捉進(jìn)程(Capture Process)在源系統(tǒng)端讀取Online Redo Log或Archive Log，然后進(jìn)行解析，只提取其中數(shù)據(jù)的變化如增、刪、改操作，并將相關(guān)信息轉(zhuǎn)換為GoldenGate自定義的中間格式存放在隊列文件（trail）中。再利用傳送進(jìn)程將隊列文件通過TCP/IP傳送到目標(biāo)系統(tǒng)。捕捉進(jìn)程在每次讀完log中的數(shù)據(jù)變化并在數(shù)據(jù)傳送到目標(biāo)系統(tǒng)后，會寫檢查點(diǎn)（checkpoint），記錄當(dāng)前完成捕捉的log位置，檢查點(diǎn)的存在可以使捕捉進(jìn)程在中止并恢復(fù)后可從檢查點(diǎn)位置繼續(xù)復(fù)制； 目標(biāo)系統(tǒng)接受數(shù)據(jù)變化并緩存到GoldenGate隊列當(dāng)中，隊列為一系列臨時存儲數(shù)據(jù)變化的文件，等待投遞進(jìn)程讀取數(shù)據(jù)； GoldenGate投遞進(jìn)程從隊列中讀取數(shù)據(jù)變化并創(chuàng)建對應(yīng)的SQL語句，通過數(shù)據(jù)庫的本地接口執(zhí)行，提交到數(shù)據(jù)庫成功后更新自己的檢查點(diǎn)，記錄已經(jīng)完成復(fù)制的位置，數(shù)據(jù)的復(fù)制過程最終完成。 由此可見，GoldenGate是一種基于軟件的數(shù)據(jù)復(fù)制方式，它從數(shù)據(jù)庫的日志解析數(shù)據(jù)的變化（數(shù)據(jù)量只有日志的四分之一左右）。GoldenGate將數(shù)據(jù)變化轉(zhuǎn)化為自己的格式，直接通過TCP/IP網(wǎng)絡(luò)傳輸，無需依賴于數(shù)據(jù)庫自身的傳遞方式，而且可以通過高達(dá)9:1的壓縮率對數(shù)據(jù)進(jìn)行壓縮，可以大大降低帶寬需求。在目標(biāo)端，GoldenGate可以通過交易重組、分批加載等技術(shù)手段大大加快數(shù)據(jù)投遞的速度和效率，降低目標(biāo)系統(tǒng)的資源占用，可以在亞秒級實(shí)現(xiàn)大量數(shù)據(jù)的復(fù)制，并且目標(biāo)端數(shù)據(jù)庫是活動的GoldenGate提供了靈活的應(yīng)用方案，基于其先進(jìn)、靈活的技術(shù)架構(gòu)可以根據(jù)用戶需求組成各種拓?fù)浣Y(jié)構(gòu)，如圖所示： GoldenGate可以提供可靠的數(shù)據(jù)復(fù)制，主要體現(xiàn)在下面三點(diǎn)： （1）保證事務(wù)一致性 GoldenGate在災(zāi)備數(shù)據(jù)庫應(yīng)用復(fù)制數(shù)據(jù)庫交易的順序與在生產(chǎn)中心數(shù)據(jù)庫上的順序相同，并且按照相同的事務(wù)環(huán)境提交，確保在目標(biāo)系統(tǒng)上數(shù)據(jù)的完整性和讀一致性，為實(shí)時查詢和事務(wù)處理創(chuàng)造了條件。 （2）檢查點(diǎn)機(jī)制保障數(shù)據(jù)無丟失 GoldenGate的抽取和復(fù)制進(jìn)程使用檢查點(diǎn)機(jī)制記錄完成復(fù)制的位置。對于抽取進(jìn)程，其檢查點(diǎn)記錄當(dāng)前已經(jīng)抽取日志的位置和寫隊列文件的位置；對于投遞進(jìn)程，其檢查點(diǎn)記錄當(dāng)前讀取隊列文件的位置。檢查點(diǎn)機(jī)制可以保證在系統(tǒng)、網(wǎng)絡(luò)或GoldenGate進(jìn)程故障重啟后數(shù)據(jù)無丟失。 （3）可靠的數(shù)據(jù)傳輸機(jī)制 GoldenGate用應(yīng)答機(jī)制傳輸交易數(shù)據(jù)，只有在得到確認(rèn)消息后才認(rèn)為數(shù)據(jù)傳輸完成，否則將自動重新傳輸數(shù)據(jù)，從而保證了抽取出的所有數(shù)據(jù)都能發(fā)送到備份端。數(shù)據(jù)傳輸過程中支持128位加密和數(shù)據(jù)壓縮功能。Oracle 公司的GoldenGate產(chǎn)品，可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)之間實(shí)現(xiàn)大量數(shù)據(jù)的秒一級的數(shù)據(jù)捕捉、轉(zhuǎn)換和投遞。GoldenGate可以支持幾乎所有常用操作系統(tǒng)如和數(shù)據(jù)庫平臺，如下表所示： 操作系統(tǒng) 數(shù)據(jù)庫 MS NT, 2000, XP, Linux, Sun Solaris, HPUX, IBM AIX, HP NonStop, TRU64, IBM z/OS，OS/390 Oracle, DB2, MS SQL Server, MySQL, Enscribe, SQL/MP, SQL/MX, Sybase, Teradata, 其他ODBC 兼容數(shù)據(jù)庫 文檔約定和說明為統(tǒng)一表示命令和便于查看，對格式作如下約定：GG_HOME 表示從操作系統(tǒng)命令行（cmd）進(jìn)入GoldenGate安裝路徑下執(zhí)行命令。GGSCI 表示在GoldenGate命令環(huán)境中執(zhí)行命令。SQL 表示在數(shù)據(jù)庫下執(zhí)行SQL語句/******/ 表示配置文件內(nèi)容，/***不包含在內(nèi)。 表示自定義參數(shù)，如自定義表名tablename以下示例中若無特殊說明，，除部分新特性，兩者基本無差別；GoldenGate命令行中的操作均是在mgr主進(jìn)程running時進(jìn)行，當(dāng)然，GoldenGate安裝部分除外。補(bǔ)充說明：該文檔主要介紹GoldenGate基本使用、GoldenGate的各類解決方案，以及以往本人在使用測試中總結(jié)的經(jīng)驗，文中的例子和執(zhí)行的命令都是參照官方文檔并親自測試執(zhí)行過。但因個人能力所限，錯漏之處再所難免，文檔中也不可能覆蓋GoldenGate的方方面面。而且，因為GoldenGate本身提供了大量的參數(shù)，也不可能在這里一一列舉，本文檔中只舉例了常用的一些參數(shù)命令，關(guān)于各個參數(shù)的具體使用語法和作用，還請參照官方文檔《Oracle GoldeGate Reference Guide》。GoldenGate軟件安裝 在不同的操作系統(tǒng)和平臺上安裝GoldenGate，需要在官網(wǎng)下載對應(yīng)的版本。32位系統(tǒng)和64位系統(tǒng)的安裝介質(zhì)雖然不同，但是在同一OS上安裝方式是一樣的。 GoldenGate需要解析數(shù)據(jù)庫的日志文件，所以安裝位置必須要能訪問到日志文件（在線日志和歸檔文件），并具有相應(yīng)的權(quán)限。 GoldenGate軟件安裝包下載 經(jīng)常有人問我GoldenGate的下載地址，所以在這里專門說明一下。 GoldenGate軟件的官方下載地址：。 首頁如下：網(wǎng)頁開頭點(diǎn)擊這個Continue進(jìn)入下載。首次進(jìn)入需要登記一些個人信息，如名字、公司等，然后下方選擇同意協(xié)議之類的，點(diǎn)Continue進(jìn)入搜索。搜索時如下選擇：點(diǎn)GO，然后選擇對應(yīng)版本的Oracle GoldenGate下載。GoldenGate安裝包一般只有幾十兆的大小，下載還是很快的。GoldenGate除了同步軟件這塊，還有其他相關(guān)的產(chǎn)品，比如Oracle GoldenGate Director，用于集中圖形化管理和監(jiān)控；Oracle GoldenGate Veridata，用于兩端同步數(shù)據(jù)質(zhì)量檢驗。在本文檔中暫不介紹。 Windows下安裝（1）安裝Microsoft Visual C ++ 2005 SP1Windows操作系統(tǒng)需要首先下載安裝Microsoft Visual C ++ 2005 SP1發(fā)行包（注意該軟件也分32位和64位）。（2）綠色安裝GoldenGate下載對應(yīng)平臺版本的GoldenGate安裝包，解壓。然后進(jìn)入操作系統(tǒng)命令行（cmd），進(jìn)入GoldenGate解壓路徑下，執(zhí)行：GG_HOME ggsci 進(jìn)入GoldenGate命令窗口模式GGSCI CREATE SUBDIRS 建立子目錄GGSCIedit param mgr 配置GoldenGate主進(jìn)程參數(shù)由于第一次執(zhí)行該命令，會提示創(chuàng)建mgr參數(shù)文件，點(diǎn)“是”并在文本中輸入如下參數(shù)：/***PORT 7801 GoldenGate主進(jìn)程端口號DYNAMICPORTLIST 78027820 GoldenGate為進(jìn)程間通訊動態(tài)分配的端口段，注意這里如果分配的端口端少于extractreplicat進(jìn)程對的話，會導(dǎo)致部分進(jìn)程因通訊失敗而出錯。***/保存，生成的參數(shù)文件保存在GG_HOME\ dirprm下然后可以啟動GoldenGate主控制進(jìn)程：GGSCIstart mgr GGSCIinfo all 查看進(jìn)程狀態(tài)如果進(jìn)程MANAGER狀態(tài)顯示為RUNNING則表示主進(jìn)程已在運(yùn)行。至此軟件安裝完成。（3）管理GoldenGate服務(wù)在WINDOWS下還可以將GoldenGate主進(jìn)程作為系統(tǒng)服務(wù)進(jìn)行管理，如下配置：GGSCI edit param ./globals 配置全局參數(shù)，注意前面的 ./ 表明與其他參數(shù)文件位置不同，該參數(shù)文件是直接位于GoldenGate安裝路徑下的輸入：/***MGRSERVNAME name GoldenGate主進(jìn)程端口號，name為自定義的系統(tǒng)服務(wù)名***/然后退出GGSCI命令行：GGSCI exitGG_HOME install addservice addevents 創(chuàng)建服務(wù)，完成后可以直接進(jìn)服務(wù)進(jìn)行管理WINDOWS刪除GoldenGate服務(wù)：GG_HOME install deleteevents deleteservice 對應(yīng)刪除服務(wù)操作或者在注冊表刪除：HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services 一般服務(wù)會以相同的名字在這里顯示一個主健，直接刪除相關(guān)的鍵值便可 Linux和Unix下安裝（1）檢查必需的lib包 下載對應(yīng)平臺版本的GoldenGate，解壓。在解壓路徑下執(zhí)行： [root@GG_HOME] ldd ggsci 將列出所有需要的lib和當(dāng)前缺少的。GoldenGate在Linux和Unix下安裝，需要安裝ORACLE的lib環(huán)境以及$ORACLE_HOME/lib下的幾個包，所以必須安裝在Oracle之后，而且確保在環(huán)境變量中加入：export LD_LIBRARY_PATH=$ORACLE_HOME/lib（2）綠色安裝GoldenGate 在解壓路徑下執(zhí)行./ggsci進(jìn)行接口命令行，[root@GG_HOME] ./ggsci 進(jìn)入GoldenGate命令窗口模式GGSCI CREATE SUBDIRS 建立子目錄GGSCIedit param mgr 配置GoldenGate主進(jìn)程參數(shù)由于第一次執(zhí)行該命令，會提示創(chuàng)建mgr參數(shù)文件，點(diǎn)“是”并在文本中輸入如下參數(shù)：/***PORT 7801 GoldenGate主進(jìn)程端口號DYNAMICPORTLIST 78027820 GoldenGate為進(jìn)程間通訊動態(tài)分配的端口段，注意這里如果分配的端口端少于extractreplicat進(jìn)程對的話，會導(dǎo)致部分進(jìn)程因通訊失敗而出錯。***/保存，生成的參數(shù)文件保存在GG_HOME\ dirprm下然后可以啟動GoldenGate主控制進(jìn)程：GGSCIstart mgr GGSCIinfo all 查看進(jìn)程狀態(tài)如果進(jìn)程MANAGER狀態(tài)顯示為RUNNING則表示主進(jìn)程已在運(yùn)行。至此軟件安裝完成。和Windows下安裝的主要區(qū)別是需要確認(rèn)必需的lib包，進(jìn)入GGSCI接口命令行后的操作都是一致的。GoldenGate同步基本配置GoldenGate支持目前大部分主流數(shù)據(jù)庫，這也是它的優(yōu)勢之一。下面列舉了Oracle、DbSybase之間的同步。同步測試的準(zhǔn)備工作中，有一部分是共通的，如下：（1） 在源端和目標(biāo)端建立相同結(jié)構(gòu)的兩個表，建立主鍵。保證復(fù)制的對象在一開始是一致的。（2） 保證沒有相關(guān)對象的觸發(fā)器（會導(dǎo)致數(shù)據(jù)沖突的那些）或設(shè)置失效。（3） 數(shù)據(jù)庫需要開啟必須的日志模式。不同數(shù)據(jù)庫的配置差異主要在這一步。（4） 源端和目標(biāo)端都需要安裝相應(yīng)版本的GoldenGate軟件，并分配一