【正文】 號(hào)區(qū)分大小寫***/GoldenGate同步方案 GoldenGate工具雖小，但它提供表級(jí)字段級(jí)同步映射，而且同步性能優(yōu)異、資源消耗低，使它的靈活性很強(qiáng)，可以提供多種數(shù)據(jù)同步、冗災(zāi)的解決方案。GoldenGate中連接SybaseGGSCI dblogin sourcedb zhoubase userid sa password sasasa同樣做如下設(shè)置GGSCIadd trandata user.tablename其他配置和Oracle中一樣。還有就是復(fù)制進(jìn)程的配置文件中一般不能指定assumetargetdefs參數(shù)，因?yàn)椴皇墙Y(jié)構(gòu)一致的數(shù)據(jù)庫，需要通過defgen工具生成數(shù)據(jù)定義文件進(jìn)行映射。加入DDL復(fù)制之后，數(shù)據(jù)復(fù)制的lag明顯增加了。SQL 提示輸入目標(biāo)schemaSQL 提示輸入目標(biāo)schema,輸入initialsetup最后輸入yesSQLSQLgrant GGS_GGSUSER_ROLE to ddw。（2）選擇一個(gè)數(shù)據(jù)庫schema存放支持DDL的GoldenGate對(duì)象，運(yùn)行相應(yīng)創(chuàng)建腳本。DDL的抓取不是通過日志抓取來捕獲的，而是通過觸發(fā)器來實(shí)現(xiàn)，所以對(duì)源數(shù)據(jù)庫的性能影響要比單純的數(shù)據(jù)抓取要大很多，可謂屏棄了GoldenGate的優(yōu)勢。并指出檢查點(diǎn)信息量非常小，而且是進(jìn)行記錄更新而非記錄插入，一個(gè)進(jìn)程只對(duì)應(yīng)一條記錄，在它特殊的檢查點(diǎn)處理機(jī)制下不會(huì)對(duì)數(shù)據(jù)庫造成影響。提取進(jìn)程只能使用這種模式。提取進(jìn)程的檢查點(diǎn)記錄它在數(shù)據(jù)源中的讀取位置和隊(duì)列的寫出位置，復(fù)制進(jìn)程的檢查點(diǎn)記錄它讀取隊(duì)列的位置。然后將生成的配置文件拷貝至目標(biāo)服務(wù)器的GG_HOME\dirdef下。數(shù)據(jù)定義文件主要包含表名、字段名、字段類型、字段長度和偏移量。加入datapump的配置：將前面extl參數(shù)文件中的/***rmthost , mgrport 7801 rmttrail d:\tools\GG\gg10g\dirdat\rl***/替換為/***exttrail d:\tools\GG\gg10g\dirdat\l1 本地隊(duì)列文件生成位置***/配置datapump進(jìn)程：GGSCI ADD EXTRACT pump1, EXTTRAILSOURCE local_trail, BEGIN timelocal_trail即是對(duì)應(yīng)extl配置文件中定義的d:\tools\GG\gg10g\dirdat\l1GGSCI edit param pump1/***extract pump1userid ddw, password ddwrmthost , mgrport 7801rmttrail d:\tools\GG\gg10g\dirdat\r1PASSTHRU|NOPASSTHRU 直通模式或普通模式gettruncatestable 。在上面演示的同步流程中，提取進(jìn)程直接將提取的redo信息經(jīng)過處理后放置到了目標(biāo)端服務(wù)器上，當(dāng)兩者之間的網(wǎng)絡(luò)出現(xiàn)故障時(shí)，會(huì)因無法生成trail文件而導(dǎo)致提取進(jìn)程崩潰，錯(cuò)誤提示類似如下：20101112 10:01:21 GGS ERROR 150 TCP/IP error 10061 (由于目標(biāo)機(jī)器積極拒絕，無法連接。（2）目標(biāo)數(shù)據(jù)庫端添加復(fù)制應(yīng)用進(jìn)程（replicat process）在目標(biāo)端GoldenGate命令行中配置復(fù)制進(jìn)程：GGSCIadd replicat repl exttrail d:\tools\GG\gg10g\dirdat\rl,begin now,nodbcheckpoint –新增復(fù)制進(jìn)程，使用對(duì)應(yīng)的隊(duì)列rl，即刻開始，使用文件檢查點(diǎn)GGSCIedit param repl 配置復(fù)制進(jìn)程參數(shù)/***replicat repl 復(fù)制進(jìn)程名userid ddworcl,password ddw 目標(biāo)數(shù)據(jù)庫的帳號(hào)密碼assumetargetdefs 兩臺(tái)數(shù)據(jù)庫數(shù)據(jù)結(jié)構(gòu)一致則使用此參數(shù)reperror default,discard 如果復(fù)制數(shù)據(jù)出錯(cuò)則忽略discardfile D:\,append,megabytes 100 錯(cuò)誤信息寫入XXXX文件，追加模式，最大100mgettruncates 復(fù)制truncate操作 map , target 。 需要抽取的表，可以使用通配符***/然后給這個(gè)提取進(jìn)程創(chuàng)建遠(yuǎn)端隊(duì)列，即圖中的RMTTRAIL：GGSCI add rmttrail d:\tools\GG\gg10g\dirdat\rl extract extl 需要注意的是，這里最后的名稱rl（可以自定義，字母或數(shù)字）是指以后生成的trail文件都會(huì)以rl開頭，如rl000001，這個(gè)文件頭名稱最長只能2個(gè)字符。畢竟，日志還是由數(shù)據(jù)庫生成的，GoldenGate并不能直接控制日志的生成方式和規(guī)則，只能根據(jù)所捕獲的數(shù)據(jù)庫的日志規(guī)則而來。而要關(guān)閉最小補(bǔ)全日志，也必須首先關(guān)閉數(shù)據(jù)庫級(jí)別的其他補(bǔ)全級(jí)別后，才能關(guān)閉。這里對(duì)于補(bǔ)全日志的詳細(xì)操作語句不做一一說明。注意這個(gè)級(jí)別是需要條件觸發(fā)的。（2） 主鍵補(bǔ)全（Primary key supplemental logging）：在日志中補(bǔ)全所有主鍵列。打開補(bǔ)全日志，會(huì)使數(shù)據(jù)庫的日志量增加，所以只打開需要的級(jí)別和對(duì)象即可。檢查一下，全是YES就OK了（整個(gè)數(shù)據(jù)庫級(jí)別補(bǔ)全）SQL select supplemental_log_data_min,supplemental_log_data_pk,supplemental_log_data_ui from v$database。SQL Alter database force logging。Oracle數(shù)據(jù)庫需要開啟歸檔日志，并開啟最小附加日志模式。備注：分配給GoldenGate的用戶一般情況下并不需要完全的DBA權(quán)限，在官方文檔上有詳細(xì)的權(quán)限需求說明，但是完全按照那個(gè)配置比較繁瑣。（2） 保證沒有相關(guān)對(duì)象的觸發(fā)器（會(huì)導(dǎo)致數(shù)據(jù)沖突的那些）或設(shè)置失效。GoldenGate同步基本配置GoldenGate支持目前大部分主流數(shù)據(jù)庫，這也是它的優(yōu)勢之一。GoldenGate在Linux和Unix下安裝，需要安裝ORACLE的lib環(huán)境以及$ORACLE_HOME/lib下的幾個(gè)包，所以必須安裝在Oracle之后，而且確保在環(huán)境變量中加入：export LD_LIBRARY_PATH=$ORACLE_HOME/lib（2）綠色安裝GoldenGate 在解壓路徑下執(zhí)行./ggsci進(jìn)行接口命令行，[rootGG_HOME] ./ggsci 進(jìn)入GoldenGate命令窗口模式GGSCI CREATE SUBDIRS 建立子目錄GGSCIedit param mgr 配置GoldenGate主進(jìn)程參數(shù)由于第一次執(zhí)行該命令，會(huì)提示創(chuàng)建mgr參數(shù)文件，點(diǎn)“是”并在文本中輸入如下參數(shù)：/***PORT 7801 GoldenGate主進(jìn)程端口號(hào)DYNAMICPORTLIST 78027820 GoldenGate為進(jìn)程間通訊動(dòng)態(tài)分配的端口段，注意這里如果分配的端口端少于extractreplicat進(jìn)程對(duì)的話，會(huì)導(dǎo)致部分進(jìn)程因通訊失敗而出錯(cuò)。***/保存，生成的參數(shù)文件保存在GG_HOME\ dirprm下然后可以啟動(dòng)GoldenGate主控制進(jìn)程：GGSCIstart mgr GGSCIinfo all 查看進(jìn)程狀態(tài)如果進(jìn)程MANAGER狀態(tài)顯示為RUNNING則表示主進(jìn)程已在運(yùn)行。在本文檔中暫不介紹。首次進(jìn)入需要登記一些個(gè)人信息，如名字、公司等，然后下方選擇同意協(xié)議之類的，點(diǎn)Continue進(jìn)入搜索。 GoldenGate需要解析數(shù)據(jù)庫的日志文件，所以安裝位置必須要能訪問到日志文件（在線日志和歸檔文件），并具有相應(yīng)的權(quán)限。但因個(gè)人能力所限，錯(cuò)漏之處再所難免，文檔中也不可能覆蓋GoldenGate的方方面面。GGSCI 表示在GoldenGate命令環(huán)境中執(zhí)行命令。 （3）可靠的數(shù)據(jù)傳輸機(jī)制 GoldenGate用應(yīng)答機(jī)制傳輸交易數(shù)據(jù)，只有在得到確認(rèn)消息后才認(rèn)為數(shù)據(jù)傳輸完成，否則將自動(dòng)重新傳輸數(shù)據(jù)，從而保證了抽取出的所有數(shù)據(jù)都能發(fā)送到備份端。在目標(biāo)端，GoldenGate可以通過交易重組、分批加載等技術(shù)手段大大加快數(shù)據(jù)投遞的速度和效率，降低目標(biāo)系統(tǒng)的資源占用，可以在亞秒級(jí)實(shí)現(xiàn)大量數(shù)據(jù)的復(fù)制，并且目標(biāo)端數(shù)據(jù)庫是活動(dòng)的GoldenGate提供了靈活的應(yīng)用方案，基于其先進(jìn)、靈活的技術(shù)架構(gòu)可以根據(jù)用戶需求組成各種拓?fù)浣Y(jié)構(gòu)，如圖所示： GoldenGate可以提供可靠的數(shù)據(jù)復(fù)制，主要體現(xiàn)在下面三點(diǎn)： （1）保證事務(wù)一致性 GoldenGate在災(zāi)備數(shù)據(jù)庫應(yīng)用復(fù)制數(shù)據(jù)庫交易的順序與在生產(chǎn)中心數(shù)據(jù)庫上的順序相同，并且按照相同的事務(wù)環(huán)境提交，確保在目標(biāo)系統(tǒng)上數(shù)據(jù)的完整性和讀一致性，為實(shí)時(shí)查詢和事務(wù)處理創(chuàng)造了條件。再利用傳送進(jìn)程將隊(duì)列文件通過TCP/IP傳送到目標(biāo)系統(tǒng)。GoldenGate軟件可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)（包括幾乎所有常用操作系統(tǒng)平臺(tái)和數(shù)據(jù)庫平臺(tái)）之間實(shí)現(xiàn)大量數(shù)據(jù)亞秒一級(jí)的實(shí)時(shí)復(fù)制，其復(fù)制過程簡圖如下： 如上圖所示，GoldenGate的數(shù)據(jù)復(fù)制過程如下： 利用捕捉進(jìn)程(Capture Process)在源系統(tǒng)端讀取Online Redo Log或Archive Log，然后進(jìn)行解析，只提取其中數(shù)據(jù)的變化如增、刪、改操作，并將相關(guān)信息轉(zhuǎn)換為GoldenGate自定義的中間格式存放在隊(duì)列文件（trail）中。GoldenGate將數(shù)據(jù)變化轉(zhuǎn)化為自己的格式，直接通過TCP/IP網(wǎng)絡(luò)傳輸，無需依賴于數(shù)據(jù)庫自身的傳遞方式，而且可以通過高達(dá)9:1的壓縮率對(duì)數(shù)據(jù)進(jìn)行壓縮，可以大大降低帶寬需求。檢查點(diǎn)機(jī)制可以保證在系統(tǒng)、網(wǎng)絡(luò)或GoldenGate進(jìn)程故障重啟后數(shù)據(jù)無丟失。GoldenGate可以支持幾乎所有常用操作系統(tǒng)如和數(shù)據(jù)庫平臺(tái)，如下表所示： 操作系統(tǒng) 數(shù)據(jù)庫 MS NT, 2000, XP, Linux, Sun Solaris, HPUX, IBM AIX, HP NonStop, TRU64, IBM z/OS，OS/390 Oracle, DB2, MS SQL Server, MySQL, Enscribe, SQL/MP, SQL/MX, Sybase, Teradata, 其他ODBC 兼容數(shù)據(jù)庫 文檔約定和說明為統(tǒng)一表示命令和便于查看，對(duì)格式作如下約定：GG_HOME 表示從操作系統(tǒng)命令行（cmd）進(jìn)入GoldenGate安裝路徑下執(zhí)行命令。補(bǔ)充說明：該文檔主要介紹GoldenGate基本使用、GoldenGate的各類解決方案，以及以往本人在使用測試中總結(jié)的經(jīng)驗(yàn)，文中的例子和執(zhí)行的命令都是參照官方文檔并親自測試執(zhí)行過。32位系統(tǒng)和64位系統(tǒng)的安裝介質(zhì)雖然不同，但是在同一OS上安裝方式是一樣的。 首頁如下：網(wǎng)頁開頭點(diǎn)擊這個(gè)Continue進(jìn)入下載。GoldenGate除了同步軟件這塊，還有其他相關(guān)的產(chǎn)品，比如Oracle GoldenGate Director，用于集中圖形化管理和監(jiān)控；Oracle GoldenGate Veridata，用于兩端同步數(shù)據(jù)質(zhì)量檢驗(yàn)。然后進(jìn)入操作系統(tǒng)命令行（cmd），進(jìn)入GoldenGate解壓路徑下，執(zhí)行：GG_HOME ggsci 進(jìn)入GoldenGate命令窗口模式GGSCI CREATE SUBDIRS 建立子目錄GGSCIedit param mgr 配置GoldenGate主進(jìn)程參數(shù)由于第一次執(zhí)行該命令，會(huì)提示創(chuàng)建mgr參數(shù)文件，點(diǎn)“是”并在文本中輸入如下參數(shù)：/***PORT 7801 GoldenGate主進(jìn)程端口號(hào)DYNAMICPORTLIST 78027820 GoldenGate為進(jìn)程間通訊動(dòng)態(tài)分配的端口段，注意這里如果分配的端口端少于extractreplicat進(jìn)程對(duì)的話，會(huì)導(dǎo)致部分進(jìn)程因通訊失敗而出錯(cuò)。在解壓路徑下執(zhí)行： [rootGG_HOME] ldd ggsci 將列出所有需要的lib和當(dāng)前缺少的。和Windows下安裝的主要區(qū)別是需要確認(rèn)必需的lib包，進(jìn)入GGSCI接口命令行后的操作都是一致的。保證復(fù)制的對(duì)象在一開始是一致的。（4） 源端和目標(biāo)端都需要安裝相應(yīng)版本的GoldenGate軟件，并分配一個(gè)有DBA權(quán)限的數(shù)據(jù)庫用戶給GoldenGate用以連接數(shù)據(jù)庫。當(dāng)然，推薦的做法是在每個(gè)進(jìn)程配置文件里都加上指定的環(huán)境變量參數(shù)，在后面優(yōu)化配置中進(jìn)行說明。 開啟最小附加日志模式實(shí)際生產(chǎn)應(yīng)用中，最好同時(shí)打開ORACLE的強(qiáng)制日志模式，以防止源數(shù)據(jù)庫因直接路徑加載忽略redo生成而導(dǎo)致這部分?jǐn)?shù)據(jù)無法同步：SQL select force_logging from v$database。如果開啟DDL復(fù)制做冗災(zāi)備份，最好直接在數(shù)據(jù)庫級(jí)別打開補(bǔ)全日志：SQ