【正文】 使用GoldenGate初始化加載 19 一對多數(shù)據(jù)同步（廣播復(fù)制） 21 多對一數(shù)據(jù)同步（集中復(fù)制） 22 數(shù)據(jù)轉(zhuǎn)換和過濾 23 關(guān)于目標(biāo)端高數(shù)據(jù)安全性下的GoldenGate配置方案 27 GoldenGate雙向復(fù)制（activeactive） 30GoldenGate數(shù)據(jù)同步性能測試 33 測試中主要監(jiān)測數(shù)據(jù)和監(jiān)測方式 33 測試腳本和GoldenGate配置 34 測試步驟 38 性能測試結(jié)果 40GoldenGate推薦配置 42 添加必要的環(huán)境參數(shù) 42 BATCHSQL參數(shù) 42 數(shù)據(jù)庫用戶密碼加密 43 trail再壓縮 44GoldenGate Troubleshooting 45 一些常用的進程信息和日志的查看方式 45 解析trail文件 45附： GoldenGate新版本的一個特性 46參考文檔 48文檔控制日期作者版本說明2011519周炯初稿GoldenGate 簡介GoldenGate軟件是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制軟件，它通過解析源數(shù)據(jù)庫在線日志或歸檔日志獲得數(shù)據(jù)的增刪改變化，再將這些變化應(yīng)用到目標(biāo)數(shù)據(jù)庫，實現(xiàn)源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫實時同步（realtime data synchronize）、雙活（activeactive high availability）。SQL 表示在數(shù)據(jù)庫下執(zhí)行SQL語句/******/ 表示配置文件內(nèi)容，/***不包含在內(nèi)。 Windows下安裝（1）安裝Microsoft Visual C ++ 2005 SP1Windows操作系統(tǒng)需要首先下載安裝Microsoft Visual C ++ 2005 SP1發(fā)行包（注意該軟件也分32位和64位）。（3） 數(shù)據(jù)庫需要開啟必須的日志模式。 Oracle日志（redo log）一般用于實例恢復(fù)和介質(zhì)恢復(fù)，但是如果需要靠日志還原完整的DML操作信息（比如Logmnr、Streams和這里的Goldengate），默認記錄的日志量還不夠。數(shù)據(jù)庫級別中的5個類型中，除了最小附加日志級別，都可以在表級進行設(shè)置。 映射關(guān)系，注意target前必須留一個空格map , target , keycols (name), where (TYPE1 = 1) 加兩橫杠在配置文件中進行注釋；keycols指定唯一鍵；where篩選數(shù)據(jù)***/開啟復(fù)制進程：GGSCIstart repl至此，一個最簡單的同步配置完成，對于源數(shù)據(jù)庫相應(yīng)表的insert，update，delete和truncate操作都將通過日志捕獲并同步到目標(biāo)數(shù)據(jù)庫。修改復(fù)制進程repl參數(shù)文件：GGSCIedit param repl將原先的assumetargetdefs參數(shù)替換為sourcedefs GG_HOME\ dirdef\GGSCIstop replGGSCIstart repl數(shù)據(jù)定義文件的配置完成。盡量不要使用GoldenGate的DDL復(fù)制功能，在大多數(shù)業(yè)務(wù)系統(tǒng)中，實際上不會有頻繁的數(shù)據(jù)庫結(jié)構(gòu)變動，完全可以通過手工的方式進行維護。 oracle與sybase同步Sybase數(shù)據(jù)庫設(shè)置使用sybase的SQL Advantage，用sa用戶登錄，執(zhí)行dbcc settrunc( 39。在這里需要特別提醒的一個概念上的問題，GoldenGate的初始化同步不會也不需要去初始化目標(biāo)端的SCN號。配置過程與前面是一樣的。 字段映射配置***/例子2：/***MAP , target ,COLMAP (USEDEFAULTS, sell_date1 = sell_date2)。使用這個指令，可以實現(xiàn)將源表做簡單連接（table join）然后將連接后結(jié)果同步到目標(biāo)表，達到簡單的轉(zhuǎn)換目的。 默認下，INSERT、UPDATE、DELETE都是捕獲的，可以分別在Extract進程的配置文件中加入IGNOREINSERTS、IGNOREUPDATES、IGNOREDELETES進行忽略。***/創(chuàng)建本地隊列：GGSCI ADD EXTTRAIL C:\ggoracle\dirdat\ea,extract exta（2）pump進程（passive extract進程）創(chuàng)建passive pump：GGSCI ADD EXTRACT pumpa, exttrailsource C:\ggoracle\dirdat\ea, begin now, passive, desc passive pump passive表示為passive extract process：/***extract pumpauserid COSS360,password COSS360rmthost , mgrport 7801 原先的rmthost需要被注釋RMTHOSTOPTIONS press passive extract專有參數(shù)rmttrail D:\ggoracle\dirdat\trail146\eaNOPASSTHRU gettruncatesTABLE , keycols (sampletime, objectid)。 對于這類數(shù)據(jù)沖突，最好是在業(yè)務(wù)應(yīng)用層解決。***/開啟所有進程，雙向復(fù)制開始。不同的數(shù)據(jù)庫這里需要配置的參數(shù)不同。（7） Collector進程打開與未信任域passive Extract進程的連接。提取端extract的TABLE配置：/***TABLE ,sqlexec (id sqlid,query select node_id codeid from ic_sysnode where rownum=1, NOPARAMS),TOKENS (TK_CODE = )。 表明只提取表中type1=’1并type2=’2’的記錄***/如下提取非NULL值：/***table , where (value NULL)。 數(shù)據(jù)轉(zhuǎn)換和過濾GlodenGate中支持字段映射、數(shù)據(jù)篩選轉(zhuǎn)換，以及調(diào)用執(zhí)行數(shù)據(jù)庫腳本或者SQL語句等，在一定條件下，甚至可以實現(xiàn)實時ETL的功能。 使用Oracle 10g的數(shù)據(jù)泵工具對同樣的表，通過DB Link的方式進行初始化加載：C:\impdp ddw/ddworcl job_name=zhouimp tables=test CONTENT=DATA_ONLY network_link=只需要1分半鐘就導(dǎo)完了600萬行數(shù)據(jù)。（2） 開啟源端同步抓取進程（圖上的Change Extract），開始捕獲變化。清除數(shù)據(jù)庫中DDL復(fù)制的設(shè)置在實際測試中，由于我在同一個數(shù)據(jù)庫中進行映射，映射表結(jié)構(gòu)不一致，導(dǎo)致進程報了一系列的錯誤。個人猜想是當(dāng)目標(biāo)數(shù)據(jù)庫崩潰還原后（特別是在不完全恢復(fù)的情況下），檢查點信息能同數(shù)據(jù)庫一起還原，在數(shù)據(jù)上能利用數(shù)據(jù)庫事務(wù)性與數(shù)據(jù)庫保持一致，從而在數(shù)據(jù)庫正常打開后能繼續(xù)進行數(shù)據(jù)同步。利用GoldenGate的defgen工具生成一個數(shù)據(jù)定義文件（datadefinitions file），大致步驟如下：（1）創(chuàng)建DEFGEN工具的參數(shù)文件（2）運行DEFGEN工具生成數(shù)據(jù)定義文件（3）配置GG進程識別定義文件例子：GGSCI edit param defgen 創(chuàng)建DEFGEN工具的參數(shù)文件/***DEFSFILE full_pathname 指定由DEFGEN生成的數(shù)據(jù)定義文件的全路徑和名稱[{SOURCEDB | TARGETDB} dsn,] oracle不需要配置這個參數(shù)[USERID user[,PASSWORD password]] DB2不需要配置PASSWORDTABLE owner.table 分析指定表生成配置文件***/類似如下（ORACLE）：/***DEFSFILE GG_HOME\dirdef\USERID ddw,PASSWORD ddwTABLE 。如果需要在文件級別區(qū)分隊列，建議將隊列創(chuàng)建于于不同的目錄下。（4） 外鍵補全（Foreign Key supplemental logging）：當(dāng)外鍵列被修改時，將在日志中補全所有外鍵列。光開啟最小附加日志模式還不夠，還需要打開表級的補全日志，可以在GoldenGate中使用add trandata命令強制重做日志記錄主鍵值，以保證在目標(biāo)端能成功復(fù)制：GGSCI dblogin userid ddw,password ddw GoldenGate中登錄OARCLE數(shù)據(jù)庫GGSCIadd trandata ddw.tablename 表名可以使用通配符GGSCI add trandata ,nokey,cols(sampletime, objectid) 無主鍵指定字段補全的示例也可以在數(shù)據(jù)庫中打開：SQL alter table tablename add supplemental log data (primary key) columns。下面列舉了Oracle、DbSybase之間的同步。搜索時如下選擇：點GO，然后選擇對應(yīng)版本的Oracle GoldenGate下載。數(shù)據(jù)傳輸過程中支持128位加密和數(shù)據(jù)壓縮功能。 由此可見，GoldenGate是一種基于軟件的數(shù)據(jù)復(fù)制方式，它從數(shù)據(jù)庫的日志解析數(shù)據(jù)的變化（數(shù)據(jù)量只有日志的四分之一左右）。GoldenGate軟件安裝 在不同的操作系統(tǒng)和平臺上安裝GoldenGate，需要在官網(wǎng)下載對應(yīng)的版本。（3）管理GoldenGate服務(wù)在WINDOWS下還可以將GoldenGate主進程作為系統(tǒng)服務(wù)進行管理，如下配置：GGSCI edit param ./globals 配置全局參數(shù)，注意前面的 ./ 表明與其他參數(shù)文件位置不同，該參數(shù)文件是直接位于GoldenGate安裝路徑下的輸入：/***MGRSERVNAME name GoldenGate主進程端口號，name為自定義的系統(tǒng)服務(wù)名***/然后退出GGSCI命令行：GGSCI exitGG_HOME install addservice addevents 創(chuàng)建服務(wù)，完成后可以直接進服務(wù)進行管理WINDOWS刪除GoldenGate服務(wù)：GG_HOME install deleteevents deleteservice 對應(yīng)刪除服務(wù)操作或者在注冊表刪除：HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services 一般服務(wù)會以相同的名字在這里顯示一個主健，直接刪除相關(guān)的鍵值便可 Linux和Unix下安裝（1）檢查必需的lib包 下載對應(yīng)平臺版本的GoldenGate，解壓。 oracle之間同步和GoldenGate基礎(chǔ) Oracle數(shù)據(jù)庫設(shè)置首先安裝好ORACLE，設(shè)置好ORACLE_SID，ORACLE_HOME等環(huán)境變量。在數(shù)據(jù)庫級別中，補全日志按補全的信息量，對應(yīng)好幾個級別：（1） 最小附加日志（Minimal supplemental logging）：是開啟logmnr的最低日志要求，提供了行鏈接（chained rows）和多種數(shù)據(jù)存儲（比如聚簇表、索引組織表）的信息。主鍵補全只要在需要同步的表上開啟即可。 retries exceeded.20101112 10:01:21 GGS ERROR 190 PROCESS ABENDING.而加入datapump后，主提取進程（即第一個extract）首先將trail生成在本地，然后datapump讀取本地trail再發(fā)送到目標(biāo)服務(wù)器，即便網(wǎng)絡(luò)故障，主提取進程仍然能隨著事務(wù)生成trail文件，而datapump則會暫時停止傳輸，等待網(wǎng)絡(luò)通暢后在將堆積的本地trail文件發(fā)送至目標(biāo)服務(wù)器，從而實現(xiàn)了斷點傳輸?shù)墓δ?。?dāng)GoldenGate的進程重啟時，由它所記錄的檢查點決定需要讀取的隊列位置。（4）修改extl和repl的配置文件具體操作步驟：（1）關(guān)閉數(shù)據(jù)庫回收站：SQLalter system set recyclebin=off scope=both。而Oracle不區(qū)分大小寫，這就導(dǎo)致了表和字段在復(fù)制進程映射的時候，容易因大小寫問題導(dǎo)致映射失敗。 以下為一個簡單的初始化加載的例子，對于實時同步配置同上面介紹的是一樣的，這里不再說明，只列出初始化加載部分的進程配置。***/當(dāng)然，如果同步數(shù)據(jù)負載較大的情況下，還是建議在進程級別分開。多個字符字段整合轉(zhuǎn)換為目標(biāo)端的一個時間字段***/在這里順便插入一個很容易出錯的表映射例子：/***map *, target ddw.*。這種情況下，可以考慮將字典表a2test也進行同步，來解決這個問題。解決方案的體系架構(gòu)如下：主要是通過目標(biāo)端一個額外的alias Extract進程，實現(xiàn)由目