【正文】 來(lái)捕獲的，而是通過(guò)觸發(fā)器來(lái)實(shí)現(xiàn)，所以對(duì)源數(shù)據(jù)庫(kù)的性能影響要比單純的數(shù)據(jù)抓取要大很多，可謂屏棄了GoldenGate的優(yōu)勢(shì)。SQL 提示輸入目標(biāo)schemaSQL 提示輸入目標(biāo)schema,輸入initialsetup最后輸入yesSQLSQLgrant GGS_GGSUSER_ROLE to ddw。還有就是復(fù)制進(jìn)程的配置文件中一般不能指定assumetargetdefs參數(shù)，因?yàn)椴皇墙Y(jié)構(gòu)一致的數(shù)據(jù)庫(kù)，需要通過(guò)defgen工具生成數(shù)據(jù)定義文件進(jìn)行映射。 引號(hào)區(qū)分大小寫(xiě)***/GoldenGate同步方案 GoldenGate工具雖小，但它提供表級(jí)字段級(jí)同步映射，而且同步性能優(yōu)異、資源消耗低，使它的靈活性很強(qiáng)，可以提供多種數(shù)據(jù)同步、冗災(zāi)的解決方案。在目標(biāo)端復(fù)制應(yīng)用進(jìn)程（圖上的Change Replicat）中，需要在參數(shù)文件中配置HANDLECOLLISIONS參數(shù)，以避免重復(fù)應(yīng)用第2和第3步之間的數(shù)據(jù)變化，因?yàn)檫@部分?jǐn)?shù)據(jù)已經(jīng)包含在初始化加載中傳到目標(biāo)數(shù)據(jù)庫(kù)中了。 ***/不需要為該進(jìn)程添加遠(yuǎn)端隊(duì)列（rmttrail）。 一對(duì)多數(shù)據(jù)同步（廣播復(fù)制）一對(duì)多數(shù)據(jù)同步實(shí)現(xiàn)架構(gòu)：GoldenGate對(duì)于多對(duì)一的實(shí)現(xiàn)方式，就是對(duì)于同一個(gè)源建立多個(gè)提取進(jìn)程同步進(jìn)行，也就是說(shuō)，對(duì)應(yīng)不同的目標(biāo)端，分別配置同步進(jìn)程進(jìn)行同步。多對(duì)一同步需要注意的是，所有源端和目標(biāo)端的表都應(yīng)該使用一致的主鍵約束，而且在不同的源端不應(yīng)該對(duì)同一鍵值的數(shù)據(jù)進(jìn)行維護(hù)。以下是字段映射的配置例子：例子1：/***MAP , target , target前一定要留個(gè)空格，否則會(huì)報(bào)錯(cuò)COLMAP (id = id, type1 = type1, sell_date1 = sell_date2)。一般推薦在源端extract進(jìn)程配置文件中配置，這樣可以有效得減小trail文件的大小，減小網(wǎng)絡(luò)負(fù)載。 只在UPDATE和DELETE操作時(shí)過(guò)濾num1*num2不大于1000的值***/ 調(diào)用執(zhí)行SQL或存儲(chǔ)過(guò)程在GlodenGate指令庫(kù)中有個(gè)SQLEXEC指令，可以用來(lái)調(diào)用執(zhí)行數(shù)據(jù)庫(kù)存儲(chǔ)過(guò)程或者自定義的SQL語(yǔ)句，可以指定輸入?yún)?shù)，輸出參數(shù)可以作為字段與目標(biāo)表映射。如果有輸出參數(shù)作為額外的映射列，這個(gè)時(shí)候需要將查詢結(jié)果也一并傳輸過(guò)去。在某些業(yè)務(wù)場(chǎng)景下，只需要捕獲某一種特定的DML操作即可，比如業(yè)務(wù)數(shù)據(jù)庫(kù)往數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)同步，往往只需要捕獲INSERT操作，而對(duì)于UPDATE、DELETE則不允許同步目標(biāo)庫(kù)。消息包含可信任域的主機(jī)名或IP，以及一個(gè)可信任域mgr主進(jìn)程的端口號(hào)。 配置案例1．源端配置（146上）（1）創(chuàng)建提取進(jìn)程（與普通情況下完全一樣）GGSCI add extract exta,tranlog,begin now：/***extract extaSETENV (ORACLE_SID = ORCL)userid COSS360,password COSS360exttrail C:\ggoracle\dirdat\eadynamicresolution gettruncatesTABLE , keycols (sampletime, objectid)。 雙向復(fù)制的注意點(diǎn)1．防止數(shù)據(jù)循環(huán) 雙向復(fù)制中，最主要的問(wèn)題是需要防止數(shù)據(jù)的循環(huán)應(yīng)用。比如同時(shí)對(duì)某行數(shù)據(jù)進(jìn)行修改，修改的操作將會(huì)被覆蓋（視LAG以及事務(wù)的先后）；又比如兩端插入或刪除相同鍵值的數(shù)據(jù)。 ***/GGSCI add exttrail E:\ggoracle\dirdat\e1, extract extddw添加datapump：GGSCI add extract pumpddw,exttrailsource E:\ggoracle\dirdat\e1,begin now/***extract pumpddwuserid ggdba,password ggdbarmthost , mgrport 7801rmttrail E:\ggoracle\dirdat\rep\e1PASSTHRU gettruncatestable ddw.*。GoldenGate數(shù)據(jù)同步性能測(cè)試 這個(gè)GoldenGate同步性。以下ddw結(jié)尾的進(jìn)程均在ddw用戶所在數(shù)據(jù)庫(kù)，ddws結(jié)尾的進(jìn)程均在ddws用戶所在數(shù)據(jù)庫(kù)。如果是Oracle 9i或之前的版本，需要配置tracetable。 同樣，進(jìn)程關(guān)閉時(shí)，無(wú)論在源端關(guān)閉passive extract或是在目標(biāo)端關(guān)閉alias extract，對(duì)應(yīng)的alias extract和passive extract都會(huì)自動(dòng)關(guān)閉。（8） 同步數(shù)據(jù)通過(guò)連接從未信任域passive Extract進(jìn)程傳輸?shù)紺ollector進(jìn)程，然后寫(xiě)入本地trail，被Replicat進(jìn)程應(yīng)用。解決方案的體系架構(gòu)如下：主要是通過(guò)目標(biāo)端一個(gè)額外的alias Extract進(jìn)程，實(shí)現(xiàn)由目標(biāo)端（可信任域）主動(dòng)請(qǐng)求、向源端（未信任域）提供數(shù)據(jù)傳輸?shù)倪B接的過(guò)程。 將提取端查詢出的node_id字段值，一起傳遞***/目標(biāo)端replicat的MAP配置：/***MAP , TARGET ,COLMAP (USEDEFAULTS,SITE_CODE = TOKEN(TK_CODE))。這種情況下，可以考慮將字典表a2test也進(jìn)行同步，來(lái)解決這個(gè)問(wèn)題。***/使用FILTER參數(shù)：/***table , FILTER((num1*num2)1000)。多個(gè)字符字段整合轉(zhuǎn)換為目標(biāo)端的一個(gè)時(shí)間字段***/在這里順便插入一個(gè)很容易出錯(cuò)的表映射例子：/***map *, target ddw.*。 字段映射GoldenGate中字段的映射一般配置在復(fù)制應(yīng)用端的MAP參數(shù)中，字段映射要求兩邊盡量一致的字段的類(lèi)型，當(dāng)然也允許CHARVARCHAR之類(lèi)的轉(zhuǎn)換。***/當(dāng)然，如果同步數(shù)據(jù)負(fù)載較大的情況下，還是建議在進(jìn)程級(jí)別分開(kāi)。兩者的執(zhí)行效率差別太大了。 以下為一個(gè)簡(jiǎn)單的初始化加載的例子，對(duì)于實(shí)時(shí)同步配置同上面介紹的是一樣的，這里不再說(shuō)明，只列出初始化加載部分的進(jìn)程配置。（3） 開(kāi)啟初始化進(jìn)程（圖上的InitialLoad Extract），開(kāi)始數(shù)據(jù)初始化加載。而Oracle不區(qū)分大小寫(xiě)，這就導(dǎo)致了表和字段在復(fù)制進(jìn)程映射的時(shí)候，容易因大小寫(xiě)問(wèn)題導(dǎo)致映射失敗。這個(gè)時(shí)候需要把通過(guò)腳本創(chuàng)建的GG對(duì)象中的數(shù)據(jù)清空，安裝目錄下只提供了清除對(duì)象的腳本，可以如下操作：首先要求把所有的GG進(jìn)程停掉，包括mgr進(jìn)程SQL 首先使DDL觸發(fā)器失效SQLSQL，但是這塊不影響配置信息的清除然后重新再創(chuàng)建腳本。（4）修改extl和repl的配置文件具體操作步驟：（1）關(guān)閉數(shù)據(jù)庫(kù)回收站：SQLalter system set recyclebin=off scope=both。但實(shí)際上并不必要，因?yàn)閿?shù)據(jù)庫(kù)故障的情況多種多樣，就算檢查點(diǎn)同步恢復(fù)后，也不能保證直接就能啟動(dòng)GoldenGate進(jìn)程。當(dāng)GoldenGate的進(jìn)程重啟時(shí)，由它所記錄的檢查點(diǎn)決定需要讀取的隊(duì)列位置。***/然后退出GGSCI，在GG安裝路徑下運(yùn)行DEFGEN工具：GG_HOME defgen paramfile dirprm/配置文件默認(rèn)生成在GG_HOME\dirdef下，不要去手動(dòng)修改。 retries exceeded.20101112 10:01:21 GGS ERROR 190 PROCESS ABENDING.而加入datapump后，主提取進(jìn)程（即第一個(gè)extract）首先將trail生成在本地，然后datapump讀取本地trail再發(fā)送到目標(biāo)服務(wù)器，即便網(wǎng)絡(luò)故障，主提取進(jìn)程仍然能隨著事務(wù)生成trail文件，而datapump則會(huì)暫時(shí)停止傳輸，等待網(wǎng)絡(luò)通暢后在將堆積的本地trail文件發(fā)送至目標(biāo)服務(wù)器，從而實(shí)現(xiàn)了斷點(diǎn)傳輸?shù)墓δ?。開(kāi)啟這個(gè)提取進(jìn)程：GGSCI start extlGGSCI info all 查看所有進(jìn)程狀態(tài)此時(shí)extl進(jìn)程running則表示已成功運(yùn)行，這時(shí)開(kāi)始會(huì)在前面指定的目標(biāo)端隊(duì)列位置生成trail文件。主鍵補(bǔ)全只要在需要同步的表上開(kāi)啟即可。這個(gè)級(jí)別也是需要條件觸發(fā)的。在數(shù)據(jù)庫(kù)級(jí)別中，補(bǔ)全日志按補(bǔ)全的信息量，對(duì)應(yīng)好幾個(gè)級(jí)別：（1） 最小附加日志（Minimal supplemental logging）：是開(kāi)啟logmnr的最低日志要求，提供了行鏈接（chained rows）和多種數(shù)據(jù)存儲(chǔ)（比如聚簇表、索引組織表）的信息。千萬(wàn)不要小看這步日志設(shè)置，其實(shí)在GoldenGate的配置中，這步是最容易出錯(cuò)的環(huán)節(jié)。 oracle之間同步和GoldenGate基礎(chǔ) Oracle數(shù)據(jù)庫(kù)設(shè)置首先安裝好ORACLE，設(shè)置好ORACLE_SID，ORACLE_HOME等環(huán)境變量。同步測(cè)試的準(zhǔn)備工作中，有一部分是共通的，如下：（1） 在源端和目標(biāo)端建立相同結(jié)構(gòu)的兩個(gè)表，建立主鍵。（3）管理GoldenGate服務(wù)在WINDOWS下還可以將GoldenGate主進(jìn)程作為系統(tǒng)服務(wù)進(jìn)行管理，如下配置：GGSCI edit param ./globals 配置全局參數(shù)，注意前面的 ./ 表明與其他參數(shù)文件位置不同，該參數(shù)文件是直接位于GoldenGate安裝路徑下的輸入：/***MGRSERVNAME name GoldenGate主進(jìn)程端口號(hào)，name為自定義的系統(tǒng)服務(wù)名***/然后退出GGSCI命令行：GGSCI exitGG_HOME install addservice addevents 創(chuàng)建服務(wù)，完成后可以直接進(jìn)服務(wù)進(jìn)行管理WINDOWS刪除GoldenGate服務(wù)：GG_HOME install deleteevents deleteservice 對(duì)應(yīng)刪除服務(wù)操作或者在注冊(cè)表刪除：HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services 一般服務(wù)會(huì)以相同的名字在這里顯示一個(gè)主健，直接刪除相關(guān)的鍵值便可 Linux和Unix下安裝（1）檢查必需的lib包 下載對(duì)應(yīng)平臺(tái)版本的GoldenGate，解壓。GoldenGate安裝包一般只有幾十兆的大小，下載還是很快的。GoldenGate軟件安裝 在不同的操作系統(tǒng)和平臺(tái)上安裝GoldenGate，需要在官網(wǎng)下載對(duì)應(yīng)的版本。Oracle 公司的GoldenGate產(chǎn)品，可以在異構(gòu)的IT基礎(chǔ)結(jié)構(gòu)之間實(shí)現(xiàn)大量數(shù)據(jù)的秒一級(jí)的數(shù)據(jù)捕捉、轉(zhuǎn)換和投遞。 由此可見(jiàn)，GoldenGate是一種基于軟件的數(shù)據(jù)復(fù)制方式，它從數(shù)據(jù)庫(kù)的日志解析數(shù)據(jù)的變化（數(shù)據(jù)量只有日志的四分之一左右）。捕捉進(jìn)程在每次讀完log中的數(shù)據(jù)變化并在數(shù)據(jù)傳送到目標(biāo)系統(tǒng)后，會(huì)寫(xiě)檢查點(diǎn)（checkpoint），記錄當(dāng)前完成捕捉的log位置，檢查點(diǎn)的存在可以使捕捉進(jìn)程在中止并恢復(fù)后可從檢查點(diǎn)位置繼續(xù)復(fù)制； 目標(biāo)系統(tǒng)接受數(shù)據(jù)變化并緩存到GoldenGate隊(duì)列當(dāng)中，隊(duì)列為一系列臨時(shí)存儲(chǔ)數(shù)據(jù)變化的文件，等待投遞進(jìn)程讀取數(shù)據(jù)； GoldenGate投遞進(jìn)程從隊(duì)列中讀取數(shù)據(jù)變化并創(chuàng)建對(duì)應(yīng)的SQL語(yǔ)句，通過(guò)數(shù)據(jù)庫(kù)的本地接口執(zhí)行，提交到數(shù)據(jù)庫(kù)成功后更新自己的檢查點(diǎn)，記錄已經(jīng)完成復(fù)制的位置，數(shù)據(jù)的復(fù)制過(guò)程最終完成。數(shù)據(jù)傳輸過(guò)程中支持128位加密和數(shù)據(jù)壓縮功能。而且，因?yàn)镚oldenGate本身提供了大量的參數(shù)，也不可能在這里一一列舉，本文檔中只舉例了常用的一些參數(shù)命令，關(guān)于各個(gè)參數(shù)的具體使用語(yǔ)法和作用，還請(qǐng)參照官方文檔《Oracle GoldeGate Reference Guide》。搜索時(shí)如下選擇：點(diǎn)GO，然后選擇對(duì)應(yīng)版本的Oracle GoldenGate下載。至此軟件安裝完成。下面列舉了Oracle、DbSybase之間的同步。額外的，如果數(shù)據(jù)庫(kù)使用ASM時(shí)，需要sysdba權(quán)限。光開(kāi)啟最小附加日志模式還不夠，還需要打開(kāi)表級(jí)的補(bǔ)全日志，可以在GoldenGate中使用add trandata命令強(qiáng)制重做日志記錄主鍵值，以保證在目標(biāo)端能成功復(fù)制：GGSCI dblogin userid ddw,password ddw GoldenGate中登錄OARCLE數(shù)據(jù)庫(kù)GGSCIadd trandata ddw.tablename 表名可以使用通配符GGSCI add trandata ,nokey,cols(sampletime, objectid) 無(wú)主鍵指定字段補(bǔ)全的示例也可以在數(shù)據(jù)庫(kù)中打開(kāi)：SQL alter table tablename add supplemental log data (primary key) columns。Oracle補(bǔ)全日志可以在數(shù)據(jù)庫(kù)級(jí)別設(shè)置，也可以在表級(jí)別設(shè)置。（4） 外鍵補(bǔ)全（Foreign Key supplemental logging）：當(dāng)外鍵列被修改時(shí)，將在日志中補(bǔ)全所有外鍵列。 所以在GoldenGate中，對(duì)于Oracle數(shù)據(jù)庫(kù)的日志補(bǔ)全要求，至少是打開(kāi)最小附加日志和主鍵補(bǔ)全。如果需要在文件級(jí)別區(qū)分隊(duì)列，建議將隊(duì)列創(chuàng)建于于不同的目錄下。)。利用GoldenGate的de