【正文】 傳輸過程中對數(shù)據(jù)丟失的情況，應(yīng)該不影響同步數(shù)據(jù)的完整性。 。 ，比如配置系統(tǒng)時對不正確的配置及時提示，以 便產(chǎn)生同步的異常。 9. 同步的配置界面化，操作方便、易使用。能夠?qū)ν降哪硞€字段做特殊的處理后再同步。同步信息包括：同步的字段、字段類型、同步的表、分配了權(quán)限的同步主機(jī)等。 6. 對實時性同步、定期 同步可配置，既可以選擇實時同步、手動同步或則按需要同步的數(shù)據(jù)量來同步。 4. 由于數(shù)據(jù)在 Inter 上傳輸，必須保證同步數(shù)據(jù)的傳輸開銷小，安全等。 2. 同步數(shù)據(jù)需要可靠的傳輸，保證數(shù)據(jù)能夠準(zhǔn)確、完全的傳輸?shù)奖煌降囊环健? 同步環(huán)境 本系統(tǒng)的同步環(huán)境如圖 4： 圖 4 同步環(huán)境 Oracle 9i,mySQL 等不同類型的數(shù)據(jù)庫通過 Inter 來獲取 SQL Server 2020 的數(shù)據(jù)，通信的兩端都存在防火墻，提供了一臺 Web 服務(wù) 器用于發(fā)布 Web Service。 在下面 描述軟件的功能和性能 的需求。 4. 刪除沖突 :發(fā)生在一個結(jié)點更新另一個結(jié)點已刪除的一行時，或者同一 第 9 頁 共 24 頁 條記錄在不同的復(fù)制站點被刪除時。不同的結(jié)點根據(jù)本地數(shù)據(jù)庫規(guī)則設(shè)置數(shù)據(jù)，這時不合理的主鍵生成規(guī)則或者是錯誤的輸入都有可能產(chǎn)生主鍵沖突或者是唯一性沖突。凈變化方式不滿足單 副本可串行化，在進(jìn)行數(shù)據(jù)更新時需要更多的考慮表間沖突問題。 1. 表間沖突 :復(fù)制數(shù)據(jù)不能滿足 本地數(shù)據(jù)庫表上定義的約束條件而造成的沖突。 沖突檢測 數(shù)據(jù)庫復(fù)制采用不同的復(fù)制方式，復(fù)制不同類型的數(shù)據(jù)都會在復(fù)制中產(chǎn)生各種不同的沖突。控制表變化法可適用于除同步復(fù)制以外的各種復(fù)制形式。 3. 控制表變化法 控制表變化 (Control Table Change)法就是創(chuàng)建一張包含復(fù)制源表的主鍵字段和一些控制信息字段的控制表，當(dāng)復(fù)制表中的記錄發(fā)生變化時，則修改控制表中 相應(yīng)關(guān)鍵字的記錄，在控制信息字段中記錄變化的情況，這一過程可以通過觸發(fā)器，中間件來實現(xiàn)，復(fù)制數(shù)據(jù)可以根據(jù)控制表中記錄的變化情況生成。但是觸發(fā)器機(jī)制需要數(shù)據(jù)庫系統(tǒng)的支持，并且為了支持不同的復(fù)制數(shù)據(jù) 類型，復(fù)制方法需要設(shè)置不同的觸發(fā)器腳本，給系統(tǒng)維護(hù)和變更帶來了不便。如圖 3 觸發(fā)器數(shù)據(jù)捕捉方式所示。 2. 觸發(fā)器法 ： 觸發(fā)器是一種特殊類型的存儲過程，當(dāng)使用 UPDATE、 INSERT 或 DELETE 對指定數(shù)據(jù)表中數(shù)據(jù)進(jìn)行操作時，觸發(fā)器就會生效，通過分析操作的相關(guān)信息，可以在觸發(fā)器中定義復(fù)雜的業(yè)務(wù)規(guī)則。Oracle 和 MS SQL Server 數(shù)據(jù)庫明確提供了基于快照的捕獲方法。 快照法只是在復(fù)制時進(jìn)行一次全面掃描，實現(xiàn)簡單，它不需依賴特別的機(jī)制，也不占用系統(tǒng)資源，在復(fù)制初始化和崩潰恢復(fù)時通常需要采用這種方式?，F(xiàn)在常用的數(shù)據(jù)捕獲技術(shù)包括觸發(fā)器法 、 快照法、控制表變化法 等。凈變化方式只傳輸改變的數(shù)據(jù)，因此傳輸?shù)臄?shù)據(jù)量是最小的，實現(xiàn)方法也較簡單，可以明顯的提高復(fù)制性能，但是這種方式不是以事務(wù)為依據(jù)對數(shù)據(jù)進(jìn)行劃分，所以不能用于同步復(fù)制，在數(shù)據(jù)復(fù)制的過程中也存在一定的問題。 凈變化方式 :傳輸?shù)臄?shù)據(jù)為兩次復(fù)制之間更新數(shù)據(jù)的凈變化值。增量修改的最大優(yōu)點就是滿足復(fù)制的單副本可串行性化。完整拷貝的優(yōu)點是實現(xiàn)起來簡單容易，不占用額外資源，不需要進(jìn)行沖突檢測等方面的工作，但其缺點是效率較低，只能應(yīng)用在初始化復(fù)制、崩潰恢復(fù)等場合。 復(fù)制數(shù)據(jù)按照傳輸數(shù)據(jù)的形式分為完整拷貝 (full copy)，增量修改(incrementalupdate)，凈變化 (neat change)三種 。水平和垂直劃分對數(shù)據(jù)進(jìn)行了過濾操作，往往用在數(shù)據(jù)保密，分級管理方面，可以提高復(fù)制的效率，降低不必要的數(shù)據(jù)傳輸。 復(fù)制數(shù)據(jù)的不同劃分用于不同的 場合。 4. 水平垂直劃分 :復(fù)制數(shù)據(jù)是水平劃分和垂直劃分的組合。 2. 水平劃分 :復(fù)制數(shù)據(jù)只是表中的部分記錄，只對滿足復(fù)制條件的記錄進(jìn)行復(fù)制操作。 復(fù)制數(shù)據(jù)的類型 數(shù)據(jù)庫復(fù)制需要在數(shù)據(jù)庫之間傳 輸數(shù)據(jù)記錄，這些數(shù)據(jù)記錄是數(shù)據(jù)庫中記錄的一種劃分，這種劃分與數(shù)據(jù)庫中的記錄存在一定的邏輯關(guān)系，按照這種邏輯關(guān)系把復(fù)制數(shù)據(jù)分為以下幾種 : 1. 全劃分 :復(fù)制數(shù)據(jù)為數(shù)據(jù)庫中所有表中的所有記錄。同步復(fù)制可以保證系統(tǒng)所有結(jié)點數(shù)據(jù)的實時一致性，對于銀行此類系統(tǒng)一般采用同步復(fù)制方法。 異步復(fù)制又稱為懶惰 (lazy)復(fù)制，是在本地事 務(wù)提交以后再將本地數(shù)據(jù)的變更反映到其他復(fù)制結(jié)點上，這種方式不需要實時的連接，可以很好的提高復(fù)制的性能，但異步復(fù)制的一個問題是在復(fù)制結(jié)點中存在“臟”數(shù)據(jù)，當(dāng)兩個事務(wù)在不同 節(jié)點 讀和寫數(shù)據(jù)時，就無法保證事務(wù)的序列化，這種復(fù)制方式一般應(yīng)用在對數(shù)據(jù)一致性要求不是很高的地方。 同步復(fù)制又稱為急切 (eager)復(fù)制，是在一個原子事務(wù)中同時更新所有的復(fù)制結(jié)點，同步復(fù)制可以進(jìn)行序列化操作，但是在交互過程中需要更多的消息交互，從而降低了復(fù)制性能，也增加了事務(wù)執(zhí)行的響應(yīng)時間。在分布式環(huán)境下可能對同一復(fù)制對象同時進(jìn)行修改，所以在理論上存在沖突的可能性，因此雙向 復(fù)制中的一個重要問題就是如何檢測預(yù)防和解決復(fù)制中的沖突。 雙向復(fù)制也稱對等式 (peertopeer)復(fù)制，多版本 (multicopy)復(fù)制或隨處修改 (update anywhere)復(fù)制，指的是兩個復(fù)制結(jié)點之間可以互相復(fù)制，復(fù)制結(jié)點既是源結(jié)點也是目標(biāo)結(jié)點。 單向復(fù)制，也稱主從式 (master/slave 或 primary/secondary)復(fù)制或主版本 (master copy)復(fù)制，指的是兩個復(fù)制結(jié)點之間只從一個結(jié)點向另一個結(jié)點進(jìn)行復(fù)制，源結(jié)點保存復(fù)制對象，目標(biāo)結(jié)點保存復(fù)制對象的 副本，源結(jié)點中數(shù)據(jù)對象具有可讀可寫的特性，目標(biāo)結(jié)點中的數(shù)據(jù)對象只具有可讀的特性，修改數(shù)據(jù)對象需要在源結(jié)點上進(jìn)行，從而預(yù)防了更新沖突的發(fā)生。 數(shù)據(jù)庫復(fù)制的分類 數(shù)據(jù)庫復(fù)制有不同的分類方法，不同的分類采用的復(fù)制方法往往不同。 Web Servcie 安全 考慮的安全僅僅是 Web Service 在交換數(shù)據(jù)中的安全。它是對象構(gòu)件技術(shù)在 Inter 上的延伸，是一種部署在 Web 上的對象構(gòu)件。 Web Service 并不是構(gòu)件技術(shù)發(fā)展中的一個革命性改變。 Web Servcie 的特點 Web Service 技術(shù)的主要目標(biāo)就是在現(xiàn)有各種異種平臺的基礎(chǔ)上，構(gòu)筑一個通用的平臺無關(guān)、語言無關(guān)的技術(shù)層。 UDDI (Universal Description Discovery and Integration)：通用描述、發(fā)現(xiàn)和集成協(xié)議，是一套基于 Web 的、分布式的 、為 Web 服務(wù)提供信息注冊的實現(xiàn)標(biāo)準(zhǔn)規(guī)范，是一個跨產(chǎn)業(yè)、跨平臺的 開發(fā)性架構(gòu)。 WSDL (Web Servcie Description Language)： Web 服務(wù)描述語言，定義了一個基于 XML 的組件描述標(biāo)準(zhǔn)機(jī)制，用來描述 Web 服務(wù)的相關(guān)信息，它把網(wǎng)絡(luò)服務(wù)定義成一個能交換消息的通信端點集。 HTTP 作為低層通信協(xié)議實現(xiàn)了 SOAP 把基于 HTTP的 Web 技術(shù)與 XML 的靈活性和擴(kuò)展性結(jié)合在一起，并有助于實現(xiàn)異構(gòu)平臺之間的互相操作性，從而使其擴(kuò)展性結(jié)合在一起，并有助于實現(xiàn)異構(gòu)平臺之間的互操作性，從而使其擴(kuò)展到 Inter 上的分布式計算和數(shù)據(jù)集成。 SOAP(Simple Object Access Protocol)：簡 單對象訪問協(xié)議， SOAP 完全獨立于任何廠商，可以相對于任何編程語言、對象模型、操作系統(tǒng)和平臺獨立實現(xiàn)。 Web服務(wù)完全基于 XML技術(shù)。如圖 2 所示 服務(wù)提供者 服務(wù)注冊中心 服務(wù)請求者 服務(wù) 服務(wù)描述 服務(wù)描述 第 4 頁 共 24 頁 圖 2 Web Service的協(xié)議棧 XML(eXtensible Markup Language):可擴(kuò)展的置標(biāo)語言，是 W3C組織于 1998年 2 月發(fā)布的標(biāo)準(zhǔn)。圖 1 展示了這些操作、提供這些操作的組件及它們之間的交互。然后使用服務(wù)描述與服務(wù)提供者 進(jìn)行綁定并調(diào)用Web Service 實現(xiàn)或同它交互。服務(wù)提供者定義 Web Service 的服務(wù)描述，并把它發(fā)布到服務(wù)請求或服務(wù)注冊中心。圖 1 描述了角色調(diào)用操作完成服務(wù)的結(jié)構(gòu)。三個角色的交互完成服務(wù)。先實現(xiàn) Sql Server 2020 同步到 Oracle，設(shè)計時考慮到多個 IP，多個不同異構(gòu)數(shù)據(jù)的情況。 本課題的研究方法 本同步系統(tǒng)采用 Web Service 作為同步數(shù)據(jù)的傳輸， 使用觸發(fā)器 實時捕獲數(shù)據(jù)庫的 增量記錄 ,并保存到臨時緩沖表，以便供 同步到目標(biāo)數(shù)據(jù)庫 ,然后采用Windows 服務(wù)實時的監(jiān)視目標(biāo) IP 是否有需要同步的數(shù)據(jù)，如果存在目標(biāo) IP 同步的數(shù)據(jù)，就向此 IP發(fā)送同步消息，另外一端收到同步消息就調(diào)用 Web Servcie方法獲取同步的數(shù)據(jù)，寫入到本地，寫入成功后向服務(wù)器方發(fā)送確認(rèn)消息；服務(wù)器收到確認(rèn)后，將此 IP同步了的數(shù)據(jù)標(biāo)識為已讀。數(shù)據(jù)表要進(jìn)行的操作，以 XML 形式編碼作為消息內(nèi)容。另一方面，由于兩者分布在 Inter 中，防火墻的存在使得同步無法使用特定端口通訊。 本課題研究的意義 分布式數(shù)據(jù)庫大量的應(yīng)用，各種應(yīng)用之間又有很多的交叉性。 目前，國內(nèi)大部分應(yīng)用系統(tǒng)采用針對系統(tǒng)本身設(shè)計開發(fā)的數(shù)據(jù)集成工具，有的甚至用手工方法實現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換和加載。第一種方法是掃描已經(jīng)打上時間戳的數(shù)據(jù)，當(dāng)一個應(yīng)用對記錄的最后一次修改打上時間戳?xí)r，掃描程序就根據(jù)時間戳得到增量數(shù)據(jù)，但必須原業(yè)務(wù)系統(tǒng)存在時間戳字段 :第二種方法是掃描增量文件，增量文件僅記錄應(yīng)用中所發(fā)生的變化，有了增量文件，掃描的過程就會高效，增量文件的生成可以改造應(yīng)用來完成，如觸發(fā)器 :第三種方法就是掃描日志文件或?qū)徲嬑募仨毷褂媚撤N技術(shù)手段作為日志文件內(nèi)容輸出的接口，常見的使用 Sybase 的工具 RepliactionServer 來識別 :第四種方法就是修改以往的應(yīng)用程序代碼，使這些程序能夠數(shù)據(jù)集成 。增量數(shù)據(jù)中可以只包含數(shù)據(jù)源中被刪除或插入的元組 綜述了可應(yīng)用于快照差分的算法，包括幾種常用算法 :Sort Merge算法、 Partition Hash 算法、 Window 算法，和一類新提出的基于壓縮策略的算法，并對所有這些算法作了詳盡的分析。該方法的可行性及實現(xiàn)依賴于具體的數(shù) 第 2 頁 共 24 頁 據(jù)源類型，比如文本型數(shù)據(jù)源就不支持日志或觸發(fā)器機(jī)制。 教授討論了數(shù)據(jù)同步的兩種可 能方法 。而對于數(shù)據(jù)庫研究組織來說，不少研究小組針對數(shù)據(jù)集成中一些重要的技術(shù)難點展開研究工作，例如集成模型，數(shù)據(jù)集成的通用性，數(shù)據(jù)集成的構(gòu)件化，數(shù)據(jù)轉(zhuǎn)換的技術(shù)，數(shù)據(jù)轉(zhuǎn)換規(guī)則的制訂，數(shù)據(jù)同步策略等等。另外，還有一些第三方軟件開發(fā)商也推出一些產(chǎn)品，例如 :Ascential Software 公司的 DataStage, Applied Database Technology 公司的 DataMapper, Dataflux 公司的 SmartScurb 和 Data Junction 公司開發(fā)的析取包等。 國內(nèi)外研究現(xiàn)狀 國外對數(shù)據(jù)集成的研究比較早，許多數(shù)據(jù)庫系統(tǒng)提供 了專門的數(shù)據(jù)轉(zhuǎn)換集成工具。 Web Service 的出現(xiàn)使異構(gòu)數(shù)據(jù)庫同步的情況變得較為容易實現(xiàn)，因為它是一種完全的無語言相關(guān)性、無平臺相關(guān)性、無對象相關(guān)性的模型。 如何在不同組織之間、不同類型、不同平臺的數(shù)據(jù)庫系統(tǒng)之間進(jìn)行數(shù)據(jù)同步工作，是數(shù)據(jù)庫領(lǐng)域一個研究方向。各分支機(jī)構(gòu)數(shù)據(jù)庫系統(tǒng)又包括異構(gòu)的與同構(gòu)的 ，這里的異構(gòu)可以是操作 系統(tǒng)的異構(gòu) ，可以是數(shù)據(jù)庫管理系統(tǒng)的異構(gòu)，也可以是數(shù)據(jù)庫內(nèi)部表結(jié)構(gòu)的異構(gòu)。特別是企業(yè)和政府部門多數(shù)采用層次管理摸式 ，各個部門、分支機(jī)構(gòu)可能處于 Inter 上的不同區(qū)域 ，上下級機(jī)構(gòu)之間需要進(jìn)行大量的數(shù)據(jù)匯總與分發(fā)，實現(xiàn)整個企業(yè)或政府部門的數(shù)據(jù)集成。目 錄 論文總頁數(shù)： 24頁 1 引言 ................................................................... 1 課題背景 ....................................................................................................................................... 1 國內(nèi)外研究現(xiàn)狀 .......................................................................................................................... 1 本課題研究的意義 ...................................................................................................................... 2 本課題的研究方法 .................................................................................................................