【正文】 .................................................................................................................. 20 結(jié) 論 .................................................................. 21 參考文獻(xiàn) .................................................................. 21 致 謝 .................................................................. 23 聲 明 .................................................................. 24 第 1 頁 共 24 頁 1 引言 課題背景 隨著信息化建設(shè)的深入，企業(yè)和政府如何將己有的“信息孤島”連通起來，實現(xiàn)信息的集成與共享是當(dāng)前需要解決的一個關(guān)鍵問題。這種數(shù)據(jù)集成是從一個或多個數(shù)據(jù)庫中抽取數(shù)據(jù)，經(jīng)過遠(yuǎn)程傳輸處理后再加載到另一個數(shù)據(jù)庫中。 然而，分布式數(shù)據(jù)庫系統(tǒng)既要提供局部自治又要實現(xiàn)全局控制，給數(shù)據(jù)的同步帶來了很大的挑戰(zhàn)性。特別是對于異構(gòu)的情況。非常適合于 Inter 上的數(shù)據(jù)集成。如 SQL Server 2020 的 DTS, Oracle 的 SQL* Loader, IBM 的 Visual Warehouse 等。這些數(shù)據(jù)庫附帶的、第三方公司開發(fā)的數(shù)據(jù)集成工具對于結(jié)構(gòu)化數(shù)據(jù)在功能上 可以說已經(jīng)基本上能滿足一般的要求。 異構(gòu)數(shù)據(jù)同步方法的研究現(xiàn)狀： 集成數(shù)據(jù)的質(zhì)量是整個系統(tǒng)的關(guān)鍵點，而保證源數(shù)據(jù)和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)同步則是保證數(shù)據(jù)質(zhì)量的前提，特別是在目前分布式異步數(shù)據(jù)集成的環(huán)境下，減少數(shù)據(jù)傳輸過程中的冗余量，實現(xiàn)數(shù)據(jù)同步的高效性和增量報送成為數(shù)據(jù)同步的目標(biāo)。如果數(shù)據(jù)源是功能完備的數(shù)據(jù)庫系統(tǒng)，則可以通過定義一組觸發(fā)器，或者通過讀取日志的方式來檢測分析數(shù)據(jù)源的變化實現(xiàn)數(shù)據(jù)同步。而對于任意類型的數(shù)據(jù)源，都可以采用基于快照差分的方法實現(xiàn)數(shù)據(jù)同步 :每隔一定時期重新生成基表的快照，同上一次的舊快照作差分計算，得到反映基表自上次到本次生成快照以來變化的增量數(shù)據(jù)。在增量數(shù)據(jù)更新方面，目前有五種技術(shù)可以達(dá)到數(shù)據(jù)增量更新的要求。第五種方法就是將前后兩個快照文件進(jìn)行比對。因此當(dāng)目標(biāo)數(shù)據(jù)庫結(jié)構(gòu)發(fā)生變化或者重建時，需要重新編程實現(xiàn)該過程。數(shù)據(jù)庫同步就顯得很重要；特別是 異構(gòu)的情況，然而異構(gòu)數(shù)據(jù)庫之間的同步不能應(yīng)用數(shù)據(jù)庫自帶的同步工具。但因為大多數(shù)企業(yè)會開放用于 HTTP 的 80 端口，因而借助 Web Service 可以完成兩者的通訊。借助 XML 的 無語言相關(guān)性、無平臺相關(guān)性、無對象相關(guān)性來實現(xiàn)異構(gòu)數(shù)據(jù)庫的同步，也可應(yīng)用結(jié)構(gòu)相同的分布式數(shù)據(jù)庫上。當(dāng)所有主機(jī)同步完成，就 第 3 頁 共 24 頁 物理上刪除被同步了的數(shù)據(jù)。 2 Web Service 數(shù)據(jù)庫同步原理 Web Service 構(gòu)成與特點 Web Servcie 的結(jié)構(gòu) Web Service 由服務(wù)提供者、服務(wù)注冊中心和服務(wù)請求者三角色以及發(fā)布、查找和綁定三個操作組成。交互涉及發(fā)布、查找和綁定操作。服務(wù)提供者管理可以通過網(wǎng)絡(luò)訪問 Web Service 的一個實例。服務(wù)請求者使用查找操作來從本地或服務(wù)注冊中心檢索服務(wù)描述。服務(wù)提供者和服務(wù)請求者角色是邏輯結(jié)構(gòu)，因而服務(wù)可以表現(xiàn)兩種特性。 發(fā)布 綁定 查找 綁定 查找 圖 1 Web Service的結(jié)構(gòu) Web Servcie 的關(guān)鍵技術(shù) 協(xié)議 Web Service 中的主要服務(wù)協(xié)議包括： XML、 SOAP、 WSDL、 UDDI，它們構(gòu)成一個互操作的協(xié)議棧。 XML 嚴(yán)格地定義可移植的結(jié)構(gòu)化數(shù)據(jù)，并對數(shù)據(jù)賦予上下文相關(guān)功能。服務(wù)提供者和服務(wù)請求者均使用 XML傳遞消息和數(shù)據(jù)流。它為在分布式環(huán)境下使用 XML、對等地交換結(jié)構(gòu)化和類型化的信息提供了一個簡單且輕量級的機(jī)制。 HTTP 作為一種 普遍 接受的協(xié)議被用于任何地方及任何平臺上， XML也同 HTTP 一樣得到 普遍應(yīng)用，由于 XML 是文本格式文件，所以 SOAP 實質(zhì)上是一個基于文本的協(xié)議，它沒有對平臺和環(huán)境的依賴性。用 WSDL 定義的一套 XML 語法描述的網(wǎng)絡(luò)服務(wù)的方式，使用戶端的程序要知道 Web 服務(wù)提供了什么服務(wù)可以進(jìn)行調(diào)用?？蓭椭?Web 服務(wù)提供者在 Inter 上公布自己推出的 Web服務(wù)。各種不同平臺之上的應(yīng)用依靠這個技UDDI 通用發(fā)現(xiàn)、描述、繼承 WSDL Web Service描述語言 XML、 HTTP SOAP 簡單對象訪問協(xié)議 第 5 頁 共 24 頁 術(shù)層來實施彼此的連接和集成，從而讓使用不同系統(tǒng)和不同編程語言的人們能夠相互交流和分 享數(shù)據(jù)。而只是一種較大的進(jìn)展。是封裝成單個實體并發(fā)布到網(wǎng)絡(luò)上供其它程序使用的功能集合，它不會完全取代現(xiàn)在的構(gòu)件技術(shù)。因此，設(shè)定的安全目標(biāo)是 : .客戶端確認(rèn)服務(wù)器的身份； .服務(wù)器來確認(rèn)客戶端的身份； .保證傳輸?shù)臄?shù)據(jù)在傳輸過程中不被監(jiān)聽； .保證傳輸?shù)臄?shù)據(jù)在傳輸過程中不被篡改 。按照復(fù)制的方向劃分為單向 (unidirectional)復(fù)制和雙向 (hidirectional)復(fù)制，按照傳播更新的方式劃分為同步 (synchronous)復(fù)制和異步 (asynchronous)復(fù)制。這種復(fù)制方式比較簡單，應(yīng)用范圍也比較廣。源結(jié)點和目標(biāo)結(jié)點上的復(fù)制對象都是可讀可寫的。雙向復(fù)制比單向復(fù)制更加復(fù)雜，實現(xiàn)難度也較大，但應(yīng)用的范圍要更廣泛一些，在移動環(huán)境、動態(tài)環(huán)境等場合下大多采用這種復(fù)制方式。同步復(fù)制不適合移動應(yīng)用場合，因為移動設(shè)備不可能保持實時的連接，通常采用另一種復(fù)制方法 第 6 頁 共 24 頁 異步復(fù)制。 同步復(fù)制和異步復(fù)制的應(yīng)用場合不同。異步復(fù)制無法保證數(shù)據(jù)的實時一致性，可以應(yīng)用在移動設(shè)備數(shù)據(jù)復(fù)制，多級管理信息系統(tǒng)中。數(shù)據(jù)庫中記錄的任意變化都需要進(jìn)行復(fù)制操作。 3. 垂直劃分 :復(fù)制數(shù)據(jù)只是記錄的部分字段，不需要對全部改變的字段值進(jìn)行復(fù)制操作。 5. 函數(shù)統(tǒng)計劃分 :復(fù)制數(shù)據(jù)是對記錄進(jìn)行統(tǒng)計運(yùn)算的結(jié)果。對于緩存數(shù)據(jù)庫或備份數(shù)據(jù)庫一般采用全劃分的方式，所有的數(shù)據(jù)都進(jìn)行復(fù)制。函數(shù)統(tǒng)計劃分主要用在基礎(chǔ)數(shù)據(jù)不全或者特定情況下不能傳輸基礎(chǔ)數(shù)據(jù)而只能傳輸統(tǒng)計數(shù)據(jù)的情況下，這種方式可以大大的降低數(shù)據(jù)傳輸量，同時可以直接利用統(tǒng)計數(shù)據(jù)，而無需每次都通過基礎(chǔ)數(shù)據(jù)來生成統(tǒng)計數(shù)據(jù)，提高了數(shù)據(jù)庫的性能，滿足了統(tǒng)計方面的需求。 完整拷貝方式 :源數(shù)據(jù)庫中所有的記錄都傳送到目標(biāo)數(shù)據(jù)庫中。 增量修改方式，也稱標(biāo)量 (scalable)方式 :在這種方式下需要將事務(wù)對數(shù)據(jù) 第 7 頁 共 24 頁 的操作內(nèi)容全部保存下來，傳輸?shù)臄?shù)據(jù)就是操作的完整序列。這種方式能夠提供詳細(xì)的控制信息，適用于多種復(fù)制方式，但保存全部的操作序 列需要較多的資源，設(shè)計通用的存儲結(jié)構(gòu)也較復(fù)雜 。這種方式需要記錄上一次復(fù)制的狀態(tài)，在下一次復(fù)制時將上次復(fù)制以來的所有變化數(shù)據(jù)從數(shù)據(jù)庫中提取出來作為復(fù)制數(shù)據(jù)項。 數(shù)據(jù)捕獲技術(shù) 復(fù)制數(shù)據(jù)和數(shù)據(jù)捕獲技術(shù)有一定的相關(guān)性，不同種的數(shù)據(jù)捕獲技術(shù)在生成復(fù)制數(shù)據(jù)的能力方面上 有所不同。 1. 快照法 快照 (snapshot)是在某一時刻將數(shù)據(jù)庫中存儲對象的狀態(tài)存儲下來，構(gòu)成當(dāng)前數(shù)據(jù)庫的一個映像文件，將此映像文件作為復(fù)制數(shù)據(jù)，用來更新其他的數(shù)據(jù)庫。由于快照法生成完全拷貝的復(fù)制數(shù)據(jù)，因此效率很低，應(yīng)用的范圍也比較小。一般的 復(fù)制方案在初始化時往往也使用這種方法。觸發(fā)器法就是通過捕獲這些操作并將數(shù)據(jù)操作的信息保存到日志中或者直接進(jìn)行復(fù)制操作。 觸發(fā)器法避免了不必要的數(shù)據(jù)傳輸，克服了基于快照法的主要缺點，大大提高了效率，可以用于同步復(fù)制和雙向復(fù)制。 第 8 頁 共 24 頁 圖 3觸發(fā)器數(shù)據(jù)捕捉方式 由于大型數(shù)據(jù)庫系統(tǒng)基本上都提供了完善的觸發(fā)器機(jī)制，因此大型數(shù)據(jù)庫廠商提供的數(shù)據(jù)庫復(fù)制方案往往都運(yùn)用了這種捕獲方法，如 Oracle 的對稱復(fù)制(Symmetric Replication)綜合應(yīng)用了快照和觸發(fā)器兩種捕獲方法。通過控制表變化法得到的復(fù)制數(shù)據(jù)是數(shù)據(jù)庫的凈變化，效率較高，由于只保存了主鍵信息和部分控制信息，所以在空間占用方面也較小。 上述的 幾 種數(shù)據(jù)捕獲方法各有優(yōu)缺點，需要結(jié)合 你的具體應(yīng)用具體的選擇 。下面是幾種常見的沖突 。進(jìn)行復(fù)制數(shù)據(jù)設(shè)計時需要考慮表上定義的完整性約束，引用約束等，否則在進(jìn)行數(shù)據(jù)復(fù)制時會因為這些約束無法導(dǎo)入數(shù)據(jù)。 2. 唯一性沖突 :發(fā)生在一個更新產(chǎn)生了一個違反主鍵或唯一性約束時。 3. 更新沖突 :對于異步更新，本地數(shù)據(jù)的更新和遠(yuǎn)程數(shù)據(jù)的更新存在時間差，在這種情況下兩個或多個復(fù)制站點可能同時更 新一條記錄，如果更新同一條記錄的相關(guān)字段就會存在列級沖突。 3 需求分析 為了明確系統(tǒng)的應(yīng)達(dá)到的目標(biāo)，確定系統(tǒng)必須做什么 ， 清楚地理解所要解決的問題 。 確定了軟件設(shè)計的約束 。 功 能需求 本設(shè)計要實現(xiàn)的功能： 1. 能夠使處于 Inter 上的異構(gòu)數(shù)據(jù)庫的單向同步功能 ,初步先實現(xiàn)Sql Server2020 向 Oracle 與的同步，需要考慮其它數(shù)據(jù)庫的情況比如 my Sql等。 3. 同步需要一定安全性，能夠按照進(jìn)行同步 IP 或則物理地址來驗證同步身份。 5. 能夠?qū)崿F(xiàn)不同主機(jī)的多個數(shù)據(jù)庫同時同步功能。 7. 同步信息可以配置性。 第 10 頁 共 24 頁 8. 同步的數(shù)據(jù)類型能夠是不同的類型，比如數(shù)值型向字符型的同步等。既是能夠?qū)崿F(xiàn)多個字段合并為一個字段，或則一個、多個字段分解為更多個字段。 ，網(wǎng)絡(luò)連上后能接著繼續(xù)同步。 。 性能需求 1. 精度： 1) 服務(wù)器端的增量數(shù)據(jù)能夠準(zhǔn)確的同步到客戶端，不應(yīng)該存在數(shù)據(jù)被截斷的情況。 2. 時間特性要求： 1) 同步操作對其它正常的數(shù)據(jù)庫應(yīng)用，無明顯性能降低現(xiàn)象。 3. 靈活性 1) 同步的字段可動態(tài)配置，當(dāng)添加、修改字段后可以通過簡單的配置來實現(xiàn)修改后的同步。 處理：字段合并，分解或者是一定的運(yùn)算加工。 運(yùn)行需求 1. 硬件環(huán)境需求 ： 客戶端、服務(wù)器端：專用數(shù)據(jù)庫服務(wù)器， P4以上， 512M 以上內(nèi)存， 80G 以上硬盤； Inter 網(wǎng)絡(luò)連接。 目標(biāo) 端： Windows 2020/XP 操作系統(tǒng)、數(shù)據(jù)庫環(huán)境、 .NET 。源結(jié)點模塊包括：數(shù)據(jù)庫捕獲模塊、數(shù)據(jù)生成模塊、 Web Service、同步控制模塊、定時器、配置模塊等組成。如圖 5 所示。 源結(jié)點 Sql Server 2020 表設(shè)計 1) ER圖如圖 6 圖 6 ER圖 第 12 頁 共 24 頁 2) 數(shù)據(jù)表 如表 1： 表 1： tLJ（數(shù)據(jù)表） 邏輯字段名 物理字段名 字段類型 是否為空 主鍵 外鍵 說 明 編號 I int NOT NULL Yes No 自增加 姓名 Name Varchar(20) NOT NULL No No 描述 Des VARCHAR(1000) NULL No No 年齡 Age int NULL No No 3) 控制表 如表 表 表 表 5： 表 2 同步緩沖臨時表： tTemp 邏輯字段名 物理字段名 字段類型 是否為空 主鍵 外鍵 說 明 編號 I int NOT NULL Yes No 動作標(biāo)識 Sign tinyint null No No 插入 1，刪除 2，更新 3 數(shù)據(jù)表名 tableName VARCHAR(20) NULL No No 數(shù)據(jù)表的表名 數(shù)據(jù)記錄主鍵 infoID int Not null no no 數(shù)據(jù)表的記錄 主鍵 寫入時間 InsertDate DateTime NULL No No 表 3 讀取狀態(tài)表 : tReadState 邏輯字段名 物理字段名 字段類型 是否為空 主鍵 外鍵 說 明 編號 I int NOT NULL Yes No 讀取了數(shù)據(jù)的IP IP tinyint null No Yes 的外鍵 同步緩沖 ID infoID int Not null no Yes 數(shù)據(jù)表的記錄 表 4同步 IP配置表 : tIPConfig 邏輯字段名 物理字段名 字段類型 是否為空 主鍵 外鍵 說 明 編號 I int NOT NULL Yes No 自增加 要同步的 IP IP Varcahr(14) null No No 開啟狀態(tài) isOpen int Not null no no 上次讀取時間 ReadDate Dateti