數(shù)據(jù)遷移工具匯報(編輯修改稿)
2024-09-11 21:57 本頁面
【文章內(nèi)容簡介】 DC同步 觸發(fā)器同步 按照捕獲數(shù)據(jù)變化方式，同步分為解析歸檔日志同步、觸發(fā)器同步及 CDC同步三種模式。 歸檔日志同步 通過開啟數(shù)據(jù)庫歸檔模式 ， 用戶對數(shù)據(jù)庫的變更會自動寫入歸檔日志中 ， 同步工具通過解析日志的方式 ， 將數(shù)據(jù)變更解析出來 ， 同步到目標數(shù)據(jù)庫中 。 觸發(fā)器同步 通過建立同步表的觸發(fā)器 ， 將用戶對表的各種操作記錄到指定的日志表中 ， 通過解析日志表 ， 獲取用戶數(shù)據(jù)的變更 ， 實現(xiàn)與目標數(shù)據(jù)庫的同步 。 CDC同步 Oracle自帶數(shù)據(jù)定閱技術(shù) ， 可將數(shù)據(jù)變更信息自動同步到別一個用戶下 ， 同步軟件解析用戶的定閱信息 ， 實現(xiàn)與目標數(shù)據(jù)庫的同步 。 模塊說明 三、功能介紹 數(shù)據(jù)同步 ?技術(shù)成熟，數(shù)據(jù)庫各版本支持 ?成熟的軟件均采用此模式 歸檔日志模式 ?適用亍較少數(shù)據(jù)量和丌頻繁變化的數(shù)據(jù) ?需對相關數(shù)據(jù)表建觸發(fā)器 觸發(fā)器 模式 ?數(shù)據(jù)庫版本有要求， 10g版本以下效率較低。 ? BUG。 CDC 模式 以歸檔模式為主 模塊說明 三、功能介紹 數(shù)據(jù)同步 解析日志同步中，解析日志和數(shù)據(jù)入庫采用異步模式，避免了網(wǎng)絡出現(xiàn)異常后同步數(shù)據(jù)丟失。 源數(shù)據(jù)庫 數(shù)據(jù)緩存文件 目標 數(shù)據(jù)庫 解析日志 數(shù)據(jù)入庫 模塊流程 三、功能介紹 數(shù)據(jù)同步 首先通過上次解析的日志文件 SEQ號判斷并獲取新增的日志文件列表。 然后通過上次解析日志的SCN號判斷該日志文件要解析的日志記錄。 最后解析日志文件，并過濾解析的日志記錄，緩存成多個固定大小的數(shù)據(jù)文件。 源數(shù)據(jù)庫 歸檔日 志文件 上次解析 日志 SEQ 要解析的日志 文件列表 上次解析 日志 SCN 解析日志 起始 SCN 數(shù)據(jù)緩存文件 操作日志記錄 同步表對應 關系列表 日志解析 三、功能介紹 數(shù)據(jù)同步 三、功能介紹 首先通過上次入庫的 SCN號過濾數(shù)據(jù)，并判斷記錄數(shù)據(jù)是否含所有大字段的表。 然后再根據(jù)表對應關系判斷是否可以直接解析重做 sql直接入庫，如果丌能直接入庫就要根據(jù)唯一健獲取源數(shù)據(jù)。 最后通過表對應關系和字段對應關系入目標庫。 源數(shù)據(jù)庫 解析主鍵 獲取數(shù)據(jù) 上次入庫 記錄 SCN 入庫記錄 起始 SCN 數(shù)據(jù)緩存文件 普通日志記錄 簡單 對應 含有字段記錄 表對應 關系 復雜 對應 源數(shù)據(jù) 目標數(shù)據(jù)庫 解 析 重 做 sql 詫 句 數(shù)據(jù)入庫 數(shù)據(jù)同步 文件導入 遷移工具的文件操作包括 Excel文件的導入、導出和 dbf文件的導入、導出。其中 Excel文件的導入支持對應關系模板的定制導入，從而支持復雜 Excel的導入功能。 Dbf導入支持名稱模糊匹配功能，實現(xiàn)了 dbf文件的批量導入功能。 三、功能介紹 遷移工具所有設置和操作都支持可視化，都有相應的界面供用戶操作，其中表不表對應關系、字段對應關系等操作支持拖拽設置，符合大多數(shù)用戶操作習慣，具有用戶使用方便、
化學相關推薦
鄂ICP備17016276號-1