【文章內容簡介】 ，每次擴展后主程序無須修改，極大的保證了系統(tǒng)的擴展性。 數據集成數據集成的目的是將數據比對形成的關聯(lián)表按數據庫的標準裝載進主表或索引庫中，數據的集成需經過數據源選擇、轉換和裝載等步驟。選擇數據源時可一次選擇多個數據表；數據轉換，這里的轉換會自動調度系統(tǒng)配置好的轉換規(guī)則；數據裝載。 數據庫表結構設計數據庫設計（Database Design)是指對于一個給定的應用環(huán)境，構造最優(yōu)的數據庫模式，建立數據庫及其應用系統(tǒng)，使之能夠有效地存儲數據，滿足各種用戶的應用需求（信息要求和處理要求）。 庫表設計原則規(guī)范化與反規(guī)范化規(guī)范化的優(yōu)點是減少了數據冗余，節(jié)約了存儲空間，相應邏輯和物理的I/O次數減少，同時加快了增、刪、改的速度。但是一個完全規(guī)范化的設計并不總能生成最優(yōu)的性能，因為對數據庫查詢通常需要更多的連接操作，從而影響到查詢的速度，而且范式越高性能就會越差。出于性能和方便管理的考慮，原則上表設計應滿足第三范式。有時為了提高某些查詢或應用的性能而可以破壞規(guī)范規(guī)則，即反規(guī)范化。數據應當按兩種類別進行組織：頻繁訪問的數據和頻繁修改的數據。對于頻繁訪問但是不頻繁修改的數據，內部設計應當物理不規(guī)范化。對于頻繁修改但并不頻繁訪問的數據，內部設計應當物理規(guī)范化。比較復雜的方法是將規(guī)范化的表作為邏輯數據庫設計的基礎，然后再根據整個應用系統(tǒng)的需要，物理地非規(guī)范化數據。數據表分類說明根據應用的實際需要和特點，可以將數據表進行如下分類：分類表描述基本數據表描述業(yè)務實體的基本信息。例如，人員基本信息、單位基本信息等。標準編碼表描述屬性的列表值。例如，職稱、民族、狀態(tài)等。業(yè)務數據表記錄業(yè)務發(fā)生的過程和結果。例如，人員調動登記、變更通知單等。系統(tǒng)信息表存放與系統(tǒng)操作、業(yè)務控制有關的參數。例如，用戶信息、權限、用戶配置信息等。統(tǒng)計數據表存放業(yè)務數據統(tǒng)計值。例如，通知單統(tǒng)計、人員類別統(tǒng)計等。臨時處理表存放業(yè)務處理過程中的中間結果。其他類型表存放應用層的日志、消息記錄等。 字段設計原則（1） 一般來說，應該使用能正確存儲和表示數據的最小類型。如果不確定需要什么數據類型，則選擇不會超出范圍的最小類型。（2） 選擇更簡單的數據類型。例如，比較整數的代價小于比較字符，因為字符集和排序規(guī)則使字符比較更復雜。（3） 盡可能把字段定義為 NOT NULL。對于字段能否NULL，應該在SQL建表腳本中明確指明，不應使用缺省。（4） 一個表中的字段不要太多，理論上不要超過80個。（5） 數據庫中所有布爾型中數值0表示為假；數值1表示為真（6） 當字段定義為字符串類型時使用VARCHAR2而不用NVARCHAR（7） 字段盡可能有默認值，字符型的默認值為一個空字符值串，數字型的默認值為數值0。 鍵設計原則（1） 為關聯(lián)字段創(chuàng)建外鍵。（2） 所有的鍵都必須唯一。（3） 盡可能避免使用復合鍵。（4） 外鍵總是關聯(lián)唯一的鍵字段。（5） 盡可能使用系統(tǒng)生成（如序列SEQUENCE產生）的主鍵。（6） 可選鍵有時可做主鍵。（7） 一個表中組合主鍵的字段個數盡可能少。 索引設計原則（1） 如果一列出現在表達式或函數中，不會使用該列上的索引（2） 要索引外鍵（3） 對于索引選擇性高的列使用BTree索引（4） 對于索引選擇性低的列使用位圖索引（5） HASH索引只適用于相等比較（6） 不要索引大型字段（有很多字符的字段）（7） 不要索引常用的小型 LOB設計原則如無特別需要，避免使用大字段（BLOB、CLOB、LONG等）。如使用時必須使用BLOB或CLOB類型。 完整性設計采用數據庫系統(tǒng)實現數據的完整性。這不但包括通過標準化實現的完整性而且還包括數據的功能性。在寫數據的時候還可以增加觸發(fā)器來保證數據的正確性。不要依賴于應用程序保證數據完整性，它不能保證表之間（外鍵）的完整性。（1） 主鍵約束每個表要求有主健，主健字段或組合字段必須滿足非空屬性和唯一性要求。（2） 鍵約束對于關聯(lián)兩個表的字段，一般應該分別建立主鍵、外鍵。實際是否建立外鍵，根據對數據完整性的要求決定。根據需要適當設置父表數據修改時對子表的影響：父表中刪除數據：級聯(lián)刪除；受限刪除；置空值。父表中插入數據：受限插入；遞歸插入。父表中更新數據：級聯(lián)更新；受限更新；置空值。（3） NULL值由于NULL值在參加任何運算時，結果均為NULL，所以必須利用NVL()函數把可能為NULL值得字段或變量轉換為非NULL的默認值。（4） CHECK條件對于字段有檢查性約束，要求指定CHECK規(guī)則。（5） 觸發(fā)器觸發(fā)器是一種特殊的存儲過程，通過對表的DML操作而觸發(fā)執(zhí)行，是為確保數據的完整性和一致性不被破壞而創(chuàng)建，實現數據的完整約束。選擇觸發(fā)器的BEFORE或AFTER事務屬性的時候，對表操作的事務屬性必須與應用程序事務屬性保持一致，以避免死鎖發(fā)生。在大量修改數據時，盡量避免使用觸發(fā)器。（6） 視圖為了在數據庫和應用程序之間提供另一層抽象，可以為應用程序建立專門的視圖而不必非要應用程序直接訪問表。這樣做還在處理數據庫變更時提供了更多的自由。視圖是虛擬的數據庫表，在使用時要遵循以下原則：為簡化查詢，將復雜的檢索或子查詢通過視圖實現。提高數據的安全性，只將需要查看的數據信息顯示給權限有限的人員。視圖中如果嵌套使用視圖，級數不要超過3級。由于視圖中只能固定條件或沒有條件，所以對于數據量較大或隨時間的推移逐漸增多的表，不宜使用視圖，可以采用實體化視圖代替。除特殊需要，避免類似SELECT * FROM [TableName] 而沒有檢索條件的視圖。（4） 視圖中盡量避免出現數據排序的SQL語句。 數據采集系統(tǒng) 自動數據采集系統(tǒng)設計與建設 自動數據采集設計自動數據采集的主要功能需要從源系統(tǒng)中采集數據到數據集成平臺的源系統(tǒng)數據文件落地區(qū)。常見的數據采集方法主要有以下幾種：通過專用數據同步工具將源系統(tǒng)生產數據實時同步到數據采集區(qū)。采用該模式的好處，主要是基于效率以及穩(wěn)定性考慮，特別適合數據庫層次的復制；另外一個好處是，幾乎可以適用于任何類型的數據源，包括不同廠商的數據庫、文件等。通過存儲設備本身的同步復制軟件將源系統(tǒng)生產數據同步到數據采集區(qū)。該模式實際上和上述專用工具備份方式沒有本質上的區(qū)別，只不過一個是數據庫廠商或其他軟件廠商開發(fā)的數據備份軟件，一個是存儲設備廠商（例如EMC）自行開發(fā)的數據備份軟件。從效率上來說，存儲設備復制技術要優(yōu)于其他數據備份軟件，但同時有一個比較大的缺點，受制于操作系統(tǒng)和數據庫系統(tǒng)對存儲設備的識別方式；一般情況下，通過存儲設備復制的數據庫，并不能很快就能使用，需要重新加載數據庫設備，重新啟動數據庫，極端情況下還需要重啟操作系統(tǒng)，因此這種存儲復制技術更多情況下也是用于災備。自行開發(fā)通用的數據下載平臺，將源系統(tǒng)生產數據同步到數據采集區(qū)。這種模式常用于增量數據采集。通過該模式基本上能按需要來定制開發(fā)數據采集程序，靈活性大，效率也較高，同時還可以集成增量比對、亂碼校驗及修正、壓縮打包、拆分并發(fā)處理、傳輸處理等功能，是一個務實的做法。但該模式也存在一個致命的問題，那就是如何確定增量數據的問題？如果通過數據庫日志來獲取，難度很大，而且也并不一定可行；如果通過數據庫結構的某個字段來識別，這完全取決于源系統(tǒng)最初設計時是否考慮了增量備份的需求；不幸的是，大多數情況下，并沒有考慮。于是，不得不采用先全量下載的方式，然后傳送到數據采集區(qū)，再通過數據采集區(qū)來實現增量對比。在這種模式下，全量數據的傳輸無疑又是一個新的問題。由源系統(tǒng)本身開發(fā)數據下載腳本，在本地生成數據，然后通過文件傳輸工具發(fā)送到數據采集區(qū)。這種模式常用于源系統(tǒng)數據采集，這主要是考慮其他源系統(tǒng)的數據采集量不大，而且各源系統(tǒng)架構多樣化，不適宜采用通用的數據下載工具。這種模式是一種主動采集模式。上述四種數據采集模式，均各有特點，各有合適的應用場景?！皽式鹑跈C構監(jiān)管信息系統(tǒng)”的數據源也是多種多樣，不宜采用統(tǒng)一的數據采集模式；應根據采集數據本身的特點，來規(guī)劃數據采集模式。源數據是來“企業(yè)信用信息交換平臺”，則自動采集的策略是：若能識別增量數據，盡可能在第3種模式；對于數據量大的數據對象，可以考慮使用第1種或第2種方法。數據采集除了考慮上述采集技術外，還應該設計數據采集區(qū)的存儲方式。由于“準金融機構監(jiān)管信息系統(tǒng)”的數據是來自于不同源系統(tǒng)，不改變源系統(tǒng)的數據表結構，因此無需另外設計獨立的數據模型，僅需按一定的規(guī)則存儲不同源系統(tǒng)的基礎數據即可。 自動數據采集建設 數據抽取策略抽取所涉及外圍元業(yè)務系統(tǒng)的范圍及各系統(tǒng)所涉及的表的大致范圍確定以后，就要根據每個系統(tǒng)的具體情況確定抽取策略。數據抽取策略包括數據源連接策略和數據加載策略。數據源連接策略包括：文件傳送方式，直連方式。數據加載策略包括：增量（通常按照交易日期），全量。增量原則是根據業(yè)務系統(tǒng)數據產生或變化為標準，對于“準金融機構監(jiān)管信息系統(tǒng)”而言，每日加載為了提高數據傳輸和轉換的效率和計算性能，盡量選擇增量加載。 數據轉換策略自動抽取在把源數據加載到“準金融機構監(jiān)管信息系統(tǒng)”臨時數據區(qū)以后，對臨時數據區(qū)的數據進行轉換加載到信息數據庫基礎數據模型中，在該數據轉換中需要根據數據的特點選擇不同的數據轉換策略。數據轉換策略包括：(A) 全表覆蓋（Delete All and Insert）全表覆蓋策略，是指對整個目標表在抽取加載時，刪除目標表中原有數據，從源表中重新抽取、轉換數據，并添加到目標表中，從而達到對目標表中數據全部更新的作用。目標表全部更新，適用于存在修改歷史的數據并且不用保存歷史的數據，同時也基于性能考慮。(B) 增量追加(Add )增量追加策略，是指按照加載周期，僅僅將源表中加載時間點或加載時間段內的數據insert到目標表中。這種抽取加載策略適用于源表中的數據是按照日期的增長，不斷增加記錄（insert），并且這些增加的數據對原來的數據不發(fā)生作用(即沒有delete、update)的情況下，要對目標表進行加載轉換的情況。(C) 增量比對（Update and Insert）增量比對策略，是指按照加載周期，將源表中加載時間點或加載時間段內的數據insert到目標表中，因源表中部分并不是完全新增，會有部分數據發(fā)生變化，如此，就需要對加載時間點或時間段中的數據與已經加載的數據進行比對，以保證加載的數據是正確的。這種抽取加載策略適用于源表中的數據是不斷變化而無法容易的得到增量的情況。這種策略情況下，我們通常將主鍵字段作為比對條件，但是某些情況下要根據業(yè)務含義及源系統(tǒng)數據提供方式來決定。(D) 歷史拉鏈（History Chain）適用于需要保存數據的連續(xù)歷史軌跡，用開始時間和結束時間標志數據不同歷史時段。歷史拉鏈的算法在數據庫實現步驟上通常由如下2種方式：方式1：1) 獲取當前的數據；2) 比較當前數據和歷史數據，找出新增加的和變化的數據，存放在臨時表中，把起始日期置為該數據所對應的日期，結束日期置為最大日期；3)針對對變化的歷史數據數據對結束日期進行更新置為最大日期；4)從臨時表向歷史表中插入新增加的和變化的數據。方式2：1) 找出前一日的數據和當前的數據；2) 比較當前數據和前一日的數據，找出新增加的和更改后的數據；3) 比較前一日的數據和當前的數據，找出被刪除的和更改前的數據；4) 從歷史表中刪除被刪除的數據和更改前的數據；5) 向歷史表中插入新增加的和更改后的數據，把起始日期置為該數據所對應的日期，結束日期置為最大日期；6) 向歷史表中插入被刪除的數據和更改前的數據，并把結束日期置為該數據所對應的日期。方式1與方式2比較而言實現上更為簡潔，但具體采取何種實現方式需要參考實際數據處理量和數據庫性能狀況，方式2在數據處理量大的情況下效率會較高。 抽取作業(yè)調度抽取任務間關系的最大特點，就是相互依賴性和高度并發(fā)性，而抽取作業(yè)調度的關鍵，就是解決好依賴性和并發(fā)性二者的統(tǒng)一。在依賴性方面，作業(yè)調度模塊要能夠識別任務間的依賴關系，優(yōu)先處理被依賴的任務，滯后并有選擇地處理依賴任務。在并發(fā)性方面，作業(yè)調度模塊在處理并發(fā)任務時，要顧及系統(tǒng)的資源和處理能力，過高的并發(fā)會使處理效率不升反降。抽取作業(yè)調度功能主要由下述模塊組成。(A) 流程管理抽取過程是一個標準的流程作業(yè)，因而以流程圖的方式來表示抽取過程是最為直觀方便的。流程管理模塊通過直觀圖形化的交互方式，實現抽取流程的定制與維護。流程管理模塊支持對運行中的流程的修訂，修訂結果不會作用于當前運行中的流程，只有在下一次運行時才會生效。(B) 調度核心調度核心負責抽取任務間的流轉，包括控制任務的并發(fā)、檢查邏輯依賴關系、實時動態(tài)調整系統(tǒng)負載和效率等功能。調度核心可以同時執(zhí)行任意多個任務流程，并在多個任務流程間進行協(xié)調，使系統(tǒng)資源和效率達到最佳化。調度核心會在必要時，將并行處理的任務自動轉為串行處理方式，以防止過高的并發(fā)影響系統(tǒng)整體效率。當抽取任務出現異常時，調度核心會自動設置任務流程的斷點，當抽取作業(yè)被重新啟動時，調度核心會跳過已經成功完成的任務，而從故障斷點繼續(xù)抽取作業(yè)的執(zhí)行，以避免重復的時間開銷。調度核心支持任務流程的啟動、停止或刪除，能夠實時提供各任務流程的當前狀況信息。(C) 日志管理整個的作業(yè)調度過程，都被記錄在調度日志中，調度日志記錄了每個任務、每組任務、每個批次和每個作業(yè)的執(zhí)行時間，可用于對每天的數據處理流程差異進行對比分析，也可為任務流程的優(yōu)化提供參考數據。 抽取作業(yè)監(jiān)控抽取作業(yè)的監(jiān)控功能如下。(A) 作業(yè)監(jiān)控抽取作業(yè)的觸發(fā)有兩種方式：自動觸發(fā)與手動觸發(fā)。自動觸發(fā)是在到達指定的時間點時自動啟動抽取作業(yè)，而手動觸發(fā)是指由操作人員通過交互操作啟動抽取作業(yè)。在通常情況下，抽取作業(yè)被配置為自動觸發(fā)方式，只有當特殊的場合無法確定準確的抽取作業(yè)啟動時間時，才會采用手動觸發(fā)方式。此外，當自動觸發(fā)的抽取作業(yè)出現異常故障時，