【文章內(nèi)容簡介】 非規(guī)范化數(shù)據(jù)。數(shù)據(jù)表分類說明根據(jù)應(yīng)用的實際需要和特點，可以將數(shù)據(jù)表進行如下分類：分類表描述基本數(shù)據(jù)表描述業(yè)務(wù)實體的基本信息。例如，人員基本信息、單位基本信息等。標(biāo)準(zhǔn)編碼表描述屬性的列表值。例如，職稱、民族、狀態(tài)等。業(yè)務(wù)數(shù)據(jù)表記錄業(yè)務(wù)發(fā)生的過程和結(jié)果。例如，人員調(diào)動登記、變更通知單等。系統(tǒng)信息表存放與系統(tǒng)操作、業(yè)務(wù)控制有關(guān)的參數(shù)。例如，用戶信息、權(quán)限、用戶配置信息等。統(tǒng)計數(shù)據(jù)表存放業(yè)務(wù)數(shù)據(jù)統(tǒng)計值。例如，通知單統(tǒng)計、人員類別統(tǒng)計等。臨時處理表存放業(yè)務(wù)處理過程中的中間結(jié)果。其他類型表存放應(yīng)用層的日志、消息記錄等。 字段設(shè)計原則（1） 一般來說，應(yīng)該使用能正確存儲和表示數(shù)據(jù)的最小類型。如果不確定需要什么數(shù)據(jù)類型，則選擇不會超出范圍的最小類型。（2） 選擇更簡單的數(shù)據(jù)類型。例如，比較整數(shù)的代價小于比較字符，因為字符集和排序規(guī)則使字符比較更復(fù)雜。（3） 盡可能把字段定義為 NOT NULL。對于字段能否NULL，應(yīng)該在SQL建表腳本中明確指明，不應(yīng)使用缺省。（4） 一個表中的字段不要太多，理論上不要超過80個。（5） 數(shù)據(jù)庫中所有布爾型中數(shù)值0表示為假；數(shù)值1表示為真（6） 當(dāng)字段定義為字符串類型時使用VARCHAR2而不用NVARCHAR（7） 字段盡可能有默認(rèn)值，字符型的默認(rèn)值為一個空字符值串，數(shù)字型的默認(rèn)值為數(shù)值0。 鍵設(shè)計原則（1） 為關(guān)聯(lián)字段創(chuàng)建外鍵。（2） 所有的鍵都必須唯一。（3） 盡可能避免使用復(fù)合鍵。（4） 外鍵總是關(guān)聯(lián)唯一的鍵字段。（5） 盡可能使用系統(tǒng)生成（如序列SEQUENCE產(chǎn)生）的主鍵。（6） 可選鍵有時可做主鍵。（7） 一個表中組合主鍵的字段個數(shù)盡可能少。 索引設(shè)計原則（1） 如果一列出現(xiàn)在表達式或函數(shù)中，不會使用該列上的索引（2） 要索引外鍵（3） 對于索引選擇性高的列使用BTree索引（4） 對于索引選擇性低的列使用位圖索引（5） HASH索引只適用于相等比較（6） 不要索引大型字段（有很多字符的字段）（7） 不要索引常用的小型 LOB設(shè)計原則如無特別需要，避免使用大字段（BLOB、CLOB、LONG等）。如使用時必須使用BLOB或CLOB類型。 完整性設(shè)計采用數(shù)據(jù)庫系統(tǒng)實現(xiàn)數(shù)據(jù)的完整性。這不但包括通過標(biāo)準(zhǔn)化實現(xiàn)的完整性而且還包括數(shù)據(jù)的功能性。在寫數(shù)據(jù)的時候還可以增加觸發(fā)器來保證數(shù)據(jù)的正確性。不要依賴于應(yīng)用程序保證數(shù)據(jù)完整性，它不能保證表之間（外鍵）的完整性。（1） 主鍵約束每個表要求有主健，主健字段或組合字段必須滿足非空屬性和唯一性要求。（2） 鍵約束對于關(guān)聯(lián)兩個表的字段，一般應(yīng)該分別建立主鍵、外鍵。實際是否建立外鍵，根據(jù)對數(shù)據(jù)完整性的要求決定。根據(jù)需要適當(dāng)設(shè)置父表數(shù)據(jù)修改時對子表的影響：父表中刪除數(shù)據(jù)：級聯(lián)刪除；受限刪除；置空值。父表中插入數(shù)據(jù)：受限插入；遞歸插入。父表中更新數(shù)據(jù)：級聯(lián)更新；受限更新；置空值。（3） NULL值由于NULL值在參加任何運算時，結(jié)果均為NULL，所以必須利用NVL()函數(shù)把可能為NULL值得字段或變量轉(zhuǎn)換為非NULL的默認(rèn)值。（4） CHECK條件對于字段有檢查性約束，要求指定CHECK規(guī)則。（5） 觸發(fā)器觸發(fā)器是一種特殊的存儲過程，通過對表的DML操作而觸發(fā)執(zhí)行，是為確保數(shù)據(jù)的完整性和一致性不被破壞而創(chuàng)建，實現(xiàn)數(shù)據(jù)的完整約束。選擇觸發(fā)器的BEFORE或AFTER事務(wù)屬性的時候，對表操作的事務(wù)屬性必須與應(yīng)用程序事務(wù)屬性保持一致，以避免死鎖發(fā)生。在大量修改數(shù)據(jù)時，盡量避免使用觸發(fā)器。（6） 視圖為了在數(shù)據(jù)庫和應(yīng)用程序之間提供另一層抽象，可以為應(yīng)用程序建立專門的視圖而不必非要應(yīng)用程序直接訪問表。這樣做還在處理數(shù)據(jù)庫變更時提供了更多的自由。視圖是虛擬的數(shù)據(jù)庫表，在使用時要遵循以下原則：為簡化查詢，將復(fù)雜的檢索或子查詢通過視圖實現(xiàn)。提高數(shù)據(jù)的安全性，只將需要查看的數(shù)據(jù)信息顯示給權(quán)限有限的人員。視圖中如果嵌套使用視圖，級數(shù)不要超過3級。由于視圖中只能固定條件或沒有條件，所以對于數(shù)據(jù)量較大或隨時間的推移逐漸增多的表，不宜使用視圖，可以采用實體化視圖代替。除特殊需要，避免類似SELECT * FROM [TableName] 而沒有檢索條件的視圖。（4） 視圖中盡量避免出現(xiàn)數(shù)據(jù)排序的SQL語句。 數(shù)據(jù)采集系統(tǒng) 自動數(shù)據(jù)采集系統(tǒng)設(shè)計與建設(shè) 自動數(shù)據(jù)采集設(shè)計自動數(shù)據(jù)采集的主要功能需要從源系統(tǒng)中采集數(shù)據(jù)到數(shù)據(jù)集成平臺的源系統(tǒng)數(shù)據(jù)文件落地區(qū)。常見的數(shù)據(jù)采集方法主要有以下幾種：通過專用數(shù)據(jù)同步工具將源系統(tǒng)生產(chǎn)數(shù)據(jù)實時同步到數(shù)據(jù)采集區(qū)。采用該模式的好處，主要是基于效率以及穩(wěn)定性考慮，特別適合數(shù)據(jù)庫層次的復(fù)制；另外一個好處是，幾乎可以適用于任何類型的數(shù)據(jù)源，包括不同廠商的數(shù)據(jù)庫、文件等。通過存儲設(shè)備本身的同步復(fù)制軟件將源系統(tǒng)生產(chǎn)數(shù)據(jù)同步到數(shù)據(jù)采集區(qū)。該模式實際上和上述專用工具備份方式?jīng)]有本質(zhì)上的區(qū)別，只不過一個是數(shù)據(jù)庫廠商或其他軟件廠商開發(fā)的數(shù)據(jù)備份軟件，一個是存儲設(shè)備廠商（例如EMC）自行開發(fā)的數(shù)據(jù)備份軟件。從效率上來說，存儲設(shè)備復(fù)制技術(shù)要優(yōu)于其他數(shù)據(jù)備份軟件，但同時有一個比較大的缺點，受制于操作系統(tǒng)和數(shù)據(jù)庫系統(tǒng)對存儲設(shè)備的識別方式；一般情況下，通過存儲設(shè)備復(fù)制的數(shù)據(jù)庫，并不能很快就能使用，需要重新加載數(shù)據(jù)庫設(shè)備，重新啟動數(shù)據(jù)庫，極端情況下還需要重啟操作系統(tǒng)，因此這種存儲復(fù)制技術(shù)更多情況下也是用于災(zāi)備。自行開發(fā)通用的數(shù)據(jù)下載平臺，將源系統(tǒng)生產(chǎn)數(shù)據(jù)同步到數(shù)據(jù)采集區(qū)。這種模式常用于增量數(shù)據(jù)采集。通過該模式基本上能按需要來定制開發(fā)數(shù)據(jù)采集程序，靈活性大，效率也較高，同時還可以集成增量比對、亂碼校驗及修正、壓縮打包、拆分并發(fā)處理、傳輸處理等功能，是一個務(wù)實的做法。但該模式也存在一個致命的問題，那就是如何確定增量數(shù)據(jù)的問題？如果通過數(shù)據(jù)庫日志來獲取，難度很大，而且也并不一定可行；如果通過數(shù)據(jù)庫結(jié)構(gòu)的某個字段來識別，這完全取決于源系統(tǒng)最初設(shè)計時是否考慮了增量備份的需求；不幸的是，大多數(shù)情況下，并沒有考慮。于是，不得不采用先全量下載的方式，然后傳送到數(shù)據(jù)采集區(qū)，再通過數(shù)據(jù)采集區(qū)來實現(xiàn)增量對比。在這種模式下，全量數(shù)據(jù)的傳輸無疑又是一個新的問題。由源系統(tǒng)本身開發(fā)數(shù)據(jù)下載腳本，在本地生成數(shù)據(jù)，然后通過文件傳輸工具發(fā)送到數(shù)據(jù)采集區(qū)。這種模式常用于源系統(tǒng)數(shù)據(jù)采集，這主要是考慮其他源系統(tǒng)的數(shù)據(jù)采集量不大，而且各源系統(tǒng)架構(gòu)多樣化，不適宜采用通用的數(shù)據(jù)下載工具。這種模式是一種主動采集模式。上述四種數(shù)據(jù)采集模式，均各有特點，各有合適的應(yīng)用場景。“準(zhǔn)金融機構(gòu)監(jiān)管信息系統(tǒng)”的數(shù)據(jù)源也是多種多樣，不宜采用統(tǒng)一的數(shù)據(jù)采集模式；應(yīng)根據(jù)采集數(shù)據(jù)本身的特點，來規(guī)劃數(shù)據(jù)采集模式。源數(shù)據(jù)是來“企業(yè)信用信息交換平臺”，則自動采集的策略是：若能識別增量數(shù)據(jù)，盡可能在第3種模式；對于數(shù)據(jù)量大的數(shù)據(jù)對象，可以考慮使用第1種或第2種方法。數(shù)據(jù)采集除了考慮上述采集技術(shù)外，還應(yīng)該設(shè)計數(shù)據(jù)采集區(qū)的存儲方式。由于“準(zhǔn)金融機構(gòu)監(jiān)管信息系統(tǒng)”的數(shù)據(jù)是來自于不同源系統(tǒng)，不改變源系統(tǒng)的數(shù)據(jù)表結(jié)構(gòu)，因此無需另外設(shè)計獨立的數(shù)據(jù)模型，僅需按一定的規(guī)則存儲不同源系統(tǒng)的基礎(chǔ)數(shù)據(jù)即可。 自動數(shù)據(jù)采集建設(shè) 數(shù)據(jù)抽取策略抽取所涉及外圍元業(yè)務(wù)系統(tǒng)的范圍及各系統(tǒng)所涉及的表的大致范圍確定以后，就要根據(jù)每個系統(tǒng)的具體情況確定抽取策略。數(shù)據(jù)抽取策略包括數(shù)據(jù)源連接策略和數(shù)據(jù)加載策略。數(shù)據(jù)源連接策略包括：文件傳送方式，直連方式。數(shù)據(jù)加載策略包括：增量（通常按照交易日期），全量。增量原則是根據(jù)業(yè)務(wù)系統(tǒng)數(shù)據(jù)產(chǎn)生或變化為標(biāo)準(zhǔn)，對于“準(zhǔn)金融機構(gòu)監(jiān)管信息系統(tǒng)”而言，每日加載為了提高數(shù)據(jù)傳輸和轉(zhuǎn)換的效率和計算性能，盡量選擇增量加載。 數(shù)據(jù)轉(zhuǎn)換策略自動抽取在把源數(shù)據(jù)加載到“準(zhǔn)金融機構(gòu)監(jiān)管信息系統(tǒng)”臨時數(shù)據(jù)區(qū)以后，對臨時數(shù)據(jù)區(qū)的數(shù)據(jù)進行轉(zhuǎn)換加載到信息數(shù)據(jù)庫基礎(chǔ)數(shù)據(jù)模型中，在該數(shù)據(jù)轉(zhuǎn)換中需要根據(jù)數(shù)據(jù)的特點選擇不同的數(shù)據(jù)轉(zhuǎn)換策略。數(shù)據(jù)轉(zhuǎn)換策略包括：(A) 全表覆蓋（Delete All and Insert）全表覆蓋策略，是指對整個目標(biāo)表在抽取加載時，刪除目標(biāo)表中原有數(shù)據(jù)，從源表中重新抽取、轉(zhuǎn)換數(shù)據(jù)，并添加到目標(biāo)表中，從而達到對目標(biāo)表中數(shù)據(jù)全部更新的作用。目標(biāo)表全部更新，適用于存在修改歷史的數(shù)據(jù)并且不用保存歷史的數(shù)據(jù)，同時也基于性能考慮。(B) 增量追加(Add )增量追加策略，是指按照加載周期，僅僅將源表中加載時間點或加載時間段內(nèi)的數(shù)據(jù)insert到目標(biāo)表中。這種抽取加載策略適用于源表中的數(shù)據(jù)是按照日期的增長，不斷增加記錄（insert），并且這些增加的數(shù)據(jù)對原來的數(shù)據(jù)不發(fā)生作用(即沒有delete、update)的情況下，要對目標(biāo)表進行加載轉(zhuǎn)換的情況。(C) 增量比對（Update and Insert）增量比對策略，是指按照加載周期，將源表中加載時間點或加載時間段內(nèi)的數(shù)據(jù)insert到目標(biāo)表中，因源表中部分并不是完全新增，會有部分?jǐn)?shù)據(jù)發(fā)生變化，如此，就需要對加載時間點或時間段中的數(shù)據(jù)與已經(jīng)加載的數(shù)據(jù)進行比對，以保證加載的數(shù)據(jù)是正確的。這種抽取加載策略適用于源表中的數(shù)據(jù)是不斷變化而無法容易的得到增量的情況。這種策略情況下，我們通常將主鍵字段作為比對條件，但是某些情況下要根據(jù)業(yè)務(wù)含義及源系統(tǒng)數(shù)據(jù)提供方式來決定。(D) 歷史拉鏈（History Chain）適用于需要保存數(shù)據(jù)的連續(xù)歷史軌跡，用開始時間和結(jié)束時間標(biāo)志數(shù)據(jù)不同歷史時段。歷史拉鏈的算法在數(shù)據(jù)庫實現(xiàn)步驟上通常由如下2種方式：方式1：1) 獲取當(dāng)前的數(shù)據(jù)；2) 比較當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)，找出新增加的和變化的數(shù)據(jù)，存放在臨時表中，把起始日期置為該數(shù)據(jù)所對應(yīng)的日期，結(jié)束日期置為最大日期；3)針對對變化的歷史數(shù)據(jù)數(shù)據(jù)對結(jié)束日期進行更新置為最大日期；4)從臨時表向歷史表中插入新增加的和變化的數(shù)據(jù)。方式2：1) 找出前一日的數(shù)據(jù)和當(dāng)前的數(shù)據(jù)；2) 比較當(dāng)前數(shù)據(jù)和前一日的數(shù)據(jù)，找出新增加的和更改后的數(shù)據(jù)；3) 比較前一日的數(shù)據(jù)和當(dāng)前的數(shù)據(jù)，找出被刪除的和更改前的數(shù)據(jù)；4) 從歷史表中刪除被刪除的數(shù)據(jù)和更改前的數(shù)據(jù)；5) 向歷史表中插入新增加的和更改后的數(shù)據(jù)，把起始日期置為該數(shù)據(jù)所對應(yīng)的日期，結(jié)束日期置為最大日期；6) 向歷史表中插入被刪除的數(shù)據(jù)和更改前的數(shù)據(jù)，并把結(jié)束日期置為該數(shù)據(jù)所對應(yīng)的日期。方式1與方式2比較而言實現(xiàn)上更為簡潔，但具體采取何種實現(xiàn)方式需要參考實際數(shù)據(jù)處理量和數(shù)據(jù)庫性能狀況，方式2在數(shù)據(jù)處理量大的情況下效率會較高。 抽取作業(yè)調(diào)度抽取任務(wù)間關(guān)系的最大特點，就是相互依賴性和高度并發(fā)性，而抽取作業(yè)調(diào)度的關(guān)鍵，就是解決好依賴性和并發(fā)性二者的統(tǒng)一。在依賴性方面，作業(yè)調(diào)度模塊要能夠識別任務(wù)間的依賴關(guān)系，優(yōu)先處理被依賴的任務(wù)，滯后并有選擇地處理依賴任務(wù)。在并發(fā)性方面，作業(yè)調(diào)度模塊在處理并發(fā)任務(wù)時，要顧及系統(tǒng)的資源和處理能力，過高的并發(fā)會使處理效率不升反降。抽取作業(yè)調(diào)度功能主要由下述模塊組成。(A) 流程管理抽取過程是一個標(biāo)準(zhǔn)的流程作業(yè)，因而以流程圖的方式來表示抽取過程是最為直觀方便的。流程管理模塊通過直觀圖形化的交互方式，實現(xiàn)抽取流程的定制與維護。流程管理模塊支持對運行中的流程的修訂，修訂結(jié)果不會作用于當(dāng)前運行中的流程，只有在下一次運行時才會生效。(B) 調(diào)度核心調(diào)度核心負(fù)責(zé)抽取任務(wù)間的流轉(zhuǎn)，包括控制任務(wù)的并發(fā)、檢查邏輯依賴關(guān)系、實時動態(tài)調(diào)整系統(tǒng)負(fù)載和效率等功能。調(diào)度核心可以同時執(zhí)行任意多個任務(wù)流程，并在多個任務(wù)流程間進行協(xié)調(diào)，使系統(tǒng)資源和效率達到最佳化。調(diào)度核心會在必要時，將并行處理的任務(wù)自動轉(zhuǎn)為串行處理方式，以防止過高的并發(fā)影響系統(tǒng)整體效率。當(dāng)抽取任務(wù)出現(xiàn)異常時，調(diào)度核心會自動設(shè)置任務(wù)流程的斷點，當(dāng)抽取作業(yè)被重新啟動時，調(diào)度核心會跳過已經(jīng)成功完成的任務(wù)，而從故障斷點繼續(xù)抽取作業(yè)的執(zhí)行，以避免重復(fù)的時間開銷。調(diào)度核心支持任務(wù)流程的啟動、停止或刪除，能夠?qū)崟r提供各任務(wù)流程的當(dāng)前狀況信息。(C) 日志管理整個的作業(yè)調(diào)度過程，都被記錄在調(diào)度日志中，調(diào)度日志記錄了每個任務(wù)、每組任務(wù)、每個批次和每個作業(yè)的執(zhí)行時間，可用于對每天的數(shù)據(jù)處理流程差異進行對比分析，也可為任務(wù)流程的優(yōu)化提供參考數(shù)據(jù)。 抽取作業(yè)監(jiān)控抽取作業(yè)的監(jiān)控功能如下。(A) 作業(yè)監(jiān)控抽取作業(yè)的觸發(fā)有兩種方式：自動觸發(fā)與手動觸發(fā)。自動觸發(fā)是在到達指定的時間點時自動啟動抽取作業(yè)，而手動觸發(fā)是指由操作人員通過交互操作啟動抽取作業(yè)。在通常情況下，抽取作業(yè)被配置為自動觸發(fā)方式，只有當(dāng)特殊的場合無法確定準(zhǔn)確的抽取作業(yè)啟動時間時，才會采用手動觸發(fā)方式。此外，當(dāng)自動觸發(fā)的抽取作業(yè)出現(xiàn)異常故障時，也可以用手動觸發(fā)方式對抽取作業(yè)進行重啟和修正。操作管理人員可以通過監(jiān)控界面實時監(jiān)控抽取作業(yè)的日程和執(zhí)行情況，并在必要時手工停止作業(yè)的運行。(B) 錯誤處理每個抽取任務(wù)，都會在任務(wù)日志中記錄各自的完成情況，包括處理的數(shù)據(jù)量、異常數(shù)據(jù)、錯誤原因等信息。通過查看錯誤日志，可以快速地定位錯誤位置，并根據(jù)錯誤原因方便地排查錯誤。(C) 質(zhì)量報告可以通過任務(wù)日志，生成數(shù)據(jù)質(zhì)量報告，以有利于對源數(shù)據(jù)質(zhì)量的改進。 抽取數(shù)據(jù)質(zhì)量檢核抽取處理原則：質(zhì)量檢核是數(shù)據(jù)準(zhǔn)確性的外部保證，應(yīng)盡量提供檢核處理；檢核處理不能對抽取處理有較大性能上的影響；檢核處理不能對時間窗口壓力過大。抽取處理方法：檢核作業(yè)與該表的數(shù)據(jù)處理作業(yè)封裝在同一個作業(yè)組中。 抽取數(shù)據(jù)卸載抽取處理原則：數(shù)據(jù)卸載是實現(xiàn)數(shù)據(jù)平臺價值的重要一環(huán)，卸載工作須得到保證；數(shù)據(jù)卸載應(yīng)盡量不與其他磁盤操作頻繁的作業(yè)同時調(diào)度； 特殊字符處理在抽取過程的數(shù)據(jù)加載階段，有時候會出現(xiàn)數(shù)據(jù)無法正常加載的錯誤。出現(xiàn)這種錯誤的原因有多種可能，但常見的原因則是由于待加載的數(shù)據(jù)文件中出現(xiàn)了異常字符，導(dǎo)致加載程序無法按正常邏輯加載。這些字符可能是某個數(shù)據(jù)項的值中出現(xiàn)了分隔符或換行符，使得某條記錄的欄位數(shù)與表結(jié)構(gòu)不一致，或者是某個全角字符強制截取成了單字節(jié)導(dǎo)致后續(xù)的字符出現(xiàn)亂碼，根本無法加