【正文】 過程類型的檢核規(guī)則必須要有輸入參數和輸出字段，其中輸入參數得到需要檢核的數據的值，輸出參數返回檢核結果的標志位。 手工數據采集系統(tǒng)設計與建設 手工數據錄入設計數據錄入模塊的提供是針對不同業(yè)務的通用數據錄入工具，包括頁面錄入和模板錄入以及數據入庫的審批流程。若能自動完成，則系統(tǒng)自動再進行加載；若不能自動完成，則保留這些記錄，通過人工方式進行加載。在數據轉換階段，對那些已經標記出來的含有異常字符的記錄按事先約定的規(guī)則進行轉碼處理，用可以識別并且有特定含義的字符串進行替換，確保這些記錄能正常加載成功。為了確保源數據的真實性，不建議在數據抽取的時候對特殊字符進行處理，避免出現新的錯誤。這些字符可能是某個數據項的值中出現了分隔符或換行符，使得某條記錄的欄位數與表結構不一致，或者是某個全角字符強制截取成了單字節(jié)導致后續(xù)的字符出現亂碼，根本無法加載等。 抽取數據質量檢核抽取處理原則：質量檢核是數據準確性的外部保證，應盡量提供檢核處理；檢核處理不能對抽取處理有較大性能上的影響；檢核處理不能對時間窗口壓力過大。操作管理人員可以通過監(jiān)控界面實時監(jiān)控抽取作業(yè)的日程和執(zhí)行情況，并在必要時手工停止作業(yè)的運行。(A) 作業(yè)監(jiān)控抽取作業(yè)的觸發(fā)有兩種方式：自動觸發(fā)與手動觸發(fā)。當抽取任務出現異常時，調度核心會自動設置任務流程的斷點，當抽取作業(yè)被重新啟動時，調度核心會跳過已經成功完成的任務，而從故障斷點繼續(xù)抽取作業(yè)的執(zhí)行，以避免重復的時間開銷。流程管理模塊支持對運行中的流程的修訂，修訂結果不會作用于當前運行中的流程，只有在下一次運行時才會生效。在并發(fā)性方面，作業(yè)調度模塊在處理并發(fā)任務時，要顧及系統(tǒng)的資源和處理能力，過高的并發(fā)會使處理效率不升反降。方式2：1) 找出前一日的數據和當前的數據；2) 比較當前數據和前一日的數據，找出新增加的和更改后的數據；3) 比較前一日的數據和當前的數據，找出被刪除的和更改前的數據；4) 從歷史表中刪除被刪除的數據和更改前的數據；5) 向歷史表中插入新增加的和更改后的數據，把起始日期置為該數據所對應的日期，結束日期置為最大日期；6) 向歷史表中插入被刪除的數據和更改前的數據，并把結束日期置為該數據所對應的日期。這種抽取加載策略適用于源表中的數據是不斷變化而無法容易的得到增量的情況。目標表全部更新，適用于存在修改歷史的數據并且不用保存歷史的數據，同時也基于性能考慮。數據加載策略包括：增量（通常按照交易日期），全量。由于“準金融機構監(jiān)管信息系統(tǒng)”的數據是來自于不同源系統(tǒng)，不改變源系統(tǒng)的數據表結構，因此無需另外設計獨立的數據模型，僅需按一定的規(guī)則存儲不同源系統(tǒng)的基礎數據即可。上述四種數據采集模式，均各有特點，各有合適的應用場景。在這種模式下，全量數據的傳輸無疑又是一個新的問題。這種模式常用于增量數據采集。通過存儲設備本身的同步復制軟件將源系統(tǒng)生產數據同步到數據采集區(qū)。（4） 視圖中盡量避免出現數據排序的SQL語句。提高數據的安全性，只將需要查看的數據信息顯示給權限有限的人員。在大量修改數據時，盡量避免使用觸發(fā)器。（3） NULL值由于NULL值在參加任何運算時，結果均為NULL，所以必須利用NVL()函數把可能為NULL值得字段或變量轉換為非NULL的默認值。實際是否建立外鍵，根據對數據完整性的要求決定。在寫數據的時候還可以增加觸發(fā)器來保證數據的正確性。 索引設計原則（1） 如果一列出現在表達式或函數中，不會使用該列上的索引（2） 要索引外鍵（3） 對于索引選擇性高的列使用BTree索引（4） 對于索引選擇性低的列使用位圖索引（5） HASH索引只適用于相等比較（6） 不要索引大型字段（有很多字符的字段）（7） 不要索引常用的小型 LOB設計原則如無特別需要，避免使用大字段（BLOB、CLOB、LONG等）。（4） 外鍵總是關聯(lián)唯一的鍵字段。（5） 數據庫中所有布爾型中數值0表示為假；數值1表示為真（6） 當字段定義為字符串類型時使用VARCHAR2而不用NVARCHAR（7） 字段盡可能有默認值，字符型的默認值為一個空字符值串，數字型的默認值為數值0。例如，比較整數的代價小于比較字符，因為字符集和排序規(guī)則使字符比較更復雜。其他類型表存放應用層的日志、消息記錄等。例如，用戶信息、權限、用戶配置信息等。例如，職稱、民族、狀態(tài)等。比較復雜的方法是將規(guī)范化的表作為邏輯數據庫設計的基礎，然后再根據整個應用系統(tǒng)的需要，物理地非規(guī)范化數據。有時為了提高某些查詢或應用的性能而可以破壞規(guī)范規(guī)則，即反規(guī)范化。 數據庫表結構設計數據庫設計（Database Design)是指對于一個給定的應用環(huán)境，構造最優(yōu)的數據庫模式，建立數據庫及其應用系統(tǒng)，使之能夠有效地存儲數據，滿足各種用戶的應用需求（信息要求和處理要求）。如：校驗規(guī)則配置采用JAVA語言擴展，在擴展時必須實現系統(tǒng)提供的IReCheck接口，并在實現類中實現IReCheck接口的reCheck方法。數據整合系統(tǒng)還提供了數據校驗功能，數據校驗規(guī)則可由用戶自定義，另外，通過比對結果的查看功能可方便監(jiān)控數據的比對情況，包括數據比對成功的查詢，數據比對失敗的查詢等功能。當系統(tǒng)內置的轉換規(guī)則無法滿足需要時，系統(tǒng)管理員可根據系統(tǒng)提供的配置規(guī)則進行擴展。清洗規(guī)則配置支持JAVA語言擴展，在擴展時必須實現系統(tǒng)提供的IClean接口，并在實現類中實現IClean接口的Clean方法。 系統(tǒng)功能 數據中心系統(tǒng) 數據處理系統(tǒng)建設 數據清洗216。 應用服務器軟件應用服務器和整合服務器是目前比較流行的兩種類型的整合架構、整合環(huán)境和產品，兩者的功能有很大部分的重合。 數據庫管理系統(tǒng)基于數據庫管理系統(tǒng)本身的優(yōu)勢、本期項目應用的需求、應用及數據環(huán)境間的集成因素，經過認真比較分析后建議選擇Oracle產品。建議根據項目建設及系統(tǒng)安全性和應用、集群操作的需要，分別選擇Windows 2008 Server（企業(yè)版）和 RedHat Enterprise Linux （及以上版本），以滿足本次項目的使用需求。②應用層服務器：承擔著XX市準金融機構監(jiān)管信息系統(tǒng)各類應用服務，主要強調其強大的計算能力，能夠處理大量的并發(fā)連接處理，并能夠在用戶數增加的情況下保持良好的性能平衡。這些對服務器系統(tǒng)處理能力提出了較高要求，需要高性能CPU、大容量內存為各類數據應用提供支撐。標準規(guī)范體系系統(tǒng)建設，要遵循統(tǒng)一的標準規(guī)范，是系統(tǒng)得以順利建設和正常運行的保障體系。平臺數據層平臺數據層基于數據采集系統(tǒng)，并為上層的應用支撐層提供各種信息資源。 總體架構資源層資源層主要包括已有的系統(tǒng)平臺、服務器、存儲及其他設備，是構成共享平臺應用系統(tǒng)的重要基礎設施，支撐信息應用系統(tǒng)的運行。13. 保證系統(tǒng)的可擴展性。12. 保證系統(tǒng)的易用性。主要有：一是系統(tǒng)規(guī)劃和整體結構的先進性，二是系統(tǒng)平臺的先進性，三是網絡結構的先進性，四是系統(tǒng)布局的先進性，五是數據庫平臺和開發(fā)平臺的先進性，六是應用功能的先進性。系統(tǒng)應具備完成工程中所要求功能的能力和水準。選擇較為成熟、可靠、穩(wěn)定、先進的各種組件、技術以及操作系統(tǒng)、數據庫、網絡協(xié)議、中間件，服務器可采用集群技術，保證系統(tǒng)能長期穩(wěn)定的不間斷運行，保證系統(tǒng)的穩(wěn)定性。系統(tǒng)采用的各種協(xié)議，數據庫建設標準，信息交換和共享都符合相關國際標準，保證系統(tǒng)將來能與其他系統(tǒng)進行快速、順利、安全的信息數據交換。結合服務社會公眾和政府機關的效能建設，根據政府業(yè)務的需要，在整體的準金融機構監(jiān)管信息系統(tǒng)建設中突出服務重點，講求便民實效，提高辦事效率。全面整合我市準金融機構的信息資源，投資方面最大程度地整合網絡與信息資源，保護現有投資，在保證網絡整體性能的前提下，充分利用現有的網絡設備或通過必要的升級，最終實現有序互聯(lián)，有效共享。以利于及時掌握準金融機構信貸資產質量，準確、及時地識別各家準金融機構貸款（擔保、典當）的潛在風險及其遷徙，并能通過信息交流為同行業(yè)企業(yè)提供風險預警，以便采取更為有效的措施來防范和化解風險。實現對準金融機構信貸資金使用、流向、集中度等情況的監(jiān)管。手工數據采集系統(tǒng)：采用IE瀏覽器錄入信息的方式采集數據，也提供指定格式的數據文件的導入功能采集數據。 建設內容 數據中心系統(tǒng)數據中心系統(tǒng)是承載跨部門、跨應用系統(tǒng)之間的信息交換與共享，整體，按照“統(tǒng)一數據項、統(tǒng)一標準”原則，采用規(guī)范的數據采集和定期更新機制。216。216。安全建設內容除延續(xù)《信息系統(tǒng)安全等級保護基本要求》的內容之外，重點在于應用系統(tǒng)安全建設、數據備份、審計核查，涵蓋范圍包括服務器、網絡等硬件及應用軟件等，結合安全等級保護三級要求主要包括以下幾個方面的內容建設：網絡安全：結構安全、網絡邊界安全、訪問控制、入侵防范、惡意代碼防范；應用安全：身份鑒別、訪問控制、通信完整性、軟件容錯、權限控制、主機安全、惡意代碼防范；數據安全：數據完整性、數據保密性、數據備份和恢復；審計核查：網絡安全審計、應用安全審計。 系統(tǒng)安全保障的需求由于“黑客”、計算機病毒、信息間諜等對網絡安全構成越來越嚴重的威脅，安全也成為網絡應用的必需手段，以保護網絡傳輸的數據的安全性和完整性。 內部信息服務管理系統(tǒng)需求內部信息服務管理系統(tǒng)包括機構及高級管理人員管理信息系統(tǒng)、貸款業(yè)務管理信息系統(tǒng)、財務管理信息系統(tǒng)、風險管理信息系統(tǒng)、信息交流平臺等5個子系統(tǒng)，子系統(tǒng)應能滿足“內部共享、輔助決策、信息檢索、監(jiān)督預警、系統(tǒng)管理”五大功能，能實現信息數據共享，發(fā)揮監(jiān)管和服務作用；通過對信息數據進行分析統(tǒng)計，為領導決策提供支持；起到監(jiān)督成員準金融機構、風險預警的作用。3. 數據采集多樣化的需求數據采集系統(tǒng)對前端數據采集需要有多樣化的需求，目前數據采集系統(tǒng)分自動和手動采集兩種方式：手動采集客戶端采用IE瀏覽器錄入信息；自動采集則是通過軟件自動抽取各準金融機構已有數據庫內的信息數據。為了保證準確、及時、有效的掌握數據庫系統(tǒng)的詳細使用情況對于核心數據庫管理是十分重要的，因此需新增安全審計系統(tǒng)實現對數據庫遠程各種操作的詳細審計，并進一步分析業(yè)務數據的使用狀況，為數據中心系統(tǒng)提供種類豐富的分析報告，為數據使用的合規(guī)分析，數據的性能分析提供可靠的依據。其建設主要需求點分析如下：1. 存儲系統(tǒng)建設需求由于數據中心系統(tǒng)處理過程中數據大，數據庫、知識庫等對存儲系統(tǒng)的要求高，因此存儲系統(tǒng)需要專門部署，為各種數據提供專門的存儲解決方案。 現狀分析準金融機構與傳統(tǒng)金融機構相比，雖然一般不會產生系統(tǒng)性風險，但是由于準金融機構的目標客戶資信信息具有離散度高、透明度低、規(guī)范性差等特點，加之準金融機構尚未具備足夠的風險評估技術，存在較為嚴重的信息不對稱情況，因此不管是小額貸款公司還是融資擔保公司，如果監(jiān)管不力，均可能產生涉眾金融風險。第2章 現狀與需求分析 項目的意義和建設必要性與地方金融機構不同，目前很多準金融機構尚未建立規(guī)范高效的業(yè)務運行系統(tǒng)，相關監(jiān)管部門難以及時獲取有效的監(jiān)管信息。 建設規(guī)模本次項目建設規(guī)模如下：（1） 硬件建議配置：應用服務器2臺，數據庫服務器1臺。建立一套信息資料齊全、數據更新及時、全面反映準金融機構狀況的監(jiān)管信息系統(tǒng)。每種方式的詳細預算以及軟件開發(fā)費用詳見“概算編制”章節(jié)。因此，有必要建立一套信息資料齊全、數據更新及時、全面反映準金融機構狀況的監(jiān)管信息系統(tǒng)。 需求分析 數據中心系統(tǒng)需求準金融機構監(jiān)管信息系統(tǒng)項目是建立采集和管理政府及其職能部門掌握的各類準金融機構的經營管理和數據信息、報表、報告，對準金融機構業(yè)務經營狀況、財務情況、風險管理狀況等進行監(jiān)測、監(jiān)控和分析，形成并維護全市最完整、最準確的準金融機構數據庫的應用系統(tǒng)。4. 安全性建設需求數據中心系統(tǒng)安全系統(tǒng)建設，主要從網絡層、系統(tǒng)層、數據層、應用層、服務層等各個方面考慮，加強安全系統(tǒng)的建設。2. 數據收集的需求：數據采集系統(tǒng)是必須且能夠將分散在準金融機構的信息，快速、準確地進行抽取，并將采集到的業(yè)務系統(tǒng)中信息的單向的上傳到數據中心系統(tǒng)。數據采集系統(tǒng)可方便地適應建設規(guī)模擴大的需求，實現平滑升級過度。用戶通過關鍵詞檢索后，會在標題和摘要中以高亮顯示，搜索結果分別按照標題、摘要、內容進行類聚，并剔除重復性的內容；4. 監(jiān)督預警：基于非現場監(jiān)管數據、現場檢查結果和外部審計數據，通過風險分析與預警系統(tǒng)，實現對準金融機構整體運行情況的風險預警，并及時向準金融機構發(fā)出早期預警信號，同時啟動和指導現場檢查，對風險進行確認和評估；5. 系統(tǒng)管理:為內部信息服務管理系統(tǒng)的應用模塊提供應用支撐，主要包含用戶管理、角色管理、組織管理、權限管理、日志管理等模塊。 安全等級保護需求系統(tǒng)應在物理安全、網絡安全、系統(tǒng)安全、應用安全和管理安全幾個方面有所保障?；诼?lián)動聯(lián)防和網絡集中管理、監(jiān)控技術，將所有網絡安全和數據安全產品有機的結合在一起，在漏洞預防、攻擊處理、破壞修復三方面給信息系統(tǒng)提供整體的解決方案，大在提高系統(tǒng)防護效果，降低網絡管理的風險和復雜性。 審計核查需求分析審計系統(tǒng)應具備統(tǒng)一的策略、集中的審計，適用于不同的設備、操作系統(tǒng)、數據庫系統(tǒng)和應用系統(tǒng)的審計要求，并對這些系統(tǒng)不造成影響，審計核查需求主要來自于以下兩個方面：數據庫審計：由于業(yè)務系統(tǒng)數據在數據庫中進行集中存儲，故對于數據庫的操作審計需要細化到數據庫指令、表名、視圖、字段等，同時能夠審計數據庫返回的錯誤代碼，這樣能夠在數據庫出現關鍵錯誤時及時響應，避免由于數據庫故障帶來的業(yè)務損失；內部網絡審計：終端接入內部網絡開始，提供從安全防護、信息管理和遠程維護、防泄密和審計，為內部網絡終端提供全程的保護和合規(guī)管理。第3章 總體設計 建設目標以風險監(jiān)管為核心，以“統(tǒng)一規(guī)劃、分級負責、上下聯(lián)動、資源共享”為設計原則，著力構建以數據庫為基礎平臺的新型監(jiān)管信息系統(tǒng)，充分利用聯(lián)機分析處理、數據挖掘和內容管理等技術，推動準金融機構監(jiān)管信息系統(tǒng)的深入應用，建立適合各類準金融機構特點和監(jiān)管需要的實時監(jiān)管信息系統(tǒng)，進一步強化對準金融機構合規(guī)性經營和風險管理的持續(xù)監(jiān)控，