【文章內(nèi)容簡介】 系統(tǒng)需求分析 .................................................................................................... 11 當(dāng)前現(xiàn)狀與系統(tǒng)總體需求分析 ........................................................................ 11 用戶角色劃分 ................................................................................................ 12 功能需求分析 .................................................................................................... 13 數(shù)據(jù)遷移模塊 .......................................................................................... 13 數(shù)據(jù)質(zhì)量管理模塊 .................................................................................. 15 數(shù)據(jù)查詢模塊 .......................................................................................... 16 日志模塊 .................................................................................................. 17 本章小結(jié) ............................................................................................................ 18 第四章 系統(tǒng)設(shè)計與實(shí)現(xiàn) ................................................................................................ 19 系統(tǒng)結(jié)構(gòu)設(shè)計 .................................................................................................... 19 數(shù)據(jù)庫設(shè)計 ........................................................................................................ 22 數(shù)據(jù)庫的設(shè)計原則 .................................................................................. 22 數(shù)據(jù)表的建立 .......................................................................................... 22 西安電子科技大學(xué) 碩士學(xué)位 論文 XII 數(shù)據(jù)遷移模塊的設(shè)計與實(shí)現(xiàn) ........................................................................... 27 數(shù)據(jù)質(zhì)量管理模塊的設(shè)計與實(shí)現(xiàn) ................................................................... 35 數(shù)據(jù)查詢模塊的設(shè)計與實(shí)現(xiàn) ........................................................................... 40 日志模塊的設(shè)計與實(shí)現(xiàn) ................................................................................... 41 本章小結(jié) ........................................................................................................... 46 第五章 系統(tǒng)測試 ........................................................................................................... 47 測試環(huán)境部署 ................................................................................................... 47 系統(tǒng)功能測試 ................................................................................................... 47 本章小結(jié) ........................................................................................................... 52 第六章 總結(jié)與展望 ....................................................................................................... 53 參考文獻(xiàn) ............................................................................................................................. 55 致謝 ..................................................................................................................................... 57 作者簡介 ............................................................................................................................. 59 第一章 錯誤 !使用“開始”選項(xiàng)卡將 標(biāo)題 1,一級標(biāo)題 應(yīng)用于要在此處顯示的文字。 1 第一章 緒論 選題背景及意義 隨著全面的信息時代的到來，信息資源已經(jīng)和人類生活的方方面面息息相關(guān)，對于數(shù)據(jù)信息的有效管理是每個人、每個行業(yè)所必須重視的。利用計算機(jī)和數(shù)據(jù)庫技術(shù)對數(shù)據(jù)信息進(jìn)行管理是當(dāng)前社會的潮流，這兩種技術(shù)的交叉使用使得對數(shù)據(jù)的管理、應(yīng)用變得簡單。對于企業(yè)而言，把這兩種技術(shù)和銀行的業(yè)務(wù)所結(jié)合，使兩者之間產(chǎn)生化學(xué)反應(yīng)，使得銀行用戶能夠通過有效的、綜合數(shù)據(jù)信息對銀行的發(fā)展、管理做出決策。可以說，高速的信息化和計算機(jī)、數(shù)據(jù)庫技術(shù)的使用對社會特別是企業(yè)機(jī)構(gòu)產(chǎn)生了巨大的推動作用 [1] [2]。 隨著信息技術(shù)的發(fā)展，金融業(yè)特別是銀行業(yè) 和信息技術(shù)緊密相聯(lián)，信息化的發(fā)展在一定程度上促進(jìn)了銀行業(yè)的發(fā)展，可是隨著銀行需要處理的業(yè)務(wù)數(shù)據(jù)的增加，以及銀行各個業(yè)務(wù)系統(tǒng)之間聯(lián)系的淡化，面對龐大、復(fù)雜的數(shù)據(jù)信息，迫切需要建立全行統(tǒng)一的數(shù)據(jù)管理系統(tǒng)，通過對數(shù)據(jù)的優(yōu)化和治理來徹底解決數(shù)據(jù)方面存在的問題，提高銀行市場競爭力 [3]。 銀行日常所需的數(shù)據(jù)主要來源于風(fēng)險管理系統(tǒng)、核心系統(tǒng)、財務(wù)系統(tǒng)、存貸款系統(tǒng)等，這些系統(tǒng)中存在大量的垃圾和不合規(guī)范的數(shù)據(jù)，面對這些龐雜的、分散的、甚至是錯誤的信息，在當(dāng)前系統(tǒng)下銀行不能采用適當(dāng)?shù)氖侄稳ヌ幚怼? 現(xiàn)今銀行業(yè)內(nèi)數(shù)據(jù)的管理存在如 下幾個方面的缺陷： 首先，因?yàn)樵谇捌谙到y(tǒng)開發(fā)的過程中沒有制定好統(tǒng)一的規(guī)劃，導(dǎo)致后期的數(shù)據(jù)分散，使得數(shù)據(jù)不能進(jìn)行有效的整合。 其次，由于技術(shù)標(biāo)準(zhǔn)和業(yè)務(wù)規(guī)范并不統(tǒng)一，導(dǎo)致各應(yīng)用系統(tǒng)之間協(xié)調(diào)不夠，數(shù)據(jù)的可用性不高。如今的數(shù)據(jù)看重的并不是單領(lǐng)域的應(yīng)用而是綜合的、跨業(yè)務(wù)平臺應(yīng)用。比如說客戶信息數(shù)據(jù)，需要綜合信用系統(tǒng)、存貸款系統(tǒng)、交易系統(tǒng)等的數(shù)據(jù)才能得到一個完整的客戶信息。 再次，從系統(tǒng)的可維護(hù)性和安保性方面來看，對各個業(yè)務(wù)處理系統(tǒng)進(jìn)行數(shù)據(jù)維護(hù)和質(zhì)量管理缺乏統(tǒng)一的標(biāo)準(zhǔn)，這些往往會導(dǎo)致大量的數(shù)據(jù)風(fēng)險。 最后，垃圾數(shù)據(jù)的標(biāo) 準(zhǔn)不同使得各個業(yè)務(wù)平臺之間不能很好的交互 [4][5]。 可以說，在現(xiàn)今情況下對數(shù)據(jù)信息的管理現(xiàn)在已經(jīng)決定了銀行的成敗。如果沒有合適的管理體系，那么數(shù)據(jù)對于銀行業(yè)而言也只是無意義的數(shù)字和文字。如何在數(shù)據(jù)建立的過程中實(shí)現(xiàn)標(biāo)準(zhǔn)化的配置，如何能獲得有意義的數(shù)據(jù)并且將這些數(shù)據(jù)呈現(xiàn)給系西安電子科技大學(xué) 碩士學(xué)位 論文 2 統(tǒng)用戶，如何通過對數(shù)據(jù)的分析獲取有意義的信息，提供滿足客戶偏好的服務(wù)，挖掘出客戶新的需求以此來為銀行實(shí)現(xiàn)更多的經(jīng)濟(jì)利益，這是開發(fā)實(shí)現(xiàn)本系統(tǒng)的目標(biāo) [6][7]。 國內(nèi)外研究現(xiàn)狀 目前，數(shù)據(jù)管理系統(tǒng)被大量的應(yīng)用在各行各業(yè)，這些系統(tǒng)的設(shè)計原則、 系統(tǒng)架構(gòu)、遇到的問題、實(shí)施過程中的難點(diǎn)都具有很強(qiáng)的通用性。 比如說在電力行業(yè)中，因?yàn)楦鱾€業(yè)務(wù)系統(tǒng)相對來說是比較獨(dú)立的，并且體系架構(gòu)方面也存在著不小的差異。由于不同的系統(tǒng)可能是由不同的廠商開發(fā)，所以采用的技術(shù)、對數(shù)據(jù)的存儲約束也有不小的差別，沒有統(tǒng)一的標(biāo)準(zhǔn)，這樣就導(dǎo)致了各個系統(tǒng)之間的數(shù)據(jù)交互存在非常非常大的困難。普通的數(shù)據(jù)管理只是應(yīng)用于當(dāng)前的數(shù)據(jù)環(huán)境，而新的系統(tǒng)和舊的系統(tǒng)之間的交互不能有效的進(jìn)行，因此建立數(shù)據(jù)管理系統(tǒng)就是非常必要的，使得各個業(yè)務(wù)系統(tǒng)之間能有效結(jié)合，使得其中的數(shù)據(jù)信息能夠流暢的交換，從宏觀上達(dá)到 順理各個業(yè)務(wù)系統(tǒng)平臺的數(shù)據(jù)的作用?，F(xiàn)有的電力系統(tǒng)的數(shù)據(jù)管理系統(tǒng)采用的是如下的設(shè)計，數(shù)據(jù)管理系統(tǒng)中的數(shù)據(jù)都是基于 XML 語言進(jìn)行交互的，并且對 XML 語言賦予行業(yè)特色，在數(shù)據(jù)的傳輸和保存過程中進(jìn)行加密處理，以此來保證數(shù)據(jù)信息的安全；數(shù)據(jù)交換的過程中采用異步方式；并且提供 API 接口使得后續(xù)的系統(tǒng)能開發(fā)使用。數(shù)據(jù)管理系統(tǒng)提供的是基于消息方面的交換方式。以此完善了數(shù)據(jù)處理的相應(yīng)功能，使得經(jīng)過了數(shù)據(jù)處理過的數(shù)據(jù)具有廣泛的可用性 [8][9]。 在航空領(lǐng)域中，運(yùn)載火箭的測控系統(tǒng)需要和遙測系統(tǒng)中的數(shù)據(jù)進(jìn)行交互，比如美國的戰(zhàn)神 IX 運(yùn)載火箭，俄羅斯的進(jìn)步號運(yùn)載火箭等。各種型號、各種規(guī)格的運(yùn)載火箭在進(jìn)行各種匹配實(shí)驗(yàn)是，遙測系統(tǒng)所產(chǎn)生的測試數(shù)據(jù)是進(jìn)行實(shí)驗(yàn)分析的重要依據(jù)，甚至在某些特定階段的測試過程中，上述的數(shù)據(jù)對實(shí)驗(yàn)結(jié)果起到了決定性的作用。 在銀行業(yè)中，我國建設(shè)銀行的數(shù)據(jù)管理系統(tǒng)進(jìn)入到了快速發(fā)展的時代，并且基于自身的業(yè)務(wù)需求，各個銀行也都開展了自身的數(shù)據(jù)系統(tǒng)的建設(shè)，使得數(shù)據(jù)的應(yīng)用從分散走到統(tǒng)一，與此同時，應(yīng)用的優(yōu)化，安全方面的部署也在展開，融合了更高的安全性，更強(qiáng)性能的數(shù)據(jù)管理系統(tǒng)受到越來越多的歡迎。但同時在建立數(shù)據(jù)管理系統(tǒng)的同時，也 遇到了艱難的挑戰(zhàn)。國內(nèi)的系統(tǒng)在架構(gòu)上是低于國際水平的，表現(xiàn)在靈活性差，設(shè)計的不完善，使得系統(tǒng)來自各個業(yè)務(wù)子系統(tǒng)的壓力越來越大。所以要通過優(yōu)化結(jié)構(gòu)來增強(qiáng)該系統(tǒng)性能 [10][11]。 論文主要內(nèi)容 本文要求在上述的研究背景下，建立一個對銀行中的業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一管理并對 用戶提供查詢、瀏覽服務(wù)的數(shù)據(jù)管理系統(tǒng)，通過對數(shù)據(jù)的加載、整合和質(zhì)量管理為用 第一章 錯誤 !使用“開始”選項(xiàng)卡將 標(biāo)題 1,一級標(biāo)題 應(yīng)用于要在此處顯示的文字。 3 戶提供綜合的、高質(zhì)量的數(shù)據(jù)。 本系統(tǒng)采用三層 B/S 架構(gòu)，基于 MVC 的設(shè)計模式，采用 JAVA 語言和數(shù)據(jù)庫技術(shù)進(jìn)行開發(fā)，并采用中間件對數(shù)據(jù)庫進(jìn)行訪問，利用 Oracle 數(shù)據(jù)庫存儲數(shù)據(jù)。 本文的主要內(nèi)容如下： (1) 因?yàn)殂y行各個業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)量非常龐大，并且各個業(yè)務(wù)系統(tǒng)如風(fēng)險管理系統(tǒng)、核心系統(tǒng)、財務(wù)系統(tǒng)、存貸款系統(tǒng)的數(shù)據(jù)處理的完成時間都在工作時間結(jié)束之后，所以該系統(tǒng)的數(shù)據(jù)主要是采用自動的批量處理的方式獲得，包括數(shù)據(jù)抽取、數(shù)據(jù)加載和數(shù)據(jù)整合三部分，數(shù)據(jù)抽取是指對各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行過濾抽取，作為系統(tǒng)的源數(shù)據(jù)；數(shù)據(jù)加載是指對源數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn) 換，轉(zhuǎn)換到數(shù)據(jù)庫所要求的數(shù)據(jù)格式，并存儲到系統(tǒng)的數(shù)據(jù)庫中；數(shù)據(jù)整合是指將數(shù)據(jù)按照主題進(jìn)行進(jìn)行分類。 并且對于少量沒有正確錄入的數(shù)據(jù)和各個系統(tǒng)中缺失的數(shù)據(jù)則是是由數(shù)據(jù)錄入員進(jìn)行單項(xiàng)處理。這里的數(shù)據(jù)包括機(jī)構(gòu)數(shù)據(jù)、柜員數(shù)據(jù)。 (2)在第一步完成的基礎(chǔ)上實(shí)現(xiàn)銀行數(shù)據(jù)管理系統(tǒng)的系統(tǒng)功能，將系統(tǒng)用戶分類設(shè)置為系統(tǒng)管理員、數(shù)據(jù)錄入員、數(shù)據(jù)質(zhì)量管理員和普通用戶。系統(tǒng)管理員為其他用戶建立數(shù)據(jù)權(quán)限機(jī)制，保證上述其他用戶只能對自己權(quán)限之內(nèi)的數(shù)據(jù)進(jìn)行操作；數(shù)據(jù)錄入員負(fù)責(zé)進(jìn)行數(shù)據(jù)遷移；數(shù)據(jù)質(zhì)量管理員負(fù)責(zé)系統(tǒng)內(nèi)部的數(shù)據(jù)質(zhì)量管理，即保證 數(shù)據(jù)的正確性、完整性和及時性；系統(tǒng)為普通用戶提供數(shù)據(jù)查詢和瀏覽服務(wù)；最后在系統(tǒng)中建立日志模塊監(jiān)管系統(tǒng)內(nèi)部信息。 (3)在系統(tǒng)對數(shù)據(jù)進(jìn)行處理時