【正文】 ..............................................................................32 數(shù)據(jù)庫邏輯結(jié)構(gòu)圖 ................................................................................32 系統(tǒng)界面設(shè)計 .................................................................................................354 系統(tǒng)測試 ...............................................................................................................39 DOWNLOADER 測試 .........................................................................................39 Email 下載文件測試 ..............................................................................39 Ftp 下載文件測試 ..................................................................................40 Ssh 下載文件測試 ..................................................................................41 Local 下載文件測試 （Copy） ...............................................................41 Local 下載文件測試 （Move） ..............................................................42 PARSER 測試 ....................................................................................................42 IMPORTER 測試 ................................................................................................43 導(dǎo)入文件到數(shù)據(jù)庫中 ............................................................................43 以固定優(yōu)先級打開 importer .................................................................445 結(jié)論 .......................................................................................................................44 本文總結(jié) ........................................................................................................44 系統(tǒng)的前景展望 ............................................................................................45 下一步工作 ....................................................................................................45致 謝 .........................................................................................................................46參考文獻(xiàn) ...................................................................................................................476 / 491緒論 本課題的簡介數(shù)據(jù)采集自動化處理其實就是一個系統(tǒng)，此系統(tǒng)主要任務(wù)就是自動化的采集數(shù)據(jù)。圖 系統(tǒng)整體數(shù)據(jù)流圖7 / 49圖 11 是整個系統(tǒng)的結(jié)構(gòu)圖，通過結(jié)構(gòu)圖可以很清楚的看到整個系統(tǒng)的大致的結(jié)構(gòu)和所完成的一些功能有一個初步的了解。共同基金這種新興投資方式的出現(xiàn)，是市場經(jīng)濟(jì)特別是證券高度發(fā)達(dá)的必然結(jié)果。這是因為：共同基金將眾多小額的資金匯集起來，積少成多，能從規(guī)模經(jīng)濟(jì)中獲益。因此，可以預(yù)料，共同基金在我國產(chǎn)生和發(fā)展也將是為期不遠(yuǎn)的現(xiàn)實。這個系統(tǒng)的意義還在與能夠減少人工的參與，大量減少人工的工作量，再最以前都是人工的讀文件取數(shù)據(jù)并且錄入數(shù)據(jù)，采用現(xiàn)在的信息化處理數(shù)據(jù)能夠減少公司的開支并且得到最準(zhǔn)確和及時的數(shù)據(jù)，這是金融分析最重要的一點。它包含一個以機(jī)器可處理格式描述的接口(特指WSDL)。 WEB 服務(wù)的優(yōu)勢，.NET 是微軟為 Web 服務(wù)提供的一個平臺。也就是說，PC 上做的事，有了 Inter，可以做到 100 倍，而 Web 服務(wù)來到后，也許能做 10000 倍。從用戶看，Web服務(wù)將用戶的需求分成幾個部分，逐步完成。但你需要去搜索賣花，搜索到的也許并不是你所最想要的；你還需要輸入信用卡號和地址，而且所有的數(shù)據(jù)也不能重復(fù)使用。 從開發(fā)者角度看，Web 服務(wù)的目的是讓人們開發(fā)的程序都能相互結(jié)合起來，比如說，賣花與付款兩個服務(wù)模塊，在開發(fā)時并沒有任何協(xié)議，是獨立9 / 49開發(fā)的，但把它們放在一起，也能運(yùn)行。 .NET 是一個很長的過程，最終目的是任何時候任何一個程序都可以與另一個程序兼容。足夠多的 Web 服務(wù)出現(xiàn)后，成長的速度會非常快。像 HTML一樣，XML 是從所有標(biāo)志語言的元語一標(biāo)準(zhǔn)通用標(biāo)志語言 SGML(Standard Generalized Markup Language)那里派生出來的。然而，由于 XML 在可擴(kuò)展性、可移植性和結(jié)構(gòu)性等方面的突出優(yōu)點，它的應(yīng)用范圍早己突破了 HTML 所達(dá)到的范圍。XML 是一種元標(biāo)記語言，所謂“元標(biāo)記”就是開發(fā)者可以根據(jù)自己的需要定義自己的標(biāo)記。HTML 是一種 預(yù)定義標(biāo)記語言，它只認(rèn)識諸如html等已經(jīng)定義的標(biāo)記，對于用戶自己定義的標(biāo)記是不認(rèn)識的。)CML 技術(shù)支持 DOM(Document Object Model，文檔對象模型) 和 SAX( Simple Application for XMLXML 簡單應(yīng)用程序)兩種編程接口技術(shù)，還能使用 XPath 語言對數(shù)據(jù)內(nèi)容進(jìn)行查詢。主要特點：；；；；。XML 是一項將類型和結(jié)構(gòu)置于信息上層的技術(shù)，它架起了應(yīng)用程序數(shù)據(jù)類型與存儲和傳輸單元之間的橋梁，因此 XML可以被看作是一種串行格式化的傳輸語法，允許數(shù)據(jù)被串行化為易于被任何平臺解碼的消息格式，提供了在網(wǎng)絡(luò)應(yīng)用之間交換結(jié)構(gòu)化數(shù)據(jù)的機(jī)制。XML 是一種標(biāo)記語言，標(biāo)記在 XML 中不是預(yù)先確定的，而必須由使用者自己定義。另外，XML 文檔的結(jié)構(gòu)、內(nèi)容和外觀可以作為三個不同的部分進(jìn)行維護(hù)，提供了更高的獨立性。為了支持可擴(kuò)展性，Web 服務(wù)需要一種機(jī)制以避免名字沖突，并允許一個程序只處理自己所關(guān)心的元素。為了支持可擴(kuò)展性，XML 中的每個元素和屬性都有一個相關(guān)的名稱空間。 XML Schema 規(guī)范標(biāo)準(zhǔn)化了一個描述 XML 數(shù)據(jù)類型的符號集，還定義了一個內(nèi)置簡單數(shù)據(jù)類型的集合和在各 XML 文檔中建立元素類型的機(jī)制。11 / 49 系統(tǒng)的體系結(jié)構(gòu) 傳統(tǒng)的兩層結(jié)構(gòu)在過去應(yīng)用系統(tǒng)開發(fā)過程中，Client/Server 體系結(jié)構(gòu)得到了廣泛的應(yīng)用。但 Client/Server 結(jié)構(gòu)存在著很多體系結(jié)構(gòu)上的問題，比如：當(dāng)客戶端數(shù)目激增時，服務(wù)器端的性能會因為負(fù)載過重而大大衰減；一旦應(yīng)用的需求發(fā)生變化，客戶端和服務(wù)器端的應(yīng)用程序都需要進(jìn)行修改，給應(yīng)用維護(hù)和升級帶來了極大的不便；大量的數(shù)據(jù)傳輸增加了網(wǎng)絡(luò)的負(fù)載等等。這里所說的三層體系，不是指物理上的三層，不是簡單地放置三臺機(jī)器就是三層體系結(jié)構(gòu)，也不僅僅有 B/S 應(yīng)用才是三層體系結(jié)構(gòu)，三層是指邏輯上的三層，即使這三個層放置到一臺機(jī)器上。通常情況下，客戶端不直接與數(shù)據(jù)庫進(jìn)行交互，而是通過COM/DCOM 通訊與中間層建立連接，再經(jīng)由中間層與數(shù)據(jù)庫進(jìn)行交互 [5]。應(yīng)用系統(tǒng)只有向多層分布式轉(zhuǎn)變，才能最終解決 Client/Server 結(jié)構(gòu)存在的問題。將應(yīng)用系統(tǒng)集成于分布式系統(tǒng)之上，能極大地提高系統(tǒng)的可擴(kuò)展性。開發(fā)人員可以將應(yīng)用的商業(yè)邏輯放在中間層應(yīng)用服務(wù)器上，把應(yīng)用的業(yè)務(wù)邏輯與用戶界面分開。這意味著如果需要修改應(yīng)用程序12 / 49代碼，只需要對中間層應(yīng)用服務(wù)器進(jìn)行修改，而不用修改成千上萬的客戶端應(yīng)用程序。因此，本系統(tǒng)將選擇三層體系結(jié)構(gòu)，圖 是系統(tǒng)高層邏輯體系結(jié)構(gòu)圖：圖 高層邏輯體系結(jié)構(gòu) 用 部署三層架構(gòu)就 B/S 模式的系統(tǒng)的開發(fā)，具體技術(shù)又有多種選擇：JSP + J2EE， ASP+IIS， + Microsoft .NET Framework + IIS，PHP + Apache，就這幾門技術(shù)，可以說各有其優(yōu)缺點，分析如下： JSP 技術(shù)：具有良好的跨平臺性，加上 J2EE 功能十分強(qiáng)大，但是 J2EE的布置使開發(fā)成本顯得略高，而且沒有良好的安裝界面。 ASP 技術(shù)：類似于 PHP 技術(shù)，開發(fā)簡便，快速，加上 IIS 的功能支持，是比較簡易快速的開發(fā)技術(shù)。邏輯層 數(shù)據(jù)層表示層CodeBehind后臺代碼顯示頁面BusinessLayerDataLayer DataBase13 / 49Microsoft .NET Framework 是微軟推出的一套下一代開發(fā)平臺。 的公共運(yùn)行規(guī)范(CLS 的語言都可以使用它提供的強(qiáng)大的類，并編譯為微軟的中間語言（MSIL） ，在其他的應(yīng)用中就可以當(dāng)作一個組件來調(diào)用。 .NET 可比喻是操作系統(tǒng)提供給開發(fā)人員的面向?qū)ο竦?API(應(yīng)用程序編程接口)。它除了是編譯執(zhí)行速度快外，最大的優(yōu)點是頁面和代碼分離的編寫方式，對慣使 RAD 工具的人來說是個福音。 平臺快速方便的部署三層架構(gòu)。表示層放在 頁面中，數(shù)據(jù)庫操作和邏輯層用組件來實現(xiàn)，這樣就很方便的實現(xiàn)了三層架構(gòu)。 IIS 支持 HTTP(HypertextTransferProtocol，超文本傳輸協(xié)議)，F(xiàn)TP(Fe1eTransfer Protocol，文件傳輸協(xié)議) 以及 SMTP(Simple Mail Transfer Protocol， 簡單郵件傳輸協(xié)議)，通過使用 CGI 和 ISAPI，IIS 可以得到高度的擴(kuò)展。IIS 不需要開發(fā)人員學(xué)習(xí)新的腳本語言或者編譯應(yīng)用程序，IIS 完全支持 VBScript， JScript 開發(fā)軟件以及 Java，14 / 49它也支持以工和 WinCGI，以及 ISAPI 擴(kuò)展和過濾器。IIS 相應(yīng)性極高，同時系統(tǒng)資源的消耗也是最少， IIS 的安裝，管理和配置都相當(dāng)簡單，這是因為 IIS 與 Windows NT Server 網(wǎng)絡(luò)操作系統(tǒng)緊密的集成在一起，另外，IIS 還使用與 Windows NT Server 相同的 SAM(Security Accounts Manager，安全性賬號管理器)，對于管理員來說， IIS 使用諸如 Performance Monitor 和 SNMP (Simple Nerwork Management Protocol，簡單網(wǎng)絡(luò)管理協(xié)議)之類的 NT 已有管理工具。用于 32 位 Windows 應(yīng)用程序的 Inter 擴(kuò)展可以把 FTP，SMTP 和 HTTP 協(xié)議置于容易使用且任務(wù)集中的界面中，這些界面將 Inter 應(yīng)用程序的使用大大簡化，IIS 也支持MIME(MultipurposeInter Mail Extensions，多用于 Inter 郵件擴(kuò)展)，它可以為 Inter 應(yīng)用程序的訪問提供一個簡單的注冊項。構(gòu)建 HWMPS 的體系結(jié)構(gòu)和基礎(chǔ)框架也必須是可擴(kuò)展的，應(yīng)該支持功能的增加與擴(kuò)展而不影響原有的功能模塊。進(jìn)行底層的最佳模式設(shè)計。4．提供開發(fā)基礎(chǔ)除了加強(qiáng)設(shè)計模式和提供通過功能外，自下而上的建立體系結(jié)構(gòu)還有另外的好處，許多開發(fā)團(tuán)隊會遇到一個問題，那就是每個人會按自己獨特的方式去完成任務(wù)，由于 規(guī)模大并且對每一個問題可以提供多種解決辦法，這個問題會變得特別突出。當(dāng)開發(fā)者圍繞該體系結(jié)構(gòu)執(zhí)行各種不同的任務(wù)時，就可以告訴他們?nèi)绾问褂谩? 并非所有的信息發(fā)現(xiàn)任務(wù)都被視為數(shù)據(jù)挖掘。雖然這些任務(wù)是重要的，可能涉及使用復(fù)雜的算法和數(shù)據(jù)結(jié)構(gòu)，但是它們主要依賴傳統(tǒng)的計算機(jī)科學(xué)技術(shù)和數(shù)據(jù)的明顯特征來創(chuàng)建索引結(jié)構(gòu)，從而有效地組織和檢索信息。16 / 49 數(shù)據(jù)挖掘能做什么數(shù)據(jù)挖掘能做以下六種不同事情（分