【正文】 文件中包括的數(shù)據(jù)，我們采用自動(dòng)化的數(shù)據(jù)采集，保證了快速和準(zhǔn)確的把數(shù)據(jù)收集起來，然而再美國境內(nèi)，美國的機(jī)構(gòu)提供的都是格式統(tǒng)一的文件，這樣我們很容易把數(shù)據(jù)轉(zhuǎn)化為我們內(nèi)部可以識(shí)別的格式文件，在美國之外，也就是歐洲和亞洲等各個(gè)機(jī)構(gòu)提供的文件格式不同，比如 excel,pdf,txt 等各種各樣的格式，我們需要應(yīng)對(duì)各種的方式來處理文件，最終得到統(tǒng)一的格式，為金融分析人員提供第一手的數(shù)據(jù)。隨著基金產(chǎn)業(yè)的不斷發(fā)展，各種類型的基金進(jìn)入金融市場(chǎng)，作為一種理財(cái)產(chǎn)品，就是要為大眾服務(wù)，幫助大家理財(cái)，然而當(dāng)投資者面對(duì)大量的基金產(chǎn)品，不知應(yīng)該怎樣選擇，所以我們的目標(biāo)就是幫助普通的投資者和金融機(jī)構(gòu)做出判斷，指引他們選擇適合自己的基金。它包含一個(gè)以機(jī)器可處理格式描述的接口(特指WSDL)。像 HTML一樣，XML 是從所有標(biāo)志語言的元語一標(biāo)準(zhǔn)通用標(biāo)志語言 SGML(Standard Generalized Markup Language)那里派生出來的。另外，XML 文檔的結(jié)構(gòu)、內(nèi)容和外觀可以作為三個(gè)不同的部分進(jìn)行維護(hù)，提供了更高的獨(dú)立性。應(yīng)用系統(tǒng)只有向多層分布式轉(zhuǎn)變，才能最終解決 Client/Server 結(jié)構(gòu)存在的問題。 .NET 可比喻是操作系統(tǒng)提供給開發(fā)人員的面向?qū)ο竦?API(應(yīng)用程序編程接口)。構(gòu)建 HWMPS 的體系結(jié)構(gòu)和基礎(chǔ)框架也必須是可擴(kuò)展的，應(yīng)該支持功能的增加與擴(kuò)展而不影響原有的功能模塊。例如：銀行對(duì)家庭貸款業(yè)務(wù)，運(yùn)用估值，給各個(gè)客戶記分（Score 0~1） 。 2. 數(shù)據(jù)的存儲(chǔ)和管理 18 / 49數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫的特性，也決定了其對(duì)外部數(shù)據(jù)的表現(xiàn)形式。171。2. 實(shí)現(xiàn)了將 Txt 文件轉(zhuǎn)換為 clean file。DataFormat 指的是數(shù)據(jù)點(diǎn)的格式，例如時(shí)間的格式。4. 從 Local 服務(wù)器上下載文件。 1. 數(shù)據(jù)的抽取 數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入倉庫的入口。16 / 49 數(shù)據(jù)挖掘能做什么數(shù)據(jù)挖掘能做以下六種不同事情（分析方法）： 1. 分類 （Classification） 首先從數(shù)據(jù)中選出已經(jīng)分好類的訓(xùn)練集，在該訓(xùn)練集上運(yùn)用數(shù)據(jù)挖掘分類的技術(shù)，建立分類模型，對(duì)于沒有分類的數(shù)據(jù)進(jìn)行分類。IIS 相應(yīng)性極高，同時(shí)系統(tǒng)資源的消耗也是最少， IIS 的安裝，管理和配置都相當(dāng)簡單，這是因?yàn)?IIS 與 Windows NT Server 網(wǎng)絡(luò)操作系統(tǒng)緊密的集成在一起，另外，IIS 還使用與 Windows NT Server 相同的 SAM(Security Accounts Manager，安全性賬號(hào)管理器)，對(duì)于管理員來說， IIS 使用諸如 Performance Monitor 和 SNMP (Simple Nerwork Management Protocol，簡單網(wǎng)絡(luò)管理協(xié)議)之類的 NT 已有管理工具。邏輯層 數(shù)據(jù)層表示層CodeBehind后臺(tái)代碼顯示頁面BusinessLayerDataLayer DataBase13 / 49Microsoft .NET Framework 是微軟推出的一套下一代開發(fā)平臺(tái)。這里所說的三層體系，不是指物理上的三層，不是簡單地放置三臺(tái)機(jī)器就是三層體系結(jié)構(gòu)，也不僅僅有 B/S 應(yīng)用才是三層體系結(jié)構(gòu)，三層是指邏輯上的三層，即使這三個(gè)層放置到一臺(tái)機(jī)器上。XML 是一項(xiàng)將類型和結(jié)構(gòu)置于信息上層的技術(shù)，它架起了應(yīng)用程序數(shù)據(jù)類型與存儲(chǔ)和傳輸單元之間的橋梁，因此 XML可以被看作是一種串行格式化的傳輸語法，允許數(shù)據(jù)被串行化為易于被任何平臺(tái)解碼的消息格式，提供了在網(wǎng)絡(luò)應(yīng)用之間交換結(jié)構(gòu)化數(shù)據(jù)的機(jī)制。 .NET 是一個(gè)很長的過程，最終目的是任何時(shí)候任何一個(gè)程序都可以與另一個(gè)程序兼容。因此，可以預(yù)料，共同基金在我國產(chǎn)生和發(fā)展也將是為期不遠(yuǎn)的現(xiàn)實(shí)。為了達(dá)到上面的目的，我們就需要大量的數(shù)據(jù)來做支撐，所以采集這些基金產(chǎn)品的數(shù)據(jù)是十分重要的，每天有來自世界各地的金融機(jī)構(gòu)為我們提供這些數(shù)據(jù)，而我們的目的就是要采集這些數(shù)據(jù)，保持?jǐn)?shù)據(jù)的完整性和正確性就是我們這套系統(tǒng)的主要功能。其他系統(tǒng)同 Web 服務(wù)交互以一種本身的描述中規(guī)定的方式，使用SOAP 消息，代表性在同 Web 相關(guān)的標(biāo)準(zhǔn)的聯(lián)結(jié)中使用一個(gè) XML 連續(xù)，利用 HTTP 傳達(dá)( 消息) 。設(shè)計(jì)之初， XML 的目標(biāo)之一是取代 HTML 為新出現(xiàn)的復(fù)雜的 Web 應(yīng)用提供標(biāo)準(zhǔn)的 Inter 語言。對(duì)于數(shù)據(jù)表示層來說，可擴(kuò)展性是一個(gè)關(guān)鍵因素。在多層架構(gòu)下，應(yīng)用可以分布在不同的系統(tǒng)平臺(tái)上，通過分布式技術(shù)實(shí)現(xiàn)異構(gòu)平臺(tái)間對(duì)象的相互通信。 中的一部分。2．加強(qiáng)設(shè)計(jì)模式與最佳實(shí)踐在設(shè)計(jì) HWMPS 體系架構(gòu)時(shí)，應(yīng)自底向上的設(shè)計(jì)每一步。然后，根據(jù)閾值，將貸款級(jí)別分類。數(shù)據(jù)倉庫管理所涉及的數(shù)據(jù)量比傳統(tǒng)事務(wù)處理大得多，且隨時(shí)間的推移而快速累積。 u s e s 187。3. 實(shí)現(xiàn)了將 Xml 文件轉(zhuǎn)換為 clean file。DataPointId 指的是數(shù)據(jù)點(diǎn)的名稱。3. 從 Ssh 服務(wù)器上下載文件。 數(shù)據(jù)挖掘的實(shí)現(xiàn) 在技術(shù)上可以根據(jù)它的工作過程分為：數(shù)據(jù)的抽取、數(shù)據(jù)的存儲(chǔ)和管理、數(shù)據(jù)的展現(xiàn)等關(guān)鍵技術(shù)。盡管如此，數(shù)據(jù)挖掘技術(shù)也已用來增強(qiáng)信息檢索系統(tǒng)的能力。IIS 的設(shè)計(jì)目的是建立一套集成的服務(wù)器服務(wù)，用以支持 HTTP， FTP和 SMTP，它能夠提供快速且集成了現(xiàn)有產(chǎn)品，同時(shí)可擴(kuò)展的 Inter 服務(wù)器。：可以說是 ASP 技術(shù)的替代技術(shù)，是 ASP 的一大進(jìn)步，在Microsoft .NET Framework 的強(qiáng)大支持下，可以使用 C、VB、JavaScript 等數(shù)十種語言來編寫代碼，采用預(yù)先編譯技術(shù)，使得代碼安全性加強(qiáng)。 三層結(jié)構(gòu)簡介所謂三層體系結(jié)構(gòu)，是在客戶端與數(shù)據(jù)庫之間加入了一個(gè)“中間層” ，也叫組件層。數(shù)據(jù)表示：HTTP 是一種基于文本的協(xié)議，因而缺乏表示 RPC 消息中的參數(shù)值的機(jī)制，這也是 XML 作為 Web 服務(wù)的一個(gè)重要成分出現(xiàn)的原因。對(duì)于商業(yè)用戶來說，不但可以提高效率，降低 IT 預(yù)算，軟件可以重用，而且，能夠做的事情更多。隨著我國經(jīng)濟(jì)商品化，貨幣化進(jìn)程的發(fā)展和我國社會(huì)市場(chǎng)經(jīng)濟(jì)體制的確立，逐步發(fā)展和完善的證券市場(chǎng)將在其中發(fā)揮越來越重要的作用。我們采用程序的方式來實(shí)現(xiàn)這樣的數(shù)據(jù)采集，并且不需要人工干預(yù)，本套系統(tǒng)采用了 c語言，以及三層結(jié)構(gòu)本身的一些設(shè)計(jì)上特點(diǎn)做了較為詳細(xì)的分析，以及大量采用了 XML 技術(shù), 三層架構(gòu)的設(shè)計(jì)實(shí)現(xiàn)了一套功能相對(duì)完備并具有良好用戶界面和可擴(kuò)展性的系統(tǒng)。 WEB 服務(wù)的優(yōu)勢(shì)，.NET 是微軟為 Web 服務(wù)提供的一個(gè)平臺(tái)。然而，由于 XML 在可擴(kuò)展性、可移植性和結(jié)構(gòu)性等方面的突出優(yōu)點(diǎn)，它的應(yīng)用范圍早己突破了 HTML 所達(dá)到的范圍。為了支持可擴(kuò)展性，Web 服務(wù)需要一種機(jī)制以避免名字沖突，并允許一個(gè)程序只處理自己所關(guān)心的元素。將應(yīng)用系統(tǒng)集成于分布式系統(tǒng)之上，能極大地提高系統(tǒng)的可擴(kuò)展性。它除了是編譯執(zhí)行速度快外，最大的優(yōu)點(diǎn)是頁面和代碼分離的編寫方式，對(duì)慣使 RAD 工具的人來說是個(gè)福音。進(jìn)行底層的最佳模式設(shè)計(jì)。3. 預(yù)言（Prediction ） 通常，預(yù)言是通過分類或估值起作用的，也就是說，通過分類或估值得出模型，該模型用于對(duì)未知變量的預(yù)言。在數(shù)據(jù)倉庫的數(shù)據(jù)存儲(chǔ)和管理中需要解決的是如何管理大量的數(shù)據(jù)、如何并行處理大量的數(shù)據(jù)、如何優(yōu)化查詢等。171。4. 實(shí)現(xiàn)了將各種 Special 文件轉(zhuǎn)換為 clean file。EndLine 指的是文件數(shù)據(jù)結(jié)束的最大空行算結(jié)束。2. 從 Email 服務(wù)器上下載文件。6．描述和可視化（Des cription and Visualization） 是對(duì)數(shù)據(jù)挖掘結(jié)果的表示方式。雖然這些任務(wù)是重要的，可能涉及使用復(fù)雜的算法和數(shù)據(jù)結(jié)構(gòu)，但是它們主要依賴傳統(tǒng)的計(jì)算機(jī)科學(xué)技術(shù)和數(shù)據(jù)的明顯特征來創(chuàng)建索引結(jié)構(gòu)，從而有效地組織和檢索信息。IIS 不需要開發(fā)人員學(xué)習(xí)新的腳本語言或者編譯應(yīng)用程序，IIS 完全支持 VBScript， JScript 開發(fā)軟件以及 Java，14 / 49它也支持以工和 WinCGI，以及 ISAPI 擴(kuò)展和過濾器。 ASP 技術(shù)：類似于 PHP 技術(shù)，開發(fā)簡便，快速，加上 IIS 的功能支持，是比較簡易快速的開發(fā)技術(shù)。但 Client/Server 結(jié)構(gòu)存在著很多體系結(jié)構(gòu)上的問題，比如：當(dāng)客戶端數(shù)目激增時(shí)，服務(wù)器端的性能會(huì)因?yàn)樨?fù)載過重而大大衰減；一旦應(yīng)用的需求發(fā)生變化，客戶端和服務(wù)器端的應(yīng)用程序都需要進(jìn)行修改，給應(yīng)用維護(hù)和升級(jí)帶來了極大的不便；大量的數(shù)據(jù)傳輸增加了網(wǎng)絡(luò)的負(fù)載等等。主要特點(diǎn)：；；；；。 從開發(fā)者角度看，Web 服務(wù)的目的是讓人們開發(fā)的程序都能相互結(jié)合起來，比如說，賣花與付款兩個(gè)服務(wù)模塊，在開發(fā)時(shí)并沒有任何協(xié)議，是獨(dú)立9 / 49開發(fā)的，但把它們放在一起，也能運(yùn)行。這是因?yàn)椋汗餐饘⒈姸嘈☆~的資金匯集起來，積少成多，能從規(guī)模經(jīng)濟(jì)中獲益。在本中也對(duì)本文中的創(chuàng)新點(diǎn)進(jìn)行闡述，同時(shí)展望了采集數(shù)據(jù)的自動(dòng)化和數(shù)據(jù)挖掘的發(fā)展方向以及前景。微軟做 .NET 的目的是，希望在 PC 和 Inter 之后，為用戶提供更高層次的服務(wù)。盡管嚴(yán)格地講，XML 只是一種數(shù)據(jù)標(biāo)志說明語言，但它已經(jīng)開始漸漸地把一系列相關(guān)的技術(shù)包含進(jìn)來了，像DOM,XSL,XLL,XML 命名空間。XML 名稱空間(Namespaces）提供了一種簡單、通用的方式以區(qū)分相同名字的元素或?qū)傩浴Ｔ诙鄬臃植际綉?yīng)用中，在客戶端和服務(wù)器之間加入了一層或多層應(yīng)用服務(wù)程序，這種程序稱為“應(yīng)用服務(wù)器” 。再加 運(yùn)行庫提供的支持事件的各種 WEB 控件，和以前編寫網(wǎng)頁方式相比可謂是一場(chǎng)革命。3．提供通用功能15 / 49提供一個(gè)健壯的體系結(jié)構(gòu)另一種益處就是能夠發(fā)布被其他組件共享的有用功能，比如定義一些異常類、日志類、頁面類，所有的基頁面都繼承自這些類。從這種意義上說，預(yù)言其實(shí)沒有必要分為一個(gè)單獨(dú)的類。目前，許多數(shù)據(jù)庫廠家提供的技術(shù)解決方案是擴(kuò)展關(guān)系型數(shù)據(jù)庫的功能，將普通關(guān)系數(shù)據(jù)庫改造成適合擔(dān)當(dāng)數(shù)據(jù)倉庫的服務(wù)器。 u s e s 187。 27 / 49 模塊 主要處理流程L o a d D a t a p o i n t X P a t h C o n f i g (O u t p u t N o d e ) w h i c h i s u s e d f o r m a p p i n g d a t a p o i n t sU p d a t e f i l e s t a t u sI t e r a t e t o o p e r a t e r e c o r d ( G e t r e c o r d w i t h ‘ E x t e r n a l I d ’ X P a t h )U p d a t e P r o v i d e r C l a s sy e sE n dI m p o r t e r M a p p i n gD a t a F l o wR u nP e r f o r m a n c e F i l e S t a t u sS t a t u s : P a r s e d D o n eU p d a t e f i l e s t a t u sP r o v i d e r C l a s sS t a t u s : I m p o r t i n gG e t b u l k m a p p i n g f i l e s i z e f r o m A p p c o n f i gG e t t h e P r o v i d e r I d f r o m f i l eF i l e s e r v e ry e sI f t h e r e c o r d d o e s n ’ t e x i s t , a d d i tI t e r a t e t o o p e r a t e d a t a p o i n t G e t d a t a p o i n t v a l u e a c c o r d i n g t o D a t a p o i n t X P a t h C o nf i g A d d d a t a t o o r d i n a r y d a t a g r o u p c o n t a i n e rA c c o r d i n g P e r f o r m a n c e I d i s e x i s ty e sC a c h e p e r f o r m a n c e I d f o r t h i s r e c o r e dn oP e r f o r m a n c e I d i s a f l a g f o r m a t c h e d o r u n m a t c h e dD o e s t h e r e c o r d m a t c h e d a c c o r d i n g t o p e r f o r m a n c e I dy e sA d d d a t a t o o r p h a n d a t a g r o