【正文】 在部署環(huán)境中定制(一般采用XML)。 關(guān)聯(lián)規(guī)則是形式如下的一種規(guī)則，在購(gòu)買面包和黃油的顧客中，有90％的人同時(shí)也買了牛奶(面包+黃油+牛奶)。數(shù)據(jù)泛化是一種把數(shù)據(jù)庫(kù)中的有關(guān)數(shù)據(jù)從低層次抽象到高層次上的過(guò)程。因此，往往可以不加區(qū)別地使用KDD和數(shù)據(jù)挖掘。 數(shù)據(jù)預(yù)處理主要對(duì)前一階段產(chǎn)生的數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對(duì)其中的噪音數(shù)據(jù)進(jìn)行處理，對(duì)丟失的數(shù)據(jù)進(jìn)行填補(bǔ)。 OLAP的基本多維分析操作有鉆?。╮oll up和drill down）、切片（slice）和切塊（dice）、以及旋轉(zhuǎn)（pivot）、drill across、drill through等。系統(tǒng)必須提供對(duì)數(shù)據(jù)分析的多維視圖和分析，包括對(duì)層次維和多重層次維的完全支持。盡管系統(tǒng)需要事先編程，但并不意味著系統(tǒng)已定義好了所有的應(yīng)用。系統(tǒng)應(yīng)能在5秒內(nèi)對(duì)用戶的大部分分析要求做出反應(yīng)。用戶的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。數(shù)據(jù)倉(cāng)庫(kù)的建立并不是要取代數(shù)據(jù)庫(kù)，它要建立在一個(gè)較全面和完善的信息應(yīng)用的基礎(chǔ)上，用于支持高層決策分析，而事務(wù)處理數(shù)據(jù)庫(kù)在企業(yè)的信息環(huán)境中承擔(dān)的是日常操作性的任務(wù)。如下圖所示： 數(shù)據(jù)倉(cāng)庫(kù)體系化環(huán)境 《建立數(shù)據(jù)倉(cāng)庫(kù)》一書中對(duì)數(shù)據(jù)倉(cāng)庫(kù)的定義是：數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的、集成的、不可更新的(穩(wěn)定性)、隨時(shí)間不斷變化（不同時(shí)間）的數(shù)據(jù)集合，用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程。實(shí)體對(duì)象具有增加、修改、刪除、保存等針對(duì)實(shí)體對(duì)象的操作，在整個(gè)系統(tǒng)中最具有重用性價(jià)值，在這種架構(gòu)中，實(shí)體對(duì)象的可重用性比較高。按照標(biāo)準(zhǔn)J2EE應(yīng)用的MVC設(shè)計(jì)模式，分為表現(xiàn)層、控制層和邏輯實(shí)體層。 介于應(yīng)用處理層和數(shù)據(jù)層之間的應(yīng)用支撐層選擇了工作流引擎和數(shù)據(jù)挖掘/報(bào)表分析軟件，工作流引擎為一站式服務(wù)系統(tǒng)中的各種業(yè)務(wù)流程運(yùn)轉(zhuǎn)提供運(yùn)行環(huán)境，數(shù)據(jù)挖掘/報(bào)表分析為大客戶管理分析系統(tǒng)中的各種統(tǒng)計(jì)分析、報(bào)表、輔助決策提供良好的運(yùn)行環(huán)境。 應(yīng)用軟件體系結(jié)構(gòu)省級(jí)大客戶系統(tǒng)以及其它業(yè)務(wù)支撐系統(tǒng)數(shù)據(jù)處理系統(tǒng)大客戶一站式服務(wù)數(shù)據(jù)庫(kù)大客戶信息管理分析數(shù)據(jù)倉(cāng)庫(kù)工作流引擎數(shù)據(jù)挖掘/報(bào)表生成大客戶一站式服務(wù)系統(tǒng)/應(yīng)用系統(tǒng)維護(hù)管理大客戶信息管理分析系統(tǒng)客戶端 在系統(tǒng)的不同層次，集成了多種軟件技術(shù)，數(shù)據(jù)庫(kù)以及數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，數(shù)據(jù)挖掘技術(shù)、工作流技術(shù)，在應(yīng)用系統(tǒng)中的Web技術(shù)以及中間件技術(shù)等。一站式服務(wù)的數(shù)據(jù)存儲(chǔ)在大型關(guān)系數(shù)據(jù)庫(kù)Oracle9i中，管理分析系統(tǒng)需要的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器中。作為一個(gè)系統(tǒng)，所選產(chǎn)品具有良好的可管理性和可維護(hù)性。整套系統(tǒng)的硬件結(jié)構(gòu)采用SAN的結(jié)構(gòu)，軟件結(jié)構(gòu)采用分布式環(huán)境，各服務(wù)器都可以通過(guò)擴(kuò)充節(jié)點(diǎn)的方式來(lái)實(shí)現(xiàn)橫向的擴(kuò)充。252。 開放與標(biāo)準(zhǔn)化原則本系統(tǒng)應(yīng)是一個(gè)開放且標(biāo)準(zhǔn)的系統(tǒng)。 先進(jìn)性方案所推薦的服務(wù)器為Sun公司具有Client/Server 結(jié)構(gòu)的開放性產(chǎn)品。方案所推薦的主要技術(shù)和產(chǎn)品由Sun、Oracle、Cisco、EMC等業(yè)界著名公司提供，具有成熟、穩(wěn)定、實(shí)用的特點(diǎn)。2 系統(tǒng)設(shè)計(jì)原則本工程為新建中國(guó)網(wǎng)絡(luò)通信集團(tuán)公司的大客戶系統(tǒng)，該系統(tǒng)分大客戶信息管理分析系統(tǒng)與大客戶一站服務(wù)系統(tǒng)來(lái)建設(shè)。建議書包括如下內(nèi)容：系統(tǒng)設(shè)計(jì)原則；系統(tǒng)整體框架說(shuō)明；系統(tǒng)平臺(tái)描述；軟件子系統(tǒng)功能的詳細(xì)介紹；項(xiàng)目管理方法和實(shí)施方案；全套產(chǎn)品技術(shù)資料（包括采用的第三方軟硬件產(chǎn)品資料）等。 實(shí)用性我們的根本原則就是能最大限度地滿足中國(guó)網(wǎng)絡(luò)通信集團(tuán)公司大客戶系統(tǒng)的需要。252。252。我們完全可以做到使網(wǎng)絡(luò)的硬件環(huán)境，通信環(huán)境，軟件環(huán)境，操作平臺(tái)之間的相互依賴減至最小。因此，在設(shè)計(jì)中，保證系統(tǒng)結(jié)構(gòu)模塊化，軟硬件平臺(tái)可以積木式拚裝，如：服務(wù)器可通過(guò)添加系統(tǒng)板擴(kuò)充CPU，MEMORY，I/O，硬盤等，各軟件系統(tǒng)提供開發(fā)API等。 良好的可管理性和可維護(hù)性整套大客戶平臺(tái)是由多種系統(tǒng)組成的較為復(fù)雜的系統(tǒng)，因此我們著重考慮所選產(chǎn)品具有良好的可管理性和可維護(hù)性。3 系統(tǒng)拓?fù)浣Y(jié)構(gòu)圖 系統(tǒng)設(shè)備邏輯連接圖Sun FireV880 D中心遠(yuǎn)程分界線中心遠(yuǎn)程分界線CA Unicenter NSMVeritas NBUOracle 9iDB2Oracle 9iDB1Oracle 9i DB3Oracle 9iASPortal serverDirectory ServerPortal serverDirectory ServerApplication ServerDirectory ServerApplication ServerDirectory Server2M專線圖示：千兆LAN百兆LANSAN2M專線2M專線Cisco 1721路由器 1Cisco 3661路由器Cisco 1721路由器 3Alteon Ace3交換機(jī) BAlteon Ace3交換機(jī)ACisco 2620 撥號(hào)服務(wù)器 遠(yuǎn)程撥號(hào)用戶Cisco 2950交換機(jī) Sun FireV480 CSun FireV480 BCisco Catalyst 4006交換機(jī)Cisco Pix515防火墻 B網(wǎng)管工作站Sun FireV880 CSun FireV880 BSun FireV880 ASun FireV480 ASilkWorm3800光纖交換機(jī)Cisco Pix515防火墻 A Cisco 1721路由器 4Cisco 1721路由器 2Cisco 1721路由器 15Spectra Logic 12000磁帶庫(kù)EMC CLARiiON CX600磁陣可選項(xiàng)SilkWorm3800光纖交換機(jī)軟件說(shuō)明V880B與V880C：Oracle9i Database Enterprise Edition，Oracle Enterprise Manager Packs，Oracle ProgrammerV880D: Oracle9i Database Enterprise Edition， Oracle OLAP，Oracle Data Mining，Oracle Enterprise Manager Packs，Oracle Programmer，Oracle 9iAS 中心遠(yuǎn)程分界線中心遠(yuǎn)程分界線2M專線2M專線2M專線Cisco 1721路由器 1Cisco 3661路由器Cisco 1721路由器 3Alteon Ace3交換機(jī) BAlteon Ace3交換機(jī)ACisco 2620 撥號(hào)服務(wù)器 遠(yuǎn)程撥號(hào)用戶Cisco 2950交換機(jī) Sun FireV480 CSun FireV480 BCisco Catalyst 4006交換機(jī)Cisco Pix515防火墻 B網(wǎng)管工作站Sun FireV880 BSun FireV880 ASun FireV480 ASilkWorm3800光纖交換機(jī)Cisco Pix515防火墻 A Cisco 1721路由器 4Cisco 1721路由器 2Cisco 1721路由器 15Spectra Logic 12000磁帶庫(kù)EMC CLARiiON CX600磁陣可選項(xiàng)SilkWorm3800光纖交換機(jī)硬 件 連 接 圖 系統(tǒng)設(shè)備物理連接圖4 系統(tǒng)整體框架說(shuō)明 系統(tǒng)平臺(tái)架構(gòu)瀏覽器Client TierServer TierData TierRich Client門戶服務(wù)器Web服務(wù)器應(yīng)用服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器其它系統(tǒng)工作流引擎數(shù)據(jù)挖掘 整個(gè)系統(tǒng)采用B/S和少量C/S的混合體系架構(gòu)，實(shí)現(xiàn)大客戶一站式服務(wù)和大客戶信息管理分析系統(tǒng)的所有功能。 在服務(wù)層，前端使用Portal技術(shù)，可以增加整個(gè)系統(tǒng)訪問(wèn)的安全性，同時(shí)為客戶提供個(gè)性化定制功能。大客戶一站式服務(wù)數(shù)據(jù)庫(kù)主要存儲(chǔ)一站式服務(wù)系統(tǒng)所需的業(yè)務(wù)管理數(shù)據(jù)以及業(yè)務(wù)流程數(shù)據(jù)，而大客戶信息管理分析數(shù)據(jù)倉(cāng)庫(kù)管理和儲(chǔ)存系統(tǒng)各類元數(shù)據(jù)，并根據(jù)需要建立面向各種應(yīng)用的數(shù)據(jù)集市，為系統(tǒng)進(jìn)行聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘提供數(shù)據(jù)基礎(chǔ)。 應(yīng)用軟件設(shè)計(jì)模式 整個(gè)軟件體系結(jié)構(gòu)的設(shè)計(jì)按照面向?qū)ο蟮乃枷耄捎萌龑芋w系架構(gòu)的方式。表現(xiàn)層對(duì)象負(fù)責(zé)與用戶進(jìn)行交互，將消息轉(zhuǎn)發(fā)給控制層對(duì)象，控制層對(duì)象根據(jù)消息的內(nèi)容，決定與實(shí)體對(duì)象通信，還是與其它表現(xiàn)層對(duì)象通信。作為決策支持系統(tǒng)(Decisionmaking Support System，簡(jiǎn)稱DSS)，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)包括： ① 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)； ② 聯(lián)機(jī)分析處理技術(shù)(OnLine Analytical Processing，簡(jiǎn)稱OLAP)； ③ 數(shù)據(jù)挖掘技術(shù)(Data Mining，簡(jiǎn)稱DM)； 數(shù)據(jù)倉(cāng)庫(kù)彌補(bǔ)了原有的數(shù)據(jù)庫(kù)的缺點(diǎn)，將原來(lái)的以單一數(shù)據(jù)庫(kù)為中心的數(shù)據(jù)環(huán)境發(fā)展為一種新環(huán)境：體系化環(huán)境。 數(shù)據(jù)倉(cāng)庫(kù)最根本的特點(diǎn)是物理地存放數(shù)據(jù)，而且這些數(shù)據(jù)并不是最新的、專有的，而是來(lái)源于其它數(shù)據(jù)庫(kù)的。當(dāng)時(shí)，Codd認(rèn)為聯(lián)機(jī)事務(wù)處理(OLTP）已不能滿足終端用戶對(duì)數(shù)據(jù)庫(kù)查詢分析的需要，SQL對(duì)大數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢也不能滿足用戶分析的需求。 （1）快速性 用戶對(duì)OLAP的快速反應(yīng)能力有很高的要求。 （2）可分析性 OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。 （3）多維性 多維性是OLAP的關(guān)鍵屬性。這里有許多因素需要考慮，如數(shù)據(jù)的可復(fù)制性、可利用的磁盤空間、OLAP產(chǎn)品的性能及與數(shù)據(jù)倉(cāng)庫(kù)的結(jié)合度等。 數(shù)據(jù)提取根據(jù)要求從數(shù)據(jù)庫(kù)中提取相關(guān)的數(shù)據(jù)。 由此可見，數(shù)據(jù)挖掘只是數(shù)據(jù)庫(kù)中知識(shí)發(fā)現(xiàn)的一個(gè)步驟，但又是最重要的一步。數(shù)據(jù)挖掘主要關(guān)心從數(shù)據(jù)泛化的角度來(lái)討論數(shù)據(jù)總結(jié)。它的目的是使屬于同一類別的個(gè)體之間的距離盡可能地小，而不同類別的個(gè)體間的距離盡可能地大。（四）J2EE 技術(shù) J2EE是一種技術(shù)規(guī)范，給開發(fā)人員提供了一種工作平臺(tái)，它定義了整個(gè)標(biāo)準(zhǔn)的應(yīng)用開發(fā)體系結(jié)構(gòu)和一個(gè)部署環(huán)境，在這個(gè)體系結(jié)構(gòu)中，應(yīng)用開發(fā)者的注意力集中在封裝商業(yè)邏輯和商業(yè)規(guī)則上，一切與基礎(chǔ)結(jié)構(gòu)服務(wù)相關(guān)的問(wèn)題以及底層分配問(wèn)題都由應(yīng)用程序容器或者服務(wù)器來(lái)處理。： Jsp：Jsp其實(shí)是一種高層的Servlet。 Servlet： Servlet可以被看作是服務(wù)器端的applet，它通過(guò)ServletResponse以及ServletRequest這兩個(gè)對(duì)象來(lái)輸出和接收用戶傳遞的參數(shù)，然后在內(nèi)部的方法中執(zhí)行操作，如訪問(wèn)數(shù)據(jù)庫(kù)、訪問(wèn)別的Servlet方法、調(diào)用EJB等等，然后將處理結(jié)果返回給客戶端。對(duì)于開發(fā)人員來(lái)說(shuō)，如果采用一種集成化的開發(fā)工具，如Forte For Java，就可以大大減少工作量。（五）工作流技術(shù) 工作流是針對(duì)工作中具有固定程序的常規(guī)活動(dòng)而提出的一個(gè)概念。在實(shí)際情況中可以更廣泛地把凡是由計(jì)算機(jī)軟件系統(tǒng)（工作流管理系統(tǒng)）控制其執(zhí)行的過(guò)程都稱為工作流。 一個(gè)工作流包括一組活動(dòng)及它們的相互順序關(guān)系，還包括過(guò)程及活動(dòng)的啟動(dòng)和終止條件，以及對(duì)每個(gè)活動(dòng)的描述。作為Sun Fire系列服務(wù)器的核心，Sun Fireplane新型傳輸系統(tǒng)總線將服務(wù)器各系統(tǒng)板和系統(tǒng)部件相連。在此次服務(wù)器選型中我們采用Sun公司的Sun Fire V880系統(tǒng)作為數(shù)據(jù)庫(kù)服務(wù)器、數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器、應(yīng)用服務(wù)器；Sun Fire V480系統(tǒng)作為應(yīng)用/門戶服務(wù)器。利用EMC的Power Path技術(shù)，確保兩塊光纖卡中的任何一個(gè)出現(xiàn)問(wèn)題，都不影響整個(gè)系統(tǒng)正常運(yùn)行。公司門戶系統(tǒng)針對(duì)網(wǎng)通公司內(nèi)部資源、內(nèi)容的展現(xiàn)，并在針對(duì)集團(tuán)公司員工提供資源信息服務(wù)的同時(shí)，面向全國(guó)網(wǎng)通企業(yè)員工提供資源訪問(wèn)服務(wù)。中國(guó)網(wǎng)絡(luò)通信集團(tuán)公司的用戶通過(guò)瀏覽器或者無(wú)線通訊設(shè)備訪問(wèn)中國(guó)網(wǎng)通內(nèi)部網(wǎng)站。這就是所謂的“VPN on Command”，當(dāng)你需要時(shí)就可以容易地建立訪問(wèn)內(nèi)部網(wǎng)所用的VPN（虛擬專網(wǎng)）,當(dāng)你不用時(shí)又可以立即撤銷。兩個(gè)Sun ONE Portal Server同時(shí)運(yùn)行，雙Active，由前端的兩臺(tái)Alteon ACE Director3四層交換機(jī)提供負(fù)載均衡和failover，實(shí)現(xiàn)高可用性。用戶信息存儲(chǔ)和策略管理使用的目錄服務(wù)器Sun ONE Directory Server安裝在Sun Fire V480A和Sun Fire V880B兩臺(tái)主機(jī)上。對(duì)于后臺(tái)運(yùn)行的中間件服務(wù)器，Sun ONE Application Server，并不需要借助其他任何第三方的cluster軟件，Sun ONE Application Server可以提供優(yōu)異的高可靠性和故障容錯(cuò)能力，通過(guò)消除任何的單點(diǎn)故障，應(yīng)用服務(wù)器能夠提供最大的應(yīng)用程序可靠性。動(dòng)態(tài)的應(yīng)用擴(kuò)充功能可以在不關(guān)閉服務(wù)器的情況下為應(yīng)用程序增加新功能。在正常業(yè)務(wù)運(yùn)行中，從前端web服務(wù)器發(fā)來(lái)的請(qǐng)求通過(guò)中間件服務(wù)器自身的負(fù)載平衡功能被隨機(jī)的送到兩臺(tái)服務(wù)器來(lái)處理，一旦其中一臺(tái)Application Server失效，用戶請(qǐng)求可以即時(shí)的被無(wú)縫轉(zhuǎn)移到另外一臺(tái)Application Server上。使用上層的兩個(gè)四層交換機(jī)對(duì)Web Server做負(fù)載均衡。 數(shù)據(jù)庫(kù)系統(tǒng)具備7*24的高可用性252。 易于管理維護(hù) 中國(guó)網(wǎng)通大客戶系統(tǒng)SAN存儲(chǔ)方案本設(shè)計(jì)方案中大客戶系統(tǒng)和一站式服務(wù)系統(tǒng)具備7x24的不間斷運(yùn)行能力。另外，由存儲(chǔ)區(qū)域網(wǎng)完成數(shù)據(jù)的讀、寫、備份，無(wú)需占用企業(yè)內(nèi)部的通信網(wǎng)絡(luò)（LANFree）。管理員可以通過(guò)Web界面方便地監(jiān)控和管理整個(gè)存儲(chǔ)系統(tǒng)網(wǎng)絡(luò)的使用情況，自動(dòng)完成數(shù)據(jù)備份，而且可以隨時(shí)根據(jù)用戶需求，在EMC CLARiiON C