【正文】 ssing，簡(jiǎn)稱 OLAP)； 數(shù)據(jù)挖掘技術(shù) (Data Mining，簡(jiǎn)稱 DM)； 的數(shù)據(jù)環(huán)境發(fā)展為一種新環(huán)境：體系化環(huán)境。如下圖所示： 數(shù)據(jù)倉(cāng)庫(kù)體系化環(huán)境 xx 科技投標(biāo)書(shū)之總體方案建議 10 業(yè)界公認(rèn)的數(shù)據(jù)倉(cāng)庫(kù)概念創(chuàng)始人 在《建立數(shù)據(jù)倉(cāng)庫(kù)》一書(shū)中對(duì)數(shù)據(jù)倉(cāng)庫(kù)的定義是：數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的、集成的、不可更新的 (穩(wěn)定性 )、隨時(shí)間不斷變化（不同時(shí)間）的數(shù)據(jù)集合，用以支持經(jīng) 營(yíng)管理中的決策制定過(guò)程。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)面向主題，與傳統(tǒng)數(shù)據(jù)庫(kù)面向應(yīng)用相對(duì)應(yīng)。主題是一個(gè)在較高層次上將數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個(gè)主題對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域：數(shù)據(jù)倉(cāng)庫(kù)的集成特性是旨在數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)之前，必須經(jīng)過(guò)數(shù)據(jù)加工和集成，這是建立數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵步驟，首先要統(tǒng)一原始數(shù)據(jù)中的矛盾之處，還要將原始數(shù)據(jù)結(jié)構(gòu)做一個(gè)從面向應(yīng)用向面向主題的轉(zhuǎn)變；數(shù)據(jù)倉(cāng)庫(kù)的穩(wěn)定性是指數(shù)據(jù)倉(cāng)庫(kù)反映的是歷史數(shù)據(jù)，而不是日常事務(wù)處理產(chǎn)生的數(shù)據(jù)，數(shù)據(jù)經(jīng)加工和集成進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)后是極少或根本不修改的；數(shù)據(jù)倉(cāng)庫(kù)是不同時(shí)間的數(shù)據(jù)集合，它要求數(shù)據(jù)倉(cāng)庫(kù)中 的數(shù)據(jù)保存時(shí)限能滿足進(jìn)行決策分析的需要，而且數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)都要標(biāo)明該數(shù)據(jù)的歷史時(shí)期。 數(shù)據(jù)倉(cāng)庫(kù)最根本的特點(diǎn)是物理地存放數(shù)據(jù)，而且這些數(shù)據(jù)并不是最新的、專有的，而是來(lái)源于其它數(shù)據(jù)庫(kù)的。數(shù)據(jù)倉(cāng)庫(kù)的建立并不是要取代數(shù)據(jù)庫(kù)，它要建立在一個(gè)較全面和完善的信息應(yīng)用的基礎(chǔ)上，用于支持高層決策分析，而事務(wù)處理數(shù)據(jù)庫(kù)在企業(yè)的信息環(huán)境中承擔(dān)的是日常操作性的任務(wù)。數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)庫(kù)技術(shù)的一種新的應(yīng)用，而且到目前為止，數(shù)據(jù)倉(cāng)庫(kù)還是用關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)管理其中的數(shù)據(jù)。 （二）聯(lián)機(jī)分析技術(shù)（ OLAP） 聯(lián)機(jī)分析處理（ OLAP）的概念最早是由關(guān)系數(shù)據(jù)庫(kù)之父 于 1993年提出的。當(dāng)時(shí)， Codd 認(rèn)為聯(lián)機(jī)事務(wù)處理 (OLTP）已不能滿足終端用戶對(duì)數(shù)據(jù)庫(kù)查詢分析的需要， SQL 對(duì)大數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此 Codd 提出了多維數(shù)據(jù)庫(kù)和多維分析的概念，即 OLAP。 根據(jù) OLAP 產(chǎn)品的實(shí)際應(yīng)用情況和用戶對(duì) OLAP 產(chǎn)品的需求，人們提出了一種對(duì) OLAP 更簡(jiǎn)單明確的定義，即共享多維信息的快速分析。 （ 1）快速性 用戶對(duì) OLAP 的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在 5 秒內(nèi)對(duì)用戶的大 xx 科技投標(biāo)書(shū)之總體方案建議 11 部分分析要求做出反應(yīng)。如果終端用戶在 30 秒內(nèi)沒(méi)有得到系統(tǒng)響應(yīng)就會(huì)變得不耐煩，因而可能失去分析主線索，影響分析質(zhì)量。對(duì)于大量的數(shù)據(jù)分析要達(dá)到這個(gè)速度并不容，因此就更需要一些技術(shù)上的支持，如專門(mén)的數(shù)據(jù)存儲(chǔ)格式、大量的事先運(yùn)算、特別的硬件設(shè)計(jì)等。 （ 2）可分析性 OLAP 系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。盡管系統(tǒng)需要事先編程，但并不意味著系統(tǒng)已定義好了所有的應(yīng)用。用戶無(wú)需編程就可以定義新的專門(mén)計(jì)算，將其作為分析的一部分 ，并以用戶理想的方式給出報(bào)告。用戶可以在 OLAP 平臺(tái)上進(jìn)行數(shù)據(jù)分析，也可以連接到其他外部分析工具上，如時(shí)間序列分析工具、成本分配工具、意外報(bào)警、數(shù)據(jù)開(kāi)采等。 （ 3）多維性 多維性是 OLAP 的關(guān)鍵屬性。系統(tǒng)必須提供對(duì)數(shù)據(jù)分析的多維視圖和分析，包括對(duì)層次維和多重層次維的完全支持。事實(shí)上，多維分析是分析企業(yè)數(shù)據(jù)最有效的方法，是 OLAP 的靈魂。 （ 4）信息性 不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲(chǔ)在何處， OLAP 系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管理大容量信息。這里有許多因素需要考慮，如數(shù)據(jù)的可復(fù)制性、可利用 的磁盤(pán)空間、 OLAP 產(chǎn)品的性能及與數(shù)據(jù)倉(cāng)庫(kù)的結(jié)合度等。 OLAP 的基本多維分析操作有鉆?。?roll up 和 drill down）、切片（ slice）和切塊（ dice）、以及旋轉(zhuǎn)（ pivot）、 drill across、 drill through 等。 （三）數(shù)據(jù)挖掘技術(shù) 數(shù)據(jù)挖掘，也可以稱為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn) (Knowledge Discover Database，KDD)，是從大量數(shù)據(jù)中提取出可信、新穎、有效并能被人理解的模式的高級(jí)處理過(guò)程。 數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)是一個(gè)多步驟的處理過(guò)程，一般分為： 問(wèn)題定義了解相關(guān)領(lǐng)域的有關(guān)情況，熟悉背景知識(shí)，弄清用戶要求。 數(shù)據(jù)提取根據(jù)要求從數(shù)據(jù)庫(kù)中提取相關(guān)的數(shù)據(jù)。 數(shù)據(jù)預(yù)處理主要對(duì)前一階段產(chǎn)生的數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性，對(duì)其中的噪音數(shù)據(jù)進(jìn)行處理，對(duì)丟失的數(shù)據(jù)進(jìn)行填補(bǔ)。 xx 科技投標(biāo)書(shū)之總體方案建議 12 數(shù)據(jù)挖掘運(yùn)用選定的知識(shí)發(fā)現(xiàn)算法，從數(shù)據(jù)中提取出用戶所需要的知識(shí)，這些知識(shí)可以用一種特定的方式表示或使用一些常用的表示方式。 知識(shí)評(píng)估將發(fā)現(xiàn)的知識(shí)以用戶能了解的方式呈現(xiàn)，根據(jù)需要對(duì)知識(shí)發(fā)現(xiàn)過(guò)程中的某些處理階段進(jìn)行優(yōu)化，直到滿足要求。 由此可見(jiàn)，數(shù)據(jù)挖掘只是數(shù)據(jù)庫(kù)中知識(shí) 發(fā)現(xiàn)的一個(gè)步驟，但又是最重要的一步。因此，往往可以不加區(qū)別地使用 KDD 和數(shù)據(jù)挖掘。一般在研究領(lǐng)域被稱作數(shù)據(jù)庫(kù)中知識(shí)發(fā)現(xiàn)的，在工程領(lǐng)域則稱之為數(shù)據(jù)挖掘。 數(shù)據(jù)總結(jié) 的 目的是對(duì)數(shù)據(jù)進(jìn)行濃縮，給出它的緊湊描述。數(shù)據(jù)挖掘主要關(guān)心從數(shù)據(jù)泛化的角度來(lái)討論數(shù)據(jù)總結(jié)。數(shù)據(jù)泛化是一種把數(shù)據(jù)庫(kù)中的有關(guān)數(shù)據(jù)從低層次抽象到高層次上的過(guò)程。 分類 的 目的是學(xué)會(huì)一個(gè)分類函數(shù)或分類模型 (也稱作分類器 )，該模型能把數(shù)據(jù)庫(kù)的數(shù)據(jù)項(xiàng)映射到給定類別中的某一個(gè)。 聚類是把一組個(gè)體按照相似性歸類，即 物以類聚 。它的目的是使屬于同一類別的個(gè)體之 間的距離盡可能地小，而不同類別的個(gè)體間的距離盡可能地大。 關(guān)聯(lián)規(guī)則是形式如下的一種規(guī)則， 在購(gòu)買(mǎi)面包和黃油的顧客中，有 90％的人同時(shí)也買(mǎi)了牛奶 (面包 +黃油 +牛奶 )。關(guān)聯(lián)規(guī)則發(fā)現(xiàn)的思路還可以用于序列模式發(fā)現(xiàn)。用戶在購(gòu)買(mǎi)物品時(shí)，除了具有上述關(guān)聯(lián)規(guī)律，還有時(shí)間或序列上的規(guī)律。 （四） J2EE 技術(shù) J2EE 是一種技術(shù)規(guī)范，給開(kāi)發(fā)人員提供了一種工作平臺(tái)，它定義了整個(gè)標(biāo)準(zhǔn)的應(yīng)用開(kāi)發(fā)體系結(jié)構(gòu)和一個(gè)部署環(huán)境，在這個(gè)體系結(jié)構(gòu)中，應(yīng)用開(kāi)發(fā)者的注意力集中在封裝商業(yè)邏輯和商業(yè)規(guī)則上，一切與基礎(chǔ)結(jié)構(gòu)服務(wù)相關(guān)的問(wèn)題以及底層分配 問(wèn)題都由應(yīng)用程序容器或者服務(wù)器來(lái)處理。甚至，從屬于事務(wù)、持久化、安全等等方面的應(yīng)用組件的運(yùn)行時(shí)屬性都可以使用高度靈活的聲明方法在部署環(huán)境中定制 (一般采用 XML)。這個(gè)平臺(tái)提供了一個(gè)簡(jiǎn)化的開(kāi)發(fā)模型，它具有工業(yè)強(qiáng)度的可拓展性，支持合理的集成和靈活的部署，與開(kāi)發(fā)商和應(yīng)用服務(wù)器無(wú)關(guān)。 J2EE 平臺(tái) 有 三種， Jsp、 Servlet、 EJB 這三種開(kāi)發(fā)方式。 ： Jsp： Jsp 其實(shí)是一種高層的 Servlet。他與以往的其他網(wǎng)頁(yè)編寫(xiě)腳本有很大的相似性，但是只是在執(zhí)行時(shí)有一些不同。 Jsp 引擎將它和它所在的 HTML 文件一起合成 Servlet 的代碼，然后它的執(zhí)行就和 Servlet 的一樣了：先編譯成 .class 文 xx 科技投標(biāo)書(shū)之總體方案建議 13 件，然后由支持 java 虛擬機(jī)的服務(wù)器來(lái)執(zhí)行，然后輸出結(jié)果。我們?cè)谑褂?Jsp 中可以使用 JavaBean 來(lái)進(jìn)行更加靈活的處理。 Servlet： Servlet 可以被看作是服務(wù)器端的 applet，它通過(guò) ServletResponse以及 ServletRequest 這兩個(gè)對(duì)象來(lái)輸出和接收用戶傳遞的參數(shù)，然后在內(nèi)部的方法中執(zhí)行操作，如訪問(wèn)數(shù)據(jù)庫(kù)、訪問(wèn)別的 Servlet 方法、調(diào)用 EJB 等等，然后將處理結(jié)果返回給客戶端?？梢酝ㄟ^(guò)集成化 的開(kāi)發(fā)工具來(lái)進(jìn)行開(kāi)發(fā)。在一般的工具中都已經(jīng)構(gòu)建好一個(gè)框架，程序員只需要熟悉 html 標(biāo)簽以及熟悉一般的 java 語(yǔ)言就可以進(jìn)行開(kāi)發(fā)了。 EJB： EJB 有一個(gè)自己要存活要活動(dòng)的一個(gè)容器，為了可以讓客戶進(jìn)行透明調(diào)用，而不必關(guān)心位置，還必須有一個(gè)本地和遠(yuǎn)程接口，同時(shí)還應(yīng)該有一個(gè)相關(guān)的配置文件，以便告訴容器要怎樣的活法。對(duì)于開(kāi)發(fā)人員來(lái)說(shuō)，如果采用一種集成化的開(kāi)發(fā)工具，如 Forte For Java，就可以大大減少工作量。在 Forte For Java中通過(guò)配置相關(guān)的服務(wù)器路徑、容器信息，可以通過(guò)它的模板來(lái)完成一個(gè) EJB組件的開(kāi)發(fā)以及分發(fā)，非常方便也非常簡(jiǎn)單。 在開(kāi)發(fā)過(guò)程中，建議的開(kāi)發(fā)方式是在會(huì)話 bean 內(nèi)部調(diào)用實(shí)體 bean，因?yàn)閷?shí)體 bean 沒(méi)有狀態(tài)但是對(duì)數(shù)據(jù)庫(kù)的親和，而會(huì)話 bean 中有為了控制程序而需要的上下文信息，因此，可以結(jié)合這兩種 bean 的所有優(yōu)點(diǎn)，來(lái)比較輕松的進(jìn)行開(kāi)發(fā)。比如在會(huì)話 bean 中用實(shí)體 bean 進(jìn)行數(shù)據(jù)庫(kù)的訪問(wèn)同時(shí)會(huì)話 bean 用來(lái)保存客戶的上下文信息。 （五）工作流技術(shù) 工作流是針對(duì)工作中具有固定程序的常規(guī)活動(dòng)而提出的一個(gè)概念。通過(guò)將工作活動(dòng)分解成定義良好的任務(wù)、角色、規(guī)則和過(guò)程來(lái)進(jìn)行執(zhí)行和監(jiān)控， 達(dá)到提高生產(chǎn)組織水平和工作效率的目的。工作流技術(shù)為企業(yè)更好地實(shí)現(xiàn)經(jīng)營(yíng)目標(biāo)提供了先進(jìn)的手段。 1993 年，國(guó)際工作流管理聯(lián)盟（ Workflow Management Coalition， WfMC）的成立標(biāo)志著工作流技術(shù)開(kāi)始進(jìn)入相對(duì)成熟的階段。為了實(shí)現(xiàn)不同工作流產(chǎn)品之間的互操作， WfMC 在工作流管理系統(tǒng)的相關(guān)術(shù)語(yǔ)、體系結(jié)構(gòu)及應(yīng)用編程接口等方面制定了一系列標(biāo)準(zhǔn)。工作流管理聯(lián)盟給出的工作流定義是：工作流是指整個(gè)或部分經(jīng)營(yíng)過(guò)程在計(jì)算機(jī)支持下的全自動(dòng)或半自動(dòng)化。在實(shí)際情況中可以更廣泛 xx 科技投標(biāo)書(shū)之總體方案建議 14 地把凡是由計(jì)算機(jī)軟件系統(tǒng)（ 工作流管理系統(tǒng)）控制其執(zhí)行的過(guò)程都稱為工作流。 一個(gè)工作流包括一組活動(dòng)及它們的相互順序關(guān)系，還包括過(guò)程及活動(dòng)的啟動(dòng)和終止條件，以及對(duì)每個(gè)活動(dòng)的描述。工作流管理系統(tǒng)指運(yùn)行在一個(gè)或多個(gè)工作流引擎上用于定義、實(shí)現(xiàn)和管理工作流運(yùn)行的一套軟件系統(tǒng)，它與工作流執(zhí)行者（人、應(yīng)用）交互，推進(jìn)工作流實(shí)例的執(zhí)行，并監(jiān)控工作流的運(yùn)行狀態(tài)。 應(yīng)用軟件整體功能框架 5 系統(tǒng)平臺(tái)描述 主機(jī)部分 本設(shè)計(jì)方案中大客戶系統(tǒng)和一站式服務(wù)系統(tǒng)要求具備 7x24 的不間斷運(yùn)行能數(shù)據(jù)處理以及與其它業(yè)務(wù)系統(tǒng)的接口 系 統(tǒng) 管 理 維 護(hù) 大客戶信息管理分析系統(tǒng) 一站服務(wù)管理子系統(tǒng) 文檔管理子系統(tǒng) 客戶資料管理子系統(tǒng) 項(xiàng)目管理子系統(tǒng) 業(yè)務(wù)管理子系統(tǒng) 申告咨詢管理子系統(tǒng) 帳務(wù)分?jǐn)偣芾碜酉到y(tǒng) 信息統(tǒng)計(jì)報(bào)表子系統(tǒng) 客戶經(jīng)理管理子系統(tǒng) 客戶經(jīng)理辦公子系統(tǒng) 客戶檔案資料管理 客戶費(fèi)用信息分析 客戶業(yè)務(wù)信息分析 決策分析 經(jīng)營(yíng)統(tǒng)計(jì)分析 市場(chǎng)調(diào)研管理 客戶服務(wù)信息管理 輔助信息管理 一站式服務(wù)系統(tǒng) xx 科技投標(biāo)書(shū)之總體方案建議 15 力，這就使服務(wù)器 系統(tǒng)必須具備在線動(dòng)態(tài)升級(jí)和熱切換功能，同時(shí)從性能上和安全性上的考慮，數(shù)據(jù)庫(kù)服務(wù)器、數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器和應(yīng)用服務(wù)器全部運(yùn)行在 Sun公司新一代的 Sun Fire 服務(wù)器上，全面提供整套系統(tǒng)的性能。 Sun 公司最新推出了一套全新的服務(wù)器系列 ,名為 ”Sun Fire”, 它具備大型服務(wù)器的可靠性、可用性和管理能力 , 中型服務(wù)器的價(jià)格 , 是對(duì)用戶投資的極大保護(hù)。作為 Sun Fire 系列服務(wù)器的核心， Sun Fireplane 新型傳輸系統(tǒng)總線將服務(wù)器各系統(tǒng)板和系統(tǒng)部件相連，提供高達(dá) 。 Sun Fire 服 務(wù)器配置的是 64 位的 UltraSPARC III 處理器， 8MB 外部緩存、 4 路 64KB 數(shù)據(jù)和 32KB 指令緩存、內(nèi)部集成的存儲(chǔ)控制器。平衡的體系結(jié)構(gòu)的設(shè)計(jì)，使每個(gè)部件通過(guò)合理化的集成提供給系統(tǒng)最優(yōu)的性能。 滿足中國(guó)網(wǎng)絡(luò)通信集團(tuán)公司大客戶信息管理分析系統(tǒng)和一站式服務(wù)系統(tǒng)的功能并可無(wú)縫平滑升級(jí)服務(wù)器系統(tǒng)是我們配置服務(wù)器系統(tǒng)的主導(dǎo)思想。 在此次服務(wù)器選型中我們采用 Sun 公司的 Sun Fire V880 系統(tǒng)作為數(shù)據(jù)庫(kù)服務(wù)器、數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器、應(yīng)用服務(wù)器； Sun Fire V480 系統(tǒng)作為應(yīng)用 /門(mén)戶服務(wù)器。系統(tǒng)中每臺(tái) Sun 主機(jī)都分別配置了兩塊千兆以太網(wǎng)卡，一主一備，利用 Sun Solaris8 系統(tǒng)中的 MP（ Multiple Path）的技術(shù)，將系統(tǒng)中的兩個(gè)網(wǎng)卡設(shè)為一組，分別連接兩個(gè) Cisco 4006 以太網(wǎng)交換機(jī)。這樣，所以服務(wù)器之間，都建立了兩條以太網(wǎng)通路，避免了單點(diǎn)故障，提供了高可用性。另外，在連接 SAN 存儲(chǔ)局域網(wǎng)的三臺(tái) Sun Fire V880 分別