【正文】 數(shù)據(jù)倉庫處理主要。 數(shù)據(jù)倉庫的開發(fā)1. 數(shù)據(jù)倉庫的處理過程人們總喜歡問：數(shù)據(jù)倉庫與數(shù)據(jù)庫有什么不同？事實上，數(shù)據(jù)庫是一種通用的平臺，用來管理企業(yè)的數(shù)據(jù)；而數(shù)據(jù)倉庫則主要是一種概念，在此概念下進(jìn)行的構(gòu)造過程稱為數(shù)據(jù)倉庫處理。它們包括：數(shù)據(jù)倉庫提供給哪些部門使用？不同的部門怎樣發(fā)揮數(shù)據(jù)倉庫的決策效益？數(shù)藥倉庫需要存放哪些數(shù)據(jù)？這些數(shù)據(jù)以什么樣的結(jié)構(gòu)存放？數(shù)據(jù)從哪里裝載？裝載的頻率多少為合適？需要購置哪些數(shù)據(jù)管理的產(chǎn)品和工具來建立數(shù)據(jù)倉庫等等。所以，聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘的主要差別就在于是否能自動地進(jìn)行數(shù)據(jù)分析。這顯然利于發(fā)現(xiàn)未知的事實。與聯(lián)機(jī)分析處理不同，數(shù)據(jù)挖掘是數(shù)據(jù)驅(qū)動的，是一種真正的知識發(fā)現(xiàn)方法。③抽取信息的質(zhì)量依賴于用戶對結(jié)果的解釋，容易導(dǎo)致錯誤。用戶的假設(shè)能力有限，往往只能局限于對幾種變量進(jìn)行假設(shè)。即在某個假設(shè)的前提下通過數(shù)據(jù)查詢和分析來驗證或否定這個假設(shè)，所以聯(lián)機(jī)分析處理是一種驗證型的分析。數(shù)據(jù)挖掘和聯(lián)機(jī)分析處理都可以在數(shù)據(jù)倉庫的基礎(chǔ)上對數(shù)據(jù)進(jìn)行分析，以輔助決策，那么它們之間是否有差別呢？答案是肯定的。從決策支持的角度看，數(shù)據(jù)挖掘是一種決策支持的過程，主要基于人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計學(xué)和數(shù)據(jù)庫技術(shù)等多種技術(shù)，能高度自動地分析企業(yè)原有的數(shù)據(jù)，進(jìn)行歸納推理，從中挖掘出潛在的模式，預(yù)測客戶的行為，幫助企業(yè)的決策者調(diào)整市場策略，從而減少風(fēng)險，輔助做出正確的決策。從數(shù)據(jù)庫的角度看，數(shù)據(jù)挖掘就是這樣一個過程，它從數(shù)據(jù)庫的數(shù)據(jù)中識別出有效的、新穎的、具有潛在效用的并最終可理解的信息（如規(guī)則、約束等）的非平凡過程。兩者的相同點是基本數(shù)據(jù)源仍是數(shù)據(jù)庫和數(shù)據(jù)倉庫，都是基于關(guān)系數(shù)據(jù)模型的，都向用戶顯示多維數(shù)據(jù)視圖；不同點在于，前者是把分析所需的數(shù)據(jù)從數(shù)據(jù)倉庫中抽取出來，物理地組織成多維數(shù)據(jù)庫，而后者則是利用關(guān)系表來模擬多維數(shù)據(jù)，并不是物理地生成多維數(shù)據(jù)庫。多維數(shù)據(jù)庫是以多維方式組織數(shù)據(jù)的。正是這一技術(shù)的發(fā)展使決策分析中的數(shù)據(jù)結(jié)構(gòu)和分析方法相分離，才有可能研制出通用而靈活的分析工具，并使分析工具產(chǎn)品化。聯(lián)機(jī)分析處理要求按多維方式組織企業(yè)的數(shù)據(jù)，傳統(tǒng)的關(guān)系數(shù)據(jù)庫難以勝任。⑴ 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理是針對特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和分析，通過對信息進(jìn)行快速、穩(wěn)定、一致和交互式的存取，對數(shù)據(jù)進(jìn)行多層次、多階段的分析處理，以獲得高度歸納的分析結(jié)果。3. 數(shù)據(jù)的表現(xiàn)數(shù)據(jù)表現(xiàn)是數(shù)據(jù)倉庫的門面。采用關(guān)系數(shù)據(jù)庫實現(xiàn)的聯(lián)機(jī)分析應(yīng)用稱為ROLAP。而關(guān)系數(shù)據(jù)庫若采用“星型模式”來組織數(shù)據(jù)就能很好地解決多維分析的問題。采用多維數(shù)據(jù)庫實現(xiàn)的聯(lián)機(jī)分析應(yīng)用我們稱之為MOLAP。為此，人們提出了多維數(shù)據(jù)庫的概念。它的特點是將數(shù)據(jù)想象成多維的立方體，用戶的查詢便相當(dāng)于在其中的部分維（棱）上施加條件，對立方體進(jìn)行切片、分割，得到的結(jié)果則是數(shù)值的矩陣或向量，并將其制成圖表或輸入數(shù)據(jù)統(tǒng)計的算法。⑷ 支持多維分析的查詢模式用戶在使用數(shù)據(jù)倉庫時的訪問方式與傳統(tǒng)關(guān)系數(shù)據(jù)庫有很大的不同?？傊?，將普通關(guān)系數(shù)據(jù)庫改造成適合擔(dān)當(dāng)數(shù)據(jù)倉庫的服務(wù)器有許多工作可以做，它已成為關(guān)系數(shù)據(jù)庫技術(shù)的一個重要研究課題和發(fā)展方向。此外，數(shù)據(jù)倉庫的查詢并不需要像事務(wù)處理系統(tǒng)那樣精確，但在大容量數(shù)據(jù)環(huán)境中需要有足夠短的系統(tǒng)響應(yīng)時間。普遍關(guān)系數(shù)據(jù)庫沒有提供這樣的查詢能力，因此只好將整個表的記錄進(jìn)行排序，從而耗費(fèi)了大量的時間。擴(kuò)充的關(guān)系庫中對連接操作可以做預(yù)先的定義，我們稱之為連接索引，使得數(shù)據(jù)庫在執(zhí)行查詢時可直接獲取數(shù)據(jù)而不必實施具體的連接操作。由于數(shù)據(jù)倉庫中各數(shù)據(jù)表的數(shù)據(jù)量往往極不均勻，普通查詢優(yōu)化器所得出的最佳查詢路徑可能不是最優(yōu)的，因此，面向決策支持的關(guān)系數(shù)據(jù)庫在查詢優(yōu)化器上也做了改進(jìn)，同時根據(jù)索引的使用特性增加了多重索引掃描的能力。普通關(guān)系數(shù)據(jù)庫采用B樹類的索引，對干性別、年齡、地區(qū)等具有大量重復(fù)值的字段幾乎沒有效果。⑶ 決策支持查詢的優(yōu)化這個問題主要是針對關(guān)系數(shù)據(jù)庫而言，因為其他數(shù)據(jù)管理環(huán)境連基本的通用查詢能力還不完善。因此，并行處理技術(shù)在數(shù)據(jù)倉庫中比以往更加重要。而在數(shù)據(jù)倉庫系統(tǒng)中，用戶訪問系統(tǒng)的特點是龐大而稀疏，每一個查詢和統(tǒng)計都很復(fù)雜，但訪問的頻率并不是很高。一些廠商還專門考慮大數(shù)據(jù)量的系統(tǒng)備份問題，好在數(shù)據(jù)倉庫對聯(lián)機(jī)備份的要求并不高。目前不少關(guān)系數(shù)據(jù)庫系統(tǒng)已支持?jǐn)?shù)據(jù)分散技術(shù)，即能夠?qū)⒁粋€大的數(shù)據(jù)庫表分散在多個物理存儲設(shè)備中，進(jìn)一步增強(qiáng)了系統(tǒng)管理大數(shù)據(jù)量的擴(kuò)展能力。從現(xiàn)有技術(shù)和產(chǎn)品來看，只有關(guān)系數(shù)據(jù)庫系統(tǒng)能夠擔(dān)當(dāng)此任。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫的特性，同時也決定了其對外部數(shù)據(jù)的表現(xiàn)形式。整個抽取過程能否因工具的使用而納入有效的管理、調(diào)度和維護(hù)則更為重要。但抽取工具支持的數(shù)據(jù)種類是有限的；同時數(shù)據(jù)抽取過程涉及到數(shù)據(jù)的轉(zhuǎn)換，它是一個與實際應(yīng)用密切相關(guān)的部分，其復(fù)雜性使得不可嵌入用戶編程的抽取工具往往不能滿足要求。目前市面上所提供的大多是數(shù)據(jù)抽取工具。數(shù)據(jù)倉庫的數(shù)據(jù)并不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)保持實時的同步，因此數(shù)據(jù)抽取可以定時進(jìn)行，但多個抽取操作的時間、相互的順序、成敗對數(shù)據(jù)倉庫中信息的有效性卻是至關(guān)重要的。由于數(shù)據(jù)倉庫是一個獨(dú)立的數(shù)據(jù)環(huán)境，所以它需要通過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲介質(zhì)中導(dǎo)人數(shù)據(jù)倉庫。OLAP服務(wù)器能加強(qiáng)和規(guī)范決策支持的服務(wù)工作，集中和簡化原客戶端和DW服務(wù)器的部分工作，降低系統(tǒng)數(shù)據(jù)傳輸量，因此工作效率更高。服務(wù)器端完成各種輔助決策的SQL查詢、復(fù)雜的計算和各類綜合功能等。⑶數(shù)據(jù)倉庫應(yīng)用的C∕S結(jié)構(gòu)形式數(shù)據(jù)倉庫應(yīng)用是一個典型的C∕S結(jié)構(gòu)。倉庫管理包括對數(shù)據(jù)的安全、歸檔、備份、維護(hù)、恢復(fù)等工作，這些工作需要利用數(shù)據(jù)庫管理系統(tǒng)（DBMS）的功能。②倉庫管理：在確定數(shù)據(jù)倉庫信息需求后，首先進(jìn)行數(shù)據(jù)建模，然后確定從源數(shù)據(jù)到數(shù)據(jù)倉庫的數(shù)據(jù)抽取、清理和轉(zhuǎn)換過程，最后劃分維數(shù)及確定數(shù)據(jù)倉庫的物理存儲結(jié)構(gòu)。⑵ 數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)倉庫系統(tǒng)（DWS）由數(shù)據(jù)倉庫、倉庫管理和分析工具三部分組成?？梢姅?shù)據(jù)倉庫中的邏輯結(jié)構(gòu)數(shù)據(jù)由3層到4層數(shù)據(jù)組成，它們均由元數(shù)據(jù)（MetaData）組織而成。2. 數(shù)據(jù)倉庫的結(jié)構(gòu)⑴ 數(shù)據(jù)倉庫的邏輯結(jié)構(gòu)和物理結(jié)構(gòu)數(shù)據(jù)倉庫是存儲數(shù)據(jù)的一種組織形式，它從傳統(tǒng)數(shù)據(jù)庫中獲得原始數(shù)據(jù)，先按輔助決策的主題要求形成當(dāng)前基本數(shù)據(jù)層，再按綜合決策的要求形成綜合數(shù)據(jù)層（又可分為輕度綜合層和高度綜合層）。主要是數(shù)據(jù)倉庫側(cè)重于決策分析，而數(shù)據(jù)庫則側(cè)重于操作和管理。“信息本身相對穩(wěn)定”，是指數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉庫，一般情況下將被長期保留，變更很少。所謂“隨時間變化”，是指數(shù)據(jù)倉庫中存儲的是一個時間段的數(shù)據(jù)，而不僅僅是某一個時的數(shù)據(jù)，所以主要用于進(jìn)行時間趨勢分析。那么，所謂“面向主題”就是指數(shù)據(jù)倉庫中的信息是按主題組織的，按主題來提供信息。1. 數(shù)據(jù)倉庫的定義數(shù)據(jù)倉庫之父W．H．Inmon給數(shù)據(jù)倉庫下的定義是：數(shù)據(jù)倉庫是支持管理決策過程的、面向主題的、集成的、隨時間變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合。 數(shù)據(jù)倉庫的概念數(shù)據(jù)倉庫并不是一個新的平臺，它仍然建立在數(shù)據(jù)庫管理系統(tǒng)基礎(chǔ)上，只是一個新的概念。隨著C∕S技術(shù)的成熟和并行數(shù)據(jù)庫的發(fā)展，信息處理技術(shù)的發(fā)展趨勢是從大量的事務(wù)型數(shù)據(jù)庫中抽取數(shù)據(jù)，并將其清理、轉(zhuǎn)換為新的存儲格式，即為決策目標(biāo)，而把數(shù)據(jù)聚合在一種特殊的格式中。⑵ 輔助決策信息涉及許多部門的數(shù)據(jù)，而不同系統(tǒng)的數(shù)據(jù)難以集成。這種需求既要求聯(lián)機(jī)服務(wù)，又涉及大量用于決策的數(shù)據(jù)，而傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)已無法滿足這種需求。6. 數(shù)據(jù)庫的使用和維護(hù)：不斷完善系統(tǒng)性能和改進(jìn)系統(tǒng)功能，進(jìn)行數(shù)據(jù)庫的再組織和重構(gòu)造。4. 物理設(shè)計：為邏輯數(shù)據(jù)模型選取一個最適合應(yīng)用環(huán)境的物理結(jié)構(gòu)（包括存儲結(jié)構(gòu)和存取方法）。2. 概念設(shè)計：通過對用戶需求進(jìn)行綜合、歸納與抽象，形成一個獨(dú)立于具體DBMS的概念模型。數(shù)據(jù)庫設(shè)計的過程如圖7—9所示。其中邏輯數(shù)據(jù)庫設(shè)計是根據(jù)用戶要求和特定數(shù)據(jù)庫管理系統(tǒng)的具體特點，以數(shù)據(jù)庫設(shè)計理論為依據(jù)，設(shè)計數(shù)據(jù)庫的全局邏輯結(jié)構(gòu)和每個用戶的局部邏輯結(jié)構(gòu)。數(shù)據(jù)庫系統(tǒng)是整個管理信息系統(tǒng)建設(shè)中重要的組成部分。一個管理信息系統(tǒng)的各部分是否能緊密地結(jié)合在一起以及如何結(jié)合，關(guān)鍵在數(shù)據(jù)庫。如IBM公司的DB2，Informix Universal Server產(chǎn)品、Oracle公司的Oracle 8產(chǎn)品等?，F(xiàn)在幾乎所有的關(guān)系型數(shù)據(jù)庫廠商都已意識到了這一點。現(xiàn)在盡管對象關(guān)系數(shù)據(jù)庫產(chǎn)品的市場份額不大，但已呈現(xiàn)出強(qiáng)勁的增長趨勢。⑷ 能夠提供功能強(qiáng)大的通用規(guī)則系統(tǒng)，而且規(guī)則系統(tǒng)與其他的對象關(guān)系能力是集成為一體的，例如，規(guī)則中的事件和動作可以是任意的SQL語句，可以使用用戶自定義的函數(shù)，規(guī)則能夠被繼承等。⑵ 能夠在SQL中支持復(fù)雜對象，即由多種基本類型或用戶定義的類型構(gòu)成的對象。4. 對象關(guān)系數(shù)據(jù)庫對象關(guān)系數(shù)據(jù)庫系統(tǒng)兼有關(guān)系數(shù)據(jù)庫和面向?qū)ο蟮臄?shù)據(jù)庫兩方面的特征。對象名可以使任何一個CDMG模型中的對象，如原子、結(jié)構(gòu)、聚合或文字等。⑥OQL是說明性的查詢語言，系統(tǒng)可以自動優(yōu)化處理；系統(tǒng)決定查詢策略，所以改變物理的數(shù)據(jù)結(jié)構(gòu)、索引和聚簇策略時，可以不影響查詢語句本身，使系統(tǒng)達(dá)到某種程度的邏輯和物理獨(dú)立性。如果把OQL嵌入到C＋＋語言中，由于其表達(dá)能力強(qiáng)，所以一句OQL可以表達(dá)一段C＋＋程序，而且OQL是基于ODMG對象模型，使得C＋＋和數(shù)據(jù)庫間的“阻抗失配”問題得到較好解決。④可以通過嵌入使用OQL來簡化編程。③可用于交互式即席查詢。OQL的設(shè)計具有以下基本特點：①OQL是一種對對象數(shù)據(jù)庫進(jìn)行說明性訪問的查詢語言，不是一種計算完備型語言。OQL和SQL風(fēng)格一樣，結(jié)構(gòu)簡單，利用它可以方便地訪問對象。對象的行為由一組操作來定義，這些操作能在相應(yīng)對象上執(zhí)行，對象的狀態(tài)由一組性質(zhì)所取的值來定義，這些性質(zhì)可以是對象本身的屬性，也可以是該對象和其他一個或多個對象之間的關(guān)系。ODMG－93標(biāo)準(zhǔn)主要包括對象模型、對象定義語言、查詢語言、C＋＋、SMALLTALK綁定等內(nèi)容。其基本立場和觀點是：它不是單純提供一種用于數(shù)據(jù)操縱的高層語言（如SQL），而是要透明地把數(shù)據(jù)庫功能集成到應(yīng)用程序語言中，這種透明性使得用戶無需去掌握另一種DML（數(shù)據(jù)操縱語言），無需在數(shù)據(jù)庫和編程語言兩種表示之間顯式地拷貝和轉(zhuǎn)換數(shù)據(jù)，可通過應(yīng)用中數(shù)據(jù)的緩沖獲得更好的性能。3. ODMG建立面向?qū)ο髷?shù)據(jù)庫標(biāo)準(zhǔn)極為重要，因為沒有標(biāo)準(zhǔn)將會制約ODBMS的廣泛應(yīng)用。⑶ 開放的可選特性是設(shè)計人員可以選擇的特性。⑵ 可選特性實質(zhì)為了使系統(tǒng)更加完善可以添加的功能。這些特征可以分成以下三類：⑴ 必備特性是面向?qū)ο髷?shù)據(jù)庫系統(tǒng)所必須滿足的特征，它們是復(fù)雜對象、對象表示、封裝性、類型或類、繼承性及遲后綁定重載、可擴(kuò)充性、計算完備性、持久性、輔存管理、并發(fā)性、恢復(fù)和即席查詢功能。面向?qū)ο髷?shù)據(jù)庫目前還沒有權(quán)威性的統(tǒng)一標(biāo)準(zhǔn)。2. 面向?qū)ο髷?shù)據(jù)庫特征面向?qū)ο蠹夹g(shù)在數(shù)據(jù)庫中的應(yīng)用體現(xiàn)在數(shù)據(jù)庫管理系統(tǒng)和應(yīng)用開發(fā)工具兩個方面，即面向?qū)ο髷?shù)據(jù)庫和面向?qū)ο蟮臄?shù)據(jù)庫應(yīng)用開發(fā)工具。互相沒有預(yù)料不到的影響，也可以較為自由地為各個不同的軟件系統(tǒng)所重用；②封裝功能；為信息隱蔽提供了具體的實現(xiàn)手段，用戶不必清楚對象的內(nèi)部細(xì)節(jié)，只要了解其功能描述就可以使用；③代碼共享：繼承性提供了一種代碼共享的手段，可以避免重復(fù)的代碼設(shè)計，使得面向?qū)ο蟮姆椒ù_實有效；④靈活性；對象的功能執(zhí)行是在接收到消息時確定的，使得對象可以根據(jù)自身的特點進(jìn)行功能實現(xiàn)，從而提高了程序設(shè)計的靈活性；⑤易維護(hù)性；對象實現(xiàn)了抽象和封裝，使其中可能出現(xiàn)的錯誤限制在身，不會向外傳播，易于檢錯和修改；⑥增量型設(shè)計：面向?qū)ο笙到y(tǒng)可以通過繼承機(jī)制不斷擴(kuò)充功能，而不影響原有軟件的運(yùn)行；⑦局部存儲與分布處理；每個對象都通過數(shù)據(jù)抽象和數(shù)據(jù)隱蔽將其內(nèi)和狀態(tài)置于自身獨(dú)立的存儲結(jié)構(gòu)中。由于這種方法描述的現(xiàn)實世界模型更符合人們認(rèn)識世界的思維方法，因此用它開發(fā)出的軟件更易于理解，易于維護(hù)。在此基礎(chǔ)上。⑵ 面向?qū)ο蠹夹g(shù)的特征從本質(zhì)上講，“面向?qū)ο蟆笔且环N認(rèn)識客觀世界的認(rèn)知方法學(xué)，這種認(rèn)知方法將客觀世界看成是由許許多多不同對象構(gòu)成的，每一個對象都有自己的運(yùn)動規(guī)律和內(nèi)部狀態(tài)，不同對象間的相互作用和通訊構(gòu)成了完整的客觀世界，因而，從人們思維模型和認(rèn)識事物的角度，面向?qū)ο蠛茏匀坏嘏c客觀世界的固有特征相對應(yīng)。在多重繼承的情況下，子類繼承了若干個類，這樣，多個子類就包括了所有這些超類變量和方法的集合。子類對象可以擁有超類對象的數(shù)據(jù)和操作，從而形成一種代碼共享的手段。④繼承繼承可以用來定義（在數(shù)據(jù)和程序上）彼此十分相似的那些對象的類。私有消息：僅由它自己本身發(fā)送；請求改變對象或系統(tǒng)狀態(tài)的消息請求對象接受有關(guān)的參數(shù)，但它除了給出一般的成功與否的標(biāo)志外，通常不產(chǎn)生任何數(shù)據(jù)作為回答。請求改變系統(tǒng)的狀態(tài)；程序中，某些消息可以改變系統(tǒng)中的全局對象（數(shù)據(jù)）等。請求改變對象的狀態(tài)：在程序中可以發(fā)送消息讓一個數(shù)組對象設(shè)置其中一個單元的值等。詢問對象的狀態(tài)：在程序中可以是取某個對象中某一私有單元的值等。消息可按功能和使用權(quán)限兩種標(biāo)準(zhǔn)進(jìn)行分類。發(fā)送消息時只需確切指明接受方（對象），而并不關(guān)注它的類型。發(fā)送消息是建立在“抽象類型”概念的基礎(chǔ)上的。向某個對象發(fā)送消息，就是要求其執(zhí)行它的一個操作。一個類的所有實例都具有相同的數(shù)據(jù)結(jié)構(gòu)，井采用相同的名字來引用它。任何單個對象都是某個類的實例，這些實例具有由它們的類所定義的共同特征。動態(tài)性：對象的動態(tài)性有兩個含義，一是對象可以動態(tài)創(chuàng)建和取消，對象并非一開始就存在的，程序員可以在描述系統(tǒng)運(yùn)行過程中創(chuàng)建對象；二是對象的狀態(tài)是不斷變化的，隨著系統(tǒng)的運(yùn)行和發(fā)展，許多對象的狀態(tài)與初始狀態(tài)都具有很大變化。一般情況下，對象不能自發(fā)啟動操作。對象既可以接受來自外部的消息并加以處理，也可以向其他對象發(fā)送消息請其處理相應(yīng)工作。即外界不能直接修改對象的狀態(tài)，只能通過向它發(fā)送消息對它產(chǎn)生影響。給定一個輸入，經(jīng)過消息接收、操作處理、交換對象狀態(tài)，最后產(chǎn)生輸出，是對象完成消息所指定任務(wù)的處理過程。對象的特征如下：⑴ 面向?qū)ο蠹夹g(shù)的基本概念①對象是一個封閉體，它是由一組數(shù)據(jù)和施加于這些數(shù)據(jù)上