【正文】 倉庫是一個獨立的數(shù)據(jù)環(huán)境，它需要通過抽取過程將數(shù)據(jù)從聯(lián)機事務處理系統(tǒng)、外部數(shù)據(jù)源、脫機的數(shù)據(jù)存儲介質(zhì)中導入數(shù)據(jù)倉庫。與關系數(shù)據(jù)庫不同，數(shù)據(jù)倉庫并沒有嚴格的數(shù)學理論基礎，它更偏向于工程。數(shù)據(jù)倉庫就是一個作為決策支持系統(tǒng)和聯(lián)機分析應用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。針對這一問題，人們設想專門為業(yè)務的統(tǒng)計分析建立一個數(shù)據(jù)中心，它的數(shù)據(jù)從OLTP系統(tǒng)中來、從外部數(shù)據(jù)源來、從歷史業(yè)務數(shù)據(jù)中來……這個數(shù)據(jù)中心是一個聯(lián)機的系統(tǒng)，它是專門為分析統(tǒng)計和決策支持應用服務的，通過它可滿足決策支持和聯(lián)機分析應用所要求的一切。第三，業(yè)務數(shù)據(jù)的模式針對事務處理系統(tǒng)而設計，數(shù)據(jù)的格式和描述方式并不適合非計算機專業(yè)人員進行業(yè)務上的分析和統(tǒng)計。聯(lián)機分析和事務處理對系統(tǒng)的要求不同，同一個數(shù)據(jù)庫在理論上都難以做到兩全。事實上，將大量的業(yè)務數(shù)據(jù)應用于分析和統(tǒng)計原本是一個非常簡單和自然的想法。 數(shù)據(jù)倉庫發(fā)展方向 數(shù)據(jù)倉庫的產(chǎn)生和發(fā)展現(xiàn)在基于業(yè)務數(shù)據(jù)的決策分析——聯(lián)機分析處理（OLAP），比以往任何時候都顯得更為重要。還有一類被稱為元數(shù)據(jù)知識庫（MetadataRepository）的工具，它們獨立于其它工具，為元數(shù)據(jù)提供一個集中的存儲空間。如CA的ERwin、Sysbase的PowerDesigner以及Rational的Rose等。這些工具都提供了業(yè)務元數(shù)據(jù)與技術元數(shù)據(jù)相對應的語義層。(2) 前端展現(xiàn)工具包括OLAP分析、報表和商業(yè)智能工具等，如MicroStrategy的DSSAgent、Cognos的PowerPlay、BusinessObjects的BO，以及Brio等。與元數(shù)據(jù)相關的數(shù)據(jù)倉庫工具大致可分為四類： (1)數(shù)據(jù)抽取工具把業(yè)務系統(tǒng)中的數(shù)據(jù)抽取、轉(zhuǎn)換、集成到數(shù)據(jù)倉庫中，如Ardent的DataStage、CA（原Platinum）的DecisionBase和ETI的Extract等。 我們了解到元數(shù)據(jù)幾乎可以被稱為是數(shù)據(jù)倉庫乃至商業(yè)智能（BI）系統(tǒng)的“靈魂”，正是由于元數(shù)據(jù)在整個數(shù)據(jù)倉庫生命周期中有著重要的地位，各個廠商的都提到了關于對元數(shù)據(jù)的管理。u 衡量數(shù)據(jù)質(zhì)量。u 記錄根據(jù)業(yè)務事件發(fā)生而隨之進行的數(shù)據(jù)抽取工作時間安排。 元數(shù)據(jù)的作用u 描述哪些數(shù)據(jù)在數(shù)據(jù)倉庫中。這里的數(shù)據(jù)立方體表示某主題領域業(yè)務事實表和維表的多維組織形式。業(yè)務元數(shù)據(jù)主要包括以下：使用者的業(yè)務術語所表達的數(shù)據(jù)模型、對象名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源；系統(tǒng)所提供的分析方法以及公式和報表的；具體包括以下：l (1)企業(yè)概念模型這是業(yè)務元數(shù)據(jù)所應提供的重要的，它表示企業(yè)數(shù)據(jù)模型的高層、整個企業(yè)的業(yè)務概念和相互關系。l 由操作環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射，包括源數(shù)據(jù)和它們的內(nèi)容、數(shù)據(jù)分割、數(shù)據(jù)提取、清理、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則、安全（用戶授權和存取控制）。 技術元數(shù)據(jù)技術元數(shù)據(jù)是存儲關于數(shù)據(jù)倉庫系統(tǒng)技術細節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉庫使用的數(shù)據(jù)，它主要包括數(shù)據(jù)倉庫結(jié)構(gòu)的描述，包括倉庫模式、視圖、維、層次結(jié)構(gòu)和導出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容；業(yè)務系統(tǒng)、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式。 元數(shù)據(jù)元數(shù)據(jù)（Metadata）是關于數(shù)據(jù)的數(shù)據(jù)。（6） 容量不同數(shù)據(jù)庫在基本容量上要比數(shù)據(jù)倉庫小的多。（4） 提供的功能不同數(shù)據(jù)庫是為捕獲數(shù)據(jù)而設計，數(shù)據(jù)倉庫是為分析數(shù)據(jù)而設計。 　?。?） 存儲的數(shù)據(jù)不同數(shù)據(jù)庫一般存儲在線交易數(shù)據(jù)，數(shù)據(jù)倉庫存儲的一般是歷史數(shù)據(jù)?？梢哉f，數(shù)據(jù)庫、數(shù)據(jù)倉庫相輔相成、各有千秋。二者的聯(lián)系：數(shù)據(jù)倉庫的出現(xiàn)，并不是要取代數(shù)據(jù)庫。 　　隨時間變化，是指數(shù)據(jù)倉庫內(nèi)的信息并不只是反映企業(yè)當前的狀態(tài)，而是記錄了從過去某一時點到當前各個階段的信息?！边@里的主題，是指用戶使用數(shù)據(jù)倉庫進行決策時所關心的重點方面，如：收入、客戶、銷售渠道等；所謂面向主題，是指數(shù)據(jù)倉庫內(nèi)的信息是按主題進行組織的，而不是像業(yè)務支撐系統(tǒng)那樣是按照業(yè)務功能進行組織的。作為數(shù)據(jù)庫的一個分支，數(shù)據(jù)倉庫概念的提出，相對于數(shù)據(jù)庫從時間上就近得多。（9） 數(shù)據(jù)源數(shù)據(jù)來自內(nèi)部的和外部的非集成操作系統(tǒng)。（7） 非規(guī)范化的DW數(shù)據(jù)可以是而且經(jīng)常是冗余的。（5） 匯總的操作性數(shù)據(jù)映射成決策可用的格式。（4） 數(shù)據(jù)倉庫是隨時間而變化的傳統(tǒng)的關系數(shù)據(jù)庫系統(tǒng)比較適合處理格式化的數(shù)據(jù)，能夠較好的滿足商業(yè)商務處理的需求。（2） 數(shù)據(jù)倉庫是集成的數(shù)據(jù)倉庫的數(shù)據(jù)有來自于分散的操作型數(shù)據(jù)，將所需數(shù)據(jù)從原來的數(shù)據(jù)中抽取出來，進行加工與集成，統(tǒng)一與綜合之后才能進入數(shù)據(jù)倉庫。（1） 數(shù)據(jù)倉庫是面向主題的操作型數(shù)據(jù)庫的數(shù)據(jù)組織面向事務處理任務，而數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進行組織。數(shù)據(jù)倉庫研究和解決從數(shù)據(jù)庫中獲取信息的問題。數(shù)據(jù)倉庫技術為解決充分有效的利用超大容量、多平臺數(shù)據(jù)資源這個問題提供了方法和手段,能夠充分利用現(xiàn)有的海量數(shù)據(jù)資源,并從中找出對通信的運作和決策有價值的信息。數(shù)據(jù)的文件格式多樣,有各種不同數(shù)據(jù)庫的,也有文本文件型的,還有多媒體文件型的。 data warehouse design with ODS, DWD, DWA levels, the horizontally stratified longitudinal domain concept, specific implementation of the establishment, and in late stage provides error emergency measures, data warehouse maintenance and optimization.Keywords： data warehouse, physical model, maintenance and optimization目錄第一章 數(shù)據(jù)倉庫概述 1 本論文采用數(shù)據(jù)倉庫的目的 1 數(shù)據(jù)倉庫的定義和特點 1 數(shù)據(jù)倉庫與數(shù)據(jù)庫 2 元數(shù)據(jù) 3 技術元數(shù)據(jù) 3 業(yè)務元數(shù)據(jù) 3 元數(shù)據(jù)的作用 4 數(shù)據(jù)倉庫發(fā)展方向 5 數(shù)據(jù)倉庫的產(chǎn)生和發(fā)展 5 數(shù)據(jù)倉庫發(fā)展趨勢 7 數(shù)據(jù)集市、集市群—行業(yè)的發(fā)展方向 8 基于Internet光處理器計算機和GGG技術的DW 11 14第二章 數(shù)據(jù)倉庫需求分析 15 需求分析原因 15 需求分析階段 15 需求分析成員確立 16 需求會議 18第三章 數(shù)據(jù)倉庫總體設計 19 數(shù)據(jù)倉庫實施環(huán)境 19 確定數(shù)據(jù)倉庫開發(fā)的生命周期 19 通訊數(shù)據(jù)倉庫設計原則 25 確定數(shù)據(jù)倉庫系統(tǒng)的結(jié)構(gòu)及各部分的主要功能 26第四章 數(shù)據(jù)倉庫詳細設計 31 邏輯模型設計 31 物理模型設計 32第五章 數(shù)據(jù)倉庫實現(xiàn) 34 ODS層建設 34 接口數(shù)據(jù)抽取 34 數(shù)據(jù)抽取策略 35 ODS層的作用 36 DWD層建設 36 DWD定義 36 實體選取的原則 36 字段選取的原則 37 數(shù)據(jù)轉(zhuǎn)換 37 數(shù)據(jù)加載技術及策略 38 DWA匯總層建設 39 DWA衍生層建設 40第六章 數(shù)據(jù)倉庫后期運維 42 數(shù)據(jù)倉庫測試 42 分析源文件 42 開發(fā)策略和測試計劃 42 測試的開發(fā)與執(zhí)行 43 數(shù)據(jù)倉庫后期維護 43 數(shù)據(jù)倉庫數(shù)據(jù)清理 43 數(shù)據(jù)倉庫模型更改 44 數(shù)據(jù)倉庫性能優(yōu)化 44 調(diào)整數(shù)據(jù)庫服務器的性能 44 調(diào)整內(nèi)存分配 44 使用ORACLE的數(shù)據(jù)完整性約束 45 使用數(shù)據(jù)庫觸發(fā)器 45 使用存儲過程 46 應用程序調(diào)整 46總結(jié) 47致謝 48參考文獻 4949 / 54第一章 數(shù)據(jù)倉庫概述 本論文采用數(shù)據(jù)倉庫的目的當前,通信行業(yè)(以聯(lián)通為例)內(nèi)部已經(jīng)積累了大量的業(yè)務處理數(shù)據(jù),但是這些數(shù)據(jù)分布在各級機構(gòu)、各個部門中,而且數(shù)據(jù)的操作平臺各異,有DOS 的、有Windows 的、有Unix 的、有Solaris 的。 logic model construction through software design, to determine the relationship between tables。在本論文中從數(shù)據(jù)倉庫需求分析包括參與成員、各個成員所起到的作用；邏輯模型建設通過軟件設計，確定表之間的關系；物理模型建設中對表和過程進行詳細的審核，用來支持所提出的需求；數(shù)據(jù)倉庫設計以ODS、DWD、DWA為層次，采用橫向分層縱向分域的理念，進行具體的實施建立，并在后期提供了錯誤的應急措施、數(shù)據(jù)倉庫的維護和優(yōu)化。摘 要自20世紀90 年代以來,計算機技術發(fā)展迅猛,各通信商逐步開發(fā)出新的BI系統(tǒng)。實現(xiàn)給通信領域提出了充分利用數(shù)據(jù)倉庫技術，將現(xiàn)有的海量數(shù)據(jù)構(gòu)造成為可用、可控、可擴展的數(shù)據(jù)組織,以適應通信領域各級主管和業(yè)務人員的分析需要。關鍵詞： 數(shù)據(jù)倉庫，物理模型，維護和優(yōu)化English abstractSince the nineteen ninties, puter technology is developing rapidly, the munication business gradually developed a new BI system. Reality to munication field is presented for fully using data warehouse technology to existing data structures bee available, controllable, scalable data organization, to adapt to the field of munication at all levels of managers and business analysis.In this paper from the data warehouse requirement analysis includes the participation of members, each member of the role played by。 physical model construction process table and detailed audit, used to support the proposed requirement。數(shù)據(jù)的來源復雜,有存儲在硬盤上的,也有存儲在磁帶、光盤上的。這些數(shù)據(jù)是通信行業(yè)決策的寶貴信息資源,在構(gòu)造新的系統(tǒng)時必須要善加利用。 數(shù)據(jù)倉庫的定義和特點數(shù)據(jù)倉庫是決策支持系統(tǒng)（dss）和聯(lián)機分析應用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。數(shù)據(jù)倉庫的特征在于面向主題、集成性、穩(wěn)定性和時變性。主題是指用戶使用數(shù)據(jù)倉庫進行決策時所關心的重點方面，一個主題通常與多個操作型信息系統(tǒng)相關。（3） 數(shù)據(jù)倉庫是不可更新的數(shù)據(jù)倉庫主要是為決策分析提供數(shù)據(jù)，所涉及的操作主要是數(shù)據(jù)的查詢。穩(wěn)定的數(shù)據(jù)以只讀格式保存，且不隨時間改變。（6） 大容量時間序列數(shù)據(jù)集合通常都非常大。（8） 元數(shù)據(jù)將描述數(shù)據(jù)的數(shù)據(jù)保存起來。 數(shù)據(jù)倉庫與數(shù)據(jù)庫數(shù)據(jù)庫已經(jīng)在信息技術領域有了廣泛的應用，我們社會生活的各個部門，幾乎都有各種各樣的數(shù)據(jù)庫保存著與我們的生活息息相關的各種數(shù)據(jù)。美國著名信息工程專家William博士在90年代初提出了數(shù)據(jù)倉庫概念的一個表述，認為：“一個數(shù)據(jù)倉庫通常是一個面向主題的、集成的、隨時間變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合，它用于對管理決策過程的支持。集成，是指數(shù)據(jù)倉庫中的信息不是從各個業(yè)務系統(tǒng)中簡單抽取出來的，而是經(jīng)過一系列加工、整理和匯總的過程，因此數(shù)據(jù)倉庫中的信息是關于整個企業(yè)的一致的全局信息。通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預測。目前，大部分數(shù)據(jù)倉庫還是用關系數(shù)據(jù)庫管理系統(tǒng)來管理的。 　　二者的區(qū)別： 　?。?） 出發(fā)點不同數(shù)據(jù)庫是面向事務的設計，數(shù)據(jù)倉庫是面向主題設計的。 　?。?） 設計規(guī)則不同數(shù)據(jù)庫設計是盡量避免冗余，一般采用符合范式的規(guī)則來設計，數(shù)據(jù)倉庫在設計是有意引入冗余，采用反范式的方式來設計。（5） 基本元素不同數(shù)據(jù)庫的基本元素是事實表，數(shù)據(jù)倉庫的基本元素是維度表。（7） 服務對象不同數(shù)據(jù)庫是為了高效的事務處理而設計的，服務對象為企業(yè)業(yè)務處理方面的工作人員，數(shù)據(jù)倉庫是為了分析數(shù)據(jù)進行決策而設計的，服務對象為企業(yè)高層決策人員。在數(shù)據(jù)倉庫系統(tǒng)中，元數(shù)據(jù)可以幫助數(shù)據(jù)倉庫管理員和數(shù)據(jù)倉庫的開發(fā)人員非常方便地找到他們所關心的數(shù)據(jù)；元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，可將其按用途的不同分為兩類：技術元數(shù)據(jù)（TechnicalMetadata）和業(yè)務元數(shù)據(jù)（BusinessMetadata）。l 匯總用的算法，包括度量和維定義算法，數(shù)據(jù)粒度、主題領域、聚集、匯總、預定義的查詢與報告。 業(yè)務元數(shù)據(jù)業(yè)務元數(shù)據(jù)從業(yè)務角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)，它提供了介于使用者和實際系統(tǒng)之間的語義層。(2) 多維數(shù)據(jù)模型這是企業(yè)概念模型的重要組成部分，確定業(yè)務分析人員在數(shù)據(jù)集市當中有哪些維、維的類別、數(shù)據(jù)立方體以及數(shù)據(jù)集市中的聚合規(guī)則。l (3)業(yè)務概念模型和物理數(shù)據(jù)之間的依賴業(yè)務元數(shù)據(jù)只是表示出了數(shù)據(jù)的業(yè)務視圖，這些業(yè)務視圖與實際的數(shù)據(jù)倉庫或數(shù)據(jù)庫、中的表、字段、維、層次等之間的對應關系也應該在元數(shù)據(jù)知識庫中有所體現(xiàn)。u 定義要進入數(shù)據(jù)倉庫中的數(shù)據(jù)和從數(shù)據(jù)倉庫中產(chǎn)生的數(shù)據(jù)。u 記錄并檢測系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況。 元數(shù)據(jù)管理的主要任務有兩個方面：一是負責存儲和維護元數(shù)據(jù)庫中的元數(shù)據(jù)；二是負責數(shù)據(jù)倉庫建模工具、數(shù)據(jù)獲取工具、前端工具等之間的消息傳遞，協(xié)調(diào)各模塊和工具之間的工作。但遺憾的是對于元數(shù)據(jù)的管理，各個解決方案都沒有明確提出一個完整