【正文】 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘項(xiàng)目建設(shè)1. 數(shù)據(jù)倉庫知識簡介軟件質(zhì)量控制的主要目的是為了獲得更高的開發(fā)效率，避免返工，提高產(chǎn)品的市場競爭力，從而為客戶提高符合質(zhì)量需求的穩(wěn)定可靠的軟件產(chǎn)品，同時它也是控制方法的集合，包括軟件建模、度量、評審以及其他活動。：1. 目標(biāo)問題度量法，即通過軟件質(zhì)量目標(biāo)并持續(xù)觀察這些目標(biāo)是否達(dá)到軟件質(zhì)量控制的一種方法2. 風(fēng)險管理法，即識別與控制軟件開發(fā)中對成功達(dá)到質(zhì)量目標(biāo)危害最大的哪些因素的系統(tǒng)性方法3. PDCA循環(huán)。這種方法發(fā)源于日本，是指計劃plan，做do，檢查check，和行動action：隨著信息化的高速發(fā)展，各行各業(yè)，各組織單位積累了大量的業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)存在于各單位的數(shù)據(jù)庫，各種報表、文檔中，真可謂是數(shù)據(jù)的海洋。這些數(shù)據(jù)中蘊(yùn)含著組織業(yè)務(wù)活動的大量規(guī)則，包含著組織管理決策所需要的重要知識，從這些數(shù)據(jù)中挖掘出有價值的信息，為管理決策提供支持是政府和企業(yè)事業(yè)單位共同面臨的問題。解決這個問題主要依賴于亮相技術(shù)：一是對整個組織各部門生產(chǎn)的各種業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一和綜合，把業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)化為商業(yè)信息，支持決策，即數(shù)據(jù)倉庫。二是發(fā)現(xiàn)隱藏在各種數(shù)據(jù)之中有用的知識，即數(shù)據(jù)挖掘。216。 數(shù)據(jù)倉庫系統(tǒng)是指面向主題的、集成的、穩(wěn)定的同時又是隨時間變化的大量的數(shù)據(jù)集合。在綜合使用一些應(yīng)用軟件下，用戶獲得想要的信息，最終為經(jīng)營管理的決策提供有力的幫助216。 數(shù)據(jù)倉庫系統(tǒng)的業(yè)務(wù)特征是業(yè)務(wù)需求的范圍和內(nèi)容，不像業(yè)務(wù)系統(tǒng)那樣清晰和明確：系統(tǒng)建設(shè)的一個主要風(fēng)險是體現(xiàn)在軟件工程質(zhì)量和串接方面存在較大的過程風(fēng)險：系統(tǒng)建設(shè)的成功標(biāo)準(zhǔn)應(yīng)該由應(yīng)用系統(tǒng)的用戶數(shù)及其使用頻率作為重要參考依據(jù)。如何來控制風(fēng)險、如何來保證質(zhì)量呢？把質(zhì)量控制作為數(shù)據(jù)倉庫建設(shè)的生命線，把它貫穿于數(shù)據(jù)倉庫建設(shè)整個過程的始終。那么質(zhì)量控制的中心環(huán)節(jié)又是什么呢？簡單而言，包括事前控制：對方案和計劃進(jìn)行充分的咨詢和論證；事中管理：對建設(shè)開發(fā)階段進(jìn)行持續(xù)不斷的過程控制；事后控制：對于建設(shè)成果通過測試、評審、驗(yàn)收、試運(yùn)行等方式進(jìn)行面向結(jié)果的管理控制。216。 關(guān)于數(shù)據(jù)倉庫中的質(zhì)量管理問題的研究，目前有幾個主要的切入點(diǎn)：（1） 從數(shù)據(jù)倉庫的設(shè)計入手，簡歷適合全方位質(zhì)量控制的體系結(jié)構(gòu)（2） 遵從生命周期觀點(diǎn)，全過程控制數(shù)據(jù)倉庫建設(shè)質(zhì)量（3） 按照數(shù)據(jù)倉庫兇的工作機(jī)制和部件構(gòu)成來制定質(zhì)量控制標(biāo)準(zhǔn)數(shù)據(jù)倉庫質(zhì)量從本質(zhì)上說是總體數(shù)據(jù)質(zhì)量的問題。數(shù)據(jù)倉庫的質(zhì)量問題是一個主觀的標(biāo)準(zhǔn)問題，不同層次的人員對數(shù)據(jù)倉庫的質(zhì)量有不同的要求，必須根據(jù)追求的目標(biāo)來制定質(zhì)量的測評、預(yù)測標(biāo)準(zhǔn)并加以實(shí)現(xiàn)，才能真正達(dá)到質(zhì)量控制的目的上世紀(jì)80年代中期，“數(shù)據(jù)倉庫之父”《建立數(shù)據(jù)倉庫》一書中定義了數(shù)據(jù)倉庫的概念，隨后又給出了更為精確的定義：數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時間相關(guān)的數(shù)據(jù)集合。與其他數(shù)據(jù)庫應(yīng)用不同的是，數(shù)據(jù)倉庫更像是一種過程，是對分布在企業(yè)內(nèi)部各處的業(yè)務(wù)數(shù)據(jù)整合、加工和分析的過程。而不是一種可以購買的產(chǎn)品。 數(shù)據(jù)倉庫是面向主題的主題是一個比較抽象的概念，是一種在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類后進(jìn)行分析利用的抽象。在邏輯意義上，它是對應(yīng)企業(yè)中某一宏觀分析領(lǐng)域所涉及的分析對象，是針對某一決策問題而設(shè)置的面向主題的數(shù)據(jù)組織方式，就是在較高層次上對分析對象數(shù)據(jù)的一個完整、統(tǒng)一、一致的描述，能完整及統(tǒng)一地描述出各個分析對象所設(shè)計的相關(guān)企業(yè)的分項(xiàng)數(shù)據(jù)，以及數(shù)據(jù)之間的聯(lián)系 數(shù)據(jù)倉庫是集成的全面而正確的數(shù)據(jù)是進(jìn)行有效分析和決策的首要前提。在某一個主題的統(tǒng)帥下，需要對數(shù)據(jù)進(jìn)行抽取、清晰、轉(zhuǎn)換和加載等集成操作。因?yàn)椋海?） 數(shù)據(jù)倉庫的數(shù)據(jù)不是直接從原有數(shù)據(jù)庫系統(tǒng)復(fù)制得到，因?yàn)樵袛?shù)據(jù)庫系統(tǒng)記錄的是每一項(xiàng)業(yè)務(wù)處理的流水賬，這類數(shù)據(jù)不適合用于分析處理。在進(jìn)入數(shù)據(jù)倉庫之前必須經(jīng)過綜合計算，拋棄分析處理不需要的數(shù)據(jù)項(xiàng)，增加一些可能涉及的外部數(shù)據(jù)。（2） 數(shù)據(jù)倉庫每一個主題所對應(yīng)的源數(shù)據(jù)在原數(shù)據(jù)庫中有可能有許多重復(fù)或不一致之處，必須將這些數(shù)據(jù)轉(zhuǎn)換成全局統(tǒng)一的定義，消除不一致和錯誤之處，以保證數(shù)據(jù)的質(zhì)量。顯而易見的是，對不準(zhǔn)確，甚至不正確的數(shù)據(jù)進(jìn)行分析得出的結(jié)果將不能用于知道企業(yè)領(lǐng)導(dǎo)者做出科學(xué)的決策操作型數(shù)據(jù)庫中的數(shù)據(jù)通常實(shí)時更新，數(shù)據(jù)根據(jù)需要發(fā)生變化。數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)領(lǐng)導(dǎo)者決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢和分析，一旦某個數(shù)據(jù)進(jìn)入數(shù)據(jù)操作主要是數(shù)據(jù)查詢和分析，一旦某個數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫之后，一般情況下將會被長期保留，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作和分析，修改和刪除操作一般不多，通常只需要定期的加載、刷新。由于數(shù)據(jù)倉庫中的數(shù)據(jù)是為了分析用的，這使得數(shù)據(jù)倉庫中的數(shù)據(jù)總是擁有時間維度。數(shù)據(jù)倉庫實(shí)際上就是記錄系統(tǒng)的各個瞬態(tài)，并將各個瞬態(tài)連續(xù)起來形成動畫，從而在數(shù)據(jù)分析的時候再現(xiàn)系統(tǒng)運(yùn)動的全過程。數(shù)據(jù)提取的周期決定了動畫間隔的時間，數(shù)據(jù)提取的周期越短，則動畫的速度越快*商業(yè)智能包含（數(shù)據(jù)倉庫和數(shù)據(jù)挖掘）（倉庫和挖掘）能夠幫助我們做什么216。 增加銷售額216。 深化客戶關(guān)系216。 研發(fā)客戶關(guān)系216。 提供更好的服務(wù)216。 提升運(yùn)營效率216。 降低成本216。 制定更好的決策：216。 哪些產(chǎn)品是營利性最好的？216。 哪些產(chǎn)品是營利性最差的？216。 華南地區(qū)已經(jīng)開設(shè)2年以上的商店，銷售趨勢是怎樣的？216。 哪些產(chǎn)品具有向上的銷售趨勢，哪些客戶群體在購買這些產(chǎn)品？216。 盈利性排在前10%的客戶的特征是什么？216。 盈利性最差的10%客戶的特征是什么？216。 哪些客戶在過去6個月中的購買量超過了所有客戶購買量均值2個標(biāo)準(zhǔn)差？216。 盈利性最好的客戶群居住在什么地方？數(shù)據(jù)倉庫的簡單層1. 源數(shù)據(jù)層：是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)，是整個系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括存在于關(guān)系型數(shù)據(jù)庫系統(tǒng)（Relational DataBase Management System，RDBMS）中的各種業(yè)務(wù)處理數(shù)據(jù)和各類文檔數(shù)據(jù)。外部信息包括各類法律法規(guī)、市場信息和競爭對手的信息等等。2. 數(shù)據(jù)導(dǎo)入層：主要進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換、加載（ExtractTransformLoad，以下簡稱ETL）。把處理后符合業(yè)務(wù)邏輯規(guī)則的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)倉庫中。通過ETL調(diào)度管理、ETL日志管理、ETL出錯管理來控制管理數(shù)據(jù)加載的整個過程。通過數(shù)據(jù)質(zhì)量管理進(jìn)行數(shù)據(jù)的檢查，及時地控制管理數(shù)據(jù)的質(zhì)量情況。3. 數(shù)據(jù)存儲層：是整個數(shù)據(jù)倉庫的核心。數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫，同時也決定了其對外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心，則需要從數(shù)據(jù)倉庫的技術(shù)特點(diǎn)著手分析。針對現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行抽取、清理，并有效集成，按照主題進(jìn)行組織。數(shù)據(jù)倉庫按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級數(shù)據(jù)倉庫和部門級數(shù)據(jù)倉庫（通常稱為數(shù)據(jù)集市）。數(shù)據(jù)集市可能是企業(yè)及數(shù)據(jù)倉庫的一個組成部分。4. 數(shù)據(jù)應(yīng)用層：主要分為查詢、統(tǒng)計報表、多維分析和數(shù)據(jù)挖掘四大類應(yīng)用。5. 數(shù)據(jù)展現(xiàn)層：主要分為三大類。有一定技術(shù)經(jīng)驗(yàn)的業(yè)務(wù)人員進(jìn)行多維分析、數(shù)據(jù)挖掘；普通業(yè)務(wù)人員進(jìn)行查詢、統(tǒng)計報表打?。还芾砣藛T進(jìn)行用戶管理、權(quán)限管理等。*與上一張圖異曲同工1. 數(shù)據(jù)倉庫：跨功能的數(shù)據(jù)庫216。 歷史細(xì)節(jié)數(shù)據(jù)216。 中型到大型的數(shù)據(jù)庫2. 數(shù)據(jù)集市：聚焦在選定的主題上216。 依賴的（數(shù)據(jù)直接來自企業(yè)數(shù)據(jù)庫）216。 獨(dú)立的standalone3. 多維分析216。 通過多個業(yè)務(wù)主題對匯總數(shù)據(jù)進(jìn)行分析216。 以性能為導(dǎo)向?qū)?shù)據(jù)的不同層次進(jìn)行鉆取4. 數(shù)據(jù)挖掘：工具驅(qū)動216。 依賴算法識別和預(yù)測1. 滿足分析或決策類的應(yīng)用需求非操作型的應(yīng)用2. 一套整體性的決絕方案由數(shù)據(jù)庫、前端工具、系統(tǒng)管理平臺等部分組成3. 倉庫的特點(diǎn)（1）高質(zhì)量的數(shù)據(jù)平臺面向主題的、集成的、非易失的、隨時間變化的數(shù)據(jù)存儲業(yè)務(wù)數(shù)據(jù)的統(tǒng)一視圖數(shù)據(jù)的一致性和完整性（2）靈活的分析和展現(xiàn)平臺 滿足分析、查詢、報表等多種類型的應(yīng)用需求 OLAP多維分析 成功幾個簡單原則總體規(guī)劃，分別實(shí)時，急用先行，沿途下蛋 分步實(shí)施規(guī)劃原則1. 緊迫程度主要是從業(yè)務(wù)角度來講的，主要因素包括：216。 業(yè)務(wù)需求的緊迫性216。 業(yè)務(wù)需求的重要性216。 項(xiàng)目點(diǎn)可能帶來的效益大小2. 難易程度主要是從技術(shù)方面考慮，影響因素包括216。 可行性、實(shí)現(xiàn)的復(fù)雜程度216。 周期的長度216。 技術(shù)的成熟度216。 準(zhǔn)備工作的進(jìn)度216。 是否有足夠的數(shù)據(jù)支持216。 關(guān)鍵技術(shù)是否成熟 數(shù)據(jù)倉庫管理概述數(shù)據(jù)倉庫的管理在不同的數(shù)據(jù)倉庫建設(shè)階段，其范圍和內(nèi)容是不同的。數(shù)據(jù)倉庫管理以數(shù)據(jù)倉庫的生命周期分為規(guī)劃、開發(fā)、運(yùn)行和維護(hù)三個階段。與傳統(tǒng)應(yīng)用系統(tǒng)不同的是，數(shù)據(jù)倉庫的開發(fā)是一個持續(xù)整個生命周期的不斷演進(jìn)的過程。，數(shù)據(jù)倉庫管理的重點(diǎn)是不同的1. 數(shù)據(jù)倉庫的規(guī)劃階段216。 在現(xiàn)有系統(tǒng)中的位置、與現(xiàn)有系統(tǒng)的依賴關(guān)系；216。 前景需求的描述；216。 業(yè)務(wù)需求的確立；216。 實(shí)施條件的審核2. 數(shù)據(jù)倉庫的設(shè)計與實(shí)施階段216。 項(xiàng)目的范圍和計劃的管理216。 系統(tǒng)風(fēng)險管理216。 人員和組織結(jié)構(gòu)的簡歷216。 系統(tǒng)架構(gòu)管理216。 數(shù)據(jù)倉庫技術(shù)的選用216。 關(guān)鍵成功因素的確立3. 數(shù)據(jù)倉庫支持與完善階段216。 數(shù)據(jù)一致性的維護(hù)216。 性能的維護(hù)216。 需求變更的維護(hù)216。 備份與恢復(fù)的維護(hù)看系統(tǒng)結(jié)構(gòu)商業(yè)智能系統(tǒng)邏輯架構(gòu)2. 數(shù)據(jù)倉庫需求管理 有哪些需求 有哪些需求需求收集階段的目標(biāo)是搜集業(yè)務(wù)與IT需求，并且確定數(shù)據(jù)倉庫主題。這包括確定并記錄下列類型的需求。216。 功能需求：用來說明系統(tǒng)將做什么216。 非功能需求：確定將要建立的系統(tǒng)特性。如性能、可靠性、可用性、安全性、接口需求與設(shè)計約束等216。 系統(tǒng)開發(fā)過程的詳細(xì)需求：包括使用的方法論、安裝與發(fā)布需求、驗(yàn)證、測試與培訓(xùn)需求等 需求和需求分析的內(nèi)容216。 需求分析的先決條件包括項(xiàng)目計劃、主題模型、項(xiàng)目風(fēng)險分析、數(shù)據(jù)質(zhì)量估計、安全系統(tǒng)文檔、安全特征、用戶概況、評價數(shù)據(jù)倉庫標(biāo)準(zhǔn)、性能標(biāo)準(zhǔn)、主題、宏觀信息需求、IT標(biāo)準(zhǔn)、IT結(jié)構(gòu)、開發(fā)測試與生產(chǎn)環(huán)境及其期限、信息結(jié)構(gòu)文檔、宏觀業(yè)務(wù)需求和基本的維模型等。216。 可提交的文檔包括：已確認(rèn)的驗(yàn)證后的數(shù)據(jù)異常報告、詳細(xì)需求文檔、測試計劃、培訓(xùn)策略和項(xiàng)目計劃等。 需求分析的方法 詳細(xì)需求的收集需求分析的第二步是收集詳細(xì)需求。采訪用戶是獲得需求的最慣用的方法。采訪需要記錄，并且將采訪記錄整理好以后由被采訪者確認(rèn)以及修改補(bǔ)充和再確認(rèn)。調(diào)查者對需要調(diào)查的內(nèi)容以及相關(guān)的業(yè)務(wù)術(shù)語有所了解，有采訪提綱，能夠與業(yè)務(wù)用戶單獨(dú)交談，如果參與的人過多會使得采訪者不會坦誠招待，或發(fā)生相互攻擊等情況，并應(yīng)該控制每次采訪的時間，這樣的話可以提高效率。 對詳細(xì)業(yè)務(wù)需求的確定216。 詳細(xì)的開發(fā)需求，包括：信息傳輸?shù)钠脚_、方法、形式及標(biāo)準(zhǔn)，用戶站點(diǎn)的硬件平臺，用戶方人員的計算機(jī)使用經(jīng)驗(yàn)與知識，當(dāng)前使用的軟件一級接口需求：216。 對用戶情況進(jìn)行調(diào)查，并且記錄使用倉庫的用戶數(shù)量與類型。對每類用戶的類型、安全約束、位置、計算環(huán)境等均進(jìn)行調(diào)查216。 安全性需求，包括存取需求、裝載開發(fā)及轉(zhuǎn)換需求216。 性能需求，包括容量、響應(yīng)時間和刷新等需求 基本維模型的建立216。 確認(rèn)用戶的數(shù)據(jù)倉庫類型需求。是需要一個單一的數(shù)據(jù)倉庫，還是需要數(shù)據(jù)倉庫加上依賴型的數(shù)據(jù)集市，或者僅需要一個單一的數(shù)據(jù)集市。216。 確認(rèn)主題和基本維。建立數(shù)據(jù)倉庫與所相關(guān)的數(shù)據(jù)集市的高級主題與基本維的文檔。 對信息結(jié)構(gòu)需求的收集216。 確定數(shù)據(jù)倉庫技術(shù)體系結(jié)構(gòu)，詳細(xì)說明支持?jǐn)?shù)據(jù)倉庫的操作型系統(tǒng)的配置。該信息需要包括下列有關(guān)的軟硬件因素：OLTP系統(tǒng)名稱與類型、平臺（包括硬件與操作系統(tǒng)）、網(wǎng)絡(luò)通信協(xié)議、可用的存儲空間。216。 計劃使用的軟硬件，確