【正文】 DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM ODS記錄系統(tǒng) 的定義 DW。 ODS記錄系統(tǒng)的定義作為 ODS元數(shù)據(jù)的一部分保存在 ODS區(qū)中，它指明需要如何 從數(shù)據(jù)庫系統(tǒng)中提取數(shù)據(jù)。 ODS系統(tǒng) 和 DW系統(tǒng)都有各自的記錄系統(tǒng)和記錄系統(tǒng)定義。如果 選擇了“客戶”這個主題，我們在關(guān)心的不是消費行為、交費行為、咨詢投訴行為在各 個系統(tǒng)中的單據(jù)表格，而是從“客戶”這個角度重新開代計費系統(tǒng)、賬務(wù)系統(tǒng)、客戶服 務(wù)系統(tǒng)中的相關(guān)信息，去除具體動作，而保留“客戶”本身的內(nèi)在屬性和特征 。 ODS的數(shù)據(jù)模型不是要取代原先數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)模式，而 是從新的角度對數(shù)據(jù)進(jìn)行重新組織 。 ODS主要面向全局的聯(lián)機(jī)事務(wù)處理和近期的 OLAP，而數(shù)據(jù)倉 庫主要面向長期的決策分析，這樣使數(shù)據(jù)的層次性得到了更進(jìn)一步的劃分。 DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 數(shù)據(jù)倉庫 完整的 OLAP展現(xiàn) ODS 近期 的 OLAP 事務(wù)管 理 死鎖檢 查 加鎖解 鎖 時間 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) （ 3） DBODSDW的 3層體系結(jié)構(gòu) ODS的引入，使 DBDW兩層體系結(jié)構(gòu)逐漸轉(zhuǎn)化成了 DBODSDW的 3層體系結(jié)構(gòu)， 如圖 146所示。當(dāng)進(jìn)行分析處理 時， ODS則關(guān)閉事務(wù)管理、加鎖解鎖管理、死鎖檢查等模塊，從而大大提高了系統(tǒng) 的效率，圖 145示意了這個過程。 基于 ODS既有數(shù)據(jù)倉庫面向主體、集成的特點，又有操作型系 統(tǒng)可聯(lián)機(jī)修改、主要保存近期數(shù)據(jù)的特點，引入一種“ 動態(tài)切換 ”的思想 ，即在系統(tǒng) 中設(shè)置一個狀態(tài)切換開關(guān)（是 ODS 系統(tǒng)在操作型環(huán)境和分析型環(huán)境間進(jìn)行動態(tài)切 換）。但是許多中間層次的管理人員通常不需要大量歷史數(shù)據(jù)，而主要參考 近期內(nèi)的數(shù)據(jù) ,即短時間的 OLAP分析。 如圖 144所示。 DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM （ 2） ODS記錄系統(tǒng) 的定義 參考表 定義在各 DB上的記錄 系統(tǒng) 數(shù)據(jù)更新需要反 映到所有相關(guān)的 DB上 （ 1） （ 3） 數(shù)據(jù)庫 (A) 數(shù)據(jù)庫 (C) 數(shù)據(jù)庫 (B) ODS全局?jǐn)?shù)據(jù)庫 各業(yè)務(wù)數(shù)據(jù)庫 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) 通過記錄系統(tǒng)定義和參考表，使得原先分散的數(shù)據(jù)庫系統(tǒng)被緊密地 結(jié)合起來，一點動，全局變 。反過來， 參考表建立的是從 ODS 數(shù)據(jù)項到 DB 數(shù)據(jù)項的反向映射 。 ODS的紀(jì)錄系統(tǒng)就是說明如何從 DB中向 ODS進(jìn)行數(shù)據(jù)抽取 。如圖 240所 示。 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) 實例： 在一個大型國有企業(yè)中存在多個部門：人事處、財務(wù)處、企業(yè)醫(yī)院、幼兒園 等。 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 三、 ODS 應(yīng)用 ⑴ 企業(yè)級的 OLTP應(yīng)用 由于 ODS提供的是集成的、企業(yè)級一致的數(shù)據(jù)，因此，企業(yè)級的 OLTP成為可能。 —— 數(shù)據(jù)在數(shù)據(jù)倉庫中的生命周期 數(shù)據(jù)倉庫中清理的過程如下： 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 一、 ODS 的概念 問題：企業(yè)經(jīng)常會遇到介于 OLTP 和 OLAP 之間的業(yè)務(wù)問題 例： 超市采購 采購部經(jīng)理 —— 確定 進(jìn)貨清單 了解 商品存貨是否充足 商品近期的銷售情況 近期的倉儲情況 超市的現(xiàn)有資金情況 ? 分析 → 進(jìn)貨清單 數(shù)據(jù)倉庫數(shù)據(jù)量太大 → 信息檢索時間太長 → 無法完成 問題類型： 既要方便分析，又要快速進(jìn)行數(shù)據(jù)檢索， 同時，數(shù)據(jù)應(yīng)該是全局一致的信息 用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合。 2023/1/1： 9： 02 ： sa UPDATE = ‘ 林勝之’ WHERE user_id=100。 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 原先業(yè)務(wù)數(shù) 據(jù)庫 當(dāng)前業(yè)務(wù)數(shù) 據(jù)庫 快照 1 快照 2 比較后追加 業(yè)務(wù)數(shù)據(jù)庫 應(yīng)用程序 DELTA文件：記錄應(yīng)用程序 對業(yè)務(wù)數(shù)據(jù)成功的修改 對于修改操作 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 應(yīng)用程序 a 應(yīng)用程序 b 應(yīng)用程序 c 數(shù)據(jù)庫服務(wù)器 業(yè)務(wù)數(shù)據(jù)庫 系統(tǒng)日志：記錄所應(yīng)用 程序?qū)I(yè)務(wù)數(shù)據(jù)庫的訪問 情況 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 2023/1/1： 9： 00： LiMing UPDATE =‘ 林沖’ WHERE user_id=100。 （ 很難使所有應(yīng)用程序都支持 DELTA文件功能 ） ⑷ 日志文件法 由數(shù)據(jù)庫服務(wù)器詳細(xì)記錄數(shù)據(jù)操作，形成數(shù)據(jù)庫日志文件，通過分析數(shù)據(jù)庫 日志文件，獲取數(shù)據(jù)變化情況，得到數(shù)據(jù)追加內(nèi)容 圖 1－ 40中我們示意了一段簡化了的系統(tǒng)日志，它包含操作時間、操作人員、操作內(nèi)容、操作結(jié)果（包括正確和錯誤）等基本信息。 缺點： 數(shù)據(jù)庫數(shù)據(jù)量大時，全數(shù)據(jù)庫比較無法做到。如圖 137，在完成 2023/1的數(shù)據(jù)導(dǎo)入工作后， 2023/1/2日數(shù)據(jù)條目（ 2023/1/1， 1，牙膏，上海）發(fā)生了變化，則將其時間標(biāo)記改成 2023/1/2，這樣在執(zhí)行 2023/1/2的數(shù)據(jù)導(dǎo)入工作時，數(shù)據(jù)庫將會檢索到的具有新時間標(biāo)記的條目（ 2023/1/2， 1，牙膏，北京）作為數(shù)據(jù)追加的內(nèi)容。一個系統(tǒng)某些性能的提高，總是通過犧牲其他的性能來獲得的 。如圖 2－ 31所示，我們將 2023年 1月～ 2023年 2月的連續(xù)文件和 2023年 3月的新文件進(jìn)行綜合，而后得到 2023年 1月～ 2023年 3月的連續(xù)文件。對于兩個表中相同的表項“毛巾”，只需在時間列上說明使用范圍是“ 2023/1－ 2023/2”，對于兩表不同的表項分別記錄。如果能夠記錄兩表之間不同的信息，則既能保留細(xì)節(jié)信息，又能大大減少數(shù)據(jù)量。 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 1995 … 1996 … 1997 … 1998 … 1999 … 2023 … 2023 … 1995 … 1997 … 1999 … 2023 … 1996 .. 1998 … 2023 … 70,000,000 條記錄 10， 000， 000 條記錄 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 中國各地區(qū)的 產(chǎn)量 福建 上海 寧夏 貴州 … 1999 … 2023 … 2023 … 1999 福建 … 34340， 000 條記錄 30,000,000 條記錄 1999 廣東 … 1999 山西 … …… …… …… 2023 福建 … 2023 廣東 … 2023 山西 … 2023 福建 … 2023 廣東 … 2023 山西 … 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 19952023 1995 1996 1997 1998 1999 2023 2023 分割 重構(gòu) 19961997 19982023 2023 重組 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 四、 數(shù)據(jù)倉庫的數(shù)據(jù)組織形式（發(fā)展過程中出現(xiàn)） ⑴ 簡單堆積文件 數(shù)據(jù)由數(shù)據(jù)庫中提取后逐天存儲 簡單直接文件（對數(shù)據(jù)庫進(jìn)行快照（ 不一定按天 ），并存儲） （圖 131） ⑵ 定期綜合文件 數(shù)據(jù)存儲單位被分成日、周、旬、月、季、年等多個級別，定期進(jìn)行綜合 （圖 132） 優(yōu)點：存儲量??； 缺點：細(xì)節(jié)在綜合中丟失 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 2023/1/1 2023/1/2 2023/1/3 …… 2023/2/1 2023/2/2 2023/2/3 業(yè)務(wù)系統(tǒng) 數(shù)據(jù)庫快照 …… 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 2023/1/1 2023/1/2 … 2023/1/7 2023年 第 1周 2023年 第 2周 … 2023年 第 7周 2023年 1月 2023年 2月 … 2023年 12月 2023年 1季度 2023年 2季度 … 2023年 4季度 2023年 數(shù)據(jù)綜合逐漸增加 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM ⑶ 連續(xù)文件 連續(xù)文件保留了簡單堆積和定期綜合的優(yōu)點（圖 134， 135， 136） 在簡單堆積文件中，每天的數(shù)據(jù)表中有很多雷同的信息，如圖 2－ 29所示的某商場2023/1和 2023/2的兩張采購表，其中“牙膏”和“毛巾”在兩個表都出現(xiàn)了。 分割使得數(shù)據(jù)可以更容易索引、監(jiān)控和順序掃描，并且重構(gòu)、重組簡單。如果涉及的數(shù)量非常大，可愛按照問題的需求從多個角度進(jìn)行分割，例如按照時間和地理位置兩個角度進(jìn)行分割，如圖 1－ 29。分割方法常常可以選擇時間、地點、業(yè)務(wù)領(lǐng)域來劃分。等到抽樣獲得的樣本 4，樣本 5和樣本 6它們的數(shù)值特征非常的相似，則認(rèn)為再繼續(xù)進(jìn)行抽樣的樣本集合的數(shù)值特征也都類似，并且都同數(shù)據(jù)源具有類似的特征，抽樣的過程到此即可以結(jié)束，過程如圖 1－ 26. 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲 ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 源數(shù)據(jù) 樣本 1 樣本 2 樣本 3