【正文】 ，通過分析數(shù)據(jù)庫 日志文件，獲取數(shù)據(jù)變化情況，得到數(shù)據(jù)追加內(nèi)容 圖 1－ 40中我們示意了一段簡(jiǎn)化了的系統(tǒng)日志，它包含操作時(shí)間、操作人員、操作內(nèi)容、操作結(jié)果（包括正確和錯(cuò)誤）等基本信息。我們可以通過對(duì)數(shù)據(jù)追加任務(wù)完成后新生成的系統(tǒng)日志進(jìn)行分析，得到追加內(nèi)容。 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 原先業(yè)務(wù)數(shù) 據(jù)庫 當(dāng)前業(yè)務(wù)數(shù) 據(jù)庫 快照 1 快照 2 比較后追加 業(yè)務(wù)數(shù)據(jù)庫 應(yīng)用程序 DELTA文件：記錄應(yīng)用程序 對(duì)業(yè)務(wù)數(shù)據(jù)成功的修改 對(duì)于修改操作 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 應(yīng)用程序 a 應(yīng)用程序 b 應(yīng)用程序 c 數(shù)據(jù)庫服務(wù)器 業(yè)務(wù)數(shù)據(jù)庫 系統(tǒng)日志：記錄所應(yīng)用 程序?qū)I(yè)務(wù)數(shù)據(jù)庫的訪問 情況 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 2023/1/1： 9： 00： LiMing UPDATE =‘ 林沖’ WHERE user_id=100。 2023/1/1： 9： 01： LiMing SELECT * FROM WHERE user_id100。 2023/1/1： 9： 02 ： sa UPDATE = ‘ 林勝之’ WHERE user_id=100。 2023/1/1： 9： 03 ： sa CREATE TABLE userinfo……… 查詢性質(zhì)的操作可以不做處理 對(duì) user表的兩種操作，只需執(zhí)行第二次刪除操作 六、清理數(shù)據(jù)倉庫中的數(shù)據(jù) ◆ 數(shù)據(jù)從操作型環(huán)境進(jìn)入分析型環(huán)境； ◆ 數(shù)據(jù)從細(xì)節(jié)數(shù)據(jù)逐漸轉(zhuǎn)換為綜合數(shù)據(jù)； ◆ 數(shù)據(jù)從高速磁盤上轉(zhuǎn)移到低速磁帶機(jī)上； ◆ 數(shù)據(jù)失去使用價(jià)值，最終被清除。 —— 數(shù)據(jù)在數(shù)據(jù)倉庫中的生命周期 數(shù)據(jù)倉庫中清理的過程如下： 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 一、 ODS 的概念 問題：企業(yè)經(jīng)常會(huì)遇到介于 OLTP 和 OLAP 之間的業(yè)務(wù)問題 例： 超市采購 采購部經(jīng)理 —— 確定 進(jìn)貨清單 了解 商品存貨是否充足 商品近期的銷售情況 近期的倉儲(chǔ)情況 超市的現(xiàn)有資金情況 ? 分析 → 進(jìn)貨清單 數(shù)據(jù)倉庫數(shù)據(jù)量太大 → 信息檢索時(shí)間太長(zhǎng) → 無法完成 問題類型： 既要方便分析，又要快速進(jìn)行數(shù)據(jù)檢索， 同時(shí)，數(shù)據(jù)應(yīng)該是全局一致的信息 用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合。 操作數(shù)據(jù)存貯 ODS（ Operational Data Store） 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) ODS定義 ODS DWDM 二、 ODS的特性 ? 類似于傳統(tǒng)的數(shù)據(jù)庫 引入數(shù)據(jù)是可變的 ； 數(shù)據(jù)是當(dāng)前或者近期的 （ ODS市面向全局應(yīng)用的，因此 ODS中的數(shù)據(jù)需要面向 主題 來組織，并且應(yīng)當(dāng)是實(shí)時(shí)集成的） ? 有別于分散的操作型系統(tǒng) 數(shù)據(jù)按照主體來組織在企業(yè)級(jí)上要求保持一致 ，因此進(jìn)入 ODS的數(shù)據(jù)必須經(jīng)過 清洗和整理到達(dá)集成和一致的目的 ? 區(qū)別于 DW的特性 存放當(dāng)前和近期的數(shù)據(jù)， ODS中的數(shù)據(jù)可以進(jìn)行聯(lián)機(jī)修改 ，包括增加、刪除、 更新等操作，而 DW的數(shù)據(jù)只增不刪。 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 三、 ODS 應(yīng)用 ⑴ 企業(yè)級(jí)的 OLTP應(yīng)用 由于 ODS提供的是集成的、企業(yè)級(jí)一致的數(shù)據(jù)，因此，企業(yè)級(jí)的 OLTP成為可能。 企 業(yè)級(jí) OLTP： 是指在實(shí)際事物的處理中，常常涉及多個(gè)部門的數(shù)據(jù)，需要通過多個(gè)部門的數(shù)據(jù)協(xié)同才能更好的完成任務(wù) 。 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) 實(shí)例： 在一個(gè)大型國(guó)有企業(yè)中存在多個(gè)部門：人事處、財(cái)務(wù)處、企業(yè)醫(yī)院、幼兒園 等。當(dāng)一個(gè)職工工作調(diào)動(dòng)時(shí)，需要辦理企業(yè)規(guī)定的一系列調(diào)動(dòng)手續(xù)。如圖 240所 示。 DWDM 人事處 財(cái)務(wù)處 醫(yī)院 幼兒園 調(diào)離證明 調(diào)離證明 +財(cái)務(wù)證明 調(diào)離證明 +財(cái)務(wù)證明 +醫(yī)院證明 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) 建立 ODS實(shí)際上是建立了一個(gè)全局?jǐn)?shù)據(jù)庫，它通過在 ODS中的紀(jì)錄系 統(tǒng)定義和參考表來建立一系列 DB和 ODS紀(jì)錄間的雙向聯(lián)系，以實(shí)現(xiàn)數(shù)據(jù)在 企業(yè)級(jí)上的同步 。 ODS的紀(jì)錄系統(tǒng)就是說明如何從 DB中向 ODS進(jìn)行數(shù)據(jù)抽取 。有了 ODS 紀(jì)錄系統(tǒng)后， DB 中對(duì)應(yīng)的數(shù)據(jù)項(xiàng)發(fā)生變化，都將反映到相應(yīng)的 ODS 記錄 中。反過來， 參考表建立的是從 ODS 數(shù)據(jù)項(xiàng)到 DB 數(shù)據(jù)項(xiàng)的反向映射 。當(dāng) ODS中的記錄發(fā)生變化時(shí)，將通過參考表去修改與之相關(guān)的 DB中的所有數(shù) 據(jù)項(xiàng)，其過程如下圖 241，數(shù)據(jù)庫 A、 B、 C都存在相同含義的數(shù)據(jù)，數(shù)據(jù)庫 A中的數(shù)據(jù)項(xiàng)發(fā)生變化后，通過 ODS記錄系統(tǒng)定義，反映到 ODS中對(duì)應(yīng)的 數(shù)據(jù)項(xiàng)，再通過參考表去更新數(shù)據(jù)庫 B和 C。 DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM （ 2） ODS記錄系統(tǒng) 的定義 參考表 定義在各 DB上的記錄 系統(tǒng) 數(shù)據(jù)更新需要反 映到所有相關(guān)的 DB上 （ 1） （ 3） 數(shù)據(jù)庫 (A) 數(shù)據(jù)庫 (C) 數(shù)據(jù)庫 (B) ODS全局?jǐn)?shù)據(jù)庫 各業(yè)務(wù)數(shù)據(jù)庫 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) 通過記錄系統(tǒng)定義和參考表，使得原先分散的數(shù)據(jù)庫系統(tǒng)被緊密地 結(jié)合起來，一點(diǎn)動(dòng)，全局變 。建立 ODS后，當(dāng)人事處完成了人員調(diào)動(dòng)的 手續(xù)后，這些變更信息通過 ODS反映到企業(yè)的各個(gè)數(shù)據(jù)庫中，調(diào)動(dòng)的人 員可直接到新單位報(bào)道，這樣可以大大的縮短辦理手續(xù)的時(shí)間其過程。 如圖 144所示。 DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 人事處 財(cái)務(wù)處 企業(yè)醫(yī)院 幼兒園 ODS 應(yīng)用系統(tǒng) A 應(yīng)用系統(tǒng) B 應(yīng)用系統(tǒng) C 應(yīng)用系統(tǒng) D 調(diào)動(dòng)信息 調(diào)動(dòng)信息更新 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) ( 2 ) 近期的 OLTP DW主要用于解決企業(yè)長(zhǎng)期戰(zhàn)略問題，因此在 DW上進(jìn)行的 OLAP分析主要是較 長(zhǎng)時(shí)間段的。但是許多中間層次的管理人員通常不需要大量歷史數(shù)據(jù)，而主要參考 近期內(nèi)的數(shù)據(jù) ,即短時(shí)間的 OLAP分析。如果使用 DW進(jìn)行 OLAP分析，由于數(shù)據(jù)倉庫 中的數(shù)據(jù)量級(jí)很大，將很大程度影響決策的延時(shí)，因此在 ODS中進(jìn)行近期的 OLAP 是非常適合的選擇。 基于 ODS既有數(shù)據(jù)倉庫面向主體、集成的特點(diǎn)，又有操作型系 統(tǒng)可聯(lián)機(jī)修改、主要保存近期數(shù)據(jù)的特點(diǎn)，引入一種“ 動(dòng)態(tài)切換 ”的思想 ，即在系統(tǒng) 中設(shè)置一個(gè)狀態(tài)切換開關(guān)（是 ODS 系統(tǒng)在操作型環(huán)境和分析型環(huán)境間進(jìn)行動(dòng)態(tài)切 換）。這樣，在進(jìn)行全局 OLTP 處理時(shí)， ODS主要進(jìn)行事務(wù)處理、加鎖解鎖管理、 死鎖檢查、數(shù)據(jù)恢復(fù)備份、日志管理等類似于數(shù)據(jù)庫系統(tǒng)的工作。當(dāng)進(jìn)行分析處理 時(shí)， ODS則關(guān)閉事務(wù)管理、加鎖解鎖管理、死鎖檢查等模塊，從而大大提高了系統(tǒng) 的效率，圖 145示意了這個(gè)過程。由于 ODS中的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)小于數(shù)據(jù)倉庫中的數(shù)據(jù) 量，因此使用 ODS進(jìn)行近期的 OLTP將非常有效。 DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 數(shù)據(jù)倉庫 完整的 OLAP展現(xiàn) ODS 近期 的 OLAP 事務(wù)管 理 死鎖檢 查 加鎖解 鎖 時(shí)間 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) （ 3） DBODSDW的 3層體系結(jié)構(gòu) ODS的引入，使 DBDW兩層體系結(jié)構(gòu)逐漸轉(zhuǎn)化成了 DBODSDW的 3層體系結(jié)構(gòu)， 如圖 146所示。 原先在 DW和業(yè)務(wù)系統(tǒng)間保證數(shù)據(jù)一致性的工作從 DW/DB接口轉(zhuǎn)移到了 ODS/DB接 口上，原先全部由數(shù)據(jù)倉庫來實(shí)現(xiàn)的諸多復(fù)雜功能得到了更好的劃分 ，這有利于產(chǎn)品 的可實(shí)現(xiàn)性和維護(hù)性。 ODS主要面向全局的聯(lián)機(jī)事務(wù)處理和近期的 OLAP，而數(shù)據(jù)倉 庫主要面向長(zhǎng)期的決策分析，這樣使數(shù)據(jù)的層次性得到了更進(jìn)一步的劃分。 ODS的數(shù)據(jù)建模通常需要在了解全局?jǐn)?shù)據(jù)庫系統(tǒng)的基礎(chǔ)上，從面向主題的角度重 新分析原有數(shù)據(jù)庫系統(tǒng)。 ODS的數(shù)據(jù)模型不是要取代原先數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)模式，而 是從新的角度對(duì)數(shù)據(jù)進(jìn)行重新組織 。 比如電信公司的計(jì)費(fèi)系統(tǒng)主要是對(duì)客戶的消費(fèi)行為進(jìn)行記錄，賬務(wù)系統(tǒng)主要是對(duì) 客戶的繳費(fèi)行為進(jìn)行記錄，客戶服務(wù)系統(tǒng)主要是對(duì)客戶的咨詢和投訴進(jìn)行記錄。如果 選擇了“客戶”這個(gè)主題，我們?cè)陉P(guān)心的不是消費(fèi)行為、交費(fèi)行為、咨詢投訴行為在各 個(gè)系統(tǒng)中的單據(jù)表格，而是從“客戶”這個(gè)角度重新開代計(jì)費(fèi)系統(tǒng)、賬務(wù)系統(tǒng)、客戶服 務(wù)系統(tǒng)中的相關(guān)信息，去除具體動(dòng)作，而保留“客戶”本身的內(nèi)在屬性和特征 。 DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM 在 ODS/DW接口處完成簡(jiǎn)單 的數(shù)據(jù)定期抽取工作 在 ODS/DB接口處完成數(shù)據(jù) 一致性的工作 歷史數(shù)據(jù) 不可聯(lián)機(jī)更新 當(dāng)前和近期的細(xì)節(jié)數(shù)據(jù) 可聯(lián)機(jī)更新 ODS全局?jǐn)?shù)據(jù)庫 全局?jǐn)?shù)據(jù)庫倉庫 各業(yè)務(wù)數(shù)據(jù)庫 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DBODSDW三層結(jié)構(gòu)中數(shù)據(jù)的流動(dòng) 在三層結(jié)構(gòu)中，數(shù)據(jù)的傳輸控制是通過兩級(jí)記錄系統(tǒng)的定義來實(shí)現(xiàn)的。 ODS系統(tǒng) 和 DW系統(tǒng)都有各自的記錄系統(tǒng)和記錄系統(tǒng)定義。 ODS的記錄系統(tǒng)定義在原有的數(shù)據(jù) 庫系統(tǒng)中， DW的記錄系統(tǒng)定義在 ODS一致性數(shù)據(jù)環(huán)境中。 ODS記錄系統(tǒng)的定義作為 ODS元數(shù)據(jù)的一部分保存在 ODS區(qū)中，它指明需要如何 從數(shù)據(jù)庫系統(tǒng)中提取數(shù)據(jù)。 DW記錄系統(tǒng)的定義作為元數(shù)據(jù)的一部分存放在 DW中，它 指明需要如何從 ODS環(huán)境中提取數(shù)據(jù)，如圖 147所示。 DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) DWDM ODS記錄系統(tǒng) 的定義 DW