【正文】 組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)DWDM一、 ODS 的概念 問題：企業(yè)經(jīng)常會(huì)遇到介于 OLTP 和 OLAP 之間的業(yè)務(wù)問題 例： 超市采購 采購部經(jīng)理 —— 確定 進(jìn)貨清單 了解 商品存貨是否充足 商品近期的銷售情況 近期的倉儲(chǔ)情況 超市的現(xiàn)有資金情況 … 分析 → 進(jìn)貨清單 數(shù)據(jù)倉庫數(shù)據(jù)量太大 → 信息檢索時(shí)間太長 → 無法完成 問題類型： 既要方便分析，又要快速進(jìn)行數(shù)據(jù)檢索， 同時(shí)，數(shù)據(jù)應(yīng)該是全局一致的信息 用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合。 操作數(shù)據(jù)存貯 ODS（ Operational Data Store） 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)ODS定義ODSDWDM二、 ODS的特性u(píng) 類似于傳統(tǒng)的數(shù)據(jù)庫 引入數(shù)據(jù)是可變的 ； 數(shù)據(jù)是當(dāng)前或者近期的 （ ODS市面向全局應(yīng)用的，因此 ODS中的數(shù)據(jù)需要面向 主題 來組織，并且應(yīng)當(dāng)是實(shí)時(shí)集成的）u 有別于分散的操作型系統(tǒng) 數(shù)據(jù)按照主體來組織在企業(yè)級(jí)上要求保持一致 ，因此進(jìn)入 ODS的數(shù)據(jù)必須經(jīng)過 清洗和整理到達(dá)集成和一致的目的u 區(qū)別于 DW的特性 存放當(dāng)前和近期的數(shù)據(jù)， ODS中的數(shù)據(jù)可以進(jìn)行聯(lián)機(jī)修改 ，包括增加、刪除、 更新等操作，而 DW的數(shù)據(jù)只增不刪。 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)DWDM三、 ODS 應(yīng)用⑴ 企業(yè)級(jí)的 OLTP應(yīng)用 由于 ODS提供的是集成的、企業(yè)級(jí)一致的數(shù)據(jù)，因此，企業(yè)級(jí)的 OLTP成為可能。企 業(yè)級(jí) OLTP： 是指在實(shí)際事物的處理中，常常涉及多個(gè)部門的數(shù)據(jù)，需要通過多個(gè)部門的數(shù)據(jù)協(xié)同才能更好的完成任務(wù) 。 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)實(shí)例： 在一個(gè)大型國有企業(yè)中存在多個(gè)部門：人事處、財(cái)務(wù)處、企業(yè)醫(yī)院、幼兒園 等。當(dāng)一個(gè)職工工作調(diào)動(dòng)時(shí)，需要辦理企業(yè)規(guī)定的一系列調(diào)動(dòng)手續(xù)。如圖 240所 示。DWDM人事處財(cái)務(wù)處醫(yī)院幼兒園調(diào)離證明調(diào)離證明 +財(cái)務(wù)證明調(diào)離證明 +財(cái)務(wù)證明+醫(yī)院證明圖 142 某企業(yè)分散的數(shù)據(jù)庫系統(tǒng)造成手續(xù)繁瑣 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) 建立 ODS實(shí)際上是建立了一個(gè)全局?jǐn)?shù)據(jù)庫，它通過在 ODS中的紀(jì)錄系統(tǒng)定義和參考表來建立一系列 DB和 ODS紀(jì)錄間的雙向聯(lián)系，以實(shí)現(xiàn)數(shù)據(jù)在企業(yè)級(jí)上的同步 。 ODS的紀(jì)錄系統(tǒng)就是說明如何從 DB中向 ODS進(jìn)行數(shù)據(jù)抽取 。有了 ODS紀(jì)錄系統(tǒng)后， DB 中對(duì)應(yīng)的數(shù)據(jù)項(xiàng)發(fā)生變化，都將反映到相應(yīng)的 ODS 記錄中。反過來， 參考表建立的是從 ODS 數(shù)據(jù)項(xiàng)到 DB 數(shù)據(jù)項(xiàng)的反向映射 。當(dāng) ODS中的記錄發(fā)生變化時(shí)，將通過參考表去修改與之相關(guān)的 DB中的所有數(shù)據(jù)項(xiàng)，其過程如下圖 241，數(shù)據(jù)庫 A、 B、 C都存在相同含義的數(shù)據(jù)，數(shù)據(jù)庫A中的數(shù)據(jù)項(xiàng)發(fā)生變化后，通過 ODS記錄系統(tǒng)定義，反映到 ODS中對(duì)應(yīng)的數(shù)據(jù)項(xiàng)，再通過參考表去更新數(shù)據(jù)庫 B和 C。DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)DWDM（ 2） ODS記錄系統(tǒng)的定義 參考表定義在各DB上的記錄系統(tǒng)數(shù)據(jù)更新需要反映到所有相關(guān)的DB上（ 1） （ 3）數(shù)據(jù)庫 (A) 數(shù)據(jù)庫 (C)數(shù)據(jù)庫 (B)ODS全局?jǐn)?shù)據(jù)庫圖 143 利用記錄系統(tǒng)定義和參考表進(jìn)行數(shù)據(jù)同步的示例各業(yè)務(wù)數(shù)據(jù)庫 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) 通過記錄系統(tǒng)定義和參考表，使得原先分散的數(shù)據(jù)庫系統(tǒng)被緊密地結(jié)合起來，一點(diǎn)動(dòng)，全局變 。建立 ODS后，當(dāng)人事處完成了人員調(diào)動(dòng)的手續(xù)后，這些變更信息通過 ODS反映到企業(yè)的各個(gè)數(shù)據(jù)庫中，調(diào)動(dòng)的人員可直接到新單位報(bào)道，這樣可以大大的縮短辦理手續(xù)的時(shí)間其過程。如圖 144所示。DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)DWDM人事處財(cái)務(wù)處企業(yè)醫(yī)院幼兒園ODS應(yīng)用系統(tǒng) A應(yīng)用系統(tǒng) B應(yīng)用系統(tǒng) C應(yīng)用系統(tǒng) D調(diào)動(dòng)信息調(diào)動(dòng)信息更新圖 144 ODS系統(tǒng)簡化了辦理手續(xù) 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)( 2 ) 近期的 OLTP DW主要用于解決企業(yè)長期戰(zhàn)略問題，因此在 DW上進(jìn)行的 OLAP分析主要是較長時(shí)間段的。但是許多中間層次的管理人員通常不需要大量歷史數(shù)據(jù)，而主要參考近期內(nèi)的數(shù)據(jù) ,即短時(shí)間的 OLAP分析。如果使用 DW進(jìn)行 OLAP分析，由于數(shù)據(jù)倉庫中的數(shù)據(jù)量級(jí)很大，將很大程度影響決策的延時(shí)，因此在 ODS中進(jìn)行近期的 OLAP是非常適合的選擇。 基于 ODS既有數(shù)據(jù)倉庫面向主體、集成的特點(diǎn)，又有操作型系統(tǒng)可聯(lián)機(jī)修改、主要保存近期數(shù)據(jù)的特點(diǎn)，引入一種 “動(dòng)態(tài)切換 ”的思想 ，即在系統(tǒng)中設(shè)置一個(gè)狀態(tài)切換開關(guān)（是 ODS 系統(tǒng)在操作型環(huán)境和分析型環(huán)境間進(jìn)行動(dòng)態(tài)切換）。這樣，在進(jìn)行全局 OLTP 處理時(shí)， ODS主要進(jìn)行事務(wù)處理、加鎖解鎖管理、死鎖檢查、數(shù)據(jù)恢復(fù)備份、日志管理等類似于數(shù)據(jù)庫系統(tǒng)的工作。當(dāng)進(jìn)行分析處理時(shí)， ODS則關(guān)閉事務(wù)管理、加鎖解鎖管理、死鎖檢查等模塊，從而大大提高了系統(tǒng)的效率，圖 145示意了這個(gè)過程。由于 ODS中的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)小于數(shù)據(jù)倉庫中的數(shù)據(jù)量，因此使用 ODS進(jìn)行近期的 OLTP將非常有效。DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)DWDM數(shù)據(jù)倉庫 完整的 OLAP展現(xiàn)ODS近期的OLAP事務(wù)管理死鎖檢查加鎖解鎖 時(shí)間圖 145 ODS上的動(dòng)態(tài)切換和近期 OLAP 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)（ 3） DBODSDW的 3層體系結(jié)構(gòu) ODS的引入，使 DBDW兩層體系結(jié)構(gòu)逐漸轉(zhuǎn)化成了 DBODSDW的 3層體系結(jié)構(gòu)，如圖 146所示。 原先在 DW和業(yè)務(wù)系統(tǒng)間保證數(shù)據(jù)一致性的工作從 DW/DB接口轉(zhuǎn)移到了 ODS/DB接口上，原先全部由數(shù)據(jù)倉庫來實(shí)現(xiàn)的諸多復(fù)雜功能得到了更好的劃分 ，這有利于產(chǎn)品的可實(shí)現(xiàn)性和維護(hù)性。 ODS主要面向全局的聯(lián)機(jī)事務(wù)處理和近期的 OLAP，而數(shù)據(jù)倉庫主要面向長期的決策分析，這樣使數(shù)據(jù)的層次性得到了更進(jìn)一步的劃分。 ODS的數(shù)據(jù)建模通常需要在了解全局?jǐn)?shù)據(jù)庫系統(tǒng)的基礎(chǔ)上，從面向主題的角度重新分析原有數(shù)據(jù)庫系統(tǒng)。 ODS的數(shù)據(jù)模型不是要取代原先數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)模式，而是從新的角度對(duì)數(shù)據(jù)進(jìn)行重新組織 。 比如電信公司的計(jì)費(fèi)系統(tǒng)主要是對(duì)客戶的消費(fèi)行為進(jìn)行記錄，賬務(wù)系統(tǒng)主要是對(duì)客戶的繳費(fèi)行為進(jìn)行記錄，客戶服務(wù)系統(tǒng)主要是對(duì)客戶的咨詢和投訴進(jìn)行記錄。如果選擇了 “客戶 ”這個(gè)主題，我們在關(guān)心的不是消費(fèi)行為、交費(fèi)行為、咨詢投訴行為在各個(gè)系統(tǒng)中的單據(jù)表格，而是從 “客戶 ”這個(gè)角度重新開代計(jì)費(fèi)系統(tǒng)、賬務(wù)系統(tǒng)、客戶服務(wù)系統(tǒng)中的相關(guān)信息，去除具體動(dòng)作，而保留 “客戶 ”本身的內(nèi)在屬性和特征 。DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)DWDM在 ODS/DW接口處完成簡單的數(shù)據(jù)定期抽取工作在 ODS/DB接口處完成數(shù)據(jù)一致性的工作歷史數(shù)據(jù)不可聯(lián)機(jī)更新當(dāng)前和近期的細(xì)節(jié)數(shù)據(jù)可聯(lián)機(jī)更新ODS全局?jǐn)?shù)據(jù)庫全局?jǐn)?shù)據(jù)庫倉庫各業(yè)務(wù)數(shù)據(jù)庫圖 146 DBODSDW三層結(jié)構(gòu) 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)DBODSDW三層結(jié)構(gòu)中數(shù)據(jù)的流動(dòng) 在三層結(jié)構(gòu)中，數(shù)據(jù)的傳輸控制是通過兩級(jí)記錄系統(tǒng)的定義來實(shí)現(xiàn)的。 ODS系統(tǒng)和 DW系統(tǒng)都有各自的記錄系統(tǒng)和記錄系統(tǒng)定義。 ODS的記錄系統(tǒng)定義在原有的數(shù)據(jù)庫系統(tǒng)中， DW的記錄系統(tǒng)定義在 ODS一致性數(shù)據(jù)環(huán)境中。 ODS記錄系統(tǒng)的定義作為 ODS元數(shù)據(jù)的一部分保存在 ODS區(qū)中，它指明需要如何從數(shù)據(jù)庫系統(tǒng)中提取數(shù)據(jù)。 DW記錄系統(tǒng)的定義作為元數(shù)據(jù)的一部分存放在 DW中，它指明需要如何從 ODS環(huán)境中提取數(shù)據(jù)，如圖 147所示。DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)DWDMODS記錄系統(tǒng)的定義DW記錄系統(tǒng)DW記錄系統(tǒng)的定義ODS記錄系統(tǒng)全局?jǐn)?shù)據(jù)庫倉庫ODS全局?jǐn)?shù)據(jù)庫各業(yè)務(wù)數(shù)據(jù)庫圖 147 DW記錄系統(tǒng)和 ODS記錄系統(tǒng) 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù) 數(shù)據(jù)庫系統(tǒng)的原數(shù)據(jù)包含了數(shù)據(jù)庫系統(tǒng)的整體存儲(chǔ)信息、各個(gè)數(shù)據(jù)庫和數(shù)據(jù)表中的字段信息、數(shù)據(jù)表之間的關(guān)聯(lián)信息、數(shù)據(jù)索引約束等。ODS的元數(shù)據(jù)包含 ODS數(shù)據(jù)的描述、 ODS記錄間的關(guān)系、 ODS記錄系統(tǒng)的定義（如何從數(shù)據(jù)庫系統(tǒng)向 ODS提取數(shù)據(jù)）、參考表等。另外， 系統(tǒng)還需要定義體系元數(shù)據(jù)，用于描述 ODS元數(shù)據(jù)， ODS元數(shù)據(jù)、 DW元數(shù)據(jù)之間的關(guān)系，它們之間的聯(lián)系 如圖 148所示。DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)DWDM數(shù)據(jù)倉庫元數(shù)據(jù)ODS 元數(shù)據(jù)DB DB元數(shù)據(jù)體系元數(shù)據(jù)圖 148 三層結(jié)構(gòu)元數(shù)據(jù)間的關(guān)系 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)（ 4） ODS/DW、 ODS/DB間的比較? 數(shù)據(jù)量級(jí) 相差較大u 數(shù)據(jù)存放時(shí)間 DW中包含的時(shí)大量的歷史數(shù)據(jù)，其數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超過了在 ODS 中存放的當(dāng)前和近期 數(shù)據(jù)。u 數(shù)據(jù)的內(nèi)容 DW中幾乎無所不包，從細(xì)節(jié)數(shù)據(jù)到輕度綜合、高度綜合的數(shù)據(jù)都在其中，甚至為了決策的需要，還需要從外部數(shù)據(jù)源中補(bǔ)充數(shù)據(jù)。 ODS只存放當(dāng)前和近期的數(shù)據(jù)， DW保留長期數(shù)據(jù)。 ODS中為了進(jìn)行近期 OLAP，也保留有少量的綜合數(shù)據(jù)。u ODS和 DW的應(yīng)用需求不同。 DW面向長期的決策分析， ODS主要有全局 OLAP 、近期 OLAP這兩類應(yīng)用。DWDM 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的特點(diǎn) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 數(shù)據(jù)倉庫建設(shè)的兩條技術(shù)路線 操作數(shù)據(jù)存儲(chǔ) ODS 外部數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)DWDM 的數(shù)據(jù)組織u 處理數(shù)據(jù)的技術(shù) ODS既要進(jìn)行全局 OLAP ，又要進(jìn)行短期 OLAP 。這使得 ODS既要有數(shù)據(jù)庫系統(tǒng)中的事務(wù)管理、加鎖解鎖管理、死鎖檢查、數(shù)據(jù)恢復(fù)備份、日志管理等功能，又要有比較簡單 OLAP的功能，并通過 “ 動(dòng)態(tài)切換 ” 工作于全局 OLAP和近期 OLAP兩種狀態(tài)。u 保持?jǐn)?shù)據(jù)一致性的要求 ODS保持?jǐn)?shù)據(jù)一致性的要求比 DW嚴(yán)格。 DW對(duì)數(shù)據(jù)一致性的要求是在數(shù)據(jù)導(dǎo)入時(shí)對(duì)不正確的數(shù)據(jù)進(jìn)行更正，對(duì)于無法更正的數(shù)據(jù)進(jìn)行刪除，這樣使數(shù)據(jù)倉庫中的數(shù)據(jù)一致了。 但并沒有解決原有數(shù)據(jù)庫系統(tǒng)中數(shù)據(jù)不一致的問題。而 ODS要進(jìn)行全局 OLAP ，這需要全局?jǐn)?shù)據(jù)始終保持一致的狀態(tài)，因此 ODS將從根本上解決數(shù)據(jù)不一致的問題。u 最終用戶 ODS只要面向中層管理人員，進(jìn)行日常的管理和短期決策， DW系統(tǒng)主要