【文章內(nèi)容簡介】 參考和存取當前的和接近當前的數(shù)據(jù) ? 并且要求有較快的響應速度 ? 可以把這類對數(shù)據(jù)的即時分析處理稱為“即時 OLAP”“ uptosecond OLAP”。 何處實現(xiàn)這種處理？ ? 這種處理不適宜在 DW上進行 ? 建立 ODS的一個主要目的 ? 支持這類處理 ? 由于 ODS中的數(shù)據(jù)量遠較 DW小，因此可迅速獲取決策信息，甚至達到秒級響應。 ODS中的兩種處理的區(qū)別 ? 以上兩種處理可以分別稱為 ? 企業(yè) OLTP：操作型 ? 即時 OLAP：信息型處理。 ? 信息型處理 ? 指只有查詢操作的工作模式。 ? 操作型處理 ? 指含有更新操作的工作模式。 ? 兩種模式在數(shù)據(jù)處理上的差別導致了所需的技術(shù)支持有著很大差異。 技術(shù)差異 ? 進行企業(yè)級 OLTP時 ? ODS是一個操作型的環(huán)境，此時 ODS所要求的支持技術(shù)包括：事務管理、封鎖管理、死鎖檢查、數(shù)據(jù)恢復、日志管理以及數(shù)據(jù)存儲管理等復雜技術(shù)。 ? 進行即時 OLAP時 ? ODS又是一個分析型環(huán)境，此時的數(shù)據(jù)處理要簡單得多，實際所需的支持技術(shù)也少得多。 如何兼容這些差異？ ? 方法 1： ? 使 ODS系統(tǒng)能在不同時間工作于操作型環(huán)境和分析型環(huán)境兩種狀態(tài)，需要加入切換機制 ? 方法 2： ? 采用多個服務器，建立多個數(shù)據(jù)備份，使某些數(shù)據(jù)庫服務器始終處于分析型環(huán)境，采用復制技術(shù)使用其環(huán)境與其他服務器保持一致，同時保證分析處理的性能。 （ 3）分層 ODS體系 ? 影響 ODS的作用與地位的因素： ? 企業(yè)性質(zhì)、經(jīng)營業(yè)務范圍、規(guī)模大小等實際情況緊密相關(guān)。 ? 對于一個大型企業(yè)而言，有可能存在分層的 ODS環(huán)境。 分層 ODS示意圖 分 ODS 上海 分 ODS 紐約 分 ODS 東京 總部 ODS 北京 第四章 操作型數(shù)據(jù)存儲 ? 概述 ? 什么是 ODS？ ? OLTPODSDW體系結(jié)構(gòu) ? ODS的創(chuàng)建 ? ODS實例 ? 小結(jié) OLTPODSDW體系結(jié)構(gòu) ? ODS vs DW ? OLTPODSDW三層體系結(jié)構(gòu) ODS vs DW ? 面向主題和集成性使得 ODS 的數(shù)據(jù)在靜態(tài)特征上很接近 DW中的數(shù)據(jù)。但是，在ODS與 DW之間在如下方面仍然存在基本而重要的區(qū)別。 ? 內(nèi)容，數(shù)量級，技術(shù)支持，面向的需求，使用者 （ 1）數(shù)據(jù)內(nèi)容的不同 ? 最大的不同 ODS DW 當前或接近當前的數(shù)據(jù) 細節(jié)數(shù)據(jù) 可在線更新 歷史數(shù)據(jù) 細節(jié)數(shù)據(jù)和綜合數(shù)據(jù) 不可變快照或不能在線更新 ODS與 DW中存放數(shù)據(jù)的差別 時間跨度 ? 時間跨度上的區(qū)別 ? ODS僅存放當前或近期內(nèi)生成的數(shù)據(jù) ? DW中大量是長期保存并可重復查詢的歷史數(shù)據(jù)。 數(shù)據(jù)粒度及處理 ? ODS ? 主要保存的是細節(jié)數(shù)據(jù) ? 也可以獲取一定的綜合數(shù)據(jù)，如在進行即時 OLAP時，也要經(jīng)常生成一些統(tǒng)計數(shù)據(jù)等，但這些綜合數(shù)據(jù)只有在需要時才生成，并且由于 ODS數(shù)據(jù)是隨時可更新，這些綜合數(shù)據(jù)只有在生成時是準確，因而在大部分情況下并不長期保存起來。 ? DW ? 不僅保存細節(jié)數(shù)據(jù)而且也保存綜合數(shù)據(jù)。 ? 由于數(shù)據(jù)不常更新，所以可以保存相當數(shù)量的各級綜合數(shù)據(jù)以備重復訪問，而不必為維護這些綜合數(shù)據(jù)付出多少代價。 續(xù) ? 有時， ODS也可適當保存少量的綜合數(shù)據(jù)。如果所生成的綜合數(shù)據(jù)無需更新，且將被重復訪問，那么 ODS也可以將這部分綜合數(shù)據(jù)長期保存起來。 （ 2） ODS與 DW數(shù)據(jù)量級不同 ? DW的數(shù)據(jù)量要遠遠超出 ODS的數(shù)據(jù)量 ? DW保存大量的歷史數(shù)據(jù) ? ODS只存放當前和接近當前的細節(jié)數(shù)據(jù) ? ODS為獲得較高的系統(tǒng)性能，一部分固定數(shù)據(jù)信息不包含在內(nèi)。 ? DW則幾乎無所不包，從細節(jié)數(shù)據(jù)到程度各異的綜合數(shù)據(jù)，從當前數(shù)據(jù)到歷史檔案數(shù)據(jù)，有時還涉及外部數(shù)據(jù)。 （ 3）二者的技術(shù)支持不盡相同 ? ODS ? 需要 OLTP中的 DB技術(shù)，以實現(xiàn)面向記錄的聯(lián)機更新 ? 需要多個源系統(tǒng)數(shù)據(jù)間的一致性 ? DW ? 只涉及裝入和存取 （ 4）面向需求不同 ? ODS的需求 ? 企業(yè)級 OLTP和即時 OLAP，向數(shù)據(jù)倉庫提供一致的數(shù)據(jù)環(huán)境以供抽取。 ? DW的需求 ? 主要用于長期趨勢分析和戰(zhàn)略決策。 （ 5）兩者的使用者不同 ? ODS ? 主要是中層管理人員，應用 ODS進行企業(yè)日常管理和控制 ? DW ? 主要是 DSS分析員或企業(yè)高級決策層。 OLTPODSDW三層體系結(jié)構(gòu) ? 由前述可知 ? 不能將 DW與 ODS相混淆。它們面向不同的用戶，為適應不同的需求而產(chǎn)生，都有不可替代的作用，彼此之間并不是相互包含的。同時兩者是可以相互結(jié)合、相互補充的。 三層體系結(jié)構(gòu)示意圖 DB DB DB 應用 A 應用 B 應用 C OLTP環(huán)境 ODS ODS環(huán)境 DW 數(shù)據(jù)倉庫環(huán)境 引入 ODS的特點或優(yōu)點 ? ODS在這里充當?shù)氖浅猩蠁⑾碌慕巧? ? 一方面， ODS是一個全局系統(tǒng)，它在原來獨立的各個 DB基礎上建立了一個一致的、面向主題的數(shù)據(jù)環(huán)境，從而使原有的 DB系統(tǒng)得到改造，實現(xiàn)全局數(shù)據(jù)的一致性 ? 另一方面， ODS一致的和完整的數(shù)據(jù)世界，將 DW和原有的 DB隔離， DW卸去數(shù)據(jù)集成、結(jié)構(gòu)轉(zhuǎn)換等一系列沉重負擔，使往 DW的數(shù)據(jù)追加通過 ODS進行從而變得異常簡單，大大簡化了 DW的數(shù)據(jù)傳輸接口及 DW管理數(shù)據(jù)的復雜度。 三層結(jié)構(gòu)中的集成問題 ? DW和 ODS的數(shù)據(jù)源 ? 來源于各自的記錄系統(tǒng) ? ODS的記錄系統(tǒng)在各個操作型應用 ? DW的記錄系統(tǒng)一般在 ODS之中。 ? ODS?DW數(shù)據(jù)裝入處理只包括 ? 對 ODS中數(shù)據(jù)模式上進行適當轉(zhuǎn)換 ? 對關(guān)鍵字結(jié)構(gòu)進行改造 ? 原因： ? ODS中的數(shù)據(jù)具有集成性和面向主題的特點。 集成工作的前移 ? DW獲取操作型數(shù)據(jù)變得簡單而清晰 ? 但是，對于整個體系結(jié)構(gòu)來說， ODS的介入只是將數(shù)據(jù)集成的艱巨工作從 OLTPDW的接口轉(zhuǎn)移到 OLTPODS的接口，工作量并沒有減少。 ? 在 ODS對操作型數(shù)據(jù)進行集成較為容易實現(xiàn)，原因： ? 數(shù)據(jù)量比較小 建立 ODS目的 ? 并不單純是為了簡化 DW與操作型 DB環(huán)境的接口 ? 主要還是由于它具有其自身的需求： ? 建立企業(yè)級的全局應用。 ? 如果不建設 ODS，而僅建立 OLTPDW兩層體系結(jié)構(gòu)，則 …… （ 1） 若要實現(xiàn)全局 OLTP ? 不可能在數(shù)據(jù)倉庫上進行，只能在操作型數(shù)據(jù)庫上進行，則此時將不得不由應用本身來進行各數(shù)據(jù)庫間的協(xié)調(diào) ，在分布環(huán)境下尤其如此，這顯然會大大增加應用的復雜度并增加許多額外開銷。 （ 2）若要實現(xiàn)即時 OLAP ? 何處獲取全局決策信息？ ? DW ? DW數(shù)據(jù)刷新周期 ? 一般要在 24小時以上 ? 即 ? 在 24小時之內(nèi)將不會獲得更多的信息； ? 如果縮短 DW的刷新周期 ? 又會導致 DW的細節(jié)數(shù)據(jù)的時間粒度過?。ㄐr級） ? DW的數(shù)據(jù)增長過快，影響 OLAP的速度。 ? 增加維護代價 （ 3）對于 DW的數(shù)據(jù)集成 ? DW的記錄系統(tǒng)分散于各非集成的應用之中，這時由于各個應用的數(shù)據(jù)： ? 數(shù)據(jù)分散 ? 變化快速 ? DW對數(shù)據(jù)進行集成時 ? DW的轉(zhuǎn)換接口將很復雜 ? 要處理好各應用在時間上的同步等問題。 ODSDW數(shù)據(jù)轉(zhuǎn)換實例功能 ? ODS－ DW數(shù)據(jù)轉(zhuǎn)換是將 ODS Model內(nèi)數(shù)據(jù)庫表中的數(shù)據(jù)經(jīng)過轉(zhuǎn)換處理，導入到數(shù)據(jù)倉庫核心層－ DataWareHouse Model內(nèi)數(shù)據(jù)庫表中的過程。 ? 由于 ODS數(shù)據(jù)庫表的設計接近于業(yè)務系統(tǒng)，而DW數(shù)據(jù)庫表的設計則是進一步完整集成了各類詳細歷史數(shù)據(jù)，所以 ODS－ DW數(shù)據(jù)轉(zhuǎn)換過程本質(zhì)上實現(xiàn)了從過渡數(shù)據(jù)（ ODS數(shù)據(jù)）到數(shù)據(jù)倉庫核心層數(shù)據(jù)（ DW數(shù)據(jù)）的轉(zhuǎn)換。 ODS的必備性？ ? ODS系統(tǒng)的建設，彌補了 OLTPDW兩層體系結(jié)構(gòu)的不足。 ? 但要明確的是， ODS不是必須的。 ? ODS主要針對日常決策需要而出現(xiàn)的。 第四章 操作型數(shù)據(jù)存儲 ? 概述 ? 什么是 ODS？ ? OLTPODSDW體系結(jié)構(gòu) ? ODS的創(chuàng)建 ? ODS實例 ? 小結(jié) ODS的創(chuàng)建 ? 建立 ODS的過程可以劃分為兩部分 ? ODS數(shù)據(jù)模型的形成過程 ? ODS數(shù)據(jù)的實際生成過程 ODS數(shù)據(jù)模型的生成過程 ? ODS數(shù)據(jù)模型的形成過程 ? 建立 OLTPODSDW架構(gòu)的數(shù)據(jù)環(huán)境的過程 ? 從企業(yè)數(shù)據(jù)模型著手，從操作型數(shù)據(jù)模型出發(fā)； ? 結(jié)合 DW以及整