【文章內(nèi)容簡(jiǎn)介】 參考和存取當(dāng)前的和接近當(dāng)前的數(shù)據(jù) ? 并且要求有較快的響應(yīng)速度 ? 可以把這類對(duì)數(shù)據(jù)的即時(shí)分析處理稱為“即時(shí) OLAP”“ uptosecond OLAP”。 何處實(shí)現(xiàn)這種處理？ ? 這種處理不適宜在 DW上進(jìn)行 ? 建立 ODS的一個(gè)主要目的 ? 支持這類處理 ? 由于 ODS中的數(shù)據(jù)量遠(yuǎn)較 DW小，因此可迅速獲取決策信息，甚至達(dá)到秒級(jí)響應(yīng)。 ODS中的兩種處理的區(qū)別 ? 以上兩種處理可以分別稱為 ? 企業(yè) OLTP：操作型 ? 即時(shí) OLAP：信息型處理。 ? 信息型處理 ? 指只有查詢操作的工作模式。 ? 操作型處理 ? 指含有更新操作的工作模式。 ? 兩種模式在數(shù)據(jù)處理上的差別導(dǎo)致了所需的技術(shù)支持有著很大差異。 技術(shù)差異 ? 進(jìn)行企業(yè)級(jí) OLTP時(shí) ? ODS是一個(gè)操作型的環(huán)境，此時(shí) ODS所要求的支持技術(shù)包括：事務(wù)管理、封鎖管理、死鎖檢查、數(shù)據(jù)恢復(fù)、日志管理以及數(shù)據(jù)存儲(chǔ)管理等復(fù)雜技術(shù)。 ? 進(jìn)行即時(shí) OLAP時(shí) ? ODS又是一個(gè)分析型環(huán)境，此時(shí)的數(shù)據(jù)處理要簡(jiǎn)單得多，實(shí)際所需的支持技術(shù)也少得多。 如何兼容這些差異？ ? 方法 1： ? 使 ODS系統(tǒng)能在不同時(shí)間工作于操作型環(huán)境和分析型環(huán)境兩種狀態(tài)，需要加入切換機(jī)制 ? 方法 2： ? 采用多個(gè)服務(wù)器，建立多個(gè)數(shù)據(jù)備份，使某些數(shù)據(jù)庫服務(wù)器始終處于分析型環(huán)境，采用復(fù)制技術(shù)使用其環(huán)境與其他服務(wù)器保持一致，同時(shí)保證分析處理的性能。 （ 3）分層 ODS體系 ? 影響 ODS的作用與地位的因素： ? 企業(yè)性質(zhì)、經(jīng)營業(yè)務(wù)范圍、規(guī)模大小等實(shí)際情況緊密相關(guān)。 ? 對(duì)于一個(gè)大型企業(yè)而言，有可能存在分層的 ODS環(huán)境。 分層 ODS示意圖 分 ODS 上海 分 ODS 紐約 分 ODS 東京 總部 ODS 北京 第四章 操作型數(shù)據(jù)存儲(chǔ) ? 概述 ? 什么是 ODS？ ? OLTPODSDW體系結(jié)構(gòu) ? ODS的創(chuàng)建 ? ODS實(shí)例 ? 小結(jié) OLTPODSDW體系結(jié)構(gòu) ? ODS vs DW ? OLTPODSDW三層體系結(jié)構(gòu) ODS vs DW ? 面向主題和集成性使得 ODS 的數(shù)據(jù)在靜態(tài)特征上很接近 DW中的數(shù)據(jù)。但是，在ODS與 DW之間在如下方面仍然存在基本而重要的區(qū)別。 ? 內(nèi)容，數(shù)量級(jí)，技術(shù)支持，面向的需求，使用者 （ 1）數(shù)據(jù)內(nèi)容的不同 ? 最大的不同 ODS DW 當(dāng)前或接近當(dāng)前的數(shù)據(jù) 細(xì)節(jié)數(shù)據(jù) 可在線更新 歷史數(shù)據(jù) 細(xì)節(jié)數(shù)據(jù)和綜合數(shù)據(jù) 不可變快照或不能在線更新 ODS與 DW中存放數(shù)據(jù)的差別 時(shí)間跨度 ? 時(shí)間跨度上的區(qū)別 ? ODS僅存放當(dāng)前或近期內(nèi)生成的數(shù)據(jù) ? DW中大量是長期保存并可重復(fù)查詢的歷史數(shù)據(jù)。 數(shù)據(jù)粒度及處理 ? ODS ? 主要保存的是細(xì)節(jié)數(shù)據(jù) ? 也可以獲取一定的綜合數(shù)據(jù)，如在進(jìn)行即時(shí) OLAP時(shí)，也要經(jīng)常生成一些統(tǒng)計(jì)數(shù)據(jù)等，但這些綜合數(shù)據(jù)只有在需要時(shí)才生成，并且由于 ODS數(shù)據(jù)是隨時(shí)可更新，這些綜合數(shù)據(jù)只有在生成時(shí)是準(zhǔn)確，因而在大部分情況下并不長期保存起來。 ? DW ? 不僅保存細(xì)節(jié)數(shù)據(jù)而且也保存綜合數(shù)據(jù)。 ? 由于數(shù)據(jù)不常更新，所以可以保存相當(dāng)數(shù)量的各級(jí)綜合數(shù)據(jù)以備重復(fù)訪問，而不必為維護(hù)這些綜合數(shù)據(jù)付出多少代價(jià)。 續(xù) ? 有時(shí)， ODS也可適當(dāng)保存少量的綜合數(shù)據(jù)。如果所生成的綜合數(shù)據(jù)無需更新，且將被重復(fù)訪問，那么 ODS也可以將這部分綜合數(shù)據(jù)長期保存起來。 （ 2） ODS與 DW數(shù)據(jù)量級(jí)不同 ? DW的數(shù)據(jù)量要遠(yuǎn)遠(yuǎn)超出 ODS的數(shù)據(jù)量 ? DW保存大量的歷史數(shù)據(jù) ? ODS只存放當(dāng)前和接近當(dāng)前的細(xì)節(jié)數(shù)據(jù) ? ODS為獲得較高的系統(tǒng)性能，一部分固定數(shù)據(jù)信息不包含在內(nèi)。 ? DW則幾乎無所不包，從細(xì)節(jié)數(shù)據(jù)到程度各異的綜合數(shù)據(jù)，從當(dāng)前數(shù)據(jù)到歷史檔案數(shù)據(jù)，有時(shí)還涉及外部數(shù)據(jù)。 （ 3）二者的技術(shù)支持不盡相同 ? ODS ? 需要 OLTP中的 DB技術(shù)，以實(shí)現(xiàn)面向記錄的聯(lián)機(jī)更新 ? 需要多個(gè)源系統(tǒng)數(shù)據(jù)間的一致性 ? DW ? 只涉及裝入和存取 （ 4）面向需求不同 ? ODS的需求 ? 企業(yè)級(jí) OLTP和即時(shí) OLAP，向數(shù)據(jù)倉庫提供一致的數(shù)據(jù)環(huán)境以供抽取。 ? DW的需求 ? 主要用于長期趨勢(shì)分析和戰(zhàn)略決策。 （ 5）兩者的使用者不同 ? ODS ? 主要是中層管理人員，應(yīng)用 ODS進(jìn)行企業(yè)日常管理和控制 ? DW ? 主要是 DSS分析員或企業(yè)高級(jí)決策層。 OLTPODSDW三層體系結(jié)構(gòu) ? 由前述可知 ? 不能將 DW與 ODS相混淆。它們面向不同的用戶，為適應(yīng)不同的需求而產(chǎn)生，都有不可替代的作用，彼此之間并不是相互包含的。同時(shí)兩者是可以相互結(jié)合、相互補(bǔ)充的。 三層體系結(jié)構(gòu)示意圖 DB DB DB 應(yīng)用 A 應(yīng)用 B 應(yīng)用 C OLTP環(huán)境 ODS ODS環(huán)境 DW 數(shù)據(jù)倉庫環(huán)境 引入 ODS的特點(diǎn)或優(yōu)點(diǎn) ? ODS在這里充當(dāng)?shù)氖浅猩蠁⑾碌慕巧? ? 一方面， ODS是一個(gè)全局系統(tǒng)，它在原來獨(dú)立的各個(gè) DB基礎(chǔ)上建立了一個(gè)一致的、面向主題的數(shù)據(jù)環(huán)境，從而使原有的 DB系統(tǒng)得到改造，實(shí)現(xiàn)全局?jǐn)?shù)據(jù)的一致性 ? 另一方面， ODS一致的和完整的數(shù)據(jù)世界，將 DW和原有的 DB隔離， DW卸去數(shù)據(jù)集成、結(jié)構(gòu)轉(zhuǎn)換等一系列沉重負(fù)擔(dān)，使往 DW的數(shù)據(jù)追加通過 ODS進(jìn)行從而變得異常簡(jiǎn)單，大大簡(jiǎn)化了 DW的數(shù)據(jù)傳輸接口及 DW管理數(shù)據(jù)的復(fù)雜度。 三層結(jié)構(gòu)中的集成問題 ? DW和 ODS的數(shù)據(jù)源 ? 來源于各自的記錄系統(tǒng) ? ODS的記錄系統(tǒng)在各個(gè)操作型應(yīng)用 ? DW的記錄系統(tǒng)一般在 ODS之中。 ? ODS?DW數(shù)據(jù)裝入處理只包括 ? 對(duì) ODS中數(shù)據(jù)模式上進(jìn)行適當(dāng)轉(zhuǎn)換 ? 對(duì)關(guān)鍵字結(jié)構(gòu)進(jìn)行改造 ? 原因： ? ODS中的數(shù)據(jù)具有集成性和面向主題的特點(diǎn)。 集成工作的前移 ? DW獲取操作型數(shù)據(jù)變得簡(jiǎn)單而清晰 ? 但是，對(duì)于整個(gè)體系結(jié)構(gòu)來說， ODS的介入只是將數(shù)據(jù)集成的艱巨工作從 OLTPDW的接口轉(zhuǎn)移到 OLTPODS的接口，工作量并沒有減少。 ? 在 ODS對(duì)操作型數(shù)據(jù)進(jìn)行集成較為容易實(shí)現(xiàn)，原因： ? 數(shù)據(jù)量比較小 建立 ODS目的 ? 并不單純是為了簡(jiǎn)化 DW與操作型 DB環(huán)境的接口 ? 主要還是由于它具有其自身的需求： ? 建立企業(yè)級(jí)的全局應(yīng)用。 ? 如果不建設(shè) ODS，而僅建立 OLTPDW兩層體系結(jié)構(gòu)，則 …… （ 1） 若要實(shí)現(xiàn)全局 OLTP ? 不可能在數(shù)據(jù)倉庫上進(jìn)行，只能在操作型數(shù)據(jù)庫上進(jìn)行，則此時(shí)將不得不由應(yīng)用本身來進(jìn)行各數(shù)據(jù)庫間的協(xié)調(diào) ，在分布環(huán)境下尤其如此，這顯然會(huì)大大增加應(yīng)用的復(fù)雜度并增加許多額外開銷。 （ 2）若要實(shí)現(xiàn)即時(shí) OLAP ? 何處獲取全局決策信息？ ? DW ? DW數(shù)據(jù)刷新周期 ? 一般要在 24小時(shí)以上 ? 即 ? 在 24小時(shí)之內(nèi)將不會(huì)獲得更多的信息； ? 如果縮短 DW的刷新周期 ? 又會(huì)導(dǎo)致 DW的細(xì)節(jié)數(shù)據(jù)的時(shí)間粒度過小（小時(shí)級(jí)） ? DW的數(shù)據(jù)增長過快，影響 OLAP的速度。 ? 增加維護(hù)代價(jià) （ 3）對(duì)于 DW的數(shù)據(jù)集成 ? DW的記錄系統(tǒng)分散于各非集成的應(yīng)用之中，這時(shí)由于各個(gè)應(yīng)用的數(shù)據(jù)： ? 數(shù)據(jù)分散 ? 變化快速 ? DW對(duì)數(shù)據(jù)進(jìn)行集成時(shí) ? DW的轉(zhuǎn)換接口將很復(fù)雜 ? 要處理好各應(yīng)用在時(shí)間上的同步等問題。 ODSDW數(shù)據(jù)轉(zhuǎn)換實(shí)例功能 ? ODS－ DW數(shù)據(jù)轉(zhuǎn)換是將 ODS Model內(nèi)數(shù)據(jù)庫表中的數(shù)據(jù)經(jīng)過轉(zhuǎn)換處理，導(dǎo)入到數(shù)據(jù)倉庫核心層－ DataWareHouse Model內(nèi)數(shù)據(jù)庫表中的過程。 ? 由于 ODS數(shù)據(jù)庫表的設(shè)計(jì)接近于業(yè)務(wù)系統(tǒng)，而DW數(shù)據(jù)庫表的設(shè)計(jì)則是進(jìn)一步完整集成了各類詳細(xì)歷史數(shù)據(jù)，所以 ODS－ DW數(shù)據(jù)轉(zhuǎn)換過程本質(zhì)上實(shí)現(xiàn)了從過渡數(shù)據(jù)（ ODS數(shù)據(jù)）到數(shù)據(jù)倉庫核心層數(shù)據(jù)（ DW數(shù)據(jù)）的轉(zhuǎn)換。 ODS的必備性？ ? ODS系統(tǒng)的建設(shè)，彌補(bǔ)了 OLTPDW兩層體系結(jié)構(gòu)的不足。 ? 但要明確的是， ODS不是必須的。 ? ODS主要針對(duì)日常決策需要而出現(xiàn)的。 第四章 操作型數(shù)據(jù)存儲(chǔ) ? 概述 ? 什么是 ODS？ ? OLTPODSDW體系結(jié)構(gòu) ? ODS的創(chuàng)建 ? ODS實(shí)例 ? 小結(jié) ODS的創(chuàng)建 ? 建立 ODS的過程可以劃分為兩部分 ? ODS數(shù)據(jù)模型的形成過程 ? ODS數(shù)據(jù)的實(shí)際生成過程 ODS數(shù)據(jù)模型的生成過程 ? ODS數(shù)據(jù)模型的形成過程 ? 建立 OLTPODSDW架構(gòu)的數(shù)據(jù)環(huán)境的過程 ? 從企業(yè)數(shù)據(jù)模型著手，從操作型數(shù)據(jù)模型出發(fā)； ? 結(jié)合 DW以及整