數(shù)據(jù)倉庫優(yōu)化方案(編輯修改稿)
2024-11-30 12:59 本頁面
【文章內(nèi)容簡介】 功的大型事務(wù)數(shù)據(jù)庫多為關(guān)系數(shù)據(jù)庫，但關(guān)系數(shù)據(jù)庫系統(tǒng)并不能滿足數(shù)據(jù)倉庫的數(shù)據(jù)存儲要求，需要通過使用一些技術(shù)，如動態(tài)分區(qū)、位圖索引、優(yōu)化查詢等，使關(guān)系數(shù)據(jù)庫管理系統(tǒng)在數(shù)據(jù)倉庫應(yīng)用環(huán)境中的性能得到大幅度的提高。 數(shù)據(jù)倉庫在構(gòu)建之初應(yīng)明確其主題。 主題是一個在較高層次將數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個主題對應(yīng)一個宏觀的分析領(lǐng)域，針對具體決策需求可細(xì)化為多個主題表，具體來說就是確定決策涉及的范圍和所要解決的問題。但是主題的確定必須 建立在現(xiàn)有聯(lián)機(jī)事務(wù)處理（ OLTP）系統(tǒng)基礎(chǔ)上，否則按此主題設(shè)計的數(shù)據(jù)倉庫存儲結(jié)構(gòu)將成為一個空殼，缺少可存儲的數(shù)據(jù)。但一味注重OLTP 數(shù)據(jù)信息，也將導(dǎo)致迷失數(shù)據(jù)提取方向，偏離主題。需要在OLTP 數(shù)據(jù)和主題之間找到一個 “平衡點 ”，根據(jù)主題的需要完整地收集數(shù)據(jù)，這樣構(gòu)建的數(shù)據(jù)倉庫才能滿足決策和分析的需要。 根據(jù)決策主題設(shè)計數(shù)據(jù)倉庫結(jié)構(gòu)，一般采用星型模型和雪花模型設(shè)計其數(shù)據(jù)模型，在設(shè)計過程中應(yīng)保證數(shù)據(jù)倉庫的規(guī)范化和體系各元素的必要聯(lián)系。主要有以下 3 個步驟： 1. 定義該主題所需各數(shù)據(jù)源的詳細(xì)情況，包括所在計算機(jī)平臺、擁有者、數(shù)據(jù)結(jié)構(gòu)、使用該數(shù)據(jù)源的處理過程、倉庫更新計劃等。 2. 定義數(shù)據(jù)抽取原則，以便從每個數(shù)據(jù)源中抽取所需數(shù)據(jù)；定義數(shù)據(jù)如何轉(zhuǎn)換、裝載到主題的哪個數(shù)據(jù)表中。 3. 將一個主題細(xì)化為多個業(yè)務(wù)主題，形成主題表，據(jù)此從數(shù)據(jù)倉庫中選出多個數(shù)據(jù)子集，即數(shù)據(jù)集市（ Data Mart）。數(shù)據(jù)集市通常針對部門級的決策或某個特定業(yè)務(wù)需求，它開發(fā)周期短，費(fèi)用低，能在較短時間內(nèi)滿足用戶決策的需要。因此，在實際開發(fā)過程中可以選擇在成功建立幾個數(shù)據(jù)集市后再構(gòu)建數(shù)據(jù)倉庫這種策略。 這些數(shù)據(jù)定義直接輸入系統(tǒng)中，作為元數(shù)據(jù)（ metadata）存儲，供數(shù)據(jù)管理模塊和分析使用。元數(shù)據(jù)存儲在元數(shù)據(jù)庫中，它不僅是數(shù)據(jù)倉庫的文檔資料，供管理、維護(hù)人員使用，而且亦可供用戶查詢，以便更好地了解數(shù)據(jù)倉庫結(jié)構(gòu)，提高自己的使用水平。 根據(jù)元數(shù)據(jù)庫中的主題表定義、數(shù)據(jù)源定義、數(shù)據(jù)抽取規(guī)則定義對異地異構(gòu)數(shù)據(jù)源（包括各平臺的數(shù)據(jù)庫、文本文件、 HTML 文件、知識庫等）進(jìn)行清理、轉(zhuǎn)換，對數(shù)據(jù)進(jìn)行重新組織和加工，裝載到數(shù)據(jù)倉庫的目標(biāo)庫中，這就是數(shù)據(jù)抽取。加工數(shù)據(jù)是保證目標(biāo)數(shù)據(jù)庫中數(shù)據(jù)的完整性、一致性。早期數(shù)據(jù)抽取是依靠手工編程和程序生成器實現(xiàn)，現(xiàn)在則通過高效的工具來實現(xiàn)，如 Ardent 公司的 Infomoter 產(chǎn)品、SAS 的數(shù)據(jù)倉庫產(chǎn)品 SAS/WA（ WarehouseAdministrator）及各大數(shù)據(jù)倉庫廠商推出的、完整的數(shù)據(jù)倉庫解決方案。 數(shù)據(jù)維護(hù)與管理 數(shù)據(jù)維護(hù)與管理分為目標(biāo)數(shù)據(jù)維護(hù)和元數(shù)據(jù)維護(hù)兩方面。目標(biāo)數(shù)據(jù)維護(hù)是根據(jù)元數(shù)據(jù)庫所定義的更新頻率、更新數(shù)據(jù)項等更新計劃任務(wù)來刷新數(shù)據(jù)倉庫，以反映數(shù)據(jù)源的變化，且對時間相關(guān)性進(jìn)行處理。更新操作有 二 種情況，即在倉庫的原有數(shù)據(jù)表中進(jìn)行某些數(shù)據(jù)的更新和產(chǎn)生一個新的時間區(qū)間的數(shù)據(jù)，因為匯總數(shù)據(jù)與數(shù)據(jù)倉庫中的許多信息元素有關(guān)系，必 需完整地匯總，這樣才能保證全體信息的一致性。 數(shù)據(jù)倉庫規(guī)模一般都很大，從建立之初就要保證它的可管理性，一個企業(yè)可能建立幾個數(shù)據(jù)倉庫或數(shù)據(jù)集市，但他們可共用一個元數(shù)據(jù)庫對其進(jìn)行管理。首先從元數(shù)據(jù)庫查詢所需元數(shù)據(jù)，然后進(jìn)行數(shù)據(jù)倉庫更新作業(yè)，更新結(jié)束后，將更新情況記錄于元數(shù)據(jù)庫中。當(dāng)數(shù)據(jù)源的運(yùn)行環(huán)境、結(jié)構(gòu)及目標(biāo)數(shù)據(jù)的維護(hù)計劃發(fā)生變化時，需要修改元數(shù)據(jù)。元數(shù)據(jù)是數(shù)據(jù)倉庫的重要組成部分，元數(shù)據(jù)的質(zhì)量決定整個數(shù)據(jù)倉庫的質(zhì)量。 對企業(yè)自身來說，數(shù)據(jù)倉庫的建設(shè)是一個系統(tǒng)工程，是一個不斷建立、發(fā)展、完善的過程，通常需要較長的時間。這就要求各企業(yè)對整個系統(tǒng)的建設(shè)提出一個全面、清晰的遠(yuǎn)景規(guī)劃及技術(shù)實施藍(lán)圖，將整個項目的實施分成若干個階段，以 “總體規(guī)劃、分步實施、步步見效 ”為原則，不僅可迅速從當(dāng)前投資中獲得收益，而且可以在已有的基礎(chǔ)上，結(jié)合其他已有的業(yè)務(wù)系統(tǒng)，逐步構(gòu)建起完整、健壯的數(shù)據(jù)倉庫系統(tǒng)。 二、數(shù)據(jù)倉庫的優(yōu)化 優(yōu)化的思路分析 數(shù)據(jù)倉庫 ETL 過程的主要特點是：面對海量的數(shù)據(jù)進(jìn)行抽取；分時段對大批量數(shù)據(jù)進(jìn)行刪除、更新和插入操作； 面對異常的數(shù)據(jù)進(jìn)行規(guī)則化的清洗；大量的分析模型重算工作；有特定的過程處理時間規(guī)律性，一般整個 ETL 過程需要在每天的零點開始到 6 點之前完成。所以，針對 ETL 過程的優(yōu)化主要是結(jié)合數(shù)據(jù)倉庫自身的特點，抓住需要優(yōu)化的主要方面，針對不同的情況從如何采用高效的 SQL 入手來進(jìn)行。 方法 目前數(shù)據(jù)倉庫建設(shè)中的后臺數(shù)據(jù)庫大部分采用 Oracle，以下的SQL 采用 Oracle 的語法來說明，所有的測試在 Oracle10g 環(huán)境中通過，但其優(yōu)化的方法和原理同樣適合除 Oracle 之外的其他數(shù)據(jù)庫 。 索引的正確使用 什么是索引 索引是對數(shù)據(jù)庫表中一列或多列的值進(jìn)行排序的一種結(jié)構(gòu)，使用索引可快速訪問數(shù)據(jù)庫表中的特定信息。 數(shù)據(jù)庫索引好比是一本書前面的目錄，能加快數(shù)據(jù)庫的查詢速度。 例如這樣一個查詢： select * from table1 where id=44。如果沒有索引，必須遍歷整個表，直到 ID 等于 44 的這一行被找到為止；有了索引之后 (必須是在 ID 這一列上建立的索引 )，直接在索引里面找44（也就是在 ID 這一列找），就可以得知這一行的位置，
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1