數(shù)據(jù)倉庫優(yōu)化方案-文庫吧資料
2024-11-02 12:59本頁面
【正文】 間就會(huì)更大。 增加索引的缺點(diǎn) 也許會(huì)有人要問：增加索引有如此多的優(yōu)點(diǎn)，為什么不對表中的每一個(gè)列創(chuàng)建一個(gè)索引呢？因?yàn)?，增加索引也有許多不利的方面。 第四，在使用分組和排序子句進(jìn)行數(shù)據(jù)檢索時(shí)，同樣可以顯著減少查詢中分組和排序的時(shí)間。 第二，可以大大加快數(shù)據(jù)的檢索速度，這也是創(chuàng)建索引的最主要的原因。 創(chuàng)建索引可以大大提高系統(tǒng)的性能。 索引分為聚簇索引和非聚簇索引兩種，聚簇索引 是按照數(shù)據(jù)存放的物理位置為順序的，而非聚簇索引就不一樣了；聚簇索引能提高多行檢索的速度，而非聚簇索引對于單行的檢索很快。如果沒有索引，必須遍歷整個(gè)表，直到 ID 等于 44 的這一行被找到為止；有了索引之后 (必須是在 ID 這一列上建立的索引 )，直接在索引里面找44（也就是在 ID 這一列找），就可以得知這一行的位置，也就是找到了這一行。 數(shù)據(jù)庫索引好比是一本書前面的目錄，能加快數(shù)據(jù)庫的查詢速度。 方法 目前數(shù)據(jù)倉庫建設(shè)中的后臺數(shù)據(jù)庫大部分采用 Oracle，以下的SQL 采用 Oracle 的語法來說明，所有的測試在 Oracle10g 環(huán)境中通過，但其優(yōu)化的方法和原理同樣適合除 Oracle 之外的其他數(shù)據(jù)庫 。 二、數(shù)據(jù)倉庫的優(yōu)化 優(yōu)化的思路分析 數(shù)據(jù)倉庫 ETL 過程的主要特點(diǎn)是：面對海量的數(shù)據(jù)進(jìn)行抽?。环謺r(shí)段對大批量數(shù)據(jù)進(jìn)行刪除、更新和插入操作； 面對異常的數(shù)據(jù)進(jìn)行規(guī)則化的清洗；大量的分析模型重算工作；有特定的過程處理時(shí)間規(guī)律性，一般整個(gè) ETL 過程需要在每天的零點(diǎn)開始到 6 點(diǎn)之前完成。 對企業(yè)自身來說，數(shù)據(jù)倉庫的建設(shè)是一個(gè)系統(tǒng)工程，是一個(gè)不斷建立、發(fā)展、完善的過程，通常需要較長的時(shí)間。當(dāng)數(shù)據(jù)源的運(yùn)行環(huán)境、結(jié)構(gòu)及目標(biāo)數(shù)據(jù)的維護(hù)計(jì)劃發(fā)生變化時(shí)，需要修改元數(shù)據(jù)。 數(shù)據(jù)倉庫規(guī)模一般都很大，從建立之初就要保證它的可管理性，一個(gè)企業(yè)可能建立幾個(gè)數(shù)據(jù)倉庫或數(shù)據(jù)集市，但他們可共用一個(gè)元數(shù)據(jù)庫對其進(jìn)行管理。目標(biāo)數(shù)據(jù)維護(hù)是根據(jù)元數(shù)據(jù)庫所定義的更新頻率、更新數(shù)據(jù)項(xiàng)等更新計(jì)劃任務(wù)來刷新數(shù)據(jù)倉庫，以反映數(shù)據(jù)源的變化，且對時(shí)間相關(guān)性進(jìn)行處理。早期數(shù)據(jù)抽取是依靠手工編程和程序生成器實(shí)現(xiàn)，現(xiàn)在則通過高效的工具來實(shí)現(xiàn)，如 Ardent 公司的 Infomoter 產(chǎn)品、SAS 的數(shù)據(jù)倉庫產(chǎn)品 SAS/WA（ WarehouseAdministrator）及各大數(shù)據(jù)倉庫廠商推出的、完整的數(shù)據(jù)倉庫解決方案。 根據(jù)元數(shù)據(jù)庫中的主題表定義、數(shù)據(jù)源定義、數(shù)據(jù)抽取規(guī)則定義對異地異構(gòu)數(shù)據(jù)源（包括各平臺的數(shù)據(jù)庫、文本文件、 HTML 文件、知識庫等）進(jìn)行清理、轉(zhuǎn)換，對數(shù)據(jù)進(jìn)行重新組織和加工，裝載到數(shù)據(jù)倉庫的目標(biāo)庫中，這就是數(shù)據(jù)抽取。 這些數(shù)據(jù)定義直接輸入系統(tǒng)中，作為元數(shù)據(jù)（ metadata）存儲，供數(shù)據(jù)管理模塊和分析使用。數(shù)據(jù)集市通常針對部門級的決策或某個(gè)特定業(yè)務(wù)需求，它開發(fā)周期短，費(fèi)用低，能在較短時(shí)間內(nèi)滿足用戶決策的需要。 2. 定義數(shù)據(jù)抽取原則，以便從每個(gè)數(shù)據(jù)源中抽取所需數(shù)據(jù)；定義數(shù)據(jù)如何轉(zhuǎn)換、裝載到主題的哪個(gè)數(shù)據(jù)表中。 根據(jù)決策主題設(shè)計(jì)數(shù)據(jù)倉庫結(jié)構(gòu)，一般采用星型模型和雪花模型設(shè)計(jì)其數(shù)據(jù)模型，在設(shè)計(jì)過程中應(yīng)保證數(shù)據(jù)倉庫的規(guī)范化和體系各元素的必要聯(lián)系。但一味注重OLTP 數(shù)據(jù)信息，也將導(dǎo)致迷失數(shù)據(jù)提取方向，偏離主題。 主題是一個(gè)在較高層次將數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個(gè)主題對應(yīng)一個(gè)宏觀的分析領(lǐng)域，針對具體決策需求可細(xì)化為多個(gè)主題表，具體來說就是確定決策涉及的范圍和所要解決的問題。 數(shù)據(jù)倉庫建設(shè) 建立一個(gè)數(shù)據(jù)倉庫需要經(jīng)過以下幾個(gè)處理過程： ? 數(shù)據(jù)倉庫設(shè)計(jì) ? 數(shù)據(jù)抽取 ? 數(shù)據(jù)管理 數(shù)據(jù)倉庫的實(shí)現(xiàn)主要以關(guān)系數(shù)據(jù)庫（ RDB）技術(shù)為基礎(chǔ)，因?yàn)殛P(guān)系數(shù)據(jù)庫的數(shù)據(jù)存儲和管理技術(shù)發(fā)展得較為成熟，其成本和復(fù)雜性較低，已開發(fā)成功的大型事務(wù)數(shù)據(jù)庫多為關(guān)系數(shù)據(jù)庫，但關(guān)系數(shù)據(jù)庫系統(tǒng)并不能滿足數(shù)據(jù)倉庫的數(shù)據(jù)存儲要求，需要通過使用一些技術(shù)，如動(dòng)態(tài)分區(qū)、位圖索引、優(yōu)化查詢等，使關(guān)系數(shù)據(jù)庫管理系統(tǒng)在數(shù)據(jù)倉庫應(yīng)用環(huán)境中的性能得到大幅度的提高。 目前，國內(nèi)的大中型企業(yè)基本都具有四年以上計(jì)算機(jī)信息系統(tǒng)應(yīng)用經(jīng)驗(yàn)，積累了大量可分析的業(yè)務(wù)數(shù)據(jù)，這些信息系統(tǒng)中的數(shù)據(jù)需要通過搭建數(shù)據(jù)倉庫平臺才能得到科學(xué)的分析，這也是近幾年數(shù)據(jù)倉庫系統(tǒng)建設(shè)成為 IT 領(lǐng)域熱門話題的原因。 數(shù)據(jù)倉庫構(gòu)建及優(yōu)化 數(shù)據(jù)倉庫構(gòu)建及優(yōu)化 .............................................................................................................................................1 引言 .............................................................................................................................................................................2 一、數(shù)據(jù)倉庫構(gòu)建 ....................................................................................................
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1