數(shù)據(jù)倉庫優(yōu)化方案-wenkub
2022-11-05 12:59:20 本頁面
【正文】 數(shù)據(jù)庫（ RDB）技術(shù)為基礎(chǔ)，因?yàn)殛P(guān)系數(shù)據(jù)庫的數(shù)據(jù)存儲(chǔ)和管理技術(shù)發(fā)展得較為成熟，其成本和復(fù)雜性較低，已開發(fā)成功的大型事務(wù)數(shù)據(jù)庫多為關(guān)系數(shù)據(jù)庫，但關(guān)系數(shù)據(jù)庫系統(tǒng)并不能滿足數(shù)據(jù)倉庫的數(shù)據(jù)存儲(chǔ)要求，需要通過使用一些技術(shù)，如動(dòng)態(tài)分區(qū)、位圖索引、優(yōu)化查詢等，使關(guān)系數(shù)據(jù)庫管理系統(tǒng)在數(shù)據(jù)倉庫應(yīng)用環(huán)境中的性能得到大幅度的提高。但一味注重OLTP 數(shù)據(jù)信息，也將導(dǎo)致迷失數(shù)據(jù)提取方向，偏離主題。 2. 定義數(shù)據(jù)抽取原則，以便從每個(gè)數(shù)據(jù)源中抽取所需數(shù)據(jù)；定義數(shù)據(jù)如何轉(zhuǎn)換、裝載到主題的哪個(gè)數(shù)據(jù)表中。 這些數(shù)據(jù)定義直接輸入系統(tǒng)中，作為元數(shù)據(jù)（ metadata）存儲(chǔ)，供數(shù)據(jù)管理模塊和分析使用。早期數(shù)據(jù)抽取是依靠手工編程和程序生成器實(shí)現(xiàn)，現(xiàn)在則通過高效的工具來實(shí)現(xiàn)，如 Ardent 公司的 Infomoter 產(chǎn)品、SAS 的數(shù)據(jù)倉庫產(chǎn)品 SAS/WA（ WarehouseAdministrator）及各大數(shù)據(jù)倉庫廠商推出的、完整的數(shù)據(jù)倉庫解決方案。 數(shù)據(jù)倉庫規(guī)模一般都很大，從建立之初就要保證它的可管理性，一個(gè)企業(yè)可能建立幾個(gè)數(shù)據(jù)倉庫或數(shù)據(jù)集市，但他們可共用一個(gè)元數(shù)據(jù)庫對(duì)其進(jìn)行管理。 對(duì)企業(yè)自身來說，數(shù)據(jù)倉庫的建設(shè)是一個(gè)系統(tǒng)工程，是一個(gè)不斷建立、發(fā)展、完善的過程，通常需要較長(zhǎng)的時(shí)間。 方法 目前數(shù)據(jù)倉庫建設(shè)中的后臺(tái)數(shù)據(jù)庫大部分采用 Oracle，以下的SQL 采用 Oracle 的語法來說明，所有的測(cè)試在 Oracle10g 環(huán)境中通過，但其優(yōu)化的方法和原理同樣適合除 Oracle 之外的其他數(shù)據(jù)庫 。如果沒有索引，必須遍歷整個(gè)表，直到 ID 等于 44 的這一行被找到為止；有了索引之后 (必須是在 ID 這一列上建立的索引 )，直接在索引里面找44（也就是在 ID 這一列找），就可以得知這一行的位置，也就是找到了這一行。 創(chuàng)建索引可以大大提高系統(tǒng)的性能。 第四，在使用分組和排序子句進(jìn)行數(shù)據(jù)檢索時(shí)，同樣可以顯著減少查詢中分組和排序的時(shí)間。 第二，索引需要占物理空間，除了數(shù)據(jù)表占數(shù)據(jù)空間之外，每一個(gè)索引還要占一定的物理空間，如果要建立聚簇索引，那么需要的空間就會(huì)更大。一般來說，應(yīng)該在這些列上創(chuàng)建索引： ? 在經(jīng)常需要搜索的列上，可以加快搜索的速度； ? 在作為主鍵的列上，強(qiáng)制該列的唯一性和組織表中數(shù)據(jù)的排列結(jié)構(gòu)； ? 在經(jīng)常用在連接的列上，這些列主要是一些外鍵，可以加快連接的速度；在經(jīng)常需要根據(jù)范圍進(jìn)行搜索的列上創(chuàng)建索引，因?yàn)樗饕呀?jīng)排序，其指定的范圍是連續(xù)的； ? 在經(jīng)常需要排序的列上創(chuàng)建索引，因?yàn)樗饕呀?jīng)排序，這樣查詢可以利用索引的排序，加快排序查詢時(shí)間； ? 在經(jīng)常使用在 WHERE 子句中的列上面創(chuàng)建索引，加快條件的判斷速度。相反，由于增加了索引，反而降低了系統(tǒng)的維護(hù)速度和增大了空間需求。 ? 對(duì)于那些定義為 text, image 和 bit 數(shù)據(jù)類型的列不應(yīng)該增加索引。當(dāng)增加索引時(shí)，會(huì)提高檢索性能，但是會(huì)降低修改性能。 對(duì)數(shù)據(jù)倉庫維表的數(shù)據(jù)進(jìn)行維護(hù)時(shí)，因?yàn)樾枰ＷC維表 ID 的一致性，所以采用游標(biāo)的是數(shù)據(jù)維護(hù)完整性的最好方式。同時(shí)確保數(shù)據(jù)表空間和索引表空間置與不同的硬盤控制卡控制的硬盤上 提高磁盤 I/O 并行 度 改善性能 為了改善存儲(chǔ)在多個(gè)磁盤驅(qū)動(dòng)器上的大型數(shù)據(jù)庫的性能，一個(gè)有效的方法是創(chuàng)建磁盤 I/O 并行機(jī)制，該機(jī)制同時(shí)對(duì)多個(gè)磁盤驅(qū)動(dòng)器進(jìn)行讀寫操作。舉例 : 低效： select * FROM DEPT where SAL * 12 25000。 (5) 函數(shù)的列啟用索引方法 ，如果一定要對(duì)使用函數(shù)的列啟用索引， Oracle9i 以上版本新的功能：基于函數(shù)的索引 (FunctionBased Index)是一個(gè)較好的方案，但該類型索引的缺點(diǎn)是只能針對(duì)某個(gè)函數(shù)來建立和使用該函數(shù)。 低效： select * FROM EMP E where SAL 50000 AND JOB = ?MANAGER? AND 25 (select count(*) FROM EMP where MGR=)。 盡量多使用 COMMIT ETL 中同一個(gè)過程的數(shù)據(jù)操作步驟很多，數(shù)據(jù)倉庫采用的是數(shù)據(jù)抽取后分析模型重算的原理，所以對(duì)數(shù)據(jù)的 COMMIT 不像業(yè)務(wù)系統(tǒng)為保證數(shù)據(jù)的完整和一致性而需要某個(gè)操作過程全部完成才能進(jìn)行，只要有可能就在程序中對(duì)每個(gè) delete、 insert 和 update 操作盡量多使用 COMMIT, 這樣系統(tǒng)性能會(huì)因?yàn)?COMMIT 所釋放的資源而大大提高。 優(yōu)化 GROUP BY 提高 GROUP BY 語句的效率，可以通過將不需要的記錄在GROUP BY 之前過濾掉 。 備注 ： 本文內(nèi)容出自互聯(lián)網(wǎng) 僅供學(xué)習(xí)參考之用， 如有引用請(qǐng)注明出處。 當(dāng) SQL 語句需要 union 兩個(gè)查詢結(jié)果集合時(shí)，這兩個(gè)結(jié)果集合會(huì)以 unionALL 的方式被合并，然后在輸出最終結(jié)果前進(jìn)行排序。 用 NOT exists 替代 NOT IN 子查詢中， NOT IN 子句將執(zhí)行一個(gè)內(nèi)部的排序和合并，無論在哪種情況下， NOT IN 都是最低效的，因?yàn)樗鼘?duì)子查詢中的表執(zhí)行了一個(gè)全表遍歷。 刪除全表時(shí)用 truncate 替代 delete 當(dāng) delete 刪除表中的記錄時(shí)，有回滾段 (rollb
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1