數(shù)據(jù)倉(cāng)庫(kù)優(yōu)化方案-文庫(kù)吧在線文庫(kù)
【正文】 哪些列上可以創(chuàng)建索引，在哪些列上不能創(chuàng)建索引。 第三，可以加速表和表之間的連接，特別是在實(shí)現(xiàn)數(shù)據(jù)的參考完整性方面特別有意義。 例如這樣一個(gè)查詢： select * from table1 where id=44。元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的重要組成部分，元數(shù)據(jù)的質(zhì)量決定整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的質(zhì)量。加工數(shù)據(jù)是保證目標(biāo)數(shù)據(jù)庫(kù)中數(shù)據(jù)的完整性、一致性。主要有以下 3 個(gè)步驟： 1. 定義該主題所需各數(shù)據(jù)源的詳細(xì)情況，包括所在計(jì)算機(jī)平臺(tái)、擁有者、數(shù)據(jù)結(jié)構(gòu)、使用該數(shù)據(jù)源的處理過(guò)程、倉(cāng)庫(kù)更新計(jì)劃等。 一 、 數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建 對(duì)企業(yè)自身來(lái)說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是一個(gè)系統(tǒng)工程，是一個(gè)不斷建立、發(fā)展、完善的過(guò)程，通常需要較長(zhǎng)的時(shí)間 …… 數(shù) 據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)主要以關(guān)系數(shù)據(jù)庫(kù)（ RDB）技術(shù)為基礎(chǔ)，通過(guò)使用一些技術(shù)，如動(dòng)態(tài)分區(qū)、位圖索引、優(yōu)化查詢等，使關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)在數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用環(huán)境中的性能得到大幅度的提高。 數(shù)據(jù)倉(cāng)庫(kù)建設(shè) 建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù)需要經(jīng)過(guò)以下幾個(gè)處理過(guò)程： ? 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) ? 數(shù)據(jù)抽取 ? 數(shù)據(jù)管理 數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)主要以關(guān)系數(shù)據(jù)庫(kù)（ RDB）技術(shù)為基礎(chǔ)，因?yàn)殛P(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)和管理技術(shù)發(fā)展得較為成熟，其成本和復(fù)雜性較低，已開(kāi)發(fā)成功的大型事務(wù)數(shù)據(jù)庫(kù)多為關(guān)系數(shù)據(jù)庫(kù)，但關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)并不能滿足數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ)要求，需要通過(guò)使用一些技術(shù)，如動(dòng)態(tài)分區(qū)、位圖索引、優(yōu)化查詢等，使關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)在數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用環(huán)境中的性能得到大幅度的提高。 2. 定義數(shù)據(jù)抽取原則，以便從每個(gè)數(shù)據(jù)源中抽取所需數(shù)據(jù)；定義數(shù)據(jù)如何轉(zhuǎn)換、裝載到主題的哪個(gè)數(shù)據(jù)表中。早期數(shù)據(jù)抽取是依靠手工編程和程序生成器實(shí)現(xiàn)，現(xiàn)在則通過(guò)高效的工具來(lái)實(shí)現(xiàn)，如 Ardent 公司的 Infomoter 產(chǎn)品、SAS 的數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品 SAS/WA（ WarehouseAdministrator）及各大數(shù)據(jù)倉(cāng)庫(kù)廠商推出的、完整的數(shù)據(jù)倉(cāng)庫(kù)解決方案。 對(duì)企業(yè)自身來(lái)說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是一個(gè)系統(tǒng)工程，是一個(gè)不斷建立、發(fā)展、完善的過(guò)程，通常需要較長(zhǎng)的時(shí)間。如果沒(méi)有索引，必須遍歷整個(gè)表，直到 ID 等于 44 的這一行被找到為止；有了索引之后 (必須是在 ID 這一列上建立的索引 )，直接在索引里面找44（也就是在 ID 這一列找），就可以得知這一行的位置，也就是找到了這一行。 第四，在使用分組和排序子句進(jìn)行數(shù)據(jù)檢索時(shí)，同樣可以顯著減少查詢中分組和排序的時(shí)間。一般來(lái)說(shuō)，應(yīng)該在這些列上創(chuàng)建索引： ? 在經(jīng)常需要搜索的列上，可以加快搜索的速度； ? 在作為主鍵的列上，強(qiáng)制該列的唯一性和組織表中數(shù)據(jù)的排列結(jié)構(gòu)； ? 在經(jīng)常用在連接的列上，這些列主要是一些外鍵，可以加快連接的速度；在經(jīng)常需要根據(jù)范圍進(jìn)行搜索的列上創(chuàng)建索引，因?yàn)樗饕呀?jīng)排序，其指定的范圍是連續(xù)的； ? 在經(jīng)常需要排序的列上創(chuàng)建索引，因?yàn)樗饕呀?jīng)排序，這樣查詢可以利用索引的排序，加快排序查詢時(shí)間； ? 在經(jīng)常使用在 WHERE 子句中的列上面創(chuàng)建索引，加快條件的判斷速度。 ? 對(duì)于那些定義為 text, image 和 bit 數(shù)據(jù)類型的列不應(yīng)該增加索引。 對(duì)數(shù)據(jù)倉(cāng)庫(kù)維表的數(shù)據(jù)進(jìn)行維護(hù)時(shí)，因?yàn)樾枰ＷC維表 ID 的一致性，所以采用游標(biāo)的是數(shù)據(jù)維護(hù)完整性的最好方式。舉例 : 低效： select * FROM DEPT where SAL * 12 25000。 低效： select * FROM EMP E where SAL 50000 AND JOB = ?MANAGER? AND 25 (select count(*) FROM EMP where MGR=)。 優(yōu)化 GROUP BY 提高 GROUP BY 語(yǔ)句的效率，可以通過(guò)將不需要的記錄在GROUP BY 之前過(guò)濾掉 。 當(dāng) SQL 語(yǔ)句需要 union 兩個(gè)查詢結(jié)果集合時(shí)，這兩個(gè)結(jié)果集合會(huì)以 unionALL 的方式被合并，然后在輸出最終結(jié)果前進(jìn)行排序。 刪除全表時(shí)用 truncate 替代 delete 當(dāng) delete 刪除表中的記錄時(shí)，有回滾段 (rollback segments ) 用來(lái)存放可以被恢復(fù)的信息，而當(dāng)運(yùn)用 truncate 時(shí)，回滾段不再存放任何可被恢復(fù)的信息，所以執(zhí)行時(shí)間也會(huì)很短。 (3) 避免在索引列上使用 NOT 和 ”!=” ， 索引只能告訴什么存在于表中，而不能告訴什么不存在于表中， 當(dāng)數(shù)據(jù)庫(kù)遇到 NOT 和 ”!=”時(shí)，就會(huì)停止使用索引轉(zhuǎn)而執(zhí)行全表掃描 。 (2) 在 insert 和 update 維表時(shí)都加上一個(gè)條件來(lái)過(guò)濾維表中已經(jīng)存在的記錄，實(shí)例為： insert INTO DIM_CUSTOMER select * FROM ODS_CUSTOMER where NOT exists () (3) 使用顯式的游標(biāo) (CURSORs) ，因?yàn)槭褂秒[式的游標(biāo)將會(huì)執(zhí)行兩次操作，第一次檢索記錄，第二次檢查 TOO MANY ROWS 這個(gè) EXCEPTION，而顯式游標(biāo)不執(zhí)行第二次操作。 ? 當(dāng)修改性能遠(yuǎn)遠(yuǎn)大于檢索性能時(shí)，不應(yīng)該創(chuàng)建索引 。一般來(lái)說(shuō)，不應(yīng)該創(chuàng)建索引的的這些列具有下列特點(diǎn)： ? 對(duì)于那些在查詢中很少使用或者參考的列不應(yīng)該創(chuàng)建索引。 增加索引的缺點(diǎn) 也許會(huì)有人要問(wèn)：增加索引有如此多的優(yōu)點(diǎn)，為什么不對(duì)表中的
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1