數(shù)據(jù)倉(cāng)庫(kù)優(yōu)化方案-在線瀏覽
2024-12-28 12:59本頁(yè)面
【正文】 要遵循以下使用原則 ................................................................................... 12 數(shù) 據(jù)抽取和上載時(shí)的 SQL 優(yōu)化 ............................................................................................................. 13 where 子句中的連接順序 ............................................................................................................... 13 刪除全表時(shí)用 truncate 替代 delete.............................................................................................. 14 盡量多使用 COMMIT....................................................................................................................... 14 用 exists 替代 IN................................................................................................................................. 14 用 NOT exists 替代 NOT IN ............................................................................................................. 15 優(yōu)化 GROUP BY .................................................................................................................................. 15 有條件的使用 unionALL 替換 union.......................................................................................... 15 備注： ..................................................................................................................................................................... 16 引言 數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中的 ETL(Extract, Transform, Load)是數(shù)據(jù)抽取、轉(zhuǎn)換和裝載到模型的過(guò)程，整個(gè)過(guò)程基本是通過(guò)控制用 SQL 語(yǔ)句編寫(xiě)的存儲(chǔ)過(guò)程和函數(shù)的方式來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)的直接操作， SQL 語(yǔ)句的效率將直接影響到數(shù)據(jù)倉(cāng)庫(kù)后臺(tái)的性能。 一 、 數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建 對(duì)企業(yè)自身來(lái)說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是一個(gè)系統(tǒng)工程，是一個(gè)不斷建立、發(fā)展、完善的過(guò)程，通常需要較長(zhǎng)的時(shí)間 …… 數(shù) 據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)主要以關(guān)系數(shù)據(jù)庫(kù)（ RDB）技術(shù)為基礎(chǔ)，通過(guò)使用一些技術(shù)，如動(dòng)態(tài)分區(qū)、位圖索引、優(yōu)化查詢(xún)等，使關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)在數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用環(huán)境中的性能得到大幅度的提高。 數(shù)據(jù)倉(cāng)庫(kù)在構(gòu)建之初應(yīng)明確其主題。但是主題的確定必須 建立在現(xiàn)有聯(lián)機(jī)事務(wù)處理（ OLTP）系統(tǒng)基礎(chǔ)上，否則按此主題設(shè)計(jì)的數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)結(jié)構(gòu)將成為一個(gè)空殼，缺少可存儲(chǔ)的數(shù)據(jù)。需要在OLTP 數(shù)據(jù)和主題之間找到一個(gè) “平衡點(diǎn) ”，根據(jù)主題的需要完整地收集數(shù)據(jù)，這樣構(gòu)建的數(shù)據(jù)倉(cāng)庫(kù)才能滿(mǎn)足決策和分析的需要。主要有以下 3 個(gè)步驟： 1. 定義該主題所需各數(shù)據(jù)源的詳細(xì)情況，包括所在計(jì)算機(jī)平臺(tái)、擁有者、數(shù)據(jù)結(jié)構(gòu)、使用該數(shù)據(jù)源的處理過(guò)程、倉(cāng)庫(kù)更新計(jì)劃等。 3. 將一個(gè)主題細(xì)化為多個(gè)業(yè)務(wù)主題，形成主題表，據(jù)此從數(shù)據(jù)倉(cāng)庫(kù)中選出多個(gè)數(shù)據(jù)子集，即數(shù)據(jù)集市（ Data Mart）。因此，在實(shí)際開(kāi)發(fā)過(guò)程中可以選擇在成功建立幾個(gè)數(shù)據(jù)集市后再構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)這種策略。元數(shù)據(jù)存儲(chǔ)在元數(shù)據(jù)庫(kù)中，它不僅是數(shù)據(jù)倉(cāng)庫(kù)的文檔資料，供管理、維護(hù)人員使用，而且亦可供用戶(hù)查詢(xún)，以便更好地了解數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)，提高自己的使用水平。加工數(shù)據(jù)是保證目標(biāo)數(shù)據(jù)庫(kù)中數(shù)據(jù)的完整性、一致性。 數(shù)據(jù)維護(hù)與管理 數(shù)據(jù)維護(hù)與管理分為目標(biāo)數(shù)據(jù)維護(hù)和元數(shù)據(jù)維護(hù)兩方面。更新操作有 二 種情況，即在倉(cāng)庫(kù)的原有數(shù)據(jù)表中進(jìn)行某些數(shù)據(jù)的更新和產(chǎn)生一個(gè)新的時(shí)間區(qū)間的數(shù)據(jù)，因?yàn)閰R總數(shù)據(jù)與數(shù)據(jù)倉(cāng)庫(kù)中的許多信息元素有關(guān)系，必 需完整地匯總，這樣才能保證全體信息的一致性。首先從元數(shù)據(jù)庫(kù)查詢(xún)所需元數(shù)據(jù)，然后進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)更新作業(yè)，更新結(jié)束后，將更新情況記錄于元數(shù)據(jù)庫(kù)中。元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的重要組成部分，元數(shù)據(jù)的質(zhì)量決定整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的質(zhì)量。這就要求各企業(yè)對(duì)整個(gè)系統(tǒng)的建設(shè)提出一個(gè)全面、清晰的遠(yuǎn)景規(guī)劃及技術(shù)實(shí)施藍(lán)圖，將整個(gè)項(xiàng)目的實(shí)施分
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1