【正文】 第五， 索引要創(chuàng)建在經(jīng)常使用WHERE子句中的列上面，這樣可以加快條件的判斷速度。第三， 索引要創(chuàng)建在經(jīng)常需要根據(jù)范圍進(jìn)行搜索的列上，因為索引已經(jīng)排序，其指定的范圍是連續(xù)的。例如數(shù)據(jù)倉庫中的流水表或快照表，可以在FDATE列上設(shè)置獨立索引。因此，對數(shù)據(jù)倉庫中的物理表建立索引就顯得尤為重要。但是創(chuàng)建索引也是有代價的：一是增加了數(shù)據(jù)庫的存儲空間，數(shù)據(jù)庫中的表除了數(shù)據(jù)占空間外，每一個索引還要占一定的物理空間；二是在插入和修改數(shù)據(jù)時要花費較多的時間（因為索引也要隨之變動）；三是創(chuàng)建索引和維護(hù)索引要耗費時間，這種時間會隨著數(shù)據(jù)量的增加而增加。 索引索引是對數(shù)據(jù)庫表中的一列或多列的值進(jìn)行排序的一種結(jié)構(gòu)，使用索引可以快速訪問數(shù)據(jù)庫表中的特定信息。而是產(chǎn)生一條新鏈。這種情況通常發(fā)生于對于拉鏈表的邏輯主鍵的定義不夠準(zhǔn)確。這個案例說明了，在數(shù)據(jù)倉庫建設(shè)過程中很多對于數(shù)據(jù)存儲和訪問的技術(shù)和策略不是一成不變的，需要根據(jù)數(shù)據(jù)的實際情況靈活進(jìn)行處理。這種方式存儲，既保留了全量表中的各個頻度的歷史數(shù)據(jù)，滿足各個下游系統(tǒng)數(shù)據(jù)的需求，又大大的減小了數(shù)據(jù)量，節(jié)省了存儲空間，提供了數(shù)據(jù)的訪問效率。因為該總賬科目表中的數(shù)據(jù)是由核心系統(tǒng)供數(shù)，并且供數(shù)的方式是全量，里面包含日、旬、月、季、半年、年幾個頻度的數(shù)據(jù)，核心系統(tǒng)的數(shù)據(jù)每天還在增長，在這種情況下通過快照表存儲的方式就出現(xiàn)了大量的冗余數(shù)據(jù)。拉鏈表是最能控制數(shù)據(jù)量增長的一種方式，即除了新增的數(shù)據(jù)之外，對于原有的數(shù)據(jù)如果不發(fā)生變化就不會產(chǎn)生針對該條數(shù)據(jù)的新鏈。隨著時間的推移、數(shù)據(jù)量在增長這種事實是肯定的，但是數(shù)據(jù)量的增長速度從某種層面來說是可以控制的。 數(shù)據(jù)量存儲大量的歷史數(shù)據(jù)是數(shù)據(jù)倉庫的顯著特征之一。這個例子說明了數(shù)據(jù)倉庫能夠很好的反映數(shù)據(jù)的歷史狀態(tài)及變化情況。只有在下一日傳送的時候才能將該筆存款的最新余額信息傳送的數(shù)據(jù)倉庫。接到該電話之后，我們根據(jù)該筆存款的存款賬號直接到數(shù)據(jù)倉庫中存款相關(guān)的數(shù)據(jù)表中查詢該筆業(yè)務(wù)，通過數(shù)據(jù)倉庫中的數(shù)據(jù)查詢可以看出，該客戶當(dāng)天確實存了這筆300萬的存款，但是由于該客戶的這筆存款賬號在晚上23點半以后由于結(jié)息又發(fā)生了余額變動，而核心系統(tǒng)每天晚上23點做日終及換日的處理，由于發(fā)生了日期切換，系統(tǒng)會將23點之后發(fā)生的交易計成第二天的日期。某日，該銀行的一個客戶經(jīng)理打電話過來到數(shù)據(jù)倉庫項目組說，某月某日有一個客戶存了一筆300萬的定期存款，并且在銀行柜臺存款的時候已經(jīng)將改筆存款掛在了這位客戶經(jīng)理的名下，屬于該客戶經(jīng)理的攬存業(yè)績。某銀行數(shù)據(jù)倉庫項目中遇見的一個小小案例介紹給大家，該案例很好的說明了數(shù)據(jù)倉庫的歷史數(shù)據(jù)情況。便于對數(shù)據(jù)的追溯。 5 歷史數(shù)據(jù)數(shù)據(jù)倉庫的顯著特征除了面向主題、集成、非易失性和隨時間變化這幾個特征之外，另外一個特征就是存儲大量的歷史數(shù)據(jù)。個別超長的需要提出來，模型組統(tǒng)一綜合考慮（主要考慮一些數(shù)據(jù)庫（如TERADATA、ORACLE）定義的表名不能超過30個字符）；[9] 對于以“編號”作為標(biāo)識符的屬性/列，中文名一般統(tǒng)一命名為“編號”；英文名后綴應(yīng)是ID，如“參與人編號 PTY_ID”，“渠道編號CHL _ID”等；[10] 特殊的，對于一些有習(xí)慣叫法的編號類屬性/列，如，“銀行卡的卡號”，為了遵循使用習(xí)慣，以使模型更易理解，可不將之命名為“卡片編號”，而遵照習(xí)慣直接命名為“卡號”，其英文名也可以遵照習(xí)慣命名為“CR_NO”，而不用命名為“CR_ID”。 varchar2(n) 屬性/列命名原則上，屬性/列名稱應(yīng)使用易于理解、能準(zhǔn)確描述該屬性/列意義的業(yè)務(wù)術(shù)語，同時命名應(yīng)遵循下述規(guī)則： [1] 邏輯模型屬性名以中文命名，物理模型列名以英文命名，中文名與英文名含義應(yīng)嚴(yán)格一致； [2] 屬性/列命名不要使用不易理解的方言或有地域性/部門局限的業(yè)務(wù)術(shù)語，應(yīng)使用統(tǒng)一的、正式的、全局范圍內(nèi)通用的官方業(yè)務(wù)術(shù)語；[3] 屬性/列的中文名稱盡量保留實體所屬主題的名稱作為前綴，比如“活期賬號”、“定期賬號”；[4] 屬性/列名稱通常由兩部分組成：“主詞”和“類詞”，“主詞”部分標(biāo)明屬性/列標(biāo)明所描述的對象內(nèi)容；“類詞”部分標(biāo)明屬性/列所描述的內(nèi)容的類別。 定義為:number(8,6)比率（百分比類數(shù)據(jù)）兩種情況之間的比率，可能會出現(xiàn)大于1的情況。 定義為:number(15,10) 費率 費率數(shù)據(jù)。 定義為:number(16,2) 利率 利率數(shù)據(jù)。定義為:number(20,2) 或number(20,3) (20 位數(shù)字字符，其中包括小數(shù)點和兩（三）個小數(shù)位)。整數(shù)類數(shù)據(jù)包括長整數(shù)和短整數(shù)。 定義為：char(7) 指示器表示“是/否”意義的指示器，例如：外部產(chǎn)品標(biāo)志，雇員標(biāo)志，等等。 定義為：char(6) 格式：HHMMSS 24小時格式 日期時間類（年月日時分秒） 日期及時間類型的數(shù)據(jù)。 數(shù)據(jù)類型規(guī)范字段含義數(shù)據(jù)類型說明配置類型日期類 （年月日） 日期類型數(shù)據(jù)。 示例：企業(yè)貸款賬戶信息表 F_LN_LNE_ACC 示例：企業(yè)貸款賬戶信息歷史表 F_LN_LNE_ACC_H[2] 物理表統(tǒng)一增加字段：FDATE VARCHAR2(8) 數(shù)據(jù)日期/交易日期 SDATE VARCHAR2(8) 拉鏈表的開始日期EDATE VARCHAR2(8) 拉鏈表的結(jié)束日期[3] FDS物理表設(shè)計考慮如下字段信息：機構(gòu)信息 機構(gòu)編碼（開戶機構(gòu) 營業(yè)機構(gòu) 賬務(wù)機構(gòu)均考慮下）客戶信息 客戶號 （涉及到 關(guān)系檔 主檔 交易流水等）卡信息： 卡號 （涉及到 交易流水信息） 集成數(shù)據(jù)層（IDS）命名格式為：I_主題標(biāo)識_匯總標(biāo)識 其中匯總標(biāo)識可以為： 指標(biāo)的主詞_指標(biāo)的類詞_匯總維度_時間維度。[7] 歷史實體中文名一般用“當(dāng)前實體中文名”命名；英文名用“當(dāng)前實體名”。如果實體/表英文名由多個單詞組成，單詞之間用下劃線分開；[6] 物理模型實體/表命名不超過30個字符，應(yīng)盡量使用簡練的英文拼寫。下表對數(shù)據(jù)層的規(guī)范進(jìn)行說明：數(shù)據(jù)區(qū)域中文名數(shù)據(jù)區(qū)域英文名數(shù)據(jù)區(qū)域前綴表命名規(guī)范備注操作型數(shù)據(jù)存儲（ODS）OPERATIONAL DATA STORE ODSODS_源系統(tǒng)標(biāo)識_源物理表名 基礎(chǔ)數(shù)據(jù)存儲層（FDS）FOUNDATIONAL DATA STORE FF_主題標(biāo)識_表標(biāo)識_存儲標(biāo)識 主題標(biāo)識包含一級、二級、三級主題域；存儲標(biāo)識為保存當(dāng)前（Snap）或歷史His，帶H結(jié)尾即為歷史表 集成數(shù)據(jù)存儲層（IDS）INTEGRATED DATA STOREII_主題標(biāo)識_匯總標(biāo)識 主題域命名“主題域”是數(shù)據(jù)模型類面向業(yè)務(wù)功能應(yīng)用的概念區(qū)分，每個“主題域”由一組面向某類應(yīng)用的核心“實體/表”及一組輔助“實體/表”構(gòu)成。 數(shù)據(jù)層規(guī)范在數(shù)據(jù)倉庫中，統(tǒng)一存儲和管理全行的數(shù)據(jù)，數(shù)據(jù)類型比較多，數(shù)據(jù)庫表也比較多，有從源業(yè)務(wù)系統(tǒng)直接采集按主題整合而成的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)，有經(jīng)過中間加工匯總的匯總數(shù)據(jù)，有管理應(yīng)用專用的操作型數(shù)據(jù)和應(yīng)用分析需要而加工出的多維分析數(shù)據(jù)。4 數(shù)據(jù)倉庫規(guī)范俗話說，沒有規(guī)矩不成方圓，那么一個好的數(shù)據(jù)倉庫的建設(shè)在很多方面要遵循一定的規(guī)范。系統(tǒng)間一致性指不同系統(tǒng)之間的數(shù)據(jù)差異和相互矛盾的一致性 數(shù)據(jù)倉庫通常是多個源系統(tǒng)數(shù)據(jù)的整合，需要在ODS層向FDS層轉(zhuǎn)化是進(jìn)行處理。及時性指數(shù)據(jù)抽取、傳送、處理、裝載、展現(xiàn)的及時和快速性 這部分內(nèi)容通常需要由調(diào)度平臺來完成。通常數(shù)據(jù)質(zhì)量控制可以按下列方式進(jìn)行：質(zhì)量標(biāo)準(zhǔn)度量標(biāo)準(zhǔn)定義控制規(guī)劃完整性主要是記錄缺失和字段值缺失等方面 主要對ODS層的基本數(shù)據(jù)進(jìn)行分析，收集基本的統(tǒng)計數(shù)據(jù)。數(shù)據(jù)質(zhì)量的管理是一項長期的工作，并不是可以一次做完，有些可以通過程序檢查、有些需手工進(jìn)行。因此數(shù)據(jù)質(zhì)量問題是整個數(shù)據(jù)倉庫建設(shè)必須重視的問題之一。◆知識共享與標(biāo)準(zhǔn)化降低學(xué)習(xí)與溝通成本；減少缺乏共享與標(biāo)準(zhǔn)帶來的數(shù)據(jù)問題；減少員工流動帶來的影響；◆影響分析減少元數(shù)據(jù)變更出錯率；提高開發(fā)效率；◆血統(tǒng)分析支持?jǐn)?shù)據(jù)分析與審計；減少數(shù)據(jù)冗余處理；◆數(shù)據(jù)質(zhì)理改進(jìn)跟蹤數(shù)據(jù)加工環(huán)節(jié)，提供數(shù)據(jù)質(zhì)量預(yù)警；為數(shù)據(jù)質(zhì)量管理提供標(biāo)準(zhǔn)和依據(jù)；◆版本管理保證版本的實時性和一致性；◆改善業(yè)務(wù)人員數(shù)據(jù)訪問界面標(biāo)準(zhǔn)業(yè)務(wù)術(shù)語支持； 業(yè)務(wù)數(shù)據(jù)快速檢索； 數(shù)據(jù)質(zhì)量管理數(shù)據(jù)倉庫是數(shù)據(jù)的載體，數(shù)據(jù)是數(shù)據(jù)倉庫存儲的對象。 元數(shù)據(jù)管理的作用在數(shù)據(jù)倉庫中，元數(shù)據(jù)管理具有多方面的作用。業(yè)務(wù)元數(shù)據(jù)具體包括以下信息：企業(yè)概念模型、指標(biāo)定義、代碼標(biāo)準(zhǔn)化、用戶訪問報表的規(guī)則、權(quán)限等。技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，常見的有庫表結(jié)構(gòu)、數(shù)據(jù)映射、匯總算法等。是數(shù)據(jù)倉庫運行和維護(hù)的中心，數(shù)據(jù)倉庫服務(wù)器利用他來存貯和更新數(shù)據(jù)，用戶通過他來了解和訪問數(shù)據(jù)?！?數(shù)據(jù)模型和數(shù)據(jù)倉庫的關(guān)系。■ 抽取數(shù)據(jù)的歷史記錄。■ 從各種操作型系統(tǒng)到數(shù)據(jù)倉庫的映射?！?數(shù)據(jù)倉庫表的屬性。元數(shù)據(jù)在數(shù)據(jù)倉庫的上層，并且記錄數(shù)據(jù)倉庫中對象的位置。在數(shù)據(jù)倉庫中，元數(shù)據(jù)扮演一個新的重要角色，通過元數(shù)據(jù)，可以最有效地利用數(shù)據(jù)倉庫。 元數(shù)據(jù)管理 基本定義元數(shù)據(jù)是數(shù)據(jù)倉庫環(huán)境中一個重要方面。包括查看任務(wù)節(jié)點中包含哪些子任務(wù)、每個子任務(wù)的運行狀態(tài)、運行的開始時間、結(jié)束時間、正在運行的任務(wù)個數(shù)、等待運行的任務(wù)個數(shù)、成功運行的任務(wù)個數(shù)、失敗運行的任務(wù)個數(shù)、任務(wù)運行的時長等。任務(wù)作業(yè)的編排和配置是在調(diào)度平臺上線正式運行之前進(jìn)行配置的內(nèi)容，通常將整個數(shù)據(jù)倉庫的所有的跑批任務(wù)進(jìn)行統(tǒng)一的編號，設(shè)置前、后置的任務(wù)依賴關(guān)系，然后將具體的任務(wù)關(guān)系配置到調(diào)度平臺中，之后調(diào)度管理平臺就可以按照我們希望的先后順序及并行和串行的