【正文】 制在數(shù)據(jù)清洗的過程中，關(guān)鍵的耗時的工作是將輸入的數(shù)據(jù)與系統(tǒng)中的固定數(shù)據(jù)進(jìn)行對照，每一條記錄都需對數(shù)據(jù)庫進(jìn)行查詢耗費(fèi)了大量的時間。在 ETL 過程中，數(shù)據(jù)集成模塊需要提供對固定參照數(shù)據(jù)的散列查找機(jī)制以提供數(shù)據(jù)清洗的高效實(shí)現(xiàn)。? 專用數(shù)據(jù)庫驅(qū)動接口或 API 接口編程? 利用操作系統(tǒng)提供特點(diǎn)進(jìn)行開發(fā)，例如數(shù)據(jù)上載內(nèi)存等方式? 采用專用工具進(jìn)行數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)審核：根據(jù)數(shù)據(jù)轉(zhuǎn)換審核方案，將轉(zhuǎn)換以后數(shù)據(jù)進(jìn)行匯總分類統(tǒng)計，與數(shù)據(jù)接口區(qū)提供的審核資料進(jìn)行比較。轉(zhuǎn)換策略：? 使用異步數(shù)據(jù)加載，以文件的方式處理；? 在數(shù)據(jù)加載過程中進(jìn)行數(shù)據(jù)轉(zhuǎn)換。21 / 80 數(shù)據(jù)加載數(shù)據(jù)加載就是將轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉庫中。數(shù)據(jù)加載采用數(shù)據(jù)加載工具（例如：Warehouse Manager、FastLoad/MultiLoad 等） ，也可以采用 API 編程進(jìn)行數(shù)據(jù)加載。數(shù)據(jù)加載策略包括加載周期和數(shù)據(jù)追加策略。數(shù)據(jù)的追加策略根據(jù)數(shù)據(jù)的抽取策略以及業(yè)務(wù)規(guī)則確定，一般有以下三種類型：直接追加、全部覆蓋、更新追加。直接追加：是指每次加載時直接將數(shù)據(jù)追加到目的表中。全部覆蓋：對于抽取數(shù)據(jù)本身已包括了數(shù)據(jù)的當(dāng)前和所有歷史狀況，采用全部覆蓋方式。更新追加：對于需要連續(xù)記錄業(yè)務(wù)的狀態(tài)變化，用當(dāng)前的最新狀態(tài)同歷史狀態(tài)數(shù)據(jù)進(jìn)行比對的情況采用更新追加的方式。作用區(qū)域：數(shù)據(jù)加載到數(shù)據(jù)倉庫和數(shù)據(jù)加載到數(shù)據(jù)集市的兩個區(qū)域。執(zhí)行時機(jī)：數(shù)據(jù)轉(zhuǎn)換成功以后即可以開展，并且要保證加載后業(yè)務(wù)數(shù)據(jù)的一致性和完整性。加載技術(shù)：數(shù)據(jù)加載采用數(shù)據(jù)加載工具加 API 編程進(jìn)行數(shù)據(jù)加載。加載策略：? 加載周期：在保證加載后業(yè)務(wù)數(shù)據(jù)的一致性和完整性的基礎(chǔ)上，針對不同業(yè)務(wù)數(shù)據(jù)設(shè)置不同加載周期。? 數(shù)據(jù)追加策略：根據(jù)業(yè)務(wù)規(guī)則和數(shù)據(jù)抽取策略，采用直接追加、全部覆蓋、更新追加。 數(shù)據(jù)審核數(shù)據(jù)審核是指在每個數(shù)據(jù)加載周期中，保證數(shù)據(jù)倉庫中數(shù)據(jù)同數(shù)據(jù)源中數(shù)22 / 80據(jù)業(yè)務(wù)意義上的一致性及數(shù)據(jù)的準(zhǔn)確性。審核方法如下：在每個環(huán)節(jié)處理完成后進(jìn)行抽樣審核（從數(shù)據(jù)源開始，到抽取出來的文本文件，到轉(zhuǎn)換后的文本文件，到裝載到數(shù)據(jù)倉庫的數(shù)據(jù)，到數(shù)據(jù)集市中的 Cube 數(shù)據(jù)） ，一方面對總量進(jìn)行審核，另一方面對數(shù)據(jù)正確性進(jìn)行驗(yàn)證，分別對每一個維上的數(shù)據(jù)進(jìn)行審核。對審核結(jié)果進(jìn)行記錄并報告，發(fā)現(xiàn)審核錯誤的數(shù)據(jù)發(fā) Email 或 SMS 通知系統(tǒng)管理員。數(shù)據(jù)審核程序與 ETL 模塊統(tǒng)一處理，審核程序配合 ETL 程序自動執(zhí)行。作用區(qū)域：在數(shù)據(jù)抽取、轉(zhuǎn)換、加載各個部分結(jié)束都需要進(jìn)行數(shù)據(jù)審核。在一些關(guān)鍵處理過程結(jié)束以后，進(jìn)行自動的數(shù)據(jù)審核，這樣能夠及早發(fā)現(xiàn)問題，節(jié)省數(shù)據(jù)抽取、轉(zhuǎn)換、加載的時間。執(zhí)行周期：由數(shù)據(jù)抽取、轉(zhuǎn)換、加載過程結(jié)束以后觸發(fā)，在一些關(guān)鍵處理過程結(jié)束后觸發(fā)。審核策略：? 通過日志校驗(yàn)；? 通過業(yè)務(wù)規(guī)則校驗(yàn)，例如：記錄數(shù)，本月收入合計，某區(qū)客戶數(shù)量等進(jìn)行源與目標(biāo)數(shù)據(jù)的校驗(yàn)；? 通過操作系統(tǒng)級校驗(yàn)，例如：文件大小、奇偶校驗(yàn)（常用于接口文件傳輸） 。 ETL 過程管理ETL 是一個復(fù)雜的過程，需要進(jìn)行過程管理。ETL 的過程管理包括 ETL 的調(diào)度、ETL 程序管理、 ETL 出錯處理以及故障恢復(fù) 。ETL 的調(diào)度ETL 是一批定時運(yùn)行的后臺過程，需要通過一個合理的規(guī)劃進(jìn)行自動運(yùn)行，只有在 ETL 過程出現(xiàn)異常時，進(jìn)行人工干預(yù)或自動處理。本系統(tǒng)提供系統(tǒng)管理員的控制和管理界面。ETL 程序管理23 / 80ETL 過程包括許多程序，這些程序在運(yùn)行期間對數(shù)據(jù)進(jìn)行處理，將這些ETL 程序管理起來，可以保證 ETL 過程的正確及穩(wěn)定。ETL 出錯處理及故障恢復(fù)在 ETL 過程中由于數(shù)據(jù)接口、網(wǎng)絡(luò)、主機(jī)或數(shù)據(jù)質(zhì)量等問題，造成 ETL 過程出現(xiàn)錯誤，每次數(shù)據(jù)的處理和裝載需要將非法的數(shù)據(jù)或處理失敗的數(shù)據(jù)輸送到專門的出錯數(shù)據(jù)處理區(qū)中，一些錯誤可以通過自動處理進(jìn)行恢復(fù)，一些錯誤需要人工進(jìn)行處理。還可以自動將錯誤信息通過短信、mail 等方式通知系統(tǒng)管理員或相關(guān)人員。 ETL 具體實(shí)現(xiàn) ETL 過程需要重視的幾個方面通過長期實(shí)踐，宏智科技總結(jié)了以下幾個是 ETL 過程中需要重視的方面：1. ETL 時間是有限的， ETL 的效率是系統(tǒng)的關(guān)鍵由于各本地網(wǎng)業(yè)務(wù)支撐系統(tǒng)在白天都在執(zhí)行關(guān)鍵的聯(lián)機(jī)應(yīng)用，所以 ETL 過程通常要在晚上執(zhí)行，另外由于話單、賬單等數(shù)據(jù)量極大，所以 ETL 的效率是最為重要的。除了在硬件上提供保證，要充分考慮開發(fā)的軟件代碼效率，更為重要的是要進(jìn)行 ETL 的規(guī)劃、設(shè)計和管理，盡可能考慮 ETL 各過程的并行操作，以充分利用系統(tǒng)資源。2. 數(shù)據(jù)倉庫對數(shù)據(jù)的正確性要求是很高的，ETL 要保證數(shù)據(jù)的正確性保證數(shù)據(jù)倉庫的正確性，首先需要從全局?jǐn)?shù)據(jù)模型入手，只有正確的模型才會有正確的數(shù)據(jù)存儲。ETL 是從數(shù)據(jù)源根據(jù)指定規(guī)則將數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)倉庫中的數(shù)據(jù)遷移過程，在此過程中，每一個步驟都是決定數(shù)據(jù)質(zhì)量的關(guān)鍵，所以，要建立完善的過程來保證 ETL 的正確實(shí)施。我們采用以下方法來保證 ETL 的正確操作。? 嚴(yán)格的設(shè)計評審制度? 建立數(shù)據(jù)審核制度? 數(shù)據(jù)預(yù)警通過與歷史數(shù)據(jù)比較，檢測 ETL 的輸出數(shù)據(jù)是否存在較大差異，判斷是否數(shù)據(jù)出現(xiàn)錯誤，由于數(shù)據(jù)預(yù)警操作消耗資源較大，而且檢測對象一般是業(yè)務(wù)系統(tǒng)提供的接口數(shù)據(jù)，所以，宏智科技建議數(shù)據(jù)預(yù)警操作放置在審核接口數(shù)據(jù)部分。3. ETL 過程中出現(xiàn)的錯誤需要在合適的時間內(nèi)正確處理。ETL 過程是非常復(fù)雜的過程，其中涉及到業(yè)務(wù)系統(tǒng)、業(yè)務(wù)規(guī)則、系統(tǒng)硬件環(huán)境、系統(tǒng)管理等各方面，ETL 過程出現(xiàn)錯誤是必然的。在設(shè)計、管理中盡可能做周全考慮的前提下，還要考慮 ETL 過程中出現(xiàn)錯誤后該如何處理的機(jī)制。24 / 80ETL 出現(xiàn)的錯誤可以分成多種，各種錯誤對數(shù)據(jù)倉庫的數(shù)據(jù)造成的影響是不同的，需要解決的迫切程度也有所不同，根據(jù)宏智公司的經(jīng)驗(yàn)，將 ETL 過程產(chǎn)生的錯誤分成 4 個級別：? 嚴(yán)重錯誤，需要立即解決；? 較嚴(yán)重錯誤，影響系統(tǒng)部分?jǐn)?shù)據(jù)，需要當(dāng)日解決；? 一般錯誤，影響系統(tǒng)較小部分?jǐn)?shù)據(jù)，且其中沒有重要數(shù)據(jù)，需要解決；? 警告，出現(xiàn)異?；蝈e誤，但不影響系統(tǒng)數(shù)據(jù)，需要管理員注意。25 / 804 數(shù)據(jù)存儲層 數(shù)據(jù)倉庫信息模型設(shè)計原則綜合營銷系統(tǒng)信息模型的設(shè)計應(yīng)該遵循中央數(shù)據(jù)倉庫的穩(wěn)定性和數(shù)據(jù)集市的靈活性；數(shù)據(jù)倉庫面向信息主題、數(shù)據(jù)集市面向分析業(yè)務(wù)；數(shù)據(jù)集市的數(shù)據(jù)來自數(shù)據(jù)倉庫的原則。綜合營銷系統(tǒng)的數(shù)據(jù)存儲分成數(shù)據(jù)倉庫和數(shù)據(jù)集市兩個邏輯上獨(dú)立的存儲。數(shù)據(jù)從數(shù)據(jù)源經(jīng)過數(shù)據(jù)抽取、轉(zhuǎn)換后加載到數(shù)據(jù)倉庫，根據(jù)不同主題的數(shù)據(jù)集市的要求，數(shù)據(jù)從數(shù)據(jù)倉庫中根據(jù)轉(zhuǎn)換規(guī)則將數(shù)據(jù)加載到指定數(shù)據(jù)集市。由于綜合營銷系統(tǒng)的業(yè)務(wù)需求容易變化，數(shù)據(jù)倉庫中數(shù)據(jù)的存儲必須采用信息主題分域的方式和盡可能小的業(yè)務(wù)單元（保存細(xì)節(jié)數(shù)據(jù)）來進(jìn)行數(shù)據(jù)的組織和存儲，這樣才能滿足數(shù)據(jù)的靈活性，適應(yīng)需求的變化，又可保證最小數(shù)據(jù)冗余，避免數(shù)據(jù)的不一致。數(shù)據(jù)倉庫數(shù)據(jù)存儲模型的設(shè)計采用面向企業(yè)整體信息的主題域方式，保證信息的完整性和信息主題的穩(wěn)定性。將來新業(yè)務(wù)數(shù)據(jù)和分析需求出現(xiàn)，新（業(yè)務(wù)）數(shù)據(jù)的加入可以按照域歸屬的方式進(jìn)行增加，在無主題域可依的情況下，采用建立新域的方式進(jìn)行數(shù)據(jù)擴(kuò)展。分析模型可以通過數(shù)據(jù)集市對主題域進(jìn)行多次重構(gòu)，系統(tǒng)能保證重構(gòu)后的分析模型數(shù)據(jù)要求，這樣也保證了對未來相關(guān)系統(tǒng)的數(shù)據(jù)支撐。 模型設(shè)計方法概念數(shù)據(jù)模型(CDM)概念模型是主觀與客觀之間的橋梁，它是用于我們?yōu)橐欢ǖ哪繕?biāo)設(shè)計系統(tǒng)、收集信息而服務(wù)的一個概念性的工具。具體到計算機(jī)系統(tǒng)來說，概念模型是客觀世界到機(jī)器世界的一個中間層次。人們首先將現(xiàn)實(shí)世界抽象為信息世界，然后將信息世界轉(zhuǎn)化為機(jī)器世界，信息世界中的這一信息結(jié)構(gòu)，即是我們所說的概念模型。26 / 80由于 ER 圖具有良好的可操作性，形式簡單，易于理解，便于與用戶交流，對客觀世界的描述能力也較強(qiáng)，在數(shù)據(jù)庫設(shè)計方面更得到了廣泛的應(yīng)用。因?yàn)槟壳暗木C合營銷系統(tǒng)數(shù)據(jù)一般都建立在關(guān)系數(shù)據(jù)庫的基礎(chǔ)上，為了和原有數(shù)據(jù)庫的概念模型相一致，采用 ER 圖作為綜合營銷系統(tǒng)的概念模型仍然是較為適合的。概念數(shù)據(jù)模型的設(shè)計是在較高的抽象層次上的設(shè)計，因此在建立概念模型時不必考慮具體技術(shù)條件的限制。進(jìn)行概念數(shù)據(jù)模型設(shè)計要完成以下兩個工作：1. 界定系統(tǒng)邊界2. 確定主要主題域及其內(nèi)容邏輯數(shù)據(jù)模型(FSLDM)邏輯數(shù)據(jù)模型是系統(tǒng)體系結(jié)構(gòu)大廈的一塊基石，它主要包含實(shí)體、屬性、實(shí)體與實(shí)體之間的關(guān)系、實(shí)體與屬性之間的關(guān)系。在項(xiàng)目實(shí)施過程中模型會被定制、修改、加入新的實(shí)體，任何對 PSLDM 的更改都將影響到邏輯數(shù)據(jù)模型設(shè)計人員、數(shù)據(jù)庫管理員、應(yīng)用開發(fā)人員、操作人員、業(yè)務(wù)用戶。因此邏輯數(shù)據(jù)模型包含的實(shí)體、屬性名稱、屬性格式、實(shí)體與實(shí)體之間的關(guān)系、實(shí)體與屬性之間的關(guān)系應(yīng)當(dāng)加入元數(shù)據(jù)庫中。邏輯數(shù)據(jù)模型設(shè)計要進(jìn)行以下工作：1. 分析主題域，確定當(dāng)前要裝載的主題2. 確定粒度層次劃分3. 確定數(shù)據(jù)分割策略4. 關(guān)系模式定義5. 記錄系統(tǒng)定義物理數(shù)據(jù)模型（PDM）物理數(shù)據(jù)由邏輯數(shù)據(jù)模型按照基本的建模步驟轉(zhuǎn)換而來。物理數(shù)據(jù)模型為數(shù)據(jù)庫管理員提供了一個數(shù)據(jù)庫的單一視圖，將其加入元數(shù)據(jù)庫有重要意義。物理數(shù)據(jù)模型加入數(shù)據(jù)庫的內(nèi)容包括： 數(shù)據(jù)庫、表、視圖、宏、列（名稱、格27 / 80式、屬性） 、約束（取值、參照關(guān)系等） 、關(guān)系（數(shù)據(jù)庫與表、視圖、宏，表與列，表與試圖等） 。所謂數(shù)據(jù)庫的物理模型就是邏輯模型在數(shù)據(jù)庫中的實(shí)現(xiàn)，如物理存取方式、數(shù)據(jù)存儲結(jié)構(gòu)、數(shù)據(jù)存放位置以及存儲分配等等。物理模型是在邏輯模型的基礎(chǔ)之上實(shí)現(xiàn)的，在進(jìn)行物理模型設(shè)計實(shí)現(xiàn)時，所考慮的因素主要有：I/O 存取時間、空間利用率和維護(hù)代價；在進(jìn)行數(shù)據(jù)庫的物理模型設(shè)計時，考慮到綜合營銷系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)量大但操作單一的特點(diǎn)，可采取其他的一些提高數(shù)據(jù)庫性能的技術(shù)，如：合并表、建立數(shù)據(jù)序列、引入冗余、進(jìn)一步細(xì)分?jǐn)?shù)據(jù)、生成導(dǎo)出數(shù)據(jù)、建立廣義索引等。在物理數(shù)據(jù)模型設(shè)計中主要工作是：1. 確定數(shù)據(jù)的存儲結(jié)構(gòu)2. 確定索引策略3. 確定數(shù)據(jù)存放位置4. 存儲分配 數(shù)據(jù)倉庫信息模型數(shù)據(jù)倉庫信息主題，包括客戶、帳務(wù)、服務(wù)、結(jié)算、產(chǎn)品等部分。數(shù)據(jù)倉庫按照電信信息組成進(jìn)行前瞻性的結(jié)構(gòu)設(shè)計，主要包容了‘九七’ 、計費(fèi)等數(shù)據(jù)。1. 客戶主題包含了與客戶相關(guān)的基本信息，如客戶的自然屬性（姓名、年齡、職業(yè)等） 、客戶的分類信息（大客、商客、公客、流動客戶） 、客戶的重要屬性信息（信用度、忠誠度、消費(fèi)層次等） 。2. 帳務(wù)主題中包含了與客戶相關(guān)的費(fèi)用信息，如明細(xì)賬單、綜合帳單、帳本、帳戶、付費(fèi)記錄、銷帳流水等信息。3. 產(chǎn)品主題中包含了產(chǎn)品目錄。4. 服務(wù)使用主題中描述客戶購買和使用中國電信服務(wù)產(chǎn)品的信息，主要包含了用戶、服務(wù)使用記錄、清單等。5. 結(jié)算主題中包含了結(jié)算清單、結(jié)算明細(xì)賬單、合作服務(wù)方等信息。28 / 80211。170。207。191。205。187。167。205。248。194。231。185。220。192。237。254。206。241。189。225。203。227。213。202。206。241。254。206。241。202。185。211。195。191。205。187。167。254。206。241。178。198。196。191。194。188。202。212。180。185。220。192。237。 中央數(shù)據(jù)倉庫信息模型示意29 / 80 數(shù)據(jù)集市構(gòu)建方法數(shù)據(jù)集市是直接面向分析需求的，在數(shù)據(jù) ETL 結(jié)束后通過相關(guān)處理生成。在數(shù)據(jù)集市中保存的數(shù)據(jù)一般有以下特征：數(shù)據(jù)一般不能直接從數(shù)據(jù)倉庫中產(chǎn)生，需要進(jìn)行轉(zhuǎn)換處理，如消費(fèi)層次等信息；數(shù)據(jù)集市中的數(shù)據(jù)較新，部分集市根據(jù)分析需求，甚至可以只保存最近幾個月的數(shù)據(jù)；可以集成數(shù)據(jù)倉庫中的多個主題信息而生成新的專題。在實(shí)際應(yīng)用中，我們是按如下方式生成數(shù)據(jù)集市的：1. 完成數(shù)據(jù)倉庫配置表信息到數(shù)據(jù)集市的轉(zhuǎn)換，特別要提出的，有一些集市專用配置信息如消費(fèi)層次配置表、通話時長層次配置表等需要相應(yīng)配置程序產(chǎn)生和維護(hù)而并非來自與數(shù)據(jù)倉庫或業(yè)務(wù)系統(tǒng)。還需要提醒的是，在這個步驟中，必須根據(jù)展示工具的特點(diǎn)對配置表進(jìn)行處理。2. 完成數(shù)據(jù)倉庫主題信息到數(shù)據(jù)集市的轉(zhuǎn)換，其中需要把一些量值型信息轉(zhuǎn)化為層次型信息，如通話次數(shù)轉(zhuǎn)換成通話次數(shù)層次，通話時長轉(zhuǎn)換為通話時長層次等；通過這些轉(zhuǎn)換，我們可以根據(jù)集市中的主題信息和配置信息直接建立更好滿足分析需求的星型模型或雪花模型。3. 需要根據(jù)分析需求建立一些專題，這些專題可能需要幾個主題信息進(jìn)行集成。因此我們在主題信息轉(zhuǎn)換到數(shù)據(jù)集市中后處理本步驟。4. 集市的建設(shè)是由需求驅(qū)動的，在系統(tǒng)建設(shè)初期，集成商為紹興電信提供當(dāng)前所需的數(shù)據(jù)集市模型和相應(yīng)的 ETL 過程。在系統(tǒng)移交以后，根據(jù)業(yè)務(wù)需要，紹興可以自主建設(shè)數(shù)據(jù)集市的其他主題。只要在深入理解全局模型的前提下，構(gòu)建所需的數(shù)據(jù)集市將是快速、有效的。30 / 80 OLAP 分析模型 OLAP 分析模型建模方法在多維分析模型建設(shè)中存在兩種模型：星型模型和雪花模型。星型模型的構(gòu)架非常簡單，只有兩個基本的表類型：維和事實(shí)，維表的主關(guān)鍵字是事