【正文】 星型模型的構(gòu)架非常簡單，只有兩個基本的表類型：維和事實，維表的主關(guān)鍵字是事實表。只要在深入理解全局模型的前提下，構(gòu)建所需的數(shù)據(jù)集市將是快速、有效的。4. 集市的建設(shè)是由需求驅(qū)動的，在系統(tǒng)建設(shè)初期，集成商為紹興電信提供當(dāng)前所需的數(shù)據(jù)集市模型和相應(yīng)的 ETL 過程。3. 需要根據(jù)分析需求建立一些專題，這些專題可能需要幾個主題信息進(jìn)行集成。還需要提醒的是，在這個步驟中，必須根據(jù)展示工具的特點(diǎn)對配置表進(jìn)行處理。在數(shù)據(jù)集市中保存的數(shù)據(jù)一般有以下特征：數(shù)據(jù)一般不能直接從數(shù)據(jù)倉庫中產(chǎn)生，需要進(jìn)行轉(zhuǎn)換處理，如消費(fèi)層次等信息；數(shù)據(jù)集市中的數(shù)據(jù)較新，部分集市根據(jù)分析需求，甚至可以只保存最近幾個月的數(shù)據(jù)；可以集成數(shù)據(jù)倉庫中的多個主題信息而生成新的專題。237。220。180。202。194。196。198。178。206。187。191。211。202。206。206。213。203。189。206。192。185。194。205。187。191。207。28 / 80211。4. 服務(wù)使用主題中描述客戶購買和使用中國電信服務(wù)產(chǎn)品的信息，主要包含了用戶、服務(wù)使用記錄、清單等。2. 帳務(wù)主題中包含了與客戶相關(guān)的費(fèi)用信息，如明細(xì)賬單、綜合帳單、帳本、帳戶、付費(fèi)記錄、銷帳流水等信息。數(shù)據(jù)倉庫按照電信信息組成進(jìn)行前瞻性的結(jié)構(gòu)設(shè)計，主要包容了‘九七’ 、計費(fèi)等數(shù)據(jù)。物理模型是在邏輯模型的基礎(chǔ)之上實現(xiàn)的，在進(jìn)行物理模型設(shè)計實現(xiàn)時，所考慮的因素主要有：I/O 存取時間、空間利用率和維護(hù)代價；在進(jìn)行數(shù)據(jù)庫的物理模型設(shè)計時，考慮到綜合營銷系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)量大但操作單一的特點(diǎn)，可采取其他的一些提高數(shù)據(jù)庫性能的技術(shù)，如：合并表、建立數(shù)據(jù)序列、引入冗余、進(jìn)一步細(xì)分?jǐn)?shù)據(jù)、生成導(dǎo)出數(shù)據(jù)、建立廣義索引等。物理數(shù)據(jù)模型加入數(shù)據(jù)庫的內(nèi)容包括： 數(shù)據(jù)庫、表、視圖、宏、列（名稱、格27 / 80式、屬性） 、約束（取值、參照關(guān)系等） 、關(guān)系（數(shù)據(jù)庫與表、視圖、宏，表與列，表與試圖等） 。邏輯數(shù)據(jù)模型設(shè)計要進(jìn)行以下工作：1. 分析主題域，確定當(dāng)前要裝載的主題2. 確定粒度層次劃分3. 確定數(shù)據(jù)分割策略4. 關(guān)系模式定義5. 記錄系統(tǒng)定義物理數(shù)據(jù)模型（PDM）物理數(shù)據(jù)由邏輯數(shù)據(jù)模型按照基本的建模步驟轉(zhuǎn)換而來。在項目實施過程中模型會被定制、修改、加入新的實體，任何對 PSLDM 的更改都將影響到邏輯數(shù)據(jù)模型設(shè)計人員、數(shù)據(jù)庫管理員、應(yīng)用開發(fā)人員、操作人員、業(yè)務(wù)用戶。概念數(shù)據(jù)模型的設(shè)計是在較高的抽象層次上的設(shè)計，因此在建立概念模型時不必考慮具體技術(shù)條件的限制。26 / 80由于 ER 圖具有良好的可操作性，形式簡單，易于理解，便于與用戶交流，對客觀世界的描述能力也較強(qiáng)，在數(shù)據(jù)庫設(shè)計方面更得到了廣泛的應(yīng)用。具體到計算機(jī)系統(tǒng)來說，概念模型是客觀世界到機(jī)器世界的一個中間層次。分析模型可以通過數(shù)據(jù)集市對主題域進(jìn)行多次重構(gòu)，系統(tǒng)能保證重構(gòu)后的分析模型數(shù)據(jù)要求，這樣也保證了對未來相關(guān)系統(tǒng)的數(shù)據(jù)支撐。數(shù)據(jù)倉庫數(shù)據(jù)存儲模型的設(shè)計采用面向企業(yè)整體信息的主題域方式，保證信息的完整性和信息主題的穩(wěn)定性。數(shù)據(jù)從數(shù)據(jù)源經(jīng)過數(shù)據(jù)抽取、轉(zhuǎn)換后加載到數(shù)據(jù)倉庫，根據(jù)不同主題的數(shù)據(jù)集市的要求，數(shù)據(jù)從數(shù)據(jù)倉庫中根據(jù)轉(zhuǎn)換規(guī)則將數(shù)據(jù)加載到指定數(shù)據(jù)集市。25 / 804 數(shù)據(jù)存儲層 數(shù)據(jù)倉庫信息模型設(shè)計原則綜合營銷系統(tǒng)信息模型的設(shè)計應(yīng)該遵循中央數(shù)據(jù)倉庫的穩(wěn)定性和數(shù)據(jù)集市的靈活性；數(shù)據(jù)倉庫面向信息主題、數(shù)據(jù)集市面向分析業(yè)務(wù)；數(shù)據(jù)集市的數(shù)據(jù)來自數(shù)據(jù)倉庫的原則。在設(shè)計、管理中盡可能做周全考慮的前提下，還要考慮 ETL 過程中出現(xiàn)錯誤后該如何處理的機(jī)制。3. ETL 過程中出現(xiàn)的錯誤需要在合適的時間內(nèi)正確處理。我們采用以下方法來保證 ETL 的正確操作。2. 數(shù)據(jù)倉庫對數(shù)據(jù)的正確性要求是很高的，ETL 要保證數(shù)據(jù)的正確性保證數(shù)據(jù)倉庫的正確性，首先需要從全局?jǐn)?shù)據(jù)模型入手，只有正確的模型才會有正確的數(shù)據(jù)存儲。 ETL 具體實現(xiàn) ETL 過程需要重視的幾個方面通過長期實踐，宏智科技總結(jié)了以下幾個是 ETL 過程中需要重視的方面：1. ETL 時間是有限的， ETL 的效率是系統(tǒng)的關(guān)鍵由于各本地網(wǎng)業(yè)務(wù)支撐系統(tǒng)在白天都在執(zhí)行關(guān)鍵的聯(lián)機(jī)應(yīng)用，所以 ETL 過程通常要在晚上執(zhí)行，另外由于話單、賬單等數(shù)據(jù)量極大，所以 ETL 的效率是最為重要的。ETL 出錯處理及故障恢復(fù)在 ETL 過程中由于數(shù)據(jù)接口、網(wǎng)絡(luò)、主機(jī)或數(shù)據(jù)質(zhì)量等問題，造成 ETL 過程出現(xiàn)錯誤，每次數(shù)據(jù)的處理和裝載需要將非法的數(shù)據(jù)或處理失敗的數(shù)據(jù)輸送到專門的出錯數(shù)據(jù)處理區(qū)中，一些錯誤可以通過自動處理進(jìn)行恢復(fù)，一些錯誤需要人工進(jìn)行處理。本系統(tǒng)提供系統(tǒng)管理員的控制和管理界面。ETL 的過程管理包括 ETL 的調(diào)度、ETL 程序管理、 ETL 出錯處理以及故障恢復(fù) 。審核策略：? 通過日志校驗；? 通過業(yè)務(wù)規(guī)則校驗，例如：記錄數(shù)，本月收入合計，某區(qū)客戶數(shù)量等進(jìn)行源與目標(biāo)數(shù)據(jù)的校驗；? 通過操作系統(tǒng)級校驗，例如：文件大小、奇偶校驗（常用于接口文件傳輸） 。在一些關(guān)鍵處理過程結(jié)束以后，進(jìn)行自動的數(shù)據(jù)審核，這樣能夠及早發(fā)現(xiàn)問題，節(jié)省數(shù)據(jù)抽取、轉(zhuǎn)換、加載的時間。數(shù)據(jù)審核程序與 ETL 模塊統(tǒng)一處理，審核程序配合 ETL 程序自動執(zhí)行。審核方法如下：在每個環(huán)節(jié)處理完成后進(jìn)行抽樣審核（從數(shù)據(jù)源開始，到抽取出來的文本文件，到轉(zhuǎn)換后的文本文件，到裝載到數(shù)據(jù)倉庫的數(shù)據(jù)，到數(shù)據(jù)集市中的 Cube 數(shù)據(jù)） ，一方面對總量進(jìn)行審核，另一方面對數(shù)據(jù)正確性進(jìn)行驗證，分別對每一個維上的數(shù)據(jù)進(jìn)行審核。? 數(shù)據(jù)追加策略：根據(jù)業(yè)務(wù)規(guī)則和數(shù)據(jù)抽取策略，采用直接追加、全部覆蓋、更新追加。加載技術(shù)：數(shù)據(jù)加載采用數(shù)據(jù)加載工具加 API 編程進(jìn)行數(shù)據(jù)加載。作用區(qū)域：數(shù)據(jù)加載到數(shù)據(jù)倉庫和數(shù)據(jù)加載到數(shù)據(jù)集市的兩個區(qū)域。全部覆蓋：對于抽取數(shù)據(jù)本身已包括了數(shù)據(jù)的當(dāng)前和所有歷史狀況，采用全部覆蓋方式。數(shù)據(jù)的追加策略根據(jù)數(shù)據(jù)的抽取策略以及業(yè)務(wù)規(guī)則確定，一般有以下三種類型：直接追加、全部覆蓋、更新追加。數(shù)據(jù)加載采用數(shù)據(jù)加載工具（例如：Warehouse Manager、FastLoad/MultiLoad 等） ，也可以采用 API 編程進(jìn)行數(shù)據(jù)加載。轉(zhuǎn)換策略：? 使用異步數(shù)據(jù)加載，以文件的方式處理；? 在數(shù)據(jù)加載過程中進(jìn)行數(shù)據(jù)轉(zhuǎn)換。在 ETL 過程中，數(shù)據(jù)集成模塊需要提供對固定參照數(shù)據(jù)的散列查找機(jī)制以提供數(shù)據(jù)清洗的高效實現(xiàn)。轉(zhuǎn)換技術(shù)：? 多線程、多進(jìn)程技術(shù)由于數(shù)據(jù)清洗轉(zhuǎn)換操作的數(shù)據(jù)量非常大，要求數(shù)據(jù)清洗轉(zhuǎn)換程序以及所處的操作系統(tǒng)、主機(jī)要支持多線程、多進(jìn)程的體系結(jié)構(gòu)，以獲得最大的數(shù)據(jù)處理能力。因為業(yè)務(wù)系統(tǒng)數(shù)據(jù)與全局?jǐn)?shù)據(jù)的信息因各系統(tǒng)的不同會有較大的差異。? 匯總：把業(yè)務(wù)環(huán)境中找到的細(xì)節(jié)數(shù)據(jù)壓縮成全局?jǐn)?shù)據(jù)環(huán)境中的較少數(shù)據(jù)塊，有時進(jìn)行聚集中的細(xì)節(jié)數(shù)據(jù)是為了避免數(shù)據(jù)倉庫存入業(yè)務(wù)環(huán)境中的那樣具體的數(shù)據(jù)，有時則是為了建立包括數(shù)據(jù)倉庫的聚集副本。? 清洗：目的是為了保證前后一致地格式化和使用某一字段或相關(guān)的字段群。執(zhí)行功能：集成、轉(zhuǎn)換、清洗、拆分、匯總等處理? 集成：是將業(yè)務(wù)數(shù)據(jù)從一個或幾個來源中取出，并逐字段地將數(shù)據(jù)影射到全局?jǐn)?shù)據(jù)的新數(shù)據(jù)結(jié)構(gòu)上。執(zhí)行時機(jī)：執(zhí)行周期根據(jù)不同接口數(shù)據(jù)而有所不同。根據(jù)實際情況，數(shù)據(jù)轉(zhuǎn)換可以在以下幾個環(huán)節(jié)中具體實現(xiàn)：? 使用異步數(shù)據(jù)加載，以文件的方式處理；? 在數(shù)據(jù)加載過程中進(jìn)行數(shù)據(jù)處理；? 進(jìn)入數(shù)據(jù)庫以后再進(jìn)行數(shù)據(jù)處理。在數(shù)據(jù)抽取成功后，本抽取周期將不再執(zhí)行數(shù)據(jù)抽取操作。具體的數(shù)據(jù)抽取周期要依據(jù)實際情況和要求協(xié)商而定。具體策略如下：（1）小數(shù)據(jù)量的一些管理數(shù)據(jù)、配置表數(shù)據(jù)等，可以采用完全抽取方式進(jìn)行抽?。唬?）大數(shù)據(jù)量的如帳單、話單數(shù)據(jù)，按抽取周期采用時間戳來做增量抽?。唬?）如果實在沒有時間戳，要進(jìn)行完全抽取。各業(yè)務(wù)系統(tǒng)以文本數(shù)據(jù)文件的方式傳送數(shù)據(jù)。這種方式要求業(yè)務(wù)系統(tǒng)對所提供的元數(shù)據(jù)進(jìn)行版本和發(fā)布管理。綜合營銷系統(tǒng)通過理解專業(yè)系統(tǒng)元數(shù)據(jù)，直接連接業(yè)務(wù)系統(tǒng)定期從數(shù)據(jù)庫中取數(shù)據(jù)，然后在系統(tǒng)內(nèi)在對專業(yè)系統(tǒng)源數(shù)據(jù)進(jìn)行處理，例如進(jìn)行格式、編碼轉(zhuǎn)換等。綜合營銷系統(tǒng)定期對源數(shù)據(jù)存放區(qū)（接口區(qū)）中的數(shù)據(jù)進(jìn)行處理。接口策略在獲取各業(yè)務(wù)生產(chǎn)系統(tǒng)源數(shù)據(jù)時，根據(jù)各業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)的方式可以分為主動數(shù)據(jù)獲取和被動數(shù)據(jù)獲取兩種方式。18 / 80 數(shù)據(jù)抽取為了滿足綜合營銷系統(tǒng)的分析、挖掘的需要，同時保證不能影響業(yè)務(wù)系統(tǒng)的性能，因此制定合適的抽取策略、抽取方式、抽取時機(jī)和抽取周期非常關(guān)鍵。信息特征：信息量級：10E8（單位：記錄數(shù)）周期增量：10E7（單位：記錄數(shù)）接口方式：各本地網(wǎng)計費(fèi)帳務(wù)系統(tǒng)每個周期都將周期內(nèi)完整信息傳遞至接口。信息特征（針對每個配置表）：信息量級：10E1~10E3 （單位：記錄數(shù)）周期增量：10E0~10E2 （單位：記錄數(shù)）周期更新幅度：10E0~10E2（單位：記錄數(shù)）接口方式：計費(fèi)帳務(wù)系統(tǒng)每個周期都將完整信息傳遞至接口。信息特征：信息量級：10E9（單位：記錄數(shù)）周期增量：10E8（單位：記錄數(shù)）接口方式：計費(fèi)帳務(wù)系統(tǒng)每個周期都將周期內(nèi)完整信息傳遞至接口。信息特征：信息量級：10E8（單位：記錄數(shù)）周期增量：10E7（單位：記錄數(shù)）接口方式：計費(fèi)帳務(wù)系統(tǒng)每個周期都將周期內(nèi)完整信息傳遞至接口。信息特征：信息量級：10E5（單位：記錄數(shù)）17 / 80周期增量：10E5（單位：記錄數(shù)）接口方式：計費(fèi)帳務(wù)系統(tǒng)按周期將周期內(nèi)數(shù)據(jù)全部傳遞至接口。信息特征：信息量級：10E6（單位：記錄數(shù)）周期增量：10E5（約為客戶資料量級的 8~10 倍） （單位：記錄數(shù)）接口方式：計費(fèi)帳務(wù)系統(tǒng)按周期將周期內(nèi)數(shù)據(jù)全部傳遞至接口。信息特征：信息量級：10E6（單位：記錄數(shù)）周期增量：10E5（約為客戶資料量級的 8~10 倍） （單位：記錄數(shù)）接口方式：計費(fèi)帳務(wù)系統(tǒng)按周期把周期內(nèi)數(shù)據(jù)全部傳遞至接口。信息特征：信息量級：10E7（單位：記錄數(shù)）周期增量：10E7（約為客戶資料量級的 8~10 倍）(記錄 )建議接口方式：計費(fèi)帳務(wù)系統(tǒng)按周期將周期內(nèi)數(shù)據(jù)全部傳遞至接口。周期可根據(jù)實際情況由兩個系統(tǒng)協(xié)商確定。周期可根據(jù)實際情況由兩個系統(tǒng)協(xié)商確定。16 / 80周期：1 次/天綜合營銷系統(tǒng)從本地網(wǎng)計費(fèi)帳務(wù)系統(tǒng)提取客戶帳戶資料信息，即客戶使用各項產(chǎn)品（服務(wù)所）所發(fā)生費(fèi)用的付款單位的資料信息。信息特征：信息量級：10E6（單位：記錄數(shù)）周期增量：一般小于 10E4（單位：記錄數(shù)）周期更新幅度：一般小于 10E4（單位：記錄數(shù)）接口方式：九七系統(tǒng)在每個周期把本周期新增、變化或刪除的客戶產(chǎn)品（服務(wù)）信息傳遞至接口。周期可根據(jù)實際情況由兩個系統(tǒng)協(xié)商確定。 系統(tǒng)接口分析綜合營銷系統(tǒng)從九七系統(tǒng)中提取客戶基本資料信息，如客戶名稱、住址、聯(lián)系方式、證件號碼、客戶類型、客戶細(xì)分等。設(shè)立數(shù)據(jù)接口區(qū)的目的在于對接口數(shù)據(jù)統(tǒng)一存儲。對于以上需通過人工錄入的數(shù)據(jù)，系統(tǒng)提供相應(yīng)的工具或接口，并能支持通過Excel、 HTML、XML、RTF、TXT 等格式文檔加載的形式進(jìn)行數(shù)據(jù)的批量錄入功能。網(wǎng)間結(jié)算數(shù)據(jù)：獲取網(wǎng)間話單，市場競爭數(shù)據(jù)。數(shù)據(jù)獲取是系統(tǒng)的數(shù)據(jù)接口和 ETL 功能；報表、話務(wù)量營銷、OLAP 分析、領(lǐng)導(dǎo)駕駛艙體現(xiàn)系統(tǒng)的業(yè)務(wù)功能；系統(tǒng)管理是系統(tǒng)的安全管理和系統(tǒng)維護(hù)功能。因此，每個新的實施階段都能和前些階段通過統(tǒng)一的元數(shù)據(jù)實現(xiàn)良好的對接和數(shù)據(jù)共享，保證各建設(shè)階段成果的連續(xù)性和有效性。元數(shù)據(jù)管理在綜合營銷系統(tǒng)開發(fā)建設(shè)中有很重要的作用。同時門戶站點(diǎn)還可根據(jù)不同分析和決策人員的需求，對所需的訪問和分析內(nèi)容進(jìn)行方便、簡捷的定制，以滿足個性化信息服務(wù)的需求。主要包括綜合查詢、聯(lián)機(jī)分析處理（OLAP） 、報表輸出、話務(wù)量營銷和領(lǐng)導(dǎo)駕駛艙功能。為一些訪問中央數(shù)據(jù)倉庫十分頻繁的關(guān)鍵業(yè)務(wù)部門建立從屬數(shù)據(jù)集市，可以提高查詢的反應(yīng)速度。數(shù)據(jù)集市的建設(shè)主要面向部門和重要的領(lǐng)導(dǎo)，根據(jù)其關(guān)心的主題、數(shù)據(jù)層次、數(shù)據(jù)粒度不同，構(gòu)建相應(yīng)的數(shù)據(jù)集市。由于經(jīng)營信息需求的不斷變化，數(shù)據(jù)倉庫必須采用主題分域的方式和盡可能小的業(yè)務(wù)單元來進(jìn)行數(shù)據(jù)的組織和存儲，這樣才能滿足數(shù)據(jù)使用的靈活性和信息的完整性，即適應(yīng)需求的變化，又可保證最少量的數(shù)據(jù)冗余避免信息的不一致，節(jié)約系統(tǒng)投資，并以“元數(shù)據(jù)驅(qū)動、螺旋上升”的方法來指導(dǎo)系統(tǒng)建設(shè)。所以在數(shù)據(jù)倉庫的基礎(chǔ)之上根據(jù)分析需求創(chuàng)建相應(yīng)的從屬數(shù)據(jù)集市。中央數(shù)據(jù)倉庫是信息的邏輯和物理的存儲。為提高 ETL 工作效率，宏智科技開發(fā)的 ETL 工具內(nèi)嵌的專用腳本語言、存儲過程完成綜合營銷系統(tǒng)復(fù)雜的 ETL 過程。處理過程支持校驗點(diǎn)功能，當(dāng)因某種原因使處理過程中斷時，可以從最近校驗點(diǎn)開始恢復(fù)處理過程。為保證數(shù)據(jù)的正確性，在 ETL 的每一環(huán)節(jié)都必須對數(shù)據(jù)進(jìn)行審計。系統(tǒng)體系結(jié)構(gòu)分為三層，即數(shù)據(jù)獲取層、數(shù)據(jù)存儲層和數(shù)據(jù)展現(xiàn)層，如下圖所示： 話 務(wù) 量分 析 駕 駛 艙 OLAP增 值計 費(fèi) 九 七系 統(tǒng)數(shù) 據(jù) 中 心（ DW+M）營 維 管 理話 務(wù) 量 營 銷 支 撐 系 統(tǒng) 其 他系 統(tǒng)OLTP數(shù) 據(jù) 庫 獲取層存儲層展現(xiàn)層下面分別對于軟件體系結(jié)構(gòu)中的數(shù)據(jù)獲取層、數(shù)據(jù)存儲層和數(shù)據(jù)展現(xiàn)層進(jìn)行說明。綜合營銷系統(tǒng)從各業(yè)務(wù)系統(tǒng)