【正文】 說明系統(tǒng)的業(yè)務(wù)架構(gòu)： 以針對(duì)性營銷為核心的分析架構(gòu)目前，電信市場(chǎng)的競(jìng)爭(zhēng)已經(jīng)非常劇烈，移動(dòng)、聯(lián)通等運(yùn)營商通過準(zhǔn)單向收費(fèi)、VPN、大客戶打包優(yōu)惠等方式進(jìn)行競(jìng)爭(zhēng)，不但使中國電信在客戶方面造成流失，而且也導(dǎo)致了話務(wù)量的大量分流。另外，要完成此目標(biāo)，系統(tǒng)還必須具備從各本地網(wǎng)的社區(qū)營銷等系統(tǒng)中提取競(jìng)爭(zhēng)對(duì)手信息的數(shù)據(jù)進(jìn)行分析處理，以便針對(duì)競(jìng)爭(zhēng)對(duì)手的動(dòng)態(tài)開展有針對(duì)性的營銷活動(dòng)；其次，本期綜合營銷系統(tǒng)還應(yīng)該能夠通過各種過網(wǎng)數(shù)據(jù)分析和客戶的消費(fèi)分析，發(fā)現(xiàn)潛在用戶的發(fā)展可能方向，并據(jù)此得出結(jié)論，進(jìn)而指導(dǎo)營銷方案的制訂和推廣，同時(shí)達(dá)到挖掘潛在話務(wù)量的目的。同時(shí)，針對(duì)性營銷的最終目的要落實(shí)到營銷方案的制訂和推行上，尤其是紹興電信總部更是要負(fù)責(zé)制訂出營銷方案或營銷策略的指導(dǎo)意見。宏智科技建議的三層界面架構(gòu)如下：例如對(duì)于紹興電信的高層領(lǐng)導(dǎo)來說，他們沒有太多精力了解計(jì)算機(jī)技術(shù)，在數(shù)據(jù)利用的尺度上也比較宏觀，因此系統(tǒng)就為他們專門設(shè)計(jì)了領(lǐng)導(dǎo)駕駛艙系統(tǒng)，以簡單直觀的圖表方式提供數(shù)據(jù)的展現(xiàn)，使決策人員能一目了然地發(fā)現(xiàn)問題所在，并通過本系統(tǒng)層層深入地發(fā)現(xiàn)問題發(fā)生的原因，從而做出正確的反應(yīng)和決策。同時(shí)，系統(tǒng)應(yīng)能夠提供對(duì)于營銷方案制訂的全流程支持，使分析的結(jié)果能迅速落實(shí)為營銷方案或營銷策略的建議。同時(shí)，由于考核指標(biāo)將是激勵(lì)基層人員的重要手段，因此，應(yīng)提供圍繞考核指標(biāo)提供各種統(tǒng)計(jì)和因素分析支持。系統(tǒng)體系結(jié)構(gòu)分為三層，即數(shù)據(jù)獲取層、數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)展現(xiàn)層，如下圖所示： 話 務(wù) 量分 析 駕 駛 艙 OLAP增 值計(jì) 費(fèi) 九 七系 統(tǒng)數(shù) 據(jù) 中 心（ DW+M）營 維 管 理話 務(wù) 量 營 銷 支 撐 系 統(tǒng) 其 他系 統(tǒng)OLTP數(shù) 據(jù) 庫 獲取層存儲(chǔ)層展現(xiàn)層下面分別對(duì)于軟件體系結(jié)構(gòu)中的數(shù)據(jù)獲取層、數(shù)據(jù)存儲(chǔ)層和數(shù)據(jù)展現(xiàn)層進(jìn)行說明。處理過程支持校驗(yàn)點(diǎn)功能，當(dāng)因某種原因使處理過程中斷時(shí)，可以從最近校驗(yàn)點(diǎn)開始恢復(fù)處理過程。中央數(shù)據(jù)倉庫是信息的邏輯和物理的存儲(chǔ)。由于經(jīng)營信息需求的不斷變化，數(shù)據(jù)倉庫必須采用主題分域的方式和盡可能小的業(yè)務(wù)單元來進(jìn)行數(shù)據(jù)的組織和存儲(chǔ)，這樣才能滿足數(shù)據(jù)使用的靈活性和信息的完整性，即適應(yīng)需求的變化，又可保證最少量的數(shù)據(jù)冗余避免信息的不一致，節(jié)約系統(tǒng)投資，并以“元數(shù)據(jù)驅(qū)動(dòng)、螺旋上升”的方法來指導(dǎo)系統(tǒng)建設(shè)。為一些訪問中央數(shù)據(jù)倉庫十分頻繁的關(guān)鍵業(yè)務(wù)部門建立從屬數(shù)據(jù)集市，可以提高查詢的反應(yīng)速度。同時(shí)門戶站點(diǎn)還可根據(jù)不同分析和決策人員的需求，對(duì)所需的訪問和分析內(nèi)容進(jìn)行方便、簡捷的定制，以滿足個(gè)性化信息服務(wù)的需求。因此，每個(gè)新的實(shí)施階段都能和前些階段通過統(tǒng)一的元數(shù)據(jù)實(shí)現(xiàn)良好的對(duì)接和數(shù)據(jù)共享，保證各建設(shè)階段成果的連續(xù)性和有效性。網(wǎng)間結(jié)算數(shù)據(jù)：獲取網(wǎng)間話單，市場(chǎng)競(jìng)爭(zhēng)數(shù)據(jù)。設(shè)立數(shù)據(jù)接口區(qū)的目的在于對(duì)接口數(shù)據(jù)統(tǒng)一存儲(chǔ)。周期可根據(jù)實(shí)際情況由兩個(gè)系統(tǒng)協(xié)商確定。16 / 80周期：1 次/天綜合營銷系統(tǒng)從本地網(wǎng)計(jì)費(fèi)帳務(wù)系統(tǒng)提取客戶帳戶資料信息，即客戶使用各項(xiàng)產(chǎn)品（服務(wù)所）所發(fā)生費(fèi)用的付款單位的資料信息。周期可根據(jù)實(shí)際情況由兩個(gè)系統(tǒng)協(xié)商確定。信息特征：信息量級(jí)：10E6（單位：記錄數(shù)）周期增量：10E5（約為客戶資料量級(jí)的 8~10 倍） （單位：記錄數(shù)）接口方式：計(jì)費(fèi)帳務(wù)系統(tǒng)按周期把周期內(nèi)數(shù)據(jù)全部傳遞至接口。信息特征：信息量級(jí)：10E5（單位：記錄數(shù)）17 / 80周期增量：10E5（單位：記錄數(shù)）接口方式：計(jì)費(fèi)帳務(wù)系統(tǒng)按周期將周期內(nèi)數(shù)據(jù)全部傳遞至接口。信息特征：信息量級(jí)：10E9（單位：記錄數(shù)）周期增量：10E8（單位：記錄數(shù)）接口方式：計(jì)費(fèi)帳務(wù)系統(tǒng)每個(gè)周期都將周期內(nèi)完整信息傳遞至接口。信息特征：信息量級(jí)：10E8（單位：記錄數(shù)）周期增量：10E7（單位：記錄數(shù)）接口方式：各本地網(wǎng)計(jì)費(fèi)帳務(wù)系統(tǒng)每個(gè)周期都將周期內(nèi)完整信息傳遞至接口。接口策略在獲取各業(yè)務(wù)生產(chǎn)系統(tǒng)源數(shù)據(jù)時(shí)，根據(jù)各業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)的方式可以分為主動(dòng)數(shù)據(jù)獲取和被動(dòng)數(shù)據(jù)獲取兩種方式。綜合營銷系統(tǒng)通過理解專業(yè)系統(tǒng)元數(shù)據(jù)，直接連接業(yè)務(wù)系統(tǒng)定期從數(shù)據(jù)庫中取數(shù)據(jù)，然后在系統(tǒng)內(nèi)在對(duì)專業(yè)系統(tǒng)源數(shù)據(jù)進(jìn)行處理，例如進(jìn)行格式、編碼轉(zhuǎn)換等。各業(yè)務(wù)系統(tǒng)以文本數(shù)據(jù)文件的方式傳送數(shù)據(jù)。具體的數(shù)據(jù)抽取周期要依據(jù)實(shí)際情況和要求協(xié)商而定。根據(jù)實(shí)際情況，數(shù)據(jù)轉(zhuǎn)換可以在以下幾個(gè)環(huán)節(jié)中具體實(shí)現(xiàn)：? 使用異步數(shù)據(jù)加載，以文件的方式處理；? 在數(shù)據(jù)加載過程中進(jìn)行數(shù)據(jù)處理；? 進(jìn)入數(shù)據(jù)庫以后再進(jìn)行數(shù)據(jù)處理。執(zhí)行功能：集成、轉(zhuǎn)換、清洗、拆分、匯總等處理? 集成：是將業(yè)務(wù)數(shù)據(jù)從一個(gè)或幾個(gè)來源中取出，并逐字段地將數(shù)據(jù)影射到全局?jǐn)?shù)據(jù)的新數(shù)據(jù)結(jié)構(gòu)上。? 匯總：把業(yè)務(wù)環(huán)境中找到的細(xì)節(jié)數(shù)據(jù)壓縮成全局?jǐn)?shù)據(jù)環(huán)境中的較少數(shù)據(jù)塊，有時(shí)進(jìn)行聚集中的細(xì)節(jié)數(shù)據(jù)是為了避免數(shù)據(jù)倉庫存入業(yè)務(wù)環(huán)境中的那樣具體的數(shù)據(jù)，有時(shí)則是為了建立包括數(shù)據(jù)倉庫的聚集副本。轉(zhuǎn)換技術(shù)：? 多線程、多進(jìn)程技術(shù)由于數(shù)據(jù)清洗轉(zhuǎn)換操作的數(shù)據(jù)量非常大，要求數(shù)據(jù)清洗轉(zhuǎn)換程序以及所處的操作系統(tǒng)、主機(jī)要支持多線程、多進(jìn)程的體系結(jié)構(gòu)，以獲得最大的數(shù)據(jù)處理能力。轉(zhuǎn)換策略：? 使用異步數(shù)據(jù)加載，以文件的方式處理；? 在數(shù)據(jù)加載過程中進(jìn)行數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)的追加策略根據(jù)數(shù)據(jù)的抽取策略以及業(yè)務(wù)規(guī)則確定，一般有以下三種類型：直接追加、全部覆蓋、更新追加。作用區(qū)域：數(shù)據(jù)加載到數(shù)據(jù)倉庫和數(shù)據(jù)加載到數(shù)據(jù)集市的兩個(gè)區(qū)域。? 數(shù)據(jù)追加策略：根據(jù)業(yè)務(wù)規(guī)則和數(shù)據(jù)抽取策略，采用直接追加、全部覆蓋、更新追加。數(shù)據(jù)審核程序與 ETL 模塊統(tǒng)一處理，審核程序配合 ETL 程序自動(dòng)執(zhí)行。審核策略：? 通過日志校驗(yàn)；? 通過業(yè)務(wù)規(guī)則校驗(yàn)，例如：記錄數(shù)，本月收入合計(jì)，某區(qū)客戶數(shù)量等進(jìn)行源與目標(biāo)數(shù)據(jù)的校驗(yàn)；? 通過操作系統(tǒng)級(jí)校驗(yàn)，例如：文件大小、奇偶校驗(yàn)（常用于接口文件傳輸） 。本系統(tǒng)提供系統(tǒng)管理員的控制和管理界面。 ETL 具體實(shí)現(xiàn) ETL 過程需要重視的幾個(gè)方面通過長期實(shí)踐，宏智科技總結(jié)了以下幾個(gè)是 ETL 過程中需要重視的方面：1. ETL 時(shí)間是有限的， ETL 的效率是系統(tǒng)的關(guān)鍵由于各本地網(wǎng)業(yè)務(wù)支撐系統(tǒng)在白天都在執(zhí)行關(guān)鍵的聯(lián)機(jī)應(yīng)用，所以 ETL 過程通常要在晚上執(zhí)行，另外由于話單、賬單等數(shù)據(jù)量極大，所以 ETL 的效率是最為重要的。我們采用以下方法來保證 ETL 的正確操作。在設(shè)計(jì)、管理中盡可能做周全考慮的前提下，還要考慮 ETL 過程中出現(xiàn)錯(cuò)誤后該如何處理的機(jī)制。數(shù)據(jù)從數(shù)據(jù)源經(jīng)過數(shù)據(jù)抽取、轉(zhuǎn)換后加載到數(shù)據(jù)倉庫，根據(jù)不同主題的數(shù)據(jù)集市的要求，數(shù)據(jù)從數(shù)據(jù)倉庫中根據(jù)轉(zhuǎn)換規(guī)則將數(shù)據(jù)加載到指定數(shù)據(jù)集市。分析模型可以通過數(shù)據(jù)集市對(duì)主題域進(jìn)行多次重構(gòu)，系統(tǒng)能保證重構(gòu)后的分析模型數(shù)據(jù)要求，這樣也保證了對(duì)未來相關(guān)系統(tǒng)的數(shù)據(jù)支撐。26 / 80由于 ER 圖具有良好的可操作性，形式簡單，易于理解，便于與用戶交流，對(duì)客觀世界的描述能力也較強(qiáng)，在數(shù)據(jù)庫設(shè)計(jì)方面更得到了廣泛的應(yīng)用。在項(xiàng)目實(shí)施過程中模型會(huì)被定制、修改、加入新的實(shí)體，任何對(duì) PSLDM 的更改都將影響到邏輯數(shù)據(jù)模型設(shè)計(jì)人員、數(shù)據(jù)庫管理員、應(yīng)用開發(fā)人員、操作人員、業(yè)務(wù)用戶。物理數(shù)據(jù)模型加入數(shù)據(jù)庫的內(nèi)容包括： 數(shù)據(jù)庫、表、視圖、宏、列（名稱、格27 / 80式、屬性） 、約束（取值、參照關(guān)系等） 、關(guān)系（數(shù)據(jù)庫與表、視圖、宏，表與列，表與試圖等） 。數(shù)據(jù)倉庫按照電信信息組成進(jìn)行前瞻性的結(jié)構(gòu)設(shè)計(jì)，主要包容了‘九七’ 、計(jì)費(fèi)等數(shù)據(jù)。4. 服務(wù)使用主題中描述客戶購買和使用中國電信服務(wù)產(chǎn)品的信息，主要包含了用戶、服務(wù)使用記錄、清單等。207。187。194。192。206。203。206。206。211。187。206。198。194。180。237。還需要提醒的是，在這個(gè)步驟中，必須根據(jù)展示工具的特點(diǎn)對(duì)配置表進(jìn)行處理。4. 集市的建設(shè)是由需求驅(qū)動(dòng)的，在系統(tǒng)建設(shè)初期，集成商為紹興電信提供當(dāng)前所需的數(shù)據(jù)集市模型和相應(yīng)的 ETL 過程。星型模型的構(gòu)架非常簡單，只有兩個(gè)基本的表類型：維和事實(shí)，維表的主關(guān)鍵字是事實(shí)表。只要在深入理解全局模型的前提下，構(gòu)建所需的數(shù)據(jù)集市將是快速、有效的。3. 需要根據(jù)分析需求建立一些專題，這些專題可能需要幾個(gè)主題信息進(jìn)行集成。在數(shù)據(jù)集市中保存的數(shù)據(jù)一般有以下特征：數(shù)據(jù)一般不能直接從數(shù)據(jù)倉庫中產(chǎn)生，需要進(jìn)行轉(zhuǎn)換處理，如消費(fèi)層次等信息；數(shù)據(jù)集市中的數(shù)據(jù)較新，部分集市根據(jù)分析需求，甚至可以只保存最近幾個(gè)月的數(shù)據(jù)；可以集成數(shù)據(jù)倉庫中的多個(gè)主題信息而生成新的專題。220。202。196。178。191。202。213。189。185。205。191。28 / 80211。2. 帳務(wù)主題中包含了與客戶相關(guān)的費(fèi)用信息，如明細(xì)賬單、綜合帳單、帳本、帳戶、付費(fèi)記錄、銷帳流水等信息。物理模型是在邏輯模型的基礎(chǔ)之上實(shí)現(xiàn)的，在進(jìn)行物理模型設(shè)計(jì)實(shí)現(xiàn)時(shí)，所考慮的因素主要有：I/O 存取時(shí)間、空間利用率和維護(hù)代價(jià)；在進(jìn)行數(shù)據(jù)庫的物理模型設(shè)計(jì)時(shí)，考慮到綜合營銷系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)量大但操作單一的特點(diǎn)，可采取其他的一些提高數(shù)據(jù)庫性能的技術(shù)，如：合并表、建立數(shù)據(jù)序列、引入冗余、進(jìn)一步細(xì)分?jǐn)?shù)據(jù)、生成導(dǎo)出數(shù)據(jù)、建立廣義索引等。邏輯數(shù)據(jù)模型設(shè)計(jì)要進(jìn)行以下工作：1. 分析主題域，確定當(dāng)前要裝載的主題2. 確定粒度層次劃分3. 確定數(shù)據(jù)分割策略4. 關(guān)系模式定義5. 記錄系統(tǒng)定義物理數(shù)據(jù)模型（PDM）物理數(shù)據(jù)由邏輯數(shù)據(jù)模型按照基本的建模步驟轉(zhuǎn)換而來。概念數(shù)據(jù)模型的設(shè)計(jì)是在較高的抽象層次上的設(shè)計(jì)，因此在建立概念模型時(shí)不必考慮具體技術(shù)條件的限制。具體到計(jì)算機(jī)系統(tǒng)來說，概念模型是客觀世界到機(jī)器世界的一個(gè)中間層次。數(shù)據(jù)倉庫數(shù)據(jù)存儲(chǔ)模型的設(shè)計(jì)采用面向企業(yè)整體信息的主題域方式，保證信息的完整性和信息主題的穩(wěn)定性。25 / 804 數(shù)據(jù)存儲(chǔ)層 數(shù)據(jù)倉庫信息模型設(shè)計(jì)原則綜合營銷系統(tǒng)信息模型的設(shè)計(jì)應(yīng)該遵循中央數(shù)據(jù)倉庫的穩(wěn)定性和數(shù)據(jù)集市的靈活性；數(shù)據(jù)倉庫面向信息主題、數(shù)據(jù)集市面向分析業(yè)務(wù)；數(shù)據(jù)集市的數(shù)據(jù)來自數(shù)據(jù)倉庫的原則。3. ETL 過程中出現(xiàn)的錯(cuò)誤需要在合適的時(shí)間內(nèi)正確處理。2. 數(shù)據(jù)倉庫對(duì)數(shù)據(jù)的正確性要求是很高的，ETL 要保證數(shù)據(jù)的正確性保證數(shù)據(jù)倉庫的正確性，首先需要從全局?jǐn)?shù)據(jù)模型入手，只有正確的模型才會(huì)有正確的數(shù)據(jù)存儲(chǔ)。ETL 出錯(cuò)處理及故障恢復(fù)在 ETL 過程中由于數(shù)據(jù)接口、網(wǎng)絡(luò)、主機(jī)或數(shù)據(jù)質(zhì)量等問題，造成 ETL 過程出現(xiàn)錯(cuò)誤，每次數(shù)據(jù)的處理和裝載需要將非法的數(shù)據(jù)或處理失敗的數(shù)據(jù)輸送到專門的出錯(cuò)數(shù)據(jù)處理區(qū)中，一些錯(cuò)誤可以通過自動(dòng)處理進(jìn)行恢復(fù)，一些錯(cuò)誤需要人工進(jìn)行處理。ETL 的過程管理包括 ETL 的調(diào)度、ETL 程序管理、 ETL 出錯(cuò)處理以及故障恢復(fù) 。在一些關(guān)鍵處理過程結(jié)束以后，進(jìn)行自動(dòng)的數(shù)據(jù)審核，這樣能夠及早發(fā)現(xiàn)問題，節(jié)省數(shù)據(jù)抽取、轉(zhuǎn)換、加載的時(shí)間。審核方法如下：在每個(gè)環(huán)節(jié)處理完成后進(jìn)行抽樣審核（從數(shù)據(jù)源開始，到抽取出來的文本文件，到轉(zhuǎn)換后的文本文件，到裝載到數(shù)據(jù)倉庫的數(shù)據(jù)，到數(shù)據(jù)集市中的 Cube 數(shù)據(jù)） ，一方面對(duì)總量進(jìn)行審核，另一方面對(duì)數(shù)據(jù)正確性進(jìn)行驗(yàn)證，分別對(duì)每一個(gè)維上的數(shù)據(jù)進(jìn)行審核。加載技術(shù)：數(shù)據(jù)加載采用數(shù)據(jù)加載工具加 API 編程進(jìn)行數(shù)據(jù)加載。全部覆蓋：對(duì)于抽取數(shù)據(jù)本身已包括了數(shù)據(jù)的當(dāng)前和所有歷史狀況，采用全部覆蓋方式。數(shù)據(jù)加載采用數(shù)據(jù)加載工具（例如：Warehouse Manager、FastLoad/MultiLoad 等） ，也可以采用 API 編程進(jìn)行數(shù)據(jù)加載。在 ETL 過程中，數(shù)據(jù)集成模塊需要提供對(duì)固定參照數(shù)據(jù)的散列查找機(jī)制以提供數(shù)據(jù)清洗的高效實(shí)現(xiàn)。因?yàn)闃I(yè)務(wù)系統(tǒng)數(shù)據(jù)與全局?jǐn)?shù)據(jù)的信息因各系統(tǒng)的不同會(huì)有較大的差異。? 清洗：目的是為了保證前后一致地格式化和使用某一字段或相關(guān)的字段群。執(zhí)行時(shí)機(jī)：執(zhí)行周期根據(jù)不同接口數(shù)據(jù)而有所不同。在數(shù)據(jù)抽取成功后，本抽取周期將不再執(zhí)行數(shù)據(jù)抽取操作。具體策略如下：（1）小數(shù)據(jù)量的一些管理數(shù)據(jù)、配置表數(shù)據(jù)等，可以采用完全抽取方式進(jìn)行抽??；（2）大數(shù)據(jù)量的如帳單、話單數(shù)據(jù)，按抽取周期采用時(shí)間戳來做增量抽?。唬?）如果實(shí)在沒有時(shí)間戳，要進(jìn)行完全抽取。這種方式要求業(yè)務(wù)系統(tǒng)對(duì)所提供的元數(shù)據(jù)進(jìn)行版本和發(fā)布管理。綜合營銷系統(tǒng)定期對(duì)源數(shù)據(jù)存放區(qū)（接口區(qū)）中的數(shù)據(jù)進(jìn)行處理。18 / 80 數(shù)據(jù)抽取為了滿足綜合營銷系統(tǒng)的分析、挖掘的需要，同時(shí)保證不能影響業(yè)務(wù)系統(tǒng)的性能，因此制定合適的抽取策略、抽取方式、抽取時(shí)機(jī)和抽取周期非常關(guān)鍵。信息特征（針對(duì)每個(gè)配置表）：信息量級(jí)：10E1~10E3 （單位：記錄數(shù)）周期增量：10E0~10E2 （單位：記錄數(shù)）周期更新幅度：10E0~10E2（單位：記錄數(shù)）接口方式：計(jì)費(fèi)帳務(wù)系統(tǒng)每個(gè)周期都將完整信息傳遞至接口。信息特征：信息量級(jí)：10E8（單位：記錄數(shù)）周期增量：10E7（單位：記錄數(shù)）接口方式：計(jì)費(fèi)帳務(wù)系統(tǒng)每個(gè)周期都將周期內(nèi)完整信息傳遞至接口。信息特征：信息量級(jí)：10E6（單位：記錄數(shù)）周期增量：10E5（約為客戶資料量級(jí)的 8~10 倍） （單位：記錄數(shù)）接口方式：計(jì)費(fèi)帳務(wù)系統(tǒng)按周期將周期內(nèi)數(shù)據(jù)全部傳遞至接口。信息特征：信息量級(jí)：10E7（單位：記錄數(shù)）周期增量：10E7（約為客戶資料量級(jí)的 8~10 倍）(記錄 )建議接口方式：計(jì)費(fèi)帳務(wù)系統(tǒng)按周期將周期內(nèi)數(shù)據(jù)全部傳遞至接口。周期可根據(jù)實(shí)際情況由兩個(gè)系統(tǒng)協(xié)商確定。