【文章內(nèi)容簡(jiǎn)介】 倉庫對(duì)數(shù)據(jù)質(zhì)量的要求 數(shù)據(jù)倉庫對(duì)數(shù)據(jù)質(zhì)量的要求總體上歸納為：數(shù)據(jù)完整性，包括數(shù)據(jù)源是否 完整、數(shù)據(jù)取值是否完整、維度取值是否完整等。數(shù)據(jù)準(zhǔn)確性，包括數(shù)據(jù)源是否準(zhǔn)確、編碼映射關(guān)系是否準(zhǔn)確、處理邏輯是否準(zhǔn)確等。數(shù)據(jù)核對(duì)準(zhǔn)確的判斷是要么結(jié)果一致，要么不一致但原因是可解釋的。數(shù)據(jù)一致性，包括源系統(tǒng)之間同一數(shù)據(jù)是否一致，源數(shù)據(jù)與抽取的數(shù)據(jù)是否一致，數(shù)據(jù)倉庫內(nèi)部各處理環(huán)節(jié)數(shù)據(jù)是否一致等。數(shù)據(jù)邏輯合理性，主要從業(yè)務(wù)邏輯的角度判斷數(shù)據(jù)是否正確，如帳目類型的金額、時(shí)長(zhǎng)、次數(shù)的邏輯關(guān)系是否滿足等。數(shù)據(jù)時(shí)效性，包括數(shù)據(jù)處理（獲取、整理、加載等）的及時(shí)性，數(shù)據(jù)異常檢測(cè)的及時(shí)性，數(shù)據(jù)處理回退的及時(shí)性等。 數(shù)據(jù)倉庫服務(wù)于 經(jīng)營決策，經(jīng)營決策依據(jù)的數(shù)據(jù)應(yīng)該是全面的、真實(shí)可靠的、有意義的。數(shù)據(jù)時(shí)效性如果得不到保證，就可能延誤了市場(chǎng)人員的分析，失去商機(jī)。 從數(shù)據(jù)倉庫的建設(shè)過程來看，它本身修復(fù)數(shù)據(jù)以提高數(shù)據(jù)質(zhì)量的能力并不是很強(qiáng)，但是它能發(fā)現(xiàn)生產(chǎn)系統(tǒng)存在的一些數(shù)據(jù)質(zhì)量問題從而提醒用戶哪些數(shù)據(jù)有質(zhì)量問題，將數(shù)據(jù)問題反饋到業(yè)務(wù)支撐系統(tǒng)中，由后者做數(shù)據(jù)修正。 數(shù)據(jù)質(zhì)量改進(jìn)目標(biāo) 數(shù)據(jù)質(zhì)量改進(jìn)的目標(biāo)是清理、標(biāo)準(zhǔn)化、提高和匹配現(xiàn)有數(shù)據(jù)。 通過數(shù)據(jù)整合，建立完整的、準(zhǔn)確的、一致的統(tǒng)一客戶視圖，完善共享信息數(shù)據(jù)，并使共享信息數(shù)據(jù)服務(wù)于經(jīng)營分析，為生產(chǎn) 系統(tǒng)的改進(jìn)提供標(biāo)準(zhǔn)。 建立數(shù)據(jù)整合流程，實(shí)現(xiàn)流程定義、流程配置和流程管控。 建立數(shù)據(jù)整合的規(guī)章制度，落實(shí)數(shù)據(jù)質(zhì)量的分級(jí)負(fù)責(zé)。建立起數(shù)據(jù)整合隊(duì)伍，使數(shù)據(jù)質(zhì)量能夠得以持續(xù)改進(jìn)。 數(shù)據(jù)質(zhì)量改進(jìn)方法 數(shù)據(jù)質(zhì)量控制要從技術(shù)、流程和管理三個(gè)方面進(jìn)行。 從技術(shù)層面上，生產(chǎn)系統(tǒng)存在的噪音數(shù)據(jù)、遺漏數(shù)據(jù)和不一致性數(shù)據(jù)，需要進(jìn)行數(shù)據(jù)清洗；同時(shí)需要對(duì)源數(shù)據(jù)做稽核，如總量稽核和分量稽核。 Actuate Confidential 5/4/2020 11 在流程層面上，對(duì)于源數(shù)據(jù)的抽取要遵從一定的業(yè)務(wù)規(guī)則，數(shù)據(jù)的抽取和轉(zhuǎn)換需要很多步驟來完成，這就需要將過程流程化，并且流程可通過配置來實(shí)現(xiàn)。 在管理 層面上，要求生產(chǎn)系統(tǒng)報(bào)送數(shù)據(jù)，按照“誰提供數(shù)據(jù)，誰負(fù)責(zé)”的原則由生產(chǎn)系統(tǒng)保證源數(shù)據(jù)的完整性、準(zhǔn)確性、一致性、時(shí)效性。 下面 是我們?cè)诩夹g(shù)層面 采取 的具體做法。在 ETL 架構(gòu)設(shè)計(jì)中我們會(huì) 包括數(shù)據(jù)質(zhì)量設(shè)計(jì)，將數(shù)據(jù)質(zhì)量檢查腳本加入到 ETL 流程中，分 為 技術(shù)檢查和業(yè)務(wù)規(guī)則檢查。錯(cuò)誤分嚴(yán)重程度，如主鍵重復(fù)的就停止 ETL 流程，等待解決 ， 但低級(jí)別的錯(cuò)誤不 會(huì) 阻塞 ETL 過程 。 在這個(gè)過程中，所有的錯(cuò)誤都會(huì)進(jìn)行記錄，最終生成數(shù)據(jù)質(zhì)量檢查報(bào)告。 但需要明確的是，很多情況下，許多數(shù)據(jù)問題在 ETL 之前都無法知道，只能通過 ETL 之后的數(shù)據(jù)核對(duì)才能 發(fā)現(xiàn)，然后逐漸積累，加到 ETL 的規(guī)則控制中 去 。 報(bào)表平臺(tái)設(shè)計(jì) 建立報(bào)表查詢門戶，提供各類信息報(bào)表的查詢，統(tǒng)一查詢渠道，統(tǒng)一數(shù)據(jù)口徑，統(tǒng)一用戶管理。多個(gè)管理信息系統(tǒng)在報(bào)表平臺(tái)上表現(xiàn)為一個(gè)個(gè)獨(dú)立的邏輯子系統(tǒng)。 通過 報(bào)表平臺(tái) ，技術(shù)人員可以通過靈活配置邏輯系統(tǒng) 集成不同 BI 工具產(chǎn)生的異構(gòu)報(bào)表資源， 業(yè)務(wù)人員可以進(jìn)行 不同 報(bào)表資源的集中管理 和發(fā)布 ， 最終用戶可以通過一致的展示環(huán)境獲取報(bào)表信息。 具體設(shè)計(jì)如下： 邏 輯 數(shù) 據(jù) 模 型L o g i c a l D a t a M o d e l數(shù) 據(jù) 倉 庫D a t a M a r tB I 工 具前 端 展 現(xiàn)電 子 帳 表報(bào) 表 查 詢風(fēng) 險(xiǎn) 監(jiān) 控報(bào) 表 分 析儀 表 盤信 息 生 產(chǎn) 信 息 消 費(fèi)B I工 具報(bào)表引擎報(bào)表調(diào)度報(bào)表交互報(bào)表設(shè)計(jì)D a t a b a s e Actuate Confidential 5/4/2020 12 靈活的報(bào)表查詢 在報(bào)表的查詢過程中，可以通過瀏覽器直 接瀏覽報(bào)表，同時(shí)，用戶也可以通過簡(jiǎn)單的操作，對(duì)報(bào)表進(jìn)行重新訂制，為了更好的提高實(shí)用性，用戶可通過瀏覽器同報(bào)表服務(wù)器進(jìn)行交互，查看到需要的報(bào)表。 先進(jìn)的報(bào)表開發(fā)模式 在報(bào)表的開發(fā)中，我們將采用最先進(jìn)的協(xié)同開發(fā)模式，開發(fā)人員定制業(yè)務(wù)邏輯，業(yè)務(wù)人員根據(jù)自己需要通過簡(jiǎn)單的拖動(dòng)則可形成自己需要的報(bào)表。 基 于I E設(shè) 計(jì) 生 成報(bào) 表S a l e s O r d e r sC u s t o m e r P r o f i l eS h i p m e n t s設(shè) 計(jì) 并 發(fā) 布I n f o r m a t i o no b j e c t s1設(shè) 計(jì)R e p o r t模 板并 發(fā) 布 至服 務(wù) 器T e s t I D D a t e T e s t e rD e s c r i p t i o nO S1 1 1 / 0 5 / 0 3L L e n n o nR e t a i l s a l e s i n f o r m a t i o nW i n 2 0 0 02 1 1 / 0 5 / 0 3L L e n n o nH o s p i t a l a d m i s s i o n s i n f oW i n 2 0 0 03 1 1 / 0 5 / 0 3L L e n n o nG a m b l e S A P e x t r a c t i o nW i n 2 0 0 04 1 1 / 1 0 / 0 3L L e n n o nS a l e s 1 0 D 5 M 1 0 KW i n 2 0 0 05 0 6 / 0 3 / 0 3M D a v i e sS a l e s 1 0 D 5 M 1 0 KW i n 2 0 0 06 1 1 / 1 0 / 0 3L L e n n o nS a l e s 1 0 D 5 M 1 0 0 KW i n 2 0 0 07 0 6 / 0 3 / 0 3M D a v i e sS a l e s 1 0 D 5 M 1 0 0 KW i n 2 0 0 001 02 03 04 05 06 07 08 09 01 s t Q t r 2 n d Q t r 3 r d Q t r 4 t h Q t rE a s tW e s tN o r t h01 02 03 04 05 06 07 08 09 01 s t Q t r 2 n d Q t r 3 r d Q t r 4 t h Q t rE a s tW e s tN o r t hT e s t I D D a t e T e s t e rD e s c r i p t i o nO S1 1 1 / 0 5 / 0 3L L e n n o nR e t a i l s a l e s i n f o r m a t i o nW i n 2 0 0 02 1 1 / 0 5 / 0 3L L e n n o nH o s p i t a l a d m i s s i o n s i n f oW i n 2 0 0 03 1 1 / 0 5 / 0 3L L e n n o nG a m b l e S A P e x t r a c t i o nW i n 2 0 0 04 1 1 / 1 0 / 0 3L L e n n o nS a l e s 1 0 D 5 M 1 0 KW i n 2 0 0 05 0 6 / 0 3 / 0 3M D a v i e sS a l e s 1 0 D 5 M 1 0 KW i n 2 0 0 06 1 1 / 1 0 / 0 3L L e n n o nS a l e s 1 0 D 5 M 1 0 0 KW i n 2 0 0 07 0 6 / 0 3 / 0 3M D a v i e sS a l e s 1 0 D 5 M 1 0 0 KW i n 2 0 0 02選 擇I n f o r m a t i o nO b j e c t選 擇 報(bào) 表 模 板4選 擇 報(bào) 表 模 板5I TB u s i n e s s設(shè) 計(jì) 報(bào) 表3 高效的報(bào)表消費(fèi) 在使用的過程中，業(yè)務(wù)人員根本不用關(guān)心對(duì)應(yīng)的后臺(tái)業(yè)務(wù)邏輯，以及數(shù)據(jù)信息來源等信息，其只要根據(jù)自己的業(yè)務(wù)需要，通過簡(jiǎn)單的拖拽即可完成對(duì)報(bào)表的定制 ，獲取到自己需要的信息。 老系統(tǒng)統(tǒng)計(jì)報(bào)表移植 對(duì)于老系統(tǒng)的統(tǒng)計(jì)報(bào)表，我們將采取重寫的方式移植到統(tǒng)一的報(bào)表平臺(tái)上面。重寫后的統(tǒng)計(jì)報(bào)表基于新建 的數(shù)據(jù)倉庫 ，這樣就統(tǒng)一了現(xiàn)存的多個(gè)統(tǒng)計(jì)系統(tǒng)，統(tǒng)一了統(tǒng)計(jì)口徑，解決了統(tǒng)計(jì)口徑不一致所造成的 各個(gè)部門信息的 不 一致 ，并消除這種不一致對(duì)管理決策帶來的負(fù)面影響。 Actuate Confidential 5/4/2020 13 老系統(tǒng)報(bào)表遷移的一個(gè)難點(diǎn)是如何保證 數(shù)據(jù)倉庫系統(tǒng)中的報(bào)表統(tǒng)計(jì)結(jié)果與原報(bào)表統(tǒng)計(jì)結(jié)果的一致性 ，對(duì)此要具體問題具體分析。新報(bào)表的統(tǒng)計(jì)結(jié)果與原報(bào)表的統(tǒng)計(jì)結(jié)果不一致只可能是兩種情況：新報(bào)表的統(tǒng)計(jì)方式是錯(cuò)誤的，造成新老報(bào)表統(tǒng)計(jì)結(jié)果不 一致；新老報(bào)表的統(tǒng)計(jì)口徑不一致，造成統(tǒng)計(jì)結(jié)果不一致。如果是前一種情況，采用正確的統(tǒng)計(jì)方式就能修正錯(cuò)誤。如果是后一種情況，則需要根據(jù)業(yè)務(wù)的需要選擇統(tǒng)計(jì)口徑， 使新報(bào)表能夠達(dá)到業(yè)務(wù)人員的預(yù)期。 我們將會(huì)采用嚴(yán)格的測(cè)試手段來保證 新報(bào)表與老報(bào)表統(tǒng)計(jì)結(jié)果的一致性 。 測(cè)試 的目的 ，是驗(yàn)證 對(duì)于相同的輸入， 新老報(bào)表 得到的輸出結(jié)果完全一致 。 實(shí)際測(cè)試中， 我們將采用等價(jià)類劃分以及邊值分析法來設(shè)計(jì)測(cè)試用例，產(chǎn)生有限的測(cè)試用例來覆蓋足夠多的“任何情況”。 對(duì)有差異的報(bào)表，我們會(huì)作進(jìn)一步的數(shù)據(jù)集對(duì)比，以確定問題的根源到底是在數(shù)據(jù)，還是報(bào)表邏輯。 認(rèn)證管理 在對(duì)用戶信息的管理中，提供以角色和用戶為安全模型的統(tǒng)一認(rèn)證機(jī)制，只有具有對(duì)應(yīng)角色的用戶才能訪問對(duì)應(yīng)的報(bào)表。 系統(tǒng)可靠性及可擴(kuò)展性 系統(tǒng)的可靠性及可擴(kuò)展性對(duì)企業(yè)級(jí)應(yīng)用來說是非常重要的。我們的設(shè)計(jì)充分考慮了這兩個(gè)因素。 針對(duì)可靠性，我們的設(shè)計(jì)是在 系統(tǒng)包含一個(gè)雙機(jī)組成的數(shù)據(jù)倉庫，和一個(gè)雙機(jī)組成的報(bào)表服務(wù)平臺(tái)。數(shù)據(jù)倉庫和報(bào)表服務(wù)器分別帶有自己的外存磁盤陣列。架構(gòu)中的每個(gè)功能節(jié)點(diǎn)設(shè)計(jì)都含冗余度，保證系統(tǒng)不存在單一失敗點(diǎn)，滿足提供 7x24 不間斷服務(wù)的要求。 采用的這樣系統(tǒng)架構(gòu)， 主機(jī)系統(tǒng)的維 護(hù) 、 系統(tǒng)擴(kuò)容 、 升級(jí) 、 系統(tǒng)性能統(tǒng)計(jì) 、 分析 、 優(yōu)化以及部件更換 就能夠 在不影響應(yīng)用系統(tǒng)功能的前提下完成 。而 所有關(guān)鍵部件 能夠 保證在不停頓數(shù)據(jù)共享服務(wù)的前提下提供熱插拔能 力。 對(duì)于可擴(kuò)展性， 使用我們建議的 報(bào)表服務(wù)平臺(tái) 安訊 iServer，系統(tǒng)架構(gòu)會(huì)有很強(qiáng)的可擴(kuò)展性，用戶可以通過增加硬件的方式擴(kuò)容，以支持越來越多的用戶和應(yīng)用。 安訊 iServer 可以運(yùn)行在由多臺(tái)服務(wù)器組成的集群上，利用任務(wù)控制與自動(dòng)負(fù)載平衡技術(shù)，將任務(wù)平均分配到各臺(tái)服務(wù)器上。安訊 iServer 具備出色的可擴(kuò)展性，用戶可以簡(jiǎn)單的向集群中添加更多Actuate Confidential 5/4/2020 14 的服務(wù)器來滿足更 高的報(bào)表需求 ，而系統(tǒng)的性能隨著服務(wù)器數(shù)量的增多呈線性增長(zhǎng)，這方面的 具體 數(shù)據(jù)請(qǐng)參考附錄 D “安訊 9 系統(tǒng)性能白皮書” 。在集群系統(tǒng)中，安訊 iServer 可以通過不同的故障轉(zhuǎn)移模 (Failover)式來保障 iServer 各項(xiàng)服