數(shù)據(jù)倉庫的高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺(tái)研究教材-在線瀏覽
2025-04-10 04:31本頁面
【正文】 匯總數(shù)據(jù)需要進(jìn)行大量的匯總工作，因此，匯總層根據(jù)需 求把原子層數(shù)據(jù)進(jìn)行適度的反范（例如，設(shè)計(jì)寬表結(jié)構(gòu)將 人員信息、干部信息等多個(gè)表的數(shù)據(jù)合并起來）和匯總 （例如，一些常用的人頭匯總、機(jī)構(gòu)匯總等）；從而提高 數(shù)據(jù)倉庫查詢的性能。 總體架構(gòu) ? 統(tǒng)計(jì)平臺(tái) ：高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺(tái)采用 B/S架構(gòu)的 3層體系結(jié) 構(gòu)，即：數(shù)據(jù)操作層、邏輯層、表示層。 總體架構(gòu) ? 邏輯層： 分為報(bào)表預(yù)定義、報(bào)表查詢、報(bào)表生成、報(bào)表填報(bào)、 報(bào)表審核及報(bào)表匯總等模塊；每個(gè)模塊分別實(shí)現(xiàn)不同的功能； 在統(tǒng)計(jì)平臺(tái)中，不同身份的用戶其功能權(quán)限和數(shù)據(jù)權(quán)限是不 一樣的：報(bào)表預(yù)定義是給系統(tǒng)管理員用的；報(bào)表生成、報(bào)表 填報(bào)是給院系管理人員使用的，只能查看和操作本院系的數(shù) 據(jù)；報(bào)表審核、報(bào)表匯總是給學(xué)校相關(guān)部門的管理人員用的， 可以操作全校數(shù)據(jù)；功能權(quán)限和數(shù)據(jù)權(quán)限通過公用層與身份 認(rèn)證服務(wù)平臺(tái)對(duì)接，統(tǒng)一進(jìn)行管理 總體架構(gòu) ? 表示層： 提供交互界面給用戶使用，此外還提供一些服務(wù)接 口供其他系統(tǒng)調(diào)用 數(shù)據(jù)倉庫建模 ? 目前較為流行的數(shù)據(jù)倉庫的建模方法較多，常用的有 Inmon所提倡的范式建模法和 Kimball所提倡的維度建 模法。不需要經(jīng)過 特別的抽象處理即可以完成維度建模。 ? 維度建模法采用事實(shí)表 — 維表的方式來構(gòu)建數(shù)據(jù)倉庫，數(shù)據(jù)集市、 事實(shí)表存儲(chǔ)實(shí)際的數(shù)據(jù)，維表存儲(chǔ)事實(shí)表中對(duì)象的屬性，事實(shí)表 和維表的關(guān)聯(lián)關(guān)系常用的是 “星型模型 ”。 數(shù)據(jù)倉庫建模 ? 確定分析粒度 ，通俗地說就是分析對(duì)象的詳細(xì)程度。 數(shù)據(jù)倉庫建模 ? 設(shè)計(jì)維表 ，維度是統(tǒng)計(jì)和分析數(shù)據(jù)的角度，與統(tǒng)計(jì)查詢的參 數(shù)相對(duì)應(yīng)。 數(shù)據(jù)倉庫建模 ? 設(shè)計(jì)事實(shí)表 ，為了跟蹤具有生命周期的活動(dòng)數(shù)據(jù)的變化過程 以保留歷史信息，設(shè)計(jì)事實(shí)表時(shí)使用緩慢變化維的方法以捕 獲變化數(shù)據(jù)。版本表示同一事物歷史狀態(tài)的順 序，開始時(shí)間和結(jié)束時(shí)間表示在該段時(shí)間內(nèi)該事物處于某一 狀態(tài)，每一條數(shù)據(jù)的結(jié)束時(shí)間等于新數(shù)據(jù)的開始時(shí)間，這樣 該事物不同時(shí)間段的狀態(tài)就分布在一條時(shí)間軸上，從而可以 得到任一時(shí)間點(diǎn)該事物的狀態(tài)信息 數(shù)據(jù)倉庫建模 統(tǒng)計(jì)數(shù)據(jù)模型 ? 確定統(tǒng)計(jì)相關(guān)的星型模型，即數(shù)據(jù)統(tǒng)計(jì)針對(duì)的是事實(shí)表中間的那 些事實(shí)，涉及到哪些統(tǒng)計(jì)指標(biāo)，統(tǒng)計(jì)的粒度如何。 ? 確定單元格的統(tǒng)計(jì)方法，每個(gè)單元格的統(tǒng)計(jì)指標(biāo)應(yīng)該是其對(duì)應(yīng)的 行、列所代表的維度取值的并集。 統(tǒng)計(jì)數(shù)據(jù)模型 ? 將 1張業(yè)務(wù)報(bào)表拆分為 5張配置表，它們分別是指標(biāo)表、維 表、維值表、行列表、指標(biāo)維度組合表；最后計(jì)算得到的結(jié) 果存儲(chǔ)在指標(biāo)數(shù)據(jù)表中。 ETL是實(shí) 施數(shù)據(jù)倉庫的核心和靈魂， ETL規(guī)則的設(shè)計(jì)和實(shí)施約占整個(gè) 數(shù)據(jù)倉庫搭建工作量的 60%～ 80%。 ETL處理 ? 數(shù)據(jù)轉(zhuǎn)換 ? 主要是為了將數(shù)據(jù)清洗后的數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)倉庫所需要的數(shù) 據(jù)：來源于不同源系統(tǒng)的同一數(shù)據(jù)字段的數(shù)據(jù)字典或者數(shù)據(jù) 格式可能不一樣，在數(shù)據(jù)倉庫中需要給它們提供統(tǒng)一的數(shù)據(jù) 字典和格式，對(duì)數(shù)據(jù)內(nèi)容進(jìn)行歸一化；另一方面，數(shù)據(jù)倉庫 所需要的某些字段的內(nèi)容可能是源系統(tǒng)所不具備的，而是需 要根據(jù)源系統(tǒng)中多個(gè)字段的內(nèi)容共同確定； ? 例如，數(shù)據(jù)倉庫中的人員類型 “事業(yè)單位專業(yè)技術(shù)人員 ”實(shí)際上是 根據(jù)人事表中 “編制類型 =事業(yè)單位 ”、 “崗位級(jí)別 =985”并且 “人員類別 =在職職工 ”等多個(gè)字段的內(nèi)容共同得出的，像這樣字段 的形成也依賴于數(shù)據(jù)轉(zhuǎn)換 ETL處理 ? 考察的工具 ? ColverETL:開源 ETL工具，免費(fèi)版本支持的連接組件太少 （ Pass） ? Kettle: 功能完善，組件齊全的處理平臺(tái) ? Talend: 功能完善，組件齊全的處理平臺(tái) ? Jitterbit: ETL工具，但是功能比較簡單，維護(hù)、日志、監(jiān)控等 功能缺乏 ? Apatar: ETL
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1