數(shù)據(jù)倉庫的高校數(shù)據(jù)統(tǒng)計服務(wù)平臺研究教材-wenkub
2023-03-28 04:31:03 本頁面
【正文】 任一時間點該事物的狀態(tài)信息 數(shù)據(jù)倉庫建模 統(tǒng)計數(shù)據(jù)模型 ? 確定統(tǒng)計相關(guān)的星型模型，即數(shù)據(jù)統(tǒng)計針對的是事實表中間的那 些事實，涉及到哪些統(tǒng)計指標(biāo)，統(tǒng)計的粒度如何。 數(shù)據(jù)倉庫建模 ? 設(shè)計維表 ，維度是統(tǒng)計和分析數(shù)據(jù)的角度，與統(tǒng)計查詢的參 數(shù)相對應(yīng)。 ? 維度建模法采用事實表 — 維表的方式來構(gòu)建數(shù)據(jù)倉庫，數(shù)據(jù)集市、 事實表存儲實際的數(shù)據(jù)，維表存儲事實表中對象的屬性，事實表 和維表的關(guān)聯(lián)關(guān)系常用的是 “星型模型 ”。 總體架構(gòu) ? 邏輯層： 分為報表預(yù)定義、報表查詢、報表生成、報表填報、 報表審核及報表匯總等模塊；每個模塊分別實現(xiàn)不同的功能； 在統(tǒng)計平臺中，不同身份的用戶其功能權(quán)限和數(shù)據(jù)權(quán)限是不 一樣的：報表預(yù)定義是給系統(tǒng)管理員用的；報表生成、報表 填報是給院系管理人員使用的，只能查看和操作本院系的數(shù) 據(jù)；報表審核、報表匯總是給學(xué)校相關(guān)部門的管理人員用的， 可以操作全校數(shù)據(jù)；功能權(quán)限和數(shù)據(jù)權(quán)限通過公用層與身份 認(rèn)證服務(wù)平臺對接，統(tǒng)一進(jìn)行管理 總體架構(gòu) ? 表示層： 提供交互界面給用戶使用，此外還提供一些服務(wù)接 口供其他系統(tǒng)調(diào)用 數(shù)據(jù)倉庫建模 ? 目前較為流行的數(shù)據(jù)倉庫的建模方法較多，常用的有 Inmon所提倡的范式建模法和 Kimball所提倡的維度建 模法。 總體架構(gòu) ? 數(shù)據(jù)倉庫 ：數(shù)據(jù)倉庫全面接收源系統(tǒng)數(shù)據(jù)， ETL進(jìn)程對數(shù)據(jù) 進(jìn)行規(guī)范化、驗證、清洗，并最終裝載進(jìn)入數(shù)據(jù)集市，通過 數(shù)據(jù)集市支持系統(tǒng)進(jìn)行數(shù)據(jù)查詢、分析；整個數(shù)據(jù)倉庫包含 四大層次： ? 復(fù)制層 (SSA, systemofrecordsstagingarea) ? 原子層 (SOR, systemofrecord) ? 匯總層 (SMA, summaryarea) ? 集市層 (DM, data mart) 總體架構(gòu) ? 復(fù)制層 (SSA, systemofrecordsstagingarea)：直 接復(fù)制源系統(tǒng)的數(shù)據(jù)，盡量保持業(yè)務(wù)數(shù)據(jù)的原貌；與源系統(tǒng)數(shù) 據(jù)唯一不同的是，復(fù)制層中的數(shù)據(jù)在源系統(tǒng)數(shù)據(jù)的基礎(chǔ)上加入 了時間戳的信息，形成了多個版本的歷史數(shù)據(jù)信息； ? 原子層 (SOR, systemofrecord)：基于模型開發(fā)的一套 符合 3NF范式規(guī)則的表結(jié)構(gòu)，它存儲了數(shù)據(jù)倉庫內(nèi)最細(xì)層次的 數(shù)據(jù)，并按照不同的主題域?qū)?shù)據(jù)分類存儲；根據(jù)目前部分需 求，將全校數(shù)據(jù)在原子層中按人事、學(xué)生、教學(xué)、科研四大主 題存儲；原子層是整個數(shù)據(jù)倉庫的核心和基礎(chǔ)，在設(shè)計過程中 應(yīng)具有足夠的靈活性，以能應(yīng)對添加更多的數(shù)據(jù)源、支持更多 的分析需求，同時能夠支持進(jìn)一步的升級和更新； 總體架構(gòu) ? 匯總層 (SMA, summaryarea)：匯總層是原子層和集 市層的中間過渡，由于原子層的數(shù)據(jù)是高度規(guī)范化數(shù)據(jù)， 因此要完成一個查詢需要大量的關(guān)聯(lián)工作，同時集市層中 的數(shù)據(jù)粒度往往要比原子層高很多，對要生成集市層中的 匯總數(shù)據(jù)需要進(jìn)行大量的匯總工作，因此，匯總層根據(jù)需 求把原子層數(shù)據(jù)進(jìn)行適度的反范（例如，設(shè)計寬表結(jié)構(gòu)將 人員信息、干部信息等多個表的數(shù)據(jù)合并起來）和匯總 （例如，一些常用的人頭匯總、機(jī)構(gòu)匯總等）；從而提高 數(shù)據(jù)倉庫查詢的性能。 需求分析 ? 數(shù)據(jù)統(tǒng)計需求按用途不同分為 2類： ? 一是以年報表或者季度報表的形式上報上級部門的統(tǒng)計數(shù)據(jù)，有 著固定的報表格式、復(fù)雜的報表內(nèi)容、專門的統(tǒng)計口徑，有的報 表甚至還有嚴(yán)格的填報流程； ? 二是部門日常所需要統(tǒng)計數(shù)據(jù)，往往和某種類型具體業(yè)務(wù)相關(guān)， 和第一類需求相比，統(tǒng)計數(shù)據(jù)的格式和內(nèi)容比較簡單，沒有復(fù)雜 的填報流程，但時間粒度要求更細(xì)，要以月報表、周報表乃至日 報表的形式提供統(tǒng)計結(jié)果，并且要求提供數(shù)據(jù)鉆取的功能。 背景 ? 微軟的 BI體系框架 背景 ? IBM的 BI體系框架 背景
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1