數(shù)據(jù)倉(cāng)庫(kù)的高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺(tái)研究教材-文庫(kù)吧
2025-02-27 04:31 本頁(yè)面
【正文】 ofrecordsstagingarea) ? 原子層 (SOR, systemofrecord) ? 匯總層 (SMA, summaryarea) ? 集市層 (DM, data mart) 總體架構(gòu) ? 復(fù)制層 (SSA, systemofrecordsstagingarea)：直 接復(fù)制源系統(tǒng)的數(shù)據(jù)，盡量保持業(yè)務(wù)數(shù)據(jù)的原貌；與源系統(tǒng)數(shù) 據(jù)唯一不同的是，復(fù)制層中的數(shù)據(jù)在源系統(tǒng)數(shù)據(jù)的基礎(chǔ)上加入 了時(shí)間戳的信息，形成了多個(gè)版本的歷史數(shù)據(jù)信息； ? 原子層 (SOR, systemofrecord)：基于模型開(kāi)發(fā)的一套 符合 3NF范式規(guī)則的表結(jié)構(gòu)，它存儲(chǔ)了數(shù)據(jù)倉(cāng)庫(kù)內(nèi)最細(xì)層次的 數(shù)據(jù)，并按照不同的主題域?qū)?shù)據(jù)分類(lèi)存儲(chǔ)；根據(jù)目前部分需 求，將全校數(shù)據(jù)在原子層中按人事、學(xué)生、教學(xué)、科研四大主 題存儲(chǔ)；原子層是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的核心和基礎(chǔ)，在設(shè)計(jì)過(guò)程中 應(yīng)具有足夠的靈活性，以能應(yīng)對(duì)添加更多的數(shù)據(jù)源、支持更多 的分析需求，同時(shí)能夠支持進(jìn)一步的升級(jí)和更新； 總體架構(gòu) ? 匯總層 (SMA, summaryarea)：匯總層是原子層和集 市層的中間過(guò)渡，由于原子層的數(shù)據(jù)是高度規(guī)范化數(shù)據(jù)， 因此要完成一個(gè)查詢(xún)需要大量的關(guān)聯(lián)工作，同時(shí)集市層中 的數(shù)據(jù)粒度往往要比原子層高很多，對(duì)要生成集市層中的 匯總數(shù)據(jù)需要進(jìn)行大量的匯總工作，因此，匯總層根據(jù)需 求把原子層數(shù)據(jù)進(jìn)行適度的反范（例如，設(shè)計(jì)寬表結(jié)構(gòu)將 人員信息、干部信息等多個(gè)表的數(shù)據(jù)合并起來(lái)）和匯總 （例如，一些常用的人頭匯總、機(jī)構(gòu)匯總等）；從而提高 數(shù)據(jù)倉(cāng)庫(kù)查詢(xún)的性能。 總體架構(gòu) ? 集市層 (DM, data mart)：集市層保存的數(shù)據(jù)是供用戶(hù)直 接訪(fǎng)問(wèn)的；可以將集市層理解成最終用戶(hù)直接最終想要看的 數(shù)據(jù)；集市層主要是各類(lèi)粒度的事實(shí)數(shù)據(jù)，通過(guò)提供不同粒 度的數(shù)據(jù)，適應(yīng)不同的數(shù)據(jù)訪(fǎng)問(wèn)需求；集市層中的數(shù)據(jù)以 2 種不同類(lèi)型存儲(chǔ)：一類(lèi)以星型模型建設(shè)，便于部門(mén)日常的靈 活查詢(xún)和統(tǒng)計(jì)，另一類(lèi)按寬表以及重新組織的適應(yīng)固定報(bào)表 的表結(jié)構(gòu)存儲(chǔ)，便于高校的年統(tǒng)和季度統(tǒng)計(jì)工作。 總體架構(gòu) ? 統(tǒng)計(jì)平臺(tái) ：高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺(tái)采用 B/S架構(gòu)的 3層體系結(jié) 構(gòu)，即：數(shù)據(jù)操作層、邏輯層、表示層。 ? 數(shù)據(jù)操作層 ? 邏輯層 ? 表示層 總體架構(gòu) ? 數(shù)據(jù)操作層： 充分考慮系統(tǒng)的高可用性，數(shù)據(jù)統(tǒng)計(jì)服務(wù)平 臺(tái)與數(shù)據(jù)倉(cāng)庫(kù)所使用的數(shù)據(jù)庫(kù)互相獨(dú)立，由此保證數(shù)據(jù)統(tǒng) 計(jì)服務(wù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行加工處理時(shí)不會(huì)影響數(shù)據(jù)倉(cāng)庫(kù)中的 數(shù)據(jù)；數(shù)據(jù)存取模塊實(shí)現(xiàn)對(duì)數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺(tái)數(shù)據(jù)的訪(fǎng)問(wèn)。 總體架構(gòu) ? 邏輯層： 分為報(bào)表預(yù)定義、報(bào)表查詢(xún)、報(bào)表生成、報(bào)表填報(bào)、 報(bào)表審核及報(bào)表匯總等模塊；每個(gè)模塊分別實(shí)現(xiàn)不同的功能； 在統(tǒng)計(jì)平臺(tái)中，不同身份的用戶(hù)其功能權(quán)限和數(shù)據(jù)權(quán)限是不 一樣的：報(bào)表預(yù)定義是給系統(tǒng)管理員用的；報(bào)表生成、報(bào)表 填報(bào)是給院系管理人員使用的，只能查看和操作本院系的數(shù) 據(jù)；報(bào)表審核、報(bào)表匯總是給學(xué)校相關(guān)部門(mén)的管理人員用的， 可以操作全校數(shù)據(jù)；功能權(quán)限和數(shù)據(jù)權(quán)限通過(guò)公用層與身份 認(rèn)證服務(wù)平臺(tái)對(duì)接，統(tǒng)一進(jìn)行管理 總體架構(gòu) ? 表示層： 提供交互界面給用戶(hù)使用，此外還提供一些服務(wù)接 口供其他系統(tǒng)調(diào)用 數(shù)據(jù)倉(cāng)庫(kù)建模 ? 目前較為流行的數(shù)據(jù)倉(cāng)庫(kù)的建模方法較多，常用的有 Inmon所提倡的范式建模法和 Kimball所提倡的維度建 模法。 數(shù)據(jù)倉(cāng)庫(kù)建模 ? 維度建模法針對(duì)各個(gè)維做了大量的預(yù)處理，通過(guò)這些預(yù)處理能夠 極大地提升數(shù)據(jù)倉(cāng)庫(kù)的處理能力，相對(duì)于范式建模法來(lái)說(shuō)，在性 能上占據(jù)了明顯的優(yōu)勢(shì)；同時(shí)維度建模非常直觀(guān)，緊緊圍繞著業(yè) 務(wù)模型，可以直觀(guān)地反映出業(yè)務(wù)模型中的業(yè)務(wù)問(wèn)題。不需要經(jīng)過(guò) 特別的抽象處理即可以完成維度建模。因此高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平 臺(tái)的數(shù)據(jù)倉(cāng)庫(kù)采取維度建模的方式構(gòu)建。 ? 維度建模法采用事實(shí)表 — 維表的方式來(lái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1