數(shù)據(jù)倉庫的高校數(shù)據(jù)統(tǒng)計服務平臺研究教材(存儲版)
【正文】 現(xiàn)的幾類最常見的 問題及針對這些問題所采取的策略。 :30:0804:30Mar2328Mar23 1故人江海別，幾度隔山川。 , March 28, 2023 很多事情努力了未必有結(jié)果，但是不努力卻什么改變也沒有。 2023年 3月 28日星期二 4時 30分 8秒 04:30:0828 March 2023 1空山新雨后，天氣晚來秋。 2023年 3月 28日星期二 上午 4時 30分 8秒 04:30: 1最具挑戰(zhàn)性的挑戰(zhàn)莫過于提升自我。勝人者有力，自勝者強。 。 2023年 3月 28日星期二 4時 30分 8秒 04:30:0828 March 2023 1做前，能夠環(huán)視四周；做時，你只能或者最好沿著以腳為起點的射線向前。 , March 28, 2023 雨中黃葉樹，燈下白頭人。 平臺實現(xiàn) ? ETL處理 ? 前臺展示 ETL處理 ? ETL(extractiontransformationloading)負責將 分散的、異構數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時中間層后進行清洗、 轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中。在選取維度時應該將實體作為一個對象，把與該 對象相關的所有重要屬性都提取出來作為獨立維度。 數(shù)據(jù)倉庫建模 ? 維度建模法針對各個維做了大量的預處理，通過這些預處理能夠 極大地提升數(shù)據(jù)倉庫的處理能力，相對于范式建模法來說，在性 能上占據(jù)了明顯的優(yōu)勢；同時維度建模非常直觀，緊緊圍繞著業(yè) 務模型，可以直觀地反映出業(yè)務模型中的業(yè)務問題。 需求分析 ? 這些需要統(tǒng)計的數(shù)據(jù)涉及高校人事、學生、科研、教學等各 個領域，每個領域下面又細分為了很多不同的細類，具體如 圖 1所示。 背景 ? 微軟的 BI體系框架 背景 ? IBM的 BI體系框架 背景 ? 建立 BI系統(tǒng)的基本步驟包括： ? 確認和解讀數(shù)據(jù)源； ? 進行數(shù)據(jù)采集和存儲管理； ? 構建模型并在此基礎上分析數(shù)據(jù) 背景 ? 商業(yè)智能的基礎是數(shù)據(jù)倉庫 (DW , Data Warehouse) ? 數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷 史變化的數(shù)據(jù)集合。 總體架構 ? 數(shù)據(jù)倉庫 ：數(shù)據(jù)倉庫全面接收源系統(tǒng)數(shù)據(jù)， ETL進程對數(shù)據(jù) 進行規(guī)范化、驗證、清洗，并最終裝載進入數(shù)據(jù)集市，通過 數(shù)據(jù)集市支持系統(tǒng)進行數(shù)據(jù)查詢、分析；整個數(shù)據(jù)倉庫包含 四大層次： ? 復制層 (SSA, systemofrecordsstagingarea) ? 原子層 (SOR, systemofrecord) ? 匯總層 (SMA, summaryarea) ? 集市層 (DM, data mart) 總體架構 ? 復制層 (SSA, systemofrecordsstagingarea)：直 接復制源系統(tǒng)的數(shù)據(jù)，盡量保持業(yè)務數(shù)據(jù)的原貌；與源系統(tǒng)數(shù) 據(jù)唯一不同的是，復制層中的數(shù)據(jù)在源系統(tǒng)數(shù)據(jù)的基礎上加入 了時間戳的信息，形成了多個版本的歷史數(shù)據(jù)信息； ? 原子層 (SOR, systemofrecord)：基于模型開發(fā)的一套 符合 3NF范式規(guī)則的表結(jié)構，它存儲了數(shù)據(jù)倉庫內(nèi)最細層次的 數(shù)據(jù)，并按照不同的主題域?qū)?shù)據(jù)分類存儲；根據(jù)目前部分需 求，將全校數(shù)據(jù)在原子層中按人事、學生、教學、科研四大主 題存儲；原子層是整個數(shù)據(jù)倉庫的核心和基礎，在設計過程中 應具有足夠的靈活性，以能應對添加更多的數(shù)據(jù)源、支持更多 的分析需求，同時能夠支持進一步的升級和更新； 總體架構 ? 匯總層 (SMA, summaryarea)：匯總層是原子層和集 市層的中間過渡，由于原子層的數(shù)據(jù)是高度規(guī)范化數(shù)據(jù)， 因此要完成一個查詢需要大量的關聯(lián)工作，同時集市層中 的數(shù)據(jù)粒度往往要比原子層高很多，對要生成集市層中的 匯總數(shù)據(jù)需要進行大量的匯總工作，因此，匯總層根據(jù)需 求把原子層數(shù)據(jù)進行適度的反范（
環(huán)評公示相關推薦
鄂ICP備17016276號-1