基于數(shù)據(jù)倉(cāng)庫(kù)的高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺(tái)研究(編輯修改稿)
2025-03-22 08:11 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 事實(shí)表存儲(chǔ)實(shí)際的數(shù)據(jù)，維表存儲(chǔ)事實(shí)表中對(duì)象的屬性，事實(shí)表 和維表的關(guān)聯(lián)關(guān)系常用的是 “星型模型 ”。 數(shù)據(jù)倉(cāng)庫(kù)建模 ? 維度建模的步驟 ? 結(jié)合具體需求確定分析主題 ，結(jié)合高校主要業(yè)務(wù)定義了一個(gè)公共維 度主題和人事、學(xué)生、教學(xué)、科研 4個(gè)業(yè)務(wù)主題：公共維度包含時(shí)間 維、地理維、國(guó)標(biāo)及校標(biāo)，時(shí)間維和地理維在不同的應(yīng)用場(chǎng)景可以 使用視圖形式轉(zhuǎn)換為具體的分析維度，國(guó)標(biāo)和校標(biāo)主要用來(lái)解決在 數(shù)據(jù)集成過(guò)程中的一致性問(wèn)題；人事主題核心內(nèi)容是教師的基本情 況，具體分析主體有收入、崗位、職稱(chēng)以及杰出人才等；學(xué)生主題 核心內(nèi)容是在校生基本情況，具體分析主題有招生、成績(jī)、獎(jiǎng)懲、 異動(dòng)、就業(yè)等；科研主題主要分析全校師生科研成果完成情況，根 據(jù)實(shí)際業(yè)務(wù)可以納入所有科研成果，如項(xiàng)目、論文、著作、專(zhuān)利、 學(xué)術(shù)活動(dòng)等；教學(xué)主題以教學(xué)活動(dòng)相關(guān)內(nèi)容為主，如課程計(jì)劃、教 學(xué)任務(wù)、選課、教學(xué)工作量等。 數(shù)據(jù)倉(cāng)庫(kù)建模 ? 確定分析粒度 ，通俗地說(shuō)就是分析對(duì)象的詳細(xì)程度。為了滿(mǎn) 足分析的可擴(kuò)展性及需求的多樣性，以最小粒度來(lái)設(shè)計(jì)數(shù)據(jù) 模型總是能達(dá)到最好的分析效果，如：記錄每個(gè)學(xué)生的明細(xì) 情況、記錄每項(xiàng)科研成果的詳細(xì)情況。 數(shù)據(jù)倉(cāng)庫(kù)建模 ? 設(shè)計(jì)維表 ，維度是統(tǒng)計(jì)和分析數(shù)據(jù)的角度，與統(tǒng)計(jì)查詢(xún)的參 數(shù)相對(duì)應(yīng)。在選取維度時(shí)應(yīng)該將實(shí)體作為一個(gè)對(duì)象，把與該 對(duì)象相關(guān)的所有重要屬性都提取出來(lái)作為獨(dú)立維度。 數(shù)據(jù)倉(cāng)庫(kù)建模 ? 設(shè)計(jì)事實(shí)表 ，為了跟蹤具有生命周期的活動(dòng)數(shù)據(jù)的變化過(guò)程 以保留歷史信息，設(shè)計(jì)事實(shí)表時(shí)使用緩慢變化維的方法以捕 獲變化數(shù)據(jù)。事實(shí)表中的版本、開(kāi)始時(shí)間和結(jié)束時(shí)間 3個(gè)字 段是實(shí)現(xiàn)緩慢變化的核心。版本表示同一事物歷史狀態(tài)的順 序，開(kāi)始時(shí)間和結(jié)束時(shí)間表示在該段時(shí)間內(nèi)該事物處于某一 狀態(tài)，每一條數(shù)據(jù)的結(jié)束時(shí)間等于新數(shù)據(jù)的開(kāi)始時(shí)間，這樣 該事物不同時(shí)間段的狀態(tài)就分布在一條時(shí)間軸上，從而可以 得到任一時(shí)間點(diǎn)該事物的狀態(tài)信息 數(shù)據(jù)倉(cāng)庫(kù)建模 統(tǒng)計(jì)數(shù)據(jù)模型 ? 確定統(tǒng)計(jì)相關(guān)的星型模型，即數(shù)據(jù)統(tǒng)計(jì)針對(duì)的是事實(shí)表中間的那 些事實(shí)，涉及到哪些統(tǒng)計(jì)指標(biāo)，統(tǒng)計(jì)的粒度如何。 ? 確定報(bào)表中具體的每一行和每一列分別代表的統(tǒng)計(jì)指標(biāo)，統(tǒng)計(jì)指 標(biāo)簡(jiǎn)單地說(shuō)即維度取值，每個(gè)統(tǒng)計(jì)指標(biāo)對(duì)應(yīng)到維表中是某個(gè)維度 取某個(gè)值，也有可能是多個(gè)維度取值的累加。 ? 確定單元格的統(tǒng)計(jì)方法，每個(gè)單元格的統(tǒng)計(jì)指標(biāo)應(yīng)該是其對(duì)應(yīng)的 行、列所代表的維度取值的并集。 ? 將維度轉(zhuǎn)化為可執(zhí)行查詢(xún)的語(yǔ)句，去事實(shí)表中查詢(xún)出相應(yīng)的統(tǒng)計(jì) 數(shù)據(jù)和事實(shí)數(shù)據(jù)，為了方便，在數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺(tái)的報(bào)表數(shù)據(jù)庫(kù) 中還可以將查詢(xún)到的統(tǒng)計(jì)結(jié)果固化，以數(shù)據(jù)庫(kù)表的形式存儲(chǔ)下來(lái)。 統(tǒng)計(jì)數(shù)據(jù)模型 ? 將 1張業(yè)務(wù)報(bào)表拆分為 5張配置表，它們分別是指標(biāo)表、維 表、維值表、行列表、指標(biāo)維度組合表；最后計(jì)算得到的結(jié) 果存儲(chǔ)在指標(biāo)數(shù)據(jù)表中。 平臺(tái)實(shí)現(xiàn) ? ETL處理 ? 前臺(tái)展示 ETL處理 ? ETL(extractiontransformationloading)負(fù)責(zé)將 分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)抽取到臨時(shí)中間層后進(jìn)行清洗、 轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中。 ETL是實(shí) 施數(shù)據(jù)倉(cāng)庫(kù)的核心和靈魂， ETL規(guī)則的設(shè)計(jì)和實(shí)施約占整個(gè) 數(shù)據(jù)倉(cāng)庫(kù)搭建工作量的 60%～ 80%。 ETL處理 ? 數(shù)據(jù)抽取 ? 包括初始化數(shù)據(jù)裝載和數(shù)據(jù)刷新：初始化數(shù)據(jù)裝載主要關(guān)注 的是如何建立維表、事實(shí)表，并把相應(yīng)的數(shù)據(jù)放到這些數(shù)據(jù) 表中，在數(shù)據(jù)倉(cāng)庫(kù)建模小節(jié)中已經(jīng)做了詳細(xì)介紹；而數(shù)據(jù)刷 新關(guān)注的是當(dāng)源數(shù)據(jù)發(fā)生變化時(shí)如何對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的相應(yīng)數(shù) 據(jù)進(jìn)行追加和更新等維護(hù) ETL處理 ? 觸發(fā)器方式（又稱(chēng)為快照式）來(lái)實(shí)現(xiàn)數(shù)據(jù)刷新，具體來(lái)說(shuō)就是：在 SSA層需 要抽取數(shù)據(jù)的數(shù)據(jù)表上建立了插入、修改、刪除 3個(gè)觸發(fā)器（ trigger），每 當(dāng)源數(shù)據(jù)庫(kù)中數(shù)據(jù)表中的數(shù)據(jù)發(fā)生變化時(shí)，復(fù)制到 SSA的數(shù)據(jù)也會(huì)相應(yīng)發(fā)生 改變，相
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1