數(shù)據(jù)倉庫的高校數(shù)據(jù)統(tǒng)計服務(wù)平臺研究教材-免費(fèi)閱讀
【正文】 :30:0804:30:08March 28, 2023 1意志堅強(qiáng)的人能把世界放在手中像泥塊一樣任意揉捏。 2023年 3月 上午 4時 30分 :30March 28, 2023 1少年十五二十時，步行奪得胡馬騎。 上午 4時 30分 8秒 上午 4時 30分 04:30: 沒有失敗，只有暫時停止成功！。 04:30:0804:30:0804:303/28/2023 4:30:08 AM 1以我獨(dú)沈久，愧君相見頻。 ETL是實 施數(shù)據(jù)倉庫的核心和靈魂， ETL規(guī)則的設(shè)計和實施約占整個 數(shù)據(jù)倉庫搭建工作量的 60%～ 80%。 數(shù)據(jù)倉庫建模 ? 設(shè)計事實表 ，為了跟蹤具有生命周期的活動數(shù)據(jù)的變化過程 以保留歷史信息，設(shè)計事實表時使用緩慢變化維的方法以捕 獲變化數(shù)據(jù)。不需要經(jīng)過 特別的抽象處理即可以完成維度建模。 平臺設(shè)計 ? 總體架構(gòu) ? 數(shù)據(jù)倉庫建模 ? 統(tǒng)計數(shù)據(jù)模型 總體架構(gòu) ? 高校數(shù)據(jù)統(tǒng)計服務(wù)平臺由源系統(tǒng)、數(shù)據(jù)倉庫和統(tǒng)計平臺三部 分組成?；跀?shù)據(jù)倉庫的高校數(shù)據(jù)統(tǒng)計服務(wù)平臺研究 提綱 ? ? ? ? ? 背景 需求分析 平臺設(shè)計 平臺實現(xiàn) 平臺部署 背景 ? 各高校建成的信息管理系統(tǒng)越來越多，海量數(shù)據(jù)背后隱藏著 許多重要信息，是學(xué)校正常運(yùn)轉(zhuǎn)的核心資源，以靈活便捷的 方式對數(shù)據(jù)進(jìn)行統(tǒng)計、分析，進(jìn)而為高校管理與決策提供支 持的需求日益強(qiáng)烈 背景 ? 商業(yè)智能 (BI, business intelligence) ? Gartner Group, Howard Dresner, 1996：一類由 數(shù)據(jù)倉庫 (或數(shù)據(jù)集市 )、查詢報表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、 數(shù)據(jù)備份和恢復(fù)等部分組成，以幫助企業(yè)決策為目的的技術(shù) 及其應(yīng)用。 總體架構(gòu) ? 源系統(tǒng)： 高校業(yè)務(wù)涉及的數(shù)據(jù)源比較廣泛，主要有人事系統(tǒng)、 教務(wù)系統(tǒng)、研究生系統(tǒng)、科研系統(tǒng)等，再加上校園網(wǎng)之外的 一些其他外部數(shù)據(jù)源，構(gòu)成了數(shù)據(jù)統(tǒng)計服務(wù)平臺的數(shù)據(jù)基礎(chǔ)， 由于系統(tǒng)業(yè)務(wù)職能和具體需求不同，在實現(xiàn)時會選用不同的 數(shù)據(jù)庫，數(shù)據(jù)結(jié)構(gòu)也可能存在較大差異，從而導(dǎo)致數(shù)據(jù)間有 較大的異構(gòu)性和不一致性。因此高校數(shù)據(jù)統(tǒng)計服務(wù)平 臺的數(shù)據(jù)倉庫采取維度建模的方式構(gòu)建。事實表中的版本、開始時間和結(jié)束時間 3個字 段是實現(xiàn)緩慢變化的核心。 ETL處理 ? 數(shù)據(jù)抽取 ? 包括初始化數(shù)據(jù)裝載和數(shù)據(jù)刷新：初始化數(shù)據(jù)裝載主要關(guān)注 的是如何建立維表、事實表，并把相應(yīng)的數(shù)據(jù)放到這些數(shù)據(jù) 表中，在數(shù)據(jù)倉庫建模小節(jié)中已經(jīng)做了詳細(xì)介紹；而數(shù)據(jù)刷 新關(guān)注的是當(dāng)源數(shù)據(jù)發(fā)生變化時如何對數(shù)據(jù)倉庫中的相應(yīng)數(shù) 據(jù)進(jìn)行追加和更新等維護(hù) ETL處理 ? 觸發(fā)器方式（又稱為快照式）來實現(xiàn)數(shù)據(jù)刷新，具體來說就是：在 SSA層需 要抽取數(shù)據(jù)的數(shù)據(jù)表上建立了插入、修改、刪除 3個觸發(fā)器（ trigger），每 當(dāng)源數(shù)據(jù)庫中數(shù)據(jù)表中的數(shù)據(jù)發(fā)生變化時，復(fù)制到 SSA的數(shù)據(jù)也會相應(yīng)發(fā)生 改變，相應(yīng)的觸發(fā)器將變化的數(shù)據(jù)寫入一個臨時區(qū)（ buffer）；在數(shù)據(jù)庫層 定義了一系列的作業(yè)（ job）和存儲過程（ procedure）：作業(yè)規(guī)定了包括 數(shù)據(jù)刷新頻率和數(shù)據(jù)刷新先后次序在內(nèi)的一系列任務(wù)調(diào)度策略，調(diào)用相應(yīng)的存 儲過程從臨時表中抽取需要刷新的數(shù)據(jù)，臨時表中抽取過的數(shù)據(jù)被標(biāo)記或刪除； ? 觸發(fā)器方式的好處是：數(shù)據(jù)抽取的性能高、規(guī)則簡單，對于編程人員來說易于 上手，特別適合北京大學(xué)數(shù)據(jù)倉庫現(xiàn)有規(guī)模還較小的特點，是一種簡單易行的 好辦法；但隨著以后數(shù)據(jù)倉庫規(guī)模的越來越大，數(shù)據(jù)表越來越多，需要編寫的 觸發(fā)器、存儲過程和作業(yè)就越來越多，可能會不利于管理 ETL處理 ? 數(shù)據(jù)清洗 ? 主要是針對源數(shù)據(jù)庫中出現(xiàn)的二義性、重復(fù)、不完整、違反 業(yè)務(wù)或邏輯規(guī)則等問題的數(shù)據(jù)進(jìn)行統(tǒng)一的處理，下表列出了 北京大學(xué)在對業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)清洗時發(fā)
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1