【文章內(nèi)容簡介】 一定的成效。使得管理部門的壓力得到了很大的緩解。圖 高職教務(wù)管理8 / 40圖 現(xiàn)有教務(wù)管理系統(tǒng)構(gòu)架隨著教務(wù)系統(tǒng)的廣泛使用，人們已經(jīng)不再滿足于對復(fù)雜事物型數(shù)據(jù)的簡化，更加迫切希望對數(shù)據(jù)進行綜合分析和決策分析，然而以目前的事務(wù)性教務(wù)管理系統(tǒng)很難解決這一問題，其原因在于以下幾點： (1)事務(wù)處理與分析處理無論在行文模式上，還是在性能上都存在著較大的差異。9 / 40將處理性能相差很大的兩種應(yīng)用置于同一環(huán)境下運行顯然是不合適的。(2)擁有正確的全方位的數(shù)據(jù)是進行數(shù)據(jù)分析和決策的先決條件，只有有關(guān)數(shù)據(jù)收集得越全面越完整，我們才可能得到的可靠的分析結(jié)果。但就目前情況而言，大多數(shù)數(shù)據(jù)都是較為分散的而且還處于非集成的模式下。(3) 對現(xiàn)有數(shù)據(jù)源中的數(shù)據(jù)進行轉(zhuǎn)化是動態(tài)的數(shù)據(jù)集成對數(shù)據(jù)的基本要求，只有達(dá)到動態(tài)的數(shù)據(jù)集成才可以把分析結(jié)果及時反映給決策者。顯而易見，目前的教務(wù)管理系統(tǒng)以事務(wù)處理為主，不可能具備動態(tài)集成的能力。(4)動態(tài)數(shù)據(jù)分析在空間上和時間的廣度上對數(shù)據(jù)的要求都很高，而對于傳統(tǒng)的事務(wù)處理環(huán)境來說，其數(shù)據(jù)處理只是在一段時間內(nèi)進行，在這一點上就無法滿足分析的要求。(5)在一般情況下，動態(tài)數(shù)據(jù)分析在分析以前，需要綜合利用細(xì)節(jié)數(shù)據(jù)，而目前，事務(wù)處理的教務(wù)管理系統(tǒng)，為了提高存儲的效率，通常不具備這方面的能力。由于存在以上的問題，所以本文提出在實施過程中將數(shù)據(jù)倉庫技術(shù)應(yīng)用于教務(wù)決策系統(tǒng)中，以現(xiàn)有的教務(wù)管理系統(tǒng)為依托，對其數(shù)據(jù)進行分析處理，使得高級教務(wù)管理人員對學(xué)校的教學(xué)情況有比較深入準(zhǔn)確的了解，還可以對教學(xué)的最新動態(tài)進行跟蹤監(jiān)控。通過這一系統(tǒng)，教務(wù)管理人員可以比較以往發(fā)展的歷史和趨勢，使資源得到合理的調(diào)配。 項目難點分析經(jīng)過普遍調(diào)查，發(fā)現(xiàn)目前國內(nèi)的教務(wù)管理系統(tǒng)大多還是處于事務(wù)管理的實施應(yīng)用階段，還沒有一套完整的決策分析系統(tǒng)供決策者使用，特別是動態(tài)的決策分析系統(tǒng)更是少之又少。通過對國內(nèi)外的研究應(yīng)用情況進行分析和比較，我們認(rèn)為本項目的研究與實現(xiàn)的難點存在于：(1)教務(wù)數(shù)據(jù)量大：對于一個萬人校來說，其一個學(xué)期的課程信息以及每年的學(xué)生信息就超過十多萬條，而且經(jīng)過多年的積累，教務(wù)管理所涉及的數(shù)據(jù)量已達(dá)到相當(dāng)大的規(guī)模。僅僅數(shù)據(jù)庫文件的大小就有10G的大小。大量的數(shù)據(jù)對于數(shù)據(jù)挖掘算法和服務(wù)器性能都提出了較高的要求。(2)數(shù)據(jù)不完整：由于目前各個高職的教務(wù)管理系統(tǒng)是逐步開發(fā)使用的，經(jīng)過了多次的版本升級和更替，不同的系統(tǒng)運行于不同的網(wǎng)絡(luò)環(huán)境，系統(tǒng)的功能和數(shù)據(jù)的格式也是千差萬別，這就使得積累起來的數(shù)據(jù)是分散的零散的，而且有些時候還是前后不一致的，其完整性規(guī)范性一致性比較差。(3)行之有效的使用數(shù)據(jù)挖掘的方法：是整個系統(tǒng)的核心，包括決定如何產(chǎn)生假設(shè)；如何選擇合適的工具；如何發(fā)掘知識；如何驗證發(fā)現(xiàn)的知識。就本系統(tǒng)而言，有效使10 / 40用數(shù)據(jù)挖掘方法，實現(xiàn)快速分析是本項目研究和實現(xiàn)的困難所在。(4)良好的結(jié)果表達(dá)形式：具有良好的數(shù)據(jù)表達(dá)方式是我們的最終目的，也是系統(tǒng)開發(fā)是否成功的標(biāo)準(zhǔn)，決策分析的目的就是能夠為決策者提供直觀，便利的分析結(jié)果。我們通過對用戶的需求進行仔細(xì)的分析過濾，得到有價值的信息，并通過良好的人機界面將結(jié)果輸出，再加之應(yīng)用生動的表現(xiàn)形式，對結(jié)果進行解釋和表達(dá)，從而達(dá)到方便決策者的目的。再有就是系統(tǒng)建立后測評指標(biāo)的建立，當(dāng)前針對數(shù)據(jù)倉庫平臺為主要評價指標(biāo)分為兩種：（1）TPCDTPC 屬于國際組織，它是由像惠普、IBM 微軟、Sun 和其他跨國公司這樣的 45 個成員公司組成。在多個不同類型的應(yīng)用程序中負(fù)責(zé)所有的開放式平臺，并開發(fā)一個更具體的統(tǒng)一，公平的測試標(biāo)準(zhǔn)。聯(lián)機事務(wù)處理系統(tǒng)，TPCC 是一個衡量主要性能指標(biāo)的數(shù)據(jù)庫，數(shù)據(jù)倉庫系統(tǒng)，測量其數(shù)據(jù)庫的性能指標(biāo) ：第一、系統(tǒng)的描述，第二、查詢處理能力，其描述了系統(tǒng)在不同的用戶在同一時間的具體查詢時，處理能力即流試驗結(jié)果。換句話說，代表了整個系統(tǒng)的并行處理能力。第三，是描述的性能價格比。理論和現(xiàn)實之間，前面指標(biāo)數(shù)據(jù)如果效果較好，而最后一個如果較小的效果會更好。當(dāng)然，首先是考慮企業(yè)不能滿足特定需求。每個供應(yīng)商的 TPC—C 和 TPC—D 詳細(xì)描述所有碼在互聯(lián)網(wǎng)網(wǎng)頁內(nèi)容的發(fā)現(xiàn)。此外，還從微軟和其他一些公司的網(wǎng)頁，也可以發(fā)現(xiàn) TPC—D 的測試結(jié)果。雖然描述了整個系統(tǒng)的并行處理查詢請求特定的能力，但并非所有供應(yīng)商流量測試可以在多用戶的狀態(tài)可以進行。因此 TPC—D 各個供應(yīng)商有一個明確的選擇：要么直接對應(yīng)的用戶一定的條件下流動試驗；無論是在第一個具體的單用戶狀態(tài)，根據(jù)具體的試驗，最后用實測的處理能力的具體指標(biāo) qppd 和流量指標(biāo)計算公式計算得出 qthd 來區(qū)分這兩者。各種測試的結(jié)果表明許多行業(yè)存在的問題，事實上，只要 tpcd 測試總結(jié)下載并打印出來，所以你可以看到在測試時間的流實際數(shù)量。流的數(shù)量實際上是代表同時提交的查詢請求所有用戶數(shù)。如果屬于單用戶狀態(tài)下的測試，只找到一個特定的流。11 / 40第 3 章　教務(wù)決策支持系統(tǒng)的設(shè)計 系統(tǒng)總體框架設(shè)計在前面的章節(jié)中，我們曾介紹過現(xiàn)有的較為典型的數(shù)據(jù)倉庫結(jié)構(gòu)模型，而本系統(tǒng)是以數(shù)據(jù)倉庫為基礎(chǔ)，在整個系統(tǒng)中，按其功能分為三個模塊：數(shù)據(jù)倉庫和多維數(shù)據(jù)集創(chuàng)建和管理模塊，數(shù)據(jù)采集模塊以及OLAP應(yīng)用系統(tǒng)開發(fā)模塊。下面分別介紹各個模塊的主要任務(wù)： 多維數(shù)據(jù)集創(chuàng)建在該模塊中，我們選取中間數(shù)據(jù)庫作為數(shù)據(jù)源，數(shù)據(jù)倉庫以主題創(chuàng)建。根據(jù)一定的層次聚合、匯總數(shù)據(jù)倉庫中的數(shù)據(jù)，以構(gòu)成信息分析的多維視圖。最后，通過以一定的存儲模式，將得到的多維視圖存儲在OLAP服務(wù)器中。 數(shù)據(jù)采集模塊該模塊的主要任務(wù)是根據(jù)已確定的決策分析的主題域采集原有各教務(wù)管理系統(tǒng)中的相關(guān)業(yè)務(wù)數(shù)據(jù)，經(jīng)過整理后存入數(shù)據(jù)倉庫。在這里我們建立了一個中間數(shù)據(jù)庫，將OLTP數(shù)據(jù)庫上與數(shù)據(jù)倉庫主題有關(guān)的數(shù)據(jù)增量更新到中間數(shù)據(jù)庫，使對OLTP數(shù)據(jù)庫的效率影響降到最低。并在數(shù)據(jù)采集過程中根據(jù)將要建立的多維結(jié)構(gòu)特性調(diào)整部分?jǐn)?shù)據(jù)。 系統(tǒng)開發(fā)模塊滿足管理人員決策分析的需求是構(gòu)建數(shù)據(jù)倉庫的目的。聯(lián)機分析處理模塊的主要職責(zé)就是要完成對多維信息的顯示分析和處理工作，主要包括對多維數(shù)據(jù)集成維度信息、層次信息、方體信息、度量信息的顯示，從而可以實現(xiàn)對數(shù)據(jù)立方體的數(shù)據(jù)瀏覽；并可以實現(xiàn)對數(shù)據(jù)的鉆取、切片、切塊、旋轉(zhuǎn)等多維分析操作，在此基礎(chǔ)上提供多種查詢方式，查詢結(jié)果以WEB網(wǎng)頁的形式展現(xiàn)，以實現(xiàn)B/S(Browser/Server)形式的聯(lián)機分析，全面支持決策分析。12 / 40 數(shù)據(jù)倉庫的設(shè)計業(yè)務(wù)系統(tǒng)—ETL(DTS)—原始數(shù)據(jù)庫—事實數(shù)據(jù)庫—OLAP—前端報表。業(yè)務(wù)系統(tǒng)就是用戶的Oracle數(shù)據(jù)庫了，里面有一些業(yè)務(wù)數(shù)據(jù)，此外還有一些二進制話單文件。ETL過程就是一堆存儲過程(維度的抽取、原始數(shù)據(jù)的抽取、事實數(shù)據(jù)的日結(jié))，然后通過DTS任務(wù)包調(diào)度起來。原始數(shù)據(jù)庫就應(yīng)該是ODS數(shù)據(jù)庫了，負(fù)責(zé)把數(shù)據(jù)原封不動的從業(yè)務(wù)系統(tǒng)抽取過來(部分也經(jīng)過轉(zhuǎn)化和清洗)；出于對SQLServer2022性能的考慮，將每個業(yè)務(wù)數(shù)據(jù)表都分成歷史表和當(dāng)前表，當(dāng)前表根據(jù)數(shù)據(jù)量的情況決定保留數(shù)據(jù)周期并定時轉(zhuǎn)移到歷史表中。事實數(shù)據(jù)庫保存著聚合信息的數(shù)據(jù)，完成KPI指標(biāo)的計算，以及維度的抽取工作；同時在進行聚合的同時完成數(shù)據(jù)清洗工作。其實清洗很簡單的，就是對NULL的處理，沒有對主外鍵的判斷，維度的處理僅作更新和插入處理，來保證外鍵數(shù)據(jù)的匹配。不過 SQLServer2022的性能不是很理想，大于1000萬的數(shù)據(jù)表處理的效果不是很好，只好建了許多了分區(qū)表(實際上就是每個月一張數(shù)據(jù)表，用視圖Union起來，這也是微軟推薦的方式)。對于業(yè)務(wù)數(shù)據(jù)到原始數(shù)據(jù)的處理，完全采用增量抽取的原則(因為每個表都有了時間點)；對于原始數(shù)據(jù)到事實數(shù)據(jù)的處理，則增加了一張log表，記錄每次抽取的周期、跨度、與當(dāng)前時間的差距和狀態(tài)等等。對于OLAP的增量處理也是靠一張日志表決定處理的范圍。唯一比較獨特的可能是部分業(yè)務(wù)數(shù)據(jù)用戶可能會更新，需要重新抽取、聚集和OLAP處理，這個時候在處理之前首先刪除這段時間的數(shù)據(jù)，重新抽取、聚集和OLAP處理，當(dāng)然是靠腳本來完成的。13 / 40圖 系統(tǒng)總體構(gòu)架項目系統(tǒng)中數(shù)據(jù)處理流程為：（1）數(shù)據(jù)采集系統(tǒng)根據(jù)己確定的決策分析的主題域，首先將 OLTP 數(shù)據(jù)庫中所需的數(shù)據(jù)導(dǎo)入中間數(shù)據(jù)庫。（2）以中間數(shù)據(jù)庫為數(shù)據(jù)源，對數(shù)據(jù)進行抽取、轉(zhuǎn)換、清洗等操作后存入數(shù)據(jù)倉庫。（3）通過 OLAP 工具將數(shù)據(jù)倉庫的數(shù)據(jù)多層次分類匯總，從而建立多維數(shù)據(jù)模型，并存儲在 OLAP 服務(wù)器中。（4）最后開發(fā) OLAP 應(yīng)用系統(tǒng)將數(shù)據(jù)靈活地呈現(xiàn)給用戶。14 / 40 數(shù)據(jù)倉庫方案設(shè)計數(shù)據(jù)倉庫就是決策支持系統(tǒng)的基礎(chǔ)，是整個決策支持系統(tǒng)的核心，根據(jù)系統(tǒng)總體框架設(shè)計，本決策支持系統(tǒng)是基于數(shù)據(jù)倉庫的，設(shè)計、開發(fā)、實施數(shù)據(jù)倉庫將對最終能否實現(xiàn)為用戶提供有效的決策支持信息的目標(biāo)產(chǎn)生影響。數(shù)據(jù)倉庫是一個面向分析型處理的數(shù)據(jù)環(huán)境，這就決定了其設(shè)計工作與數(shù)據(jù)庫的設(shè)計有著顯著的不同，無論是從數(shù)據(jù)組織，還是從數(shù)據(jù)處理與傳統(tǒng)數(shù)據(jù)庫都有較大的區(qū)別。數(shù)據(jù)倉庫的構(gòu)建是一個不斷循環(huán)、反饋而使系統(tǒng)不斷增長與完善的過程。根據(jù)目前的對數(shù)據(jù)倉庫的研究結(jié)果，數(shù)據(jù)倉庫設(shè)計方案一般分為： [23] 自底向上法我們從數(shù)據(jù)的底層開始，第一步先建立數(shù)據(jù)集市，第二步，將其中的數(shù)據(jù)集成到數(shù)據(jù)倉庫中，將數(shù)據(jù)從操作型系統(tǒng)進入預(yù)處理層，第三部直接進入獨立數(shù)據(jù)集市。這些數(shù)據(jù)集市最終集成為全局的數(shù)據(jù)倉庫。因為在建立部門數(shù)據(jù)集市時只需要較少的人做決策，解決的是較小的問題，因此這種方法的優(yōu)點是：初期投資小，見效快。但是這種方法同樣存在缺點，它的主要確定是缺乏對獨立數(shù)據(jù)集市的構(gòu)造的控制，對數(shù)據(jù)集市的集成以及日后集成到全局的數(shù)據(jù)倉庫大為不利。 自頂向下法與自底向上法不同，在自頂向下法中，首先先建立數(shù)據(jù)倉庫，第一步，利用其中的數(shù)據(jù)建立一組相關(guān)數(shù)據(jù)集市。這樣，數(shù)據(jù)從操作型系統(tǒng)中進入預(yù)處理層，第二步，再去處理斟酌進行數(shù)據(jù)的集成和轉(zhuǎn)換，第三步，數(shù)據(jù)被導(dǎo)入數(shù)據(jù)倉庫中，然后進入數(shù)據(jù)集市。由于全局的數(shù)據(jù)倉庫系統(tǒng)的創(chuàng)建，使得相關(guān)數(shù)據(jù)集市的構(gòu)建都是以數(shù)據(jù)倉庫中的信息為基礎(chǔ)，從而為數(shù)據(jù)集市技術(shù)的使用提供可靠的方法這種方法，其優(yōu)點是：這是收集、建模和實現(xiàn)最終用戶決策支持需求的嚴(yán)格而又普遍的方法。這種方法的缺點是：開發(fā)時間長，成本高。 混合法針對以上兩種方法的優(yōu)缺點，后來人們提出了一種將兩種方法優(yōu)點基于一身的方15 / 40法，混合法。既能保持自底向上方法一樣快速實現(xiàn)和立即應(yīng)用又可以利用自頂向下方法有計劃的戰(zhàn)略性的特點。在混合法中，數(shù)據(jù)倉庫的開發(fā)采用迭代的方法。在所建立的數(shù)據(jù)倉庫系統(tǒng)中通常都包含直接從預(yù)處理層獲取數(shù)據(jù)獨立的數(shù)據(jù)集市。在數(shù)據(jù)倉庫中保存并管理統(tǒng)一的信息模型作為在數(shù)據(jù)倉庫中數(shù)據(jù)集成的關(guān)鍵。當(dāng)建立新的獨立數(shù)據(jù)集市或增加一個新的相關(guān)數(shù)據(jù)集市時，就要更新信息模型。它代表了數(shù)據(jù)倉庫系統(tǒng)的唯一信息來源，同時也是創(chuàng)建數(shù)據(jù)倉庫元數(shù)據(jù)的來源。根據(jù)以上闡述和分析的數(shù)據(jù)倉庫構(gòu)建方法，結(jié)合本系統(tǒng)的實際，我們最后采用見效快的自底向上法()。因為在本系統(tǒng)中，所涉及的范圍是教務(wù)部門的教務(wù)相關(guān)的信息，該部門作為學(xué)校一個的業(yè)務(wù)部門服務(wù)，其業(yè)務(wù)范圍不是很大，信息內(nèi)容不是很雜，資金投入也比較有限。圖 自底向上法由于在系統(tǒng)的開發(fā)的過程中，需要考慮到?jīng)Q策支持系統(tǒng)的將來的發(fā)展。我們在設(shè)計工作中也意識到：所建立的教務(wù)部門的數(shù)據(jù)集市需要按照統(tǒng)一的校級信息模型來設(shè)計，并且在實施過程中度量應(yīng)盡量減少重復(fù)，并能夠充分考慮到整個學(xué)校的最終信息需求，在真正滿足用戶的原子級需求，使其具有很好的重用性和一致性 [29]。這樣才能更好的保證隨著更多學(xué)校部門的數(shù)據(jù)集市建立和投入使用，數(shù)據(jù)集市的聯(lián)結(jié)成為可能，而這些數(shù)據(jù)集市的集合也就成為將來校級的數(shù)據(jù)倉庫的基礎(chǔ)。 數(shù)據(jù)倉庫架構(gòu)結(jié)構(gòu) ODS層主要負(fù)責(zé)采集業(yè)務(wù)系統(tǒng)并保存一定期限內(nèi)的相關(guān)業(yè)務(wù)數(shù)據(jù)。當(dāng)然也可以滿足用戶16 / 40對明細(xì)數(shù)據(jù)的查詢要求，可以算作明細(xì)數(shù)據(jù)倉庫。 數(shù)據(jù)倉庫層 將ODS層經(jīng)過質(zhì)量檢查、清洗、轉(zhuǎn)換后，形成符合質(zhì)量要求的公共數(shù)據(jù)中心。實際上與ODS層差別不大，都是建立以ER為中心的數(shù)據(jù)關(guān)系，方便以后的數(shù)據(jù)的聚合。 明細(xì)數(shù)據(jù)集市層即前面所說的事實層按主題及KPI指標(biāo)對數(shù)據(jù)倉庫層數(shù)據(jù)進行進一步轉(zhuǎn)換，將指標(biāo)與維度組成數(shù)據(jù)集市。這是OLAP的數(shù)據(jù)基礎(chǔ)。 聚合數(shù)據(jù)集市層即OLAP在明細(xì)數(shù)據(jù)集市層的基礎(chǔ)上，提供基于聯(lián)機分