【文章內(nèi)容簡介】 支持導出代碼標準表字段信息。6代碼一致性檢查依托代碼映射關(guān)系，可以檢測代碼標準在各業(yè)務(wù)系統(tǒng)使用中的具體使用情況，對于那些不標準、不規(guī)范的使用情況，可以把檢測情況提供給業(yè)務(wù)部門，進一步推動業(yè)務(wù)系統(tǒng)標準化。7代碼統(tǒng)計管理能夠按照教學、學生、人事、科研、資產(chǎn)、財務(wù)等不同的業(yè)務(wù)類別實現(xiàn)代碼標準表數(shù)量、代碼標準表記錄數(shù)的統(tǒng)計。能夠按照國標、行標、校標等不同標準級別實現(xiàn)代碼標準表數(shù)量、代碼標準表記錄數(shù)的統(tǒng)計。 公共數(shù)據(jù)平臺公共數(shù)據(jù)平臺的建設(shè)是未來對有關(guān)業(yè)務(wù)系統(tǒng)全方位數(shù)據(jù)分析的重要依據(jù)，也是影響未來學校各部門進行科學決策的重要依據(jù)，如果缺乏整體考慮，采用一種不健全的體系結(jié)構(gòu)，將會增加系統(tǒng)開發(fā)和維護成本，更會限制數(shù)據(jù)倉庫作用的發(fā)揮。因此我們要求對于這一部分的實現(xiàn)必須具有一個綜合、清晰的技術(shù)實現(xiàn)藍圖，并能夠滿足未來擴展的需要。公共數(shù)據(jù)平臺建設(shè)基于數(shù)據(jù)交換平臺的數(shù)據(jù)交換功能實現(xiàn)，基于數(shù)據(jù)交換平臺的數(shù)據(jù)交換機制，快速構(gòu)建公共數(shù)據(jù)庫，提供反映整個學校全面情況的數(shù)據(jù)信息。 建設(shè)目標公共數(shù)據(jù)平臺的主要目標是：基于數(shù)據(jù)交換平臺的數(shù)據(jù)交換機制，快速構(gòu)建江西旅游商貿(mào)職業(yè)學院共享數(shù)據(jù)庫，提供反映全面情況的數(shù)據(jù)信息。構(gòu)建全局共享數(shù)據(jù)集，并形成全局數(shù)據(jù)共享的管理、維護、處理和服務(wù)機制，實現(xiàn)信息資源的共享、集成和利用。具體而言，公共數(shù)據(jù)平臺的建設(shè)要求達到以下目標：1) 建立全校統(tǒng)一的、穩(wěn)定的、一致的信息資源標準；2) 建立全局共享數(shù)據(jù)集，實現(xiàn)學校核心信息資源的共享；3) 結(jié)合數(shù)據(jù)交換平臺的信息交換機制，快速構(gòu)建公共數(shù)據(jù)庫，反映學校全面的數(shù)據(jù)信息；4) 提供管理工具，以滿足學校各類用戶不同的查詢要求；5) 構(gòu)建強大的公共數(shù)據(jù)平臺管理工具，為平臺運行維護和后期擴展提供支持；6) 逐步建立完善公共數(shù)據(jù)平臺的日常維護和運行保障機制，制定管理規(guī)范、技術(shù)規(guī)范、工作流程、服務(wù)章程等各項規(guī)章制度，保障公共數(shù)據(jù)平臺和各個業(yè)務(wù)系統(tǒng)的持續(xù)運行； 總體技術(shù)要求1) 遵循數(shù)據(jù)倉庫的元數(shù)據(jù)設(shè)計思路，設(shè)計公共數(shù)據(jù)平臺的核心數(shù)據(jù)模型。2) 遵循“誰產(chǎn)生、誰維護、誰負責”的原則，所有的數(shù)據(jù)都有特定的產(chǎn)生者和維護者。3) 提供專業(yè)的數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載的數(shù)據(jù)處理工具，對學校數(shù)據(jù)進行高質(zhì)量的管理。4) 提供Webservice接口，為保證學校的數(shù)據(jù)平臺具有良好的可擴充性和對外部系統(tǒng)的支持性，要求采用SOA模式對數(shù)據(jù)平臺建立標準的元數(shù)據(jù)管理系統(tǒng)，對數(shù)據(jù)中心的各類數(shù)據(jù)進行封裝，并采用Web Services模式提供數(shù)據(jù)訪問和維護接口。5) 考慮到數(shù)字校園的后期建設(shè)及未來應用，應考慮在公共數(shù)據(jù)服務(wù)平臺和各個業(yè)務(wù)系統(tǒng)的基礎(chǔ)上構(gòu)建數(shù)據(jù)分析模型，提供信息檢索服務(wù)，并充分利用數(shù)據(jù)挖掘等手段，為學校領(lǐng)導和有關(guān)部門信息利用、政策評估和決策咨詢提供參考。6) 導入/導出工具要求：支持關(guān)系數(shù)據(jù)庫、EXCEL的導入。支持EXCEL、WORD、TXT、PDF的導出。 建設(shè)內(nèi)容及功能要求 數(shù)據(jù)模型建設(shè)建設(shè)學校核心數(shù)據(jù)模型，歷史數(shù)據(jù)模型，滿足建立多部門或單位多源數(shù)據(jù)的共享和應用開發(fā)。 平臺管理工具平臺管理工具提供各類管理工具，對公共數(shù)據(jù)平臺進行管理。平臺管理工具功能要求如下表所示：序號功能描 述1模型管理元數(shù)據(jù)管理支持對數(shù)據(jù)子集、數(shù)據(jù)類、數(shù)據(jù)子類和數(shù)據(jù)項的增、刪、改、查等功能。可以向數(shù)據(jù)子集導入數(shù)據(jù)子類，也可以導出一個或多個數(shù)據(jù)子類?？梢詫崿F(xiàn)數(shù)據(jù)類、數(shù)據(jù)子類和數(shù)據(jù)項的遷移。模型版本管理對主數(shù)據(jù)和代碼標準模型進行維護，提供語義支持，實現(xiàn)對底層模型的集中維護和管理，提供對數(shù)據(jù)分類的管理；主數(shù)據(jù)和業(yè)務(wù)系統(tǒng)代碼表之間映射關(guān)系的管理。通過元數(shù)據(jù)變更日志，可跟蹤元數(shù)據(jù)的版本變更過程，包括操作用戶、操作功能、被操作元數(shù)據(jù)名稱、被操作對象名稱、被修改屬性名、變化前值、變化后值、操作時間。模型版本發(fā)布支持數(shù)據(jù)子集、數(shù)據(jù)類、數(shù)據(jù)子類、數(shù)據(jù)項的查詢，元數(shù)據(jù)的變更(或版本)操作都會被記錄并可被用戶查詢。業(yè)務(wù)代碼維護支持業(yè)務(wù)代碼的查詢、新增、修改、刪除、導出等功能。模型版本執(zhí)行對主數(shù)據(jù)庫數(shù)據(jù)對象的元數(shù)據(jù)和對應的數(shù)據(jù)庫實體進行比對，并逐項列出不一致的項目，并給出相應的處理建議，用戶可根據(jù)處理建議通過系統(tǒng)自動處理或手工處理，避免不規(guī)范操作或誤操作帶來的差異性，保證元數(shù)據(jù)和數(shù)據(jù)庫實體的一致性。另外，對于處理過的問題，系統(tǒng)會記錄為已處理，便于后期查詢跟蹤。2數(shù)據(jù)管理數(shù)據(jù)內(nèi)容管理支持對數(shù)據(jù)內(nèi)容的增、刪、改、查、導入、導出等操作。用戶可以自定義顯示列的內(nèi)容。數(shù)據(jù)權(quán)限配置不同的角色分配可查詢或可維護表的權(quán)限數(shù)據(jù)表單配置支持數(shù)據(jù)表單的查詢，能夠批量修改維護表的狀態(tài)、配置數(shù)據(jù)的屬性值等。3服務(wù)管理數(shù)據(jù)服務(wù)管理通過可視化視圖或sql語句進行服務(wù)配置；提供標準的json接口規(guī)范供給第三方應用系統(tǒng)使用?？梢栽黾?、刪除、修改、發(fā)布、停用數(shù)據(jù)服務(wù)。服務(wù)權(quán)限配置可以對服務(wù)權(quán)限進行查詢和刪除等操作。支持對應用系統(tǒng)的服務(wù)的權(quán)限配置應用注冊管理可以對應用系統(tǒng)進行增加、刪除、修改、查詢等操作。4系統(tǒng)管理包括登錄、退出、用戶管理、角色權(quán)限管理、日志管理等常規(guī)的系統(tǒng)功能。 數(shù)據(jù)交換平臺 建設(shè)目標建立靈活、高效、安全、穩(wěn)定、高性能、跨平臺、跨系統(tǒng)、高度可擴展的數(shù)據(jù)交換平臺是校園信息化建設(shè)的關(guān)鍵。通過構(gòu)建該平臺，制定統(tǒng)一的信息交換標準，公開統(tǒng)一的數(shù)據(jù)交換接口，為將來的應用系統(tǒng)集成打下堅實的基礎(chǔ)。通過數(shù)據(jù)交換平臺，進行數(shù)據(jù)過濾、清洗和雙向傳遞，實現(xiàn)各業(yè)務(wù)系統(tǒng)與公共數(shù)據(jù)平臺相互之間的數(shù)據(jù)交換和共享，要求采用專業(yè)的ETL工具，提供對于各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載的過程，同時提供數(shù)據(jù)質(zhì)量的管理、數(shù)據(jù)轉(zhuǎn)換與清洗、調(diào)度和監(jiān)控。數(shù)據(jù)交換平臺的建設(shè)目標分解如下：1）為各應用系統(tǒng)之間提供一個統(tǒng)一的數(shù)據(jù)交換通道，使數(shù)據(jù)交換更加準確、便捷、高效、通暢；2）為公共數(shù)據(jù)平臺提供一個可靠的數(shù)據(jù)采集通道。3）建立學校統(tǒng)一的數(shù)據(jù)交換技術(shù)規(guī)范和標準。 總體技術(shù)要求1) 數(shù)據(jù)交換過程不影響應用系統(tǒng)的正常運行。2) 支持異構(gòu)平臺、異構(gòu)數(shù)據(jù)庫、異構(gòu)系統(tǒng)的數(shù)據(jù)交換和集成。3) 系統(tǒng)支持同步/異步，增量/全表，定時/實時等多種交換方式。4) 支持各類數(shù)據(jù)庫的連接和輸入、輸出，應包括對：Oracle、Sybase、DBMySQL、MS SQL Server、Informix等；5) 提供可視化界面進行數(shù)據(jù)交換作業(yè)管理和設(shè)計工具，實現(xiàn)數(shù)據(jù)采集、交換、轉(zhuǎn)換等工作的配置工作，保證系統(tǒng)的擴展部署和快速實施。提供便捷的數(shù)據(jù)交換任務(wù)的配置，通過簡單的操作即可實現(xiàn)異構(gòu)數(shù)據(jù)源和數(shù)據(jù)交換中心平臺的數(shù)據(jù)同步，無需任何編碼。6) 數(shù)據(jù)處理能力,能夠?qū)?shù)據(jù)進行基于元數(shù)據(jù)的架構(gòu)處理，如：數(shù)據(jù)過濾、數(shù)據(jù)映射、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)拆分、數(shù)據(jù)排序、數(shù)據(jù)合并、數(shù)據(jù)分組、去除重復數(shù)據(jù)等；7) 提供統(tǒng)一的監(jiān)控中心，能監(jiān)控和管理交換流程和系統(tǒng)性能，并能快速捕獲和統(tǒng)計異常信息。8) 支持二次開發(fā)，即提供數(shù)據(jù)交換組件、圖元開發(fā)接口，用戶可以自定義組件。 建設(shè)內(nèi)容及功能要求 數(shù)據(jù)交換引擎數(shù)據(jù)交換引擎基于JAVA構(gòu)建，負責解析數(shù)據(jù)交換作業(yè)定義、處理數(shù)據(jù)交換管理端請求、處理引擎自身的數(shù)據(jù)交換作業(yè)調(diào)度等。數(shù)據(jù)交換引擎可以滿足大規(guī)模數(shù)據(jù)的并發(fā)處理，完成企業(yè)級的數(shù)據(jù)交換場景。 數(shù)據(jù)交換設(shè)計中心 數(shù)據(jù)交換組件庫數(shù)據(jù)交換組件庫包括了一組與數(shù)據(jù)交換相關(guān)的服務(wù)構(gòu)建，通過這些豐富的組件，開發(fā)人員可以在集成開發(fā)環(huán)境下基于可視化的組件圖元快速開發(fā)出高效的數(shù)據(jù)交換模型。主要包括應包含以下數(shù)據(jù)組件，并提供數(shù)據(jù)交換組件擴展開發(fā)。序號功能組名組件名說明1大數(shù)據(jù)hadoop文件輸入組件能夠從hadoop文件中提取數(shù)據(jù)。2hadoop文件輸出組件能夠?qū)⑻幚砗蟮臄?shù)據(jù)存放成hadoop文件。3HBase輸入組件能夠從HBase資源中提取數(shù)據(jù)。4HBase輸出組件能夠?qū)⑻幚硗瓿珊蟮臄?shù)據(jù)放入HBase資源中。5CouchDb輸入組件能夠從CouchDb中抽取數(shù)據(jù)。6輸入文本文件輸入可以通過此組件讀取大量不同的文本文件。7表輸入這個組件可以利用數(shù)據(jù)庫連接和SQL語句從數(shù)據(jù)庫中讀取信息?？梢宰詣由纱舜尾樵兊腟QL語句結(jié)構(gòu)。8獲取系統(tǒng)信息使用這個組件可以在運行時獲取系統(tǒng)的一些基本信息，比如時間、日期、IP地址等等。9Excel輸入使用這個組件可以在Excel文件里讀取數(shù)據(jù)。10Xml輸入使用這個組件可以讀取存儲在XML文件中的數(shù)據(jù)，可以定義需要讀取的文件名、獲取的字段等。11獲取文件名可以獲取系統(tǒng)的文件名信息。12Access輸入可以在Access數(shù)據(jù)庫中獲取數(shù)據(jù)13數(shù)據(jù)庫查詢可以使用這個組件對數(shù)據(jù)庫進行查詢，與表輸入不同的是，它可以更加靈活的指定查詢條件和接收字段名。14獲取表名可以從數(shù)據(jù)庫連接中獲取表名。15輸出文本文件輸出可以將數(shù)據(jù)輸出到指定的文本16表輸出可以將數(shù)據(jù)存儲在數(shù)據(jù)庫表中。17插入更新可以利用關(guān)鍵字在表中搜索行，如果行沒有找到就執(zhí)行插入操作；如果能被找到，并且要被更新的字段沒有任何改變，就不做處理；如果有數(shù)據(jù)變化，就進行更新操作。18Xml輸出可以將數(shù)據(jù)寫入一個或者多個XML文件中。19Excel輸出可以將數(shù)據(jù)寫入一個或者多個Excel文件中。20Access輸出將數(shù)據(jù)輸出到一個Access數(shù)據(jù)庫文件中。21數(shù)據(jù)同步使用這個組件可以基于一個關(guān)鍵字值執(zhí)行插入/更新/刪除操作22轉(zhuǎn)換字段選擇可以選擇所需要的字段、重命名字段、指定字段的長度或者精度。23過濾記錄可以根據(jù)條件和比較來過濾記錄24排序記錄可以根據(jù)你指定的字段對所有記錄進行排序，可按升序或者降序。25增加序列這個組件可以在流中增加一個序列26行轉(zhuǎn)列這個組件可以轉(zhuǎn)動表，得到想要的數(shù)據(jù)。27拆分字段可以根據(jù)指定的分隔符來拆分字段。28去除重復記錄將把輸入流中重復的記錄移除。29值映射可以映射字符串，從一個值映射到另外一個值。30合并記錄可以將來自不同的組件輸入的數(shù)據(jù)進行合并。合并的選項包括INNER、LEFT OUTER、RIGHT OUTER、FULL OUTER。31校驗列用這個組件可以為每條數(shù)據(jù)數(shù)據(jù)添加校驗列。32腳本sql腳本。執(zhí)行sql腳本。33Java代碼通過此組件可以在步驟中采用Java編寫程序的方式執(zhí)行。34JavaScript可以使用這個組件提供的一系列函數(shù)運用JavaScript語言對字段值進行比較復雜的計算。35其他日志通過此組件可以將數(shù)據(jù)寫日日志中36發(fā)送郵件通過此組件可以發(fā)送郵件。 數(shù)據(jù)交換設(shè)計工具數(shù)據(jù)交換設(shè)計工具是基于SWT技術(shù)開發(fā)的可視化數(shù)據(jù)交換流程設(shè)計器，提供可視化數(shù)據(jù)交換模型定義與調(diào)試。 用拖拉方式畫出數(shù)據(jù)交換模型。 支持多種處理處理模式（同步、異步）。 支持多種增量數(shù)據(jù)抽取方式。 無需編寫代碼即可調(diào)試數(shù)據(jù)交換模型。數(shù)據(jù)交換設(shè)計工具可以將不同的交換組件編排在一起，完成增量數(shù)據(jù)獲取、數(shù)據(jù)映射、數(shù)據(jù)內(nèi)容判斷、過濾、錯誤數(shù)據(jù)處理等一系列的數(shù)據(jù)加工過程。可以將開發(fā)調(diào)試完成的數(shù)據(jù)交換作業(yè)部署到數(shù)據(jù)交換引擎中，并通過數(shù)據(jù)交換管理端對其進行管理調(diào)度、優(yōu)化治理。 數(shù)據(jù)交換管理中心 數(shù)據(jù)交換配置（1）交換節(jié)點管理交換節(jié)點管理中可以新增、修改、刪除、查詢節(jié)點配置信息。（2）交換作業(yè)配置可以快速的配置交換節(jié)點與執(zhí)行作業(yè)之間的關(guān)系，即作業(yè)在哪些節(jié)點運行。 作業(yè)管理（1） 目錄管理建立作業(yè)的分類管理，便于查找。（2） 作業(yè)采用成熟的商用中間件作為數(shù)據(jù)集成工具，完成從源到目標的數(shù)據(jù)交換。系統(tǒng)應能支持數(shù)據(jù)的雙向傳遞，使得各類系統(tǒng)業(yè)務(wù)數(shù)據(jù)實時共享，并提供過程的調(diào)度和監(jiān)控。1) 集成接口支持，為不同類型的數(shù)據(jù)源提供接口，包括：支持主流RDBMS如：Oracle、DBSybase、SQL Server、InfoMix的數(shù)據(jù)集成。支持非主流RDBMS如：MySQL、Derby、HypersonicSQL、PostgreSQL的數(shù)據(jù)集成。支持ODBC數(shù)據(jù)源如：Foxpro、Access、Excel等的數(shù)據(jù)集成接口。支持消息類型數(shù)據(jù)源如：JMS Queue、JMS Topic的數(shù)據(jù)集成。支持如格式化的txt及XML的文件數(shù)據(jù)集成。支持Web Service的數(shù)據(jù)集成。支持其他特殊類型數(shù)據(jù)格式如：LOB字段（BLOB、CLOB）的數(shù)據(jù)集成。2) 數(shù)據(jù)集成知識庫要求提供支持各類數(shù)據(jù)集成場景的接口代碼包，要求提供代碼示例；便于為學校后期數(shù)據(jù)集成提供便利性。3) 拓撲管理工具對數(shù)據(jù)源和調(diào)度代理進行管理，支持RDBMS、文本、消息、Web Service等各種數(shù)據(jù)源接口。（2）作業(yè)流能夠定義一組具有相互依賴關(guān)系的接口，實現(xiàn)數(shù)據(jù)交換流程包，完成復雜的數(shù)據(jù)交換過程。提供集成設(shè)計工具，對數(shù)據(jù)集成項目提供圖形化界面進行設(shè)計和開發(fā)。提供集成查看工具，查看數(shù)據(jù)集成項目的運行情況，可以對集成過程進行調(diào)試。（3）數(shù)據(jù)質(zhì)量檢測根據(jù)元數(shù)據(jù)庫中的語義規(guī)則的信息加上系統(tǒng)預置和用戶自定義數(shù)據(jù)質(zhì)量檢查規(guī)則，分析數(shù)據(jù)質(zhì)量，生成質(zhì)量報表，傳遞給用戶，為用戶提供決策支持。要求支持功能：檢查規(guī)則、檢查任務(wù)、檢查任務(wù)調(diào)度、檢測結(jié)果提醒與推送、檢查結(jié)果查詢。（4）調(diào)度管理（1） 日歷配置通過設(shè)置特定日期進行作業(yè)調(diào)度。（2） 頻度設(shè)置按照設(shè)置的頻度進行作業(yè)調(diào)度。（3） 消息設(shè)置當計劃執(zhí)行時會將計劃執(zhí)行結(jié)果以郵件的方式發(fā)送給指定郵箱。（4） 事件配置通過接口文件（文件到達）的方式來觸發(fā)作業(yè)流的運行。 監(jiān)控管理（1） 作業(yè)監(jiān)控能夠?qū)ψ鳂I(yè)流和作業(yè)執(zhí)行的總體情