基于oai和mets遠程收集數(shù)據(jù)的方法和流程趙陽zhaoyang@-資料下載頁
2025-10-02 20:07本頁面
【導(dǎo)讀】“CALIS學位論文全文數(shù)據(jù)庫”服務(wù)體系架構(gòu)?；贠AI和METS數(shù)據(jù)收割實施步驟。滿足提交、審核、編目、標準化、回溯、發(fā)布、符合相關(guān)標準、規(guī)范。CALIS子項目（分中心）層面。CALISODL接口,實現(xiàn)CADLIS各系統(tǒng)之間的統(tǒng)一檢。CALIS_OBJ:objInfo子元素所包含的MetaID進行關(guān)聯(lián)；用METS數(shù)據(jù)導(dǎo)出工具將METS-DP中的數(shù)字對象數(shù)據(jù)導(dǎo)出成為包含。格式記為“CALISMETSRecord”；本地系統(tǒng)管理員手工將上述兩類文件通過FTP上傳至CALIS學位。論文中心，由其完成數(shù)據(jù)匯總、統(tǒng)計工作；
【正文】 C A L I S 元 數(shù) 據(jù) 規(guī) 范 的 元 數(shù) 據(jù) 片 斷 / m e t a d a t a CALIS Record V2,無 Mets 模式二：僅采用 OAIDP收割 實際收割測試 ? ? 參加測試的學校 : ? TPI:中國農(nóng)業(yè)大學 ? TRS:清華大學 ? 北大方正 :北京大學 ? 杭州麥達 :北京大學醫(yī)學院 比較 : 模式一與模式二 在系統(tǒng)部署和維護方面 類型 模式 1 模式 2 說明 部署內(nèi)容 部署 OAIDP服務(wù)器 部署 METSDP服務(wù)器 部署 MQ服務(wù)器 只需部署 OAIDP服務(wù)器 前者部署、培訓、 管理成本都較大 數(shù)據(jù)校驗 和錯誤排 查 OAI文件 METS文件 OAI文件和 METS文件對應(yīng) 關(guān)系（如相關(guān)文件個數(shù)一致 、 ID一致等） OAI文件（可 含 METS數(shù)據(jù)） 對兩類文件之間 的對應(yīng)關(guān)系的問 題 ,模式 1排查工 作量很大，排查 難度很大 系統(tǒng)故障 排查 OAIDP服務(wù)器 METSDP服務(wù)器、 MQ服務(wù) 器以上三個系統(tǒng)之間的聯(lián)動 OAIDP服務(wù)器 前者工作量和難 度（尤其是系統(tǒng) 之間聯(lián)動）都很大 廠商技術(shù)支持工作量 較大，當出現(xiàn)復(fù)雜問題時，需廠商和 CALIS全力配合才能發(fā)現(xiàn) 大為降低 比較 : 模式一與模式二 優(yōu)缺點比較 類型 模式 1 模式 2 優(yōu)點 OAIDP無需考慮大容量數(shù)據(jù)記錄的傳輸問題，因此，模式 1對 OAIDP在性能和超時處理等方面的要求較低； ?只需部署與 OAIDP，無需部署 METSDP和 MQ服務(wù)器； ?OAI記錄和 METS記錄不再分離，一般不會出現(xiàn)一致性問題； ?系統(tǒng)出現(xiàn)故障或數(shù)據(jù)出現(xiàn)問題時， 管理員利用相關(guān)工具能夠自己檢測出來 ； 缺點 ?需要部署 METSDP和 MQ服務(wù)器，需要這兩個服務(wù)器與 OAIDP服務(wù)器聯(lián)動； ?OAI記錄和 METS記錄之間的一致性較難維護； ?特別是： 當上述三個服務(wù)器聯(lián)動出現(xiàn)故障或者當 OAI記錄和 METS記錄之間出現(xiàn)不一致性時， 系統(tǒng)管理員沒有有效的問題排查手段 ， 廠商也難以為管理員開發(fā)出來這種有效的檢測工具 ； 對 OAIDP在性能方面有較高要求， OAIDP應(yīng)能對超大容量的數(shù)據(jù)記錄予以正確響應(yīng) 。 比較 : 模式一與模式二 結(jié)論 ? “模式二 ” 是對 ” 模式一 ” 的簡化，相應(yīng)的系統(tǒng)改造、升級、部署、維護等。 工作量和難度都得大為減少 , 模式二 的易用性和可管理性都大為提高 。 ? 其中 “ 模式二 ” 的手動收割 ,更為安全穩(wěn)定 ,CALIS特色庫的大批量數(shù)據(jù)收割均采用該方式 。 ? 學位論文本地系統(tǒng)的收割模塊 : ? TPI: 支持 模式二 的實時自動收割、手動收割 。 ? 北大方正 :支持 模式二 的實時自動收割、手動收割 。 ? 麥達 :支持 模式二 的實時自動收割、手動收割 。 ? TRS:支持 模式二 的手動收割 。 主要內(nèi)容： ?“CALIS學位論文全文數(shù)據(jù)庫 ” 服務(wù)體系架構(gòu) ?基于 OAI和 METS數(shù)據(jù)收割模式 ?基于 OAI和 METS數(shù)據(jù)收割實施步驟 NOW 基于 OAI和 METS數(shù)據(jù)收割實施步驟 針對模式二 (手動收割 ) ? 1)現(xiàn)有系統(tǒng)升級 公司介紹 ? 2)數(shù)據(jù)導(dǎo)出 公司介紹 ? 3) 數(shù)據(jù)質(zhì)量檢測 ? 4)通過 FTP方式提交 謝謝大家 !
教學課件相關(guān)推薦
鄂ICP備17016276號-1