數(shù)據(jù)資源加工指導(dǎo)規(guī)范標(biāo)準(zhǔn)-文庫(kù)吧在線文庫(kù)
【正文】 則 15數(shù)據(jù)加工處理的技術(shù)要求 15數(shù)據(jù)審核 16數(shù)據(jù)更新 17 數(shù)據(jù)資源加工指導(dǎo)規(guī)范 范圍 本規(guī)范提出中國(guó)科學(xué)院數(shù)據(jù)應(yīng)用環(huán)境建設(shè)與服務(wù)項(xiàng)目中科學(xué)數(shù)據(jù)資源采集加工過(guò)程的規(guī)范化要求，包括對(duì)組織管理方面的要求、文檔方面的要求、數(shù)據(jù)約定和數(shù)據(jù)采集加工流程方面的要求等。 元數(shù)據(jù) 關(guān)于數(shù)據(jù)的數(shù)據(jù)。數(shù)據(jù)產(chǎn)品揭示數(shù)據(jù)間的內(nèi)在聯(lián)系，通過(guò)重新組合和再分析，表征某一規(guī)律性的現(xiàn)象或過(guò)程。 突出重點(diǎn)，注重基礎(chǔ) 數(shù)據(jù)資源的內(nèi)容選擇應(yīng)在突出重點(diǎn)和注重基礎(chǔ)兩者之前取得平衡。 組織管理 數(shù)據(jù)庫(kù)主要承建單位負(fù)責(zé)所承建數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)資源采集加工過(guò)程的領(lǐng)導(dǎo)、組織、協(xié)調(diào)和管理。 必要時(shí)，建庫(kù)單位應(yīng)保留數(shù)據(jù)采集的原始記錄一定時(shí)間，以備查證使用。 過(guò)程策劃的輸入可以包括但不限于以下方面： z 用戶和其他相關(guān)方的需求和期望； z 對(duì)數(shù)據(jù)資源特性的評(píng)估； z 對(duì)服務(wù)過(guò)程特性的評(píng)估等。 過(guò)程策劃的結(jié)果應(yīng)該包括： z 實(shí)現(xiàn)數(shù)據(jù)加工目標(biāo)所必須的過(guò)程，以及過(guò)程之間的關(guān)聯(lián) z 每個(gè)標(biāo)準(zhǔn)化過(guò)程所應(yīng)達(dá)成的目標(biāo)和應(yīng)遵循的規(guī)范： ? 目標(biāo) ? 人員要求 ? 資源要求 ? 過(guò)程的輸入 ? 一般執(zhí)行方法 ? 過(guò)程的輸出 ? 相關(guān)文檔 數(shù)據(jù)采集 數(shù)據(jù)采集錄入是指對(duì)科學(xué)數(shù)據(jù)資源進(jìn)行收集并形成原始記錄的過(guò)程。 z 數(shù)據(jù)收集中，對(duì)有明顯錯(cuò)誤或不符合規(guī)律的數(shù)據(jù)亦予以剔除。 來(lái)源篩選 為確保數(shù)據(jù)產(chǎn)品的質(zhì)量，數(shù)據(jù)庫(kù)承建單位應(yīng)對(duì)原始數(shù)據(jù)獲取來(lái)源進(jìn)行選擇，建立數(shù)據(jù)來(lái)源的準(zhǔn)入門檻制度，從開(kāi)始階段就對(duì)數(shù)據(jù)資源質(zhì)量進(jìn)行控制。 z 提高數(shù)據(jù)的完整性，對(duì)單一要素?cái)?shù)據(jù)進(jìn)行綜合。元數(shù)據(jù)、相關(guān)分析、數(shù)據(jù)沖突檢測(cè)和語(yǔ)義異種性的解析都有助于數(shù)據(jù)集成。 規(guī)范化 將屬性數(shù)據(jù)按比例縮放，使之落入一個(gè)小的特定區(qū)間， 到 或 到 。 數(shù)據(jù)加工應(yīng)基于統(tǒng)一的模型，如概念模型，地理坐標(biāo)系，高程參照系，時(shí)間模型，統(tǒng)一的文件格式等。根據(jù)數(shù)據(jù)資源加工程度的不同，數(shù)據(jù)產(chǎn)品可分為多級(jí)。科學(xué)數(shù)據(jù)產(chǎn)品應(yīng)當(dāng)有統(tǒng)一的分類和編碼系統(tǒng)，有統(tǒng)一的數(shù)據(jù)格式或能提供轉(zhuǎn)換接口；應(yīng)當(dāng)置備標(biāo)準(zhǔn)、完善的元數(shù)據(jù)；應(yīng)當(dāng)有數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，并經(jīng)規(guī)范的質(zhì)量檢驗(yàn)與修正；還要有標(biāo)注明確的外包裝。 ? 入庫(kù)：數(shù)據(jù)存入數(shù)據(jù)庫(kù)。 數(shù)據(jù)審核可以貫穿于整個(gè)數(shù)據(jù)資源加工過(guò)程之中，可以量化評(píng)價(jià)的內(nèi)容包括數(shù)據(jù)來(lái)源質(zhì)量評(píng)價(jià)、數(shù)據(jù)加工模型與算法質(zhì)量評(píng)價(jià)、數(shù)據(jù)產(chǎn)品質(zhì)量評(píng)價(jià)等。關(guān)于數(shù)據(jù)審核的方法與審核結(jié)果應(yīng)包含在數(shù)據(jù)庫(kù)用戶手冊(cè)和數(shù)據(jù)庫(kù)對(duì)應(yīng)的元數(shù)據(jù)當(dāng)中。不奮斗就是每天都很容易，可一年一年越來(lái)越難。執(zhí)行數(shù)據(jù)更新時(shí)一般應(yīng)重新執(zhí)行本數(shù)據(jù)庫(kù)采集加工的完整流程。如果學(xué)科領(lǐng)域內(nèi)已存在相關(guān)的數(shù)據(jù)質(zhì)量管理國(guó)際、國(guó)家規(guī)范或行業(yè)標(biāo)準(zhǔn)，數(shù)據(jù)審核宜采用這些相關(guān)標(biāo)準(zhǔn)。 數(shù)據(jù)審核 數(shù)據(jù)審核是一種評(píng)價(jià)過(guò)程。 ? 查重：對(duì)收集到的數(shù)據(jù)在已建數(shù)據(jù)庫(kù)中查重。 z 1 級(jí)數(shù)據(jù)：經(jīng)初步加工，包括數(shù)據(jù)項(xiàng)的必要注釋、數(shù)據(jù)格式的簡(jiǎn)單轉(zhuǎn)換等，成為能讓他人理解的數(shù)據(jù)。 數(shù)據(jù)處理加工與產(chǎn)品生產(chǎn) 數(shù)據(jù)加工處理是指對(duì)已經(jīng)采集的數(shù)據(jù)按照擬定的數(shù)據(jù)加工模型和算法進(jìn)行匯總、計(jì)算、分析及數(shù)字化處理的過(guò)程。 維歸約 通過(guò)刪除不相關(guān)的屬性（或）維減少數(shù)據(jù)量。 主要方法包括： 平滑 去掉數(shù)據(jù)中的噪聲。有些數(shù)據(jù)不一致可以使用其他材料人工地更正。 原始數(shù)據(jù)標(biāo)準(zhǔn)化預(yù)處理 為避免原始數(shù)據(jù)過(guò)于龐大，信息過(guò)于復(fù)雜，數(shù)據(jù)受噪聲數(shù)據(jù)、空缺數(shù)據(jù)和不一致性數(shù)據(jù)的侵?jǐn)_，必要時(shí)，數(shù)據(jù)庫(kù)承建單位應(yīng)對(duì)采集得到的原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化預(yù)處理。 數(shù)據(jù)采集錄入的技術(shù)要求 z 所使用的錄入系統(tǒng)必須是指定的錄入系統(tǒng)； z 輸錄要完全忠實(shí)于采集得到的資料； z 必填內(nèi)容不得為空。 z 因不同的數(shù)據(jù)調(diào)查對(duì)象而異，采用不同的采集方法和不同的質(zhì)量控制要求。 下列流程為不同類型科學(xué)數(shù)據(jù)庫(kù)資源采集加工常見(jiàn)的業(yè)務(wù)流程，以及每個(gè)業(yè)務(wù)流程相對(duì)通用的原則和質(zhì)量要求，數(shù)據(jù)庫(kù)承建單位可參照選擇適宜之條款建立所承建數(shù)據(jù)庫(kù)的采集加工過(guò)程方法。 ? 時(shí)間范圍約定：數(shù)據(jù)集描述的起止時(shí)間 ? 空間范圍約定（如適用）：數(shù)據(jù)集描述的地理空間范圍 ? 學(xué)科范圍約定： z 數(shù)據(jù)量 z 數(shù)據(jù)類型約定 z 數(shù)據(jù)質(zhì)量期望，如填充率水平、差錯(cuò)率水平、主要數(shù)據(jù)來(lái)源等 z 數(shù)據(jù)庫(kù)模型，如 ER 圖等 z 數(shù)據(jù)字典 對(duì)于每個(gè)數(shù)據(jù)元素，應(yīng)在以下方面進(jìn)行描述： ? 數(shù)據(jù)來(lái)源 ? 采集方法，如采集的部分，拍照要求，計(jì)算公式等 ? 設(shè)備要求 ? 編碼方法 ? 精確度 ? 參照系 對(duì)數(shù)據(jù)采集加工內(nèi)容的確定
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1