【正文】 則 15數(shù)據(jù)加工處理的技術(shù)要求 15數(shù)據(jù)審核 16數(shù)據(jù)更新 17 數(shù)據(jù)資源加工指導(dǎo)規(guī)范 范圍 本規(guī)范提出中國科學(xué)院數(shù)據(jù)應(yīng)用環(huán)境建設(shè)與服務(wù)項目中科學(xué)數(shù)據(jù)資源采集加工過程的規(guī)范化要求，包括對組織管理方面的要求、文檔方面的要求、數(shù)據(jù)約定和數(shù)據(jù)采集加工流程方面的要求等。 元數(shù)據(jù) 關(guān)于數(shù)據(jù)的數(shù)據(jù)。數(shù)據(jù)產(chǎn)品揭示數(shù)據(jù)間的內(nèi)在聯(lián)系，通過重新組合和再分析，表征某一規(guī)律性的現(xiàn)象或過程。 突出重點，注重基礎(chǔ) 數(shù)據(jù)資源的內(nèi)容選擇應(yīng)在突出重點和注重基礎(chǔ)兩者之前取得平衡。 組織管理 數(shù)據(jù)庫主要承建單位負責(zé)所承建數(shù)據(jù)庫內(nèi)數(shù)據(jù)資源采集加工過程的領(lǐng)導(dǎo)、組織、協(xié)調(diào)和管理。 必要時，建庫單位應(yīng)保留數(shù)據(jù)采集的原始記錄一定時間，以備查證使用。 過程策劃的輸入可以包括但不限于以下方面： z 用戶和其他相關(guān)方的需求和期望； z 對數(shù)據(jù)資源特性的評估； z 對服務(wù)過程特性的評估等。 過程策劃的結(jié)果應(yīng)該包括： z 實現(xiàn)數(shù)據(jù)加工目標所必須的過程，以及過程之間的關(guān)聯(lián) z 每個標準化過程所應(yīng)達成的目標和應(yīng)遵循的規(guī)范： ? 目標 ? 人員要求 ? 資源要求 ? 過程的輸入 ? 一般執(zhí)行方法 ? 過程的輸出 ? 相關(guān)文檔 數(shù)據(jù)采集 數(shù)據(jù)采集錄入是指對科學(xué)數(shù)據(jù)資源進行收集并形成原始記錄的過程。 z 數(shù)據(jù)收集中，對有明顯錯誤或不符合規(guī)律的數(shù)據(jù)亦予以剔除。 來源篩選 為確保數(shù)據(jù)產(chǎn)品的質(zhì)量，數(shù)據(jù)庫承建單位應(yīng)對原始數(shù)據(jù)獲取來源進行選擇，建立數(shù)據(jù)來源的準入門檻制度，從開始階段就對數(shù)據(jù)資源質(zhì)量進行控制。 z 提高數(shù)據(jù)的完整性，對單一要素數(shù)據(jù)進行綜合。元數(shù)據(jù)、相關(guān)分析、數(shù)據(jù)沖突檢測和語義異種性的解析都有助于數(shù)據(jù)集成。 規(guī)范化 將屬性數(shù)據(jù)按比例縮放，使之落入一個小的特定區(qū)間， 到 或 到 。 數(shù)據(jù)加工應(yīng)基于統(tǒng)一的模型，如概念模型，地理坐標系，高程參照系，時間模型，統(tǒng)一的文件格式等。根據(jù)數(shù)據(jù)資源加工程度的不同，數(shù)據(jù)產(chǎn)品可分為多級?？茖W(xué)數(shù)據(jù)產(chǎn)品應(yīng)當有統(tǒng)一的分類和編碼系統(tǒng)，有統(tǒng)一的數(shù)據(jù)格式或能提供轉(zhuǎn)換接口；應(yīng)當置備標準、完善的元數(shù)據(jù)；應(yīng)當有數(shù)據(jù)質(zhì)量標準，并經(jīng)規(guī)范的質(zhì)量檢驗與修正；還要有標注明確的外包裝。 ? 入庫：數(shù)據(jù)存入數(shù)據(jù)庫。 數(shù)據(jù)審核可以貫穿于整個數(shù)據(jù)資源加工過程之中，可以量化評價的內(nèi)容包括數(shù)據(jù)來源質(zhì)量評價、數(shù)據(jù)加工模型與算法質(zhì)量評價、數(shù)據(jù)產(chǎn)品質(zhì)量評價等。關(guān)于數(shù)據(jù)審核的方法與審核結(jié)果應(yīng)包含在數(shù)據(jù)庫用戶手冊和數(shù)據(jù)庫對應(yīng)的元數(shù)據(jù)當中。不奮斗就是每天都很容易，可一年一年越來越難。執(zhí)行數(shù)據(jù)更新時一般應(yīng)重新執(zhí)行本數(shù)據(jù)庫采集加工的完整流程。如果學(xué)科領(lǐng)域內(nèi)已存在相關(guān)的數(shù)據(jù)質(zhì)量管理國際、國家規(guī)范或行業(yè)標準，數(shù)據(jù)審核宜采用這些相關(guān)標準。 數(shù)據(jù)審核 數(shù)據(jù)審核是一種評價過程。 ? 查重：對收集到的數(shù)據(jù)在已建數(shù)據(jù)庫中查重。 z 1 級數(shù)據(jù)：經(jīng)初步加工，包括數(shù)據(jù)項的必要注釋、數(shù)據(jù)格式的簡單轉(zhuǎn)換等，成為能讓他人理解的數(shù)據(jù)。 數(shù)據(jù)處理加工與產(chǎn)品生產(chǎn) 數(shù)據(jù)加工處理是指對已經(jīng)采集的數(shù)據(jù)按照擬定的數(shù)據(jù)加工模型和算法進行匯總、計算、分析及數(shù)字化處理的過程。 維歸約 通過刪除不相關(guān)的屬性（或）維減少數(shù)據(jù)量。 主要方法包括： 平滑 去掉數(shù)據(jù)中的噪聲。有些數(shù)據(jù)不一致可以使用其他材料人工地更正。 原始數(shù)據(jù)標準化預(yù)處理 為避免原始數(shù)據(jù)過于龐大，信息過于復(fù)雜，數(shù)據(jù)受噪聲數(shù)據(jù)、空缺數(shù)據(jù)和不一致性數(shù)據(jù)的侵擾，必要時，數(shù)據(jù)庫承建單位應(yīng)對采集得到的原始數(shù)據(jù)進行標準化預(yù)處理。 數(shù)據(jù)采集錄入的技術(shù)要求 z 所使用的錄入系統(tǒng)必須是指定的錄入系統(tǒng)； z 輸錄要完全忠實于采集得到的資料； z 必填內(nèi)容不得為空。 z 因不同的數(shù)據(jù)調(diào)查對象而異，采用不同的采集方法和不同的質(zhì)量控制要求。 下列流程為不同類型科學(xué)數(shù)據(jù)庫資源采集加工常見的業(yè)務(wù)流程，以及每個業(yè)務(wù)流程相對通用的原則和質(zhì)量要求，數(shù)據(jù)庫承建單位可參照選擇適宜之條款建立所承建數(shù)據(jù)庫的采集加工過程方法。 ? 時間范圍約定：數(shù)據(jù)集描述的起止時間 ? 空間范圍約定（如適用）：數(shù)據(jù)集描述的地理空間范圍 ? 學(xué)科范圍約定： z 數(shù)據(jù)量 z 數(shù)據(jù)類型約定 z 數(shù)據(jù)質(zhì)量期望，如填充率水平、差錯率水平、主要數(shù)據(jù)來源等 z 數(shù)據(jù)庫模型，如 ER 圖等 z 數(shù)據(jù)字典 對于每個數(shù)據(jù)元素，應(yīng)在以下方面進行描述： ? 數(shù)據(jù)來源 ? 采集方法，如采集的部分，拍照要求，計算公式等 ? 設(shè)備要求 ? 編碼方法 ? 精確度 ? 參照系 對數(shù)據(jù)采集加工內(nèi)容的確定