數(shù)據(jù)資源加工指導規(guī)范標準(文件)
【正文】 項必須填寫著錄。 z 如果存在相關(guān)的國家標準或行業(yè)標準，數(shù)據(jù)采集和指標測量應嚴格遵照相關(guān)的標準規(guī)范進行。 數(shù)據(jù)采集錄入的方法 z 文本數(shù)據(jù)手工填報； z 文本數(shù)據(jù)計算機手工錄入； z 二維圖像信息拍攝或計算機自動掃描； z 三維音像信息多媒體攝像制作； z 原有數(shù)據(jù)的格式轉(zhuǎn)換。 數(shù)據(jù)來源可以是其它數(shù)據(jù)庫資源，也可以是文獻，書籍等其它媒體形式的資源。 數(shù)據(jù)處理的主要目的在于 z 減少誤差。 一般的原始數(shù)據(jù)預處理方法包括數(shù)據(jù)清理、數(shù)據(jù)集成和變換、數(shù)據(jù)歸約等。知識工程工具也可以用來檢測違反限制的數(shù)據(jù)。 主要方法包括： 模式匹配 利用數(shù)據(jù)庫的元數(shù)據(jù)對異構(gòu)數(shù)據(jù)進行映射轉(zhuǎn)換，形成模式匹配。這種技術(shù)包括分箱、聚類和回歸。 屬性構(gòu)造 由給定的屬性構(gòu)造和添加新的屬性，以幫助提高精度和對高維數(shù)據(jù)結(jié)構(gòu)的理解。通常使用屬性子集選擇方法。 屬性數(shù)據(jù)加工模型的核心是對屬性數(shù)據(jù)進行規(guī)范化處理，包括賦予屬性數(shù)據(jù)以空間特征，以及基于數(shù)學模型對屬性數(shù)據(jù)進行均一化處理等。數(shù)據(jù)按要求，開發(fā)處理系統(tǒng)，進行加工處理，產(chǎn)生需要的數(shù)據(jù)、報表等。 數(shù)據(jù)加工的級別 z 0 級數(shù)據(jù)：未作任何處理的原始記錄，其記錄格式、符號、代碼等大多由作業(yè)者本人或其服務的單位自行設(shè)置，外單位人員，即使是同行，也是無法理解這些數(shù)字的含義的。這是原始數(shù)據(jù)記錄生產(chǎn)地向上級主管部門報送的數(shù)據(jù)，這對于原始數(shù)值生產(chǎn)地而言是“數(shù)據(jù)成品”；而對于接受單位，特別是承擔數(shù)據(jù)歸檔、服務的數(shù)據(jù)中心而言則是“原始數(shù)據(jù)”。 z 4 級數(shù)據(jù)：為了特殊的用途，并非數(shù)據(jù)中心日常業(yè)務范圍之內(nèi)，而專門為之整理、加工和生產(chǎn)的科學數(shù)據(jù)產(chǎn)品。 ? 標引：分類標引和主題標引。 ? 匯總（迭加匯總、超級匯總）：由原始數(shù)據(jù)匯總生成綜合數(shù)據(jù)。這種評價是以審核準則為依據(jù)，以審核證據(jù)為前提，做出客觀的評價。 數(shù)據(jù)審核可以由數(shù)據(jù)采集加工人員自檢，也可由數(shù)據(jù)庫主要承建單位專門進行。審核指標的設(shè)置應在符合實際的前提下盡可能不應與當前國際領(lǐng)先水平有太大差距。 數(shù)據(jù)更新 數(shù)據(jù)更新是對存儲在數(shù)據(jù)庫中的數(shù)據(jù)資源進行補充、修改和刪除的工作。 寧可累死在路上，也不能閑死在家里！寧可去碰壁，也不能面壁。能干的人，不在情緒上計較，只在做事上認真；無能的人！不在做事上認真，只在情緒上計較。什么是奮斗？奮斗就是每天很難，可一年一年卻越來越容易。 適宜時候，數(shù)據(jù)庫承建單位宜采用數(shù)據(jù)更新流程，一般數(shù)據(jù)更新應訂立數(shù)據(jù)更新計劃，計劃內(nèi)容包括更新的頻率和周期，數(shù)據(jù)更新的內(nèi)容、范圍和總量等。 數(shù)據(jù)資源審核通過后方可正式對用戶提供服務，未能通過審核的數(shù)據(jù)一般應返回到必要的流程進行修正或重新加工。 數(shù)據(jù)庫主要承建單位應明確審核所參照的評估模型和方法以及技術(shù)要求等。 數(shù)據(jù)審核的目標是確保數(shù)據(jù)內(nèi)容與被描述對象相一致，并且質(zhì)量符合數(shù)據(jù)產(chǎn)品標準要求。 ? 修復：根據(jù)已有殘缺或局部數(shù)據(jù)進行修復，或生成全貌完整數(shù)據(jù)。 ? 校對：對數(shù)據(jù)準確性、數(shù)據(jù)內(nèi)容全面性、數(shù)據(jù)著錄規(guī)范性等進行校對。 z 采集的數(shù)據(jù)進行加工制作，包括查重、著錄、標引、錄入、校對、審核、入庫等，并 終形成各種專題數(shù)據(jù)庫。 z 3 級數(shù)據(jù)：在 2 級數(shù)據(jù)的基礎(chǔ)上，進一步深加工而形成的科學數(shù)據(jù)產(chǎn)品。各部門、系統(tǒng)紛紛制定了數(shù)據(jù)標準和統(tǒng)一格式，科學數(shù)據(jù)從產(chǎn)生那刻起，就是標準的、他人可讀的了。 這一過程，可以是計算機自動處理、手工操作，或者是計算機與人工相結(jié)合方式進行。專題數(shù)據(jù)產(chǎn)品突出反映一種或幾種主要要素或現(xiàn)象。例如，針對屬性數(shù)據(jù)加工的要求，建立屬性數(shù)據(jù)加工模型和算法；針對柵格數(shù)據(jù)加工的要求，建立柵格數(shù)據(jù)加工模型和算法；針對矢量數(shù)據(jù)加工的要求，建立矢量數(shù)據(jù)加工模型和算法。 數(shù)據(jù)立方體聚集 聚集操作用于數(shù)據(jù)立方體中的數(shù)據(jù)。 數(shù)據(jù)概化 使用概念分層，用高層次的概念替換低層次的“原始”數(shù)據(jù)。 數(shù)據(jù)變換 將數(shù)據(jù)轉(zhuǎn)換成適合使用的形式。 數(shù)據(jù)集成 數(shù)據(jù)集成用于將來自不同數(shù)據(jù)源的數(shù)據(jù)整合成一致的數(shù)據(jù)存儲。常用的數(shù)據(jù)清理方法包括： 空缺值的清理 z 忽略元組 z 人工填寫空缺值 z 使用一個全局常量填充空缺值 z 使用屬性的平均值填充空缺值 z 使用與給定元組屬同一類的所有樣本的平均值 z 使用 有可能的值填充空缺值 噪聲數(shù)據(jù) z 分箱 z 聚類 z 計算機和人工檢查結(jié)合 z 回歸 不一致數(shù)據(jù) 對于有些事務，所記錄的數(shù)據(jù)可能存在不一致。 z 提高數(shù)據(jù)的系列性，尤其是在時間和空間序列上的連續(xù)性。 數(shù)據(jù)來源篩選的原則可以包括但不限于以下方面： z 數(shù)據(jù)生產(chǎn)者
公司管理相關(guān)推薦
鄂ICP備17016276號-1