【文章內(nèi)容簡介】 環(huán)境中，達到優(yōu)勢互補。 ⑷ 數(shù)字圖書館技術(shù) 數(shù)字圖書館技術(shù)的發(fā)展將為紙質(zhì)歷史記錄的數(shù)字化（掃描、壓縮 10 成圖像文件）、信息化（提取出有結(jié)構(gòu)的數(shù)據(jù)、存入數(shù)據(jù)庫）提供技術(shù)方法。數(shù)字圖書館具有虛擬網(wǎng)絡(luò)特點，是一個超大規(guī)模、開放性、分布式的數(shù)字信息資源網(wǎng)絡(luò)體系結(jié)構(gòu)。能實現(xiàn)復(fù)雜信息的加工存取和海量信息存貯的功能。網(wǎng)絡(luò)系統(tǒng)具有良好的兼容性、互操作性、可擴充性，并具有智能化檢索功能，符合國際標準和規(guī)范。 ⑸ 信息共享技術(shù) 以滿足國家和社會公眾對氣象科學(xué)數(shù)據(jù)的共享需求為目的，依托成熟的業(yè)務(wù)技術(shù)體系，以現(xiàn)有氣象數(shù)據(jù)資源為基礎(chǔ) ，通過整合集成，標準化和歸一化處理，形成一批以大氣圈層為核心， 涵 蓋氣候系統(tǒng)范疇的數(shù)據(jù)集產(chǎn)品； 采用大規(guī)模商用數(shù)據(jù)庫技術(shù)、層次化存儲管理技術(shù)和 Web 技術(shù)，建設(shè)體系基本完整、項目較為齊全、質(zhì)量比較可靠的共享氣象資料數(shù)據(jù)庫和 可視化、分布式的氣象資料共享網(wǎng)絡(luò)服務(wù)平臺，構(gòu)建覆蓋全省、網(wǎng)通行業(yè)、聯(lián)結(jié)全國的基于 Inter 網(wǎng)絡(luò)的氣象科學(xué)數(shù)據(jù)共享服務(wù)平臺，為各方面用戶提供全方位、多層次、網(wǎng)絡(luò)化和可視化的氣象基礎(chǔ)信息共享服務(wù)。 3 需求分析 氣象信息 存儲需求 ⑴ 從中國局下載的數(shù)據(jù)量估算 中國局下發(fā)全球常規(guī)觀測資料 ， 每天 105MB。 中國局下發(fā)數(shù)值預(yù)報產(chǎn)品資料 GRIB， MM5 資料（ CN）， 每天約 210MB。 11 HLAFS 資料（ CH）， 每天約 45MB。 T213 資料（ BJ）， 每天 121MB。 歐洲中心資料（ EC）， 每天 。 日本降水量資料（ RJ）， 每天 600KB。 德國降水量資料（ ED）， 每天 2MB。 ⑵ 本省收集的數(shù)據(jù)量估算 ①氣象衛(wèi)星觀測資料： 接收風云靜止衛(wèi)星云圖每天約 3GB； 每天接收 27 張風云靜止云圖，共 。其中正點接收全圓盤圖 24 張，每張 110MB；半點（ 5: 11: 23:30）接 收半圓盤圖3 張，每張 72MB。轉(zhuǎn)換格式文件每天 40MB； 風云極軌衛(wèi)星云圖約 450MB； 美國極軌衛(wèi)星云圖約 2500MB； EOS 衛(wèi)星遙感資料約 2400MB； ②本省六部多普勒雷達觀測資料： 6 個雷達站每天傳輸?shù)睦走_產(chǎn)品資料約 432MB：每次（約 6 分鐘1 次）生成的 25 個雷達產(chǎn)品，一個站一次發(fā)送文件 300KB，一天300*6*240=432MB； 6 個雷達站傳輸?shù)睦走_體掃文件（基數(shù)據(jù)）壓縮后為 480MB：一個站一天 80MB， 6 個站 80*6=480MB。 ③自動站資料： 目前包括每小時一次，每 10 分鐘一次的自動 站報文，每天共約 12 。以后將提高到每分鐘一次，每天共約 35MB。 ④本省常規(guī)地面高空觀測資料： 本省常規(guī)地面高空觀測資料及其加工產(chǎn)品， 每天 11MB； 每月常規(guī)地面高空觀測資料報表文件為 150MB，每年 ； 本省高性能計算機數(shù)值預(yù)報產(chǎn)品 ， 預(yù)計約 50 MB； ⑤本省其它綜合觀測資料： 含閃電定位、酸雨檢測、土壤水分監(jiān)測等等資料每天 10MB； 與外系統(tǒng)合作獲得的資料如水文資料、環(huán)境監(jiān)測資料、風能監(jiān)測資料、國土資源資料等約每天 100MB； ⑶ 資料匯總 省 局目前及未來 5 年的資料存儲量估算見下表： 資料 名稱 目前資料量 未來資料量 日資料量(MB) 年資料量(GB) 日資料量(MB) 年資料量(GB) 風云靜止衛(wèi)星云圖 3100 3100 風云極軌衛(wèi)星遙感資料 450 164 900 328 美國極軌衛(wèi)星遙感資料 2500 2500 EOS 衛(wèi)星遙感資料 2400 876 2400 876 多普勒雷達資料 1000 365 30000 5400 自動站資料 MICAPS 資料 1024 1024 MM5 資料 210 210 13 HLAFS 資料 45 45 T213 資料 121 121 歐洲中心資料 日本降水量資料 德國降水量資料 2 2 PCVSAT 接收常規(guī)資料 105 105 本地加工常規(guī)資料 11 11 合計 ⑷ 小結(jié) ① 云南省 的氣象 信息 工作主要是面向?qū)崟r業(yè)務(wù)及準實時業(yè)務(wù)、科研和服務(wù)，對氣象資料的應(yīng)用及存儲需求涉及到所有的氣象觀測資料及產(chǎn)品資料。 長期 以來，由于存儲能力的限制，省級存儲只能在基本滿足業(yè)務(wù)需要的情況下選擇性的存儲，許多資料分散在各業(yè)務(wù)單位?，F(xiàn)存數(shù)據(jù)量大約 5TB (包括將信息化的紙 質(zhì)資料、 歸檔在省氣象臺信息檔案科 歷史資料、分散 保存在各個業(yè)務(wù)單位的資料 )。 考慮新的信息資料和新的業(yè)務(wù)應(yīng)用的增加， 現(xiàn)在 年數(shù)據(jù)增量約 為 6TB，估計 5 年后省級數(shù)據(jù)庫存儲 共享 系統(tǒng)保存的數(shù)據(jù)總量為 35TB，其中在線保存部分占 14TB，歸檔部分占 21TB。 ② 部分珍貴資料需信息化。目前，許多珍貴的氣象觀測資料仍以紙張的形式存放在氣象資料室，如序列完整、質(zhì)量可靠、應(yīng)用廣泛的太陽輻射和農(nóng)業(yè)氣象報表資料以及數(shù)量眾多的溫度、濕度、風、降水自記紙均未作數(shù)字化處理，不能利用計算機進行加工處理和服務(wù)， 14 需進行信息化。 ③ 正在建立與 氣象相關(guān)的一些資料正式收集途徑。環(huán)境保護局觀測資料、水文氣象觀測資料、農(nóng)業(yè)等與氣象有關(guān)行業(yè)的觀測資料目前尚無獲取的正式途徑，而氣象業(yè)務(wù)對這些資料的需求是不言而喻的，所 以要建立正式的收集途徑。 ④ 氣象業(yè)務(wù)未來發(fā)展對數(shù)據(jù)存儲和利用的要求很高，估計未來５年數(shù)據(jù)存儲量將成倍增長，因此，省級數(shù)據(jù)庫存儲 共享 系統(tǒng)應(yīng)留有足夠的存儲空間以滿足未來５年的數(shù)據(jù)存儲需求。 氣象預(yù)報、服務(wù)業(yè)務(wù)發(fā)展的需求 省級氣象信息 存儲 共享系統(tǒng)是氣象基本業(yè)務(wù)體系的重要組成部分，是省級資料工作的核心業(yè)務(wù)系統(tǒng)，本系統(tǒng)為基本氣象信息分析預(yù)測系統(tǒng)提供基礎(chǔ)資料支撐，同時又是各種加工分析產(chǎn)品的省級匯集地；對于氣象信息服務(wù)系統(tǒng)，一方面，本系統(tǒng)為其提供基本氣象資料并匯集其生成的各種氣象服務(wù)產(chǎn)品，另一方面，又對部門外部 非商業(yè)用戶提供氣象資料服務(wù)而成為氣象資料服務(wù)的主窗口，與其他基本業(yè)務(wù)系統(tǒng)有著密切的聯(lián)系。 氣象信息資源開發(fā)利用的需求 氣象信息 存儲 共享系統(tǒng)收集省內(nèi)觀測資料的主要數(shù)據(jù)源，統(tǒng)一組織和管理云南省氣象局所收集的省內(nèi)乃至全球范圍的觀測資料及其分析加工產(chǎn)品。承擔云南省氣象局各業(yè)務(wù)系統(tǒng)、科研工作和管理部門對氣象資料及其相關(guān)產(chǎn)品開發(fā)利用的聯(lián)機檢索和調(diào)用。 15 經(jīng)濟社會發(fā)展對氣象信息的需求 依托氣象信息綜合業(yè)務(wù)網(wǎng)向下級氣象部門分發(fā)各類資料產(chǎn)品，同時向有關(guān)政府部門提供決策服務(wù)產(chǎn)品和基本氣象資料；通過因特網(wǎng)向社會上的 授權(quán)用戶提供基本氣象資料服務(wù)，從而實現(xiàn)氣象資料多層次的共享。 系統(tǒng)功能與性能 需求 系統(tǒng)功能需求 省級基本氣候資料存儲系統(tǒng)的主要目標是實現(xiàn)氣象信息的高效管理和充分共享，高效規(guī)范的應(yīng)用軟件是系統(tǒng)順利建成并充分發(fā)揮效益的關(guān)鍵。系統(tǒng)對軟件的 功能 需求包括以下幾個部份。 ⑴ 資料收集需求 氣象業(yè)務(wù)的特點是既有實時性很強的中短期和短時天氣預(yù)報，又有時間要求相對低的氣候 業(yè)務(wù) 、 農(nóng)氣業(yè)務(wù)和科研，不同的業(yè)務(wù)性質(zhì)對資料的時效要求也會有所不同。因此氣象資料的獲取就有實時和非實時之分，在資料的收集功能方面要考慮采用不 同的手段對不同類型的資料進行有效的收集。 實時資料的絕大部分都是實時產(chǎn)生、實時傳送、實時應(yīng)用，所以對這些資料的接收時效要求非常高，要求能夠隨時到達隨時接收，將延遲時間降到最低。 省局氣象檔案館珍藏有大量的以紙張形式保存的歷史氣象資料，它們對氣象業(yè)務(wù)和科研工作的發(fā)展具有重要的使用價值。需要將這些非信息化的資料進行數(shù)字化處理，轉(zhuǎn)化為計算機可讀的信息化資料， 16 一方面服務(wù)于氣象業(yè)務(wù)科研工作，充分開發(fā)和利用這些數(shù)據(jù)資源；另一方面拯救這些瀕臨丟失的寶貴資料。 ⑵ 數(shù)據(jù)加工處理需求 數(shù)據(jù)的加工處理是存儲 共享 系統(tǒng)中極其重要的工 作，通過加工處理使各類氣象資料進行有效的分類檢測、形成格式化和標準化的數(shù)據(jù)，為數(shù)據(jù)的入庫和管理乃至檢索應(yīng)用打好基礎(chǔ)。 數(shù)據(jù)在進入存儲 共享 系統(tǒng)之前要進行相應(yīng)的預(yù)加工處理，而預(yù)加工處理的內(nèi)容要視具體的資料而有所不同。 在存儲 共享 系統(tǒng)中，觀測資料的量相比其它資料而言并不大，但對它的處理卻是最為復(fù)雜的。對觀測資料的預(yù)處理主要是指對從通信線路上接收的資料（包括實時傳輸?shù)膱笪暮头菍崟r傳輸?shù)臍庀笤聢蟊砦募┻M行格式檢查，對那些格式有錯誤的報文和文件則要根據(jù)一定的原則由程序自動進行糾正，而不能由程序糾正的有格式錯誤的報文則 應(yīng)該剔除放入人工糾錯的目錄，以保證在質(zhì)量控制前資料格式的正確性。 對產(chǎn)品資料，凡是以報文格式傳送的也都要進行基本的格式檢測。為了應(yīng)用的方便，對那些以分塊傳送的格點資料，例如數(shù)值預(yù)報產(chǎn)品，則要進行多塊拼接，形成有效的區(qū)域、或半球、或全球產(chǎn)品后再進入數(shù)據(jù)庫管理。其它以文件方式形成或傳送的產(chǎn)品資料，要根據(jù)其具體格式進行適當?shù)臋z測與處理，尤其是文件首行的關(guān)鍵信息需要進行檢測與確認。 對于特定的氣候資料、統(tǒng)計分析資料、特種觀測及其它科學(xué)實驗 17 資料等，也必須經(jīng)過事先的加工處理或進行必要的格式轉(zhuǎn)換再進入存儲系統(tǒng)。 元數(shù)據(jù)是 數(shù)據(jù)管理的核心數(shù)據(jù)，它包括存儲系統(tǒng)中各數(shù)據(jù)庫子庫、目錄文件、數(shù)據(jù)集、被遷移數(shù)據(jù)的信息描述以及存在于本系統(tǒng)之外的其它單位或載體的數(shù)據(jù)記錄的說明等，按照所制定的元數(shù)據(jù)標準和元數(shù)據(jù)描述標準專門制作形成的元數(shù)據(jù)文件。存儲 共享 系統(tǒng)中除了應(yīng)具有完整的元數(shù)據(jù)集外，還應(yīng)有相應(yīng)的管理軟件，當管理的數(shù)據(jù)發(fā)生變化時，元數(shù)據(jù)信息的生成與更新也隨之進行。 氣象數(shù)據(jù)種類的多樣化，也使得其格式多種多樣，為了使本系統(tǒng)所管理的數(shù)據(jù)能夠在內(nèi)容和格式上統(tǒng)一規(guī)范，則必須在資料入庫前按照相應(yīng)的數(shù)據(jù)格式標準，對經(jīng)過預(yù)處理或質(zhì)量控制后的資料再進行格式轉(zhuǎn) 換，以形成入庫前的標準數(shù)據(jù)格式。這樣才有利于數(shù)據(jù)庫的統(tǒng)一管理和用戶使用數(shù)據(jù)的格式標準化。 ⑶ 數(shù)據(jù)存儲管理需求 存儲 共享 系統(tǒng)的服務(wù)對象是基本氣象業(yè)務(wù)、科研和對外 數(shù)據(jù)共享，主要解決公共氣象數(shù)據(jù)的存儲 共享 問題。這些數(shù)據(jù)包括各種 探測資料和業(yè)務(wù)分析加工預(yù)報產(chǎn)品。 對于那些特定業(yè)務(wù)系統(tǒng)的專用數(shù)據(jù)，或服務(wù)于特定業(yè)務(wù)系統(tǒng)的專用數(shù)據(jù)庫不進入本系統(tǒng)管理，根據(jù)其專用的特性進行專門管理，但基本的公用數(shù)據(jù)和服務(wù)產(chǎn)品則必須納入到本系統(tǒng)統(tǒng)一管理。 對資料的需求分析表明，不同種類的資料，用戶檢索需要的響應(yīng)時間及用戶檢索的頻度有很大差別，而 不同需求的資料總量在數(shù)量級 18 上均超過 TB 量級，年數(shù)據(jù)增長量也超過 TB 量級。綜合考慮用戶的需求和系統(tǒng)設(shè)備配置的性價比，存儲 共享 系統(tǒng)需采用多級存儲的概念來進行管理。 對用戶而言，希望主要數(shù)據(jù)長期或永久保存在在線的存儲設(shè)備中，顯然這是不現(xiàn)實的。存儲 共享 系統(tǒng)可以通過多級分層管理，滿足用戶對資料的檢索時效要求，這就需要合理規(guī)定各類數(shù)據(jù)在不同存儲設(shè)備中的保存期限。在具體設(shè)計時，將視具體資料和磁盤空間而定，其原則是必須滿足業(yè)務(wù)對資料使用的時間要求。 氣象數(shù)據(jù)種類的多樣性、格式的復(fù)雜性和應(yīng)用的時效性，決定了數(shù)據(jù)管理的復(fù)雜性。 不同種類的資料，其檢索方式是不一樣的。例如，對常規(guī)觀測資料，用戶需要提供關(guān)于要素、時間、空間、值域等多項條件組合的檢索，顯然，對這類資料用數(shù)據(jù) 庫方式管理較為合適；而對數(shù)值分析和預(yù)報二維格點場資料以及圖形圖像資料，用戶一般需要某時次的完整的場資料和圖形圖像 文件，顯然，對這類資料用文件庫方式管理較為合適。 因此對數(shù)據(jù)的存儲管理將包括對數(shù)據(jù)庫的管理和對文件庫的管理，并把它們很好地結(jié)合起來，實現(xiàn)對系統(tǒng)整體數(shù)據(jù)的集中統(tǒng)一管理。 數(shù)據(jù)類型的不斷增加和數(shù)據(jù)量的快速增長是氣象資料的顯著特點，這得益于現(xiàn)代觀（探）測技術(shù)的發(fā)展 以及計算機技術(shù)的快速發(fā)展，特別是數(shù)值預(yù)報模式分辨率的提高將會使產(chǎn)品數(shù)據(jù)成倍增長。因此存儲 共享 系統(tǒng)不但要考慮現(xiàn)有數(shù)據(jù)的管理和使用，更要考慮未來數(shù)據(jù)的增長趨勢，特別是要適應(yīng)新的資料類型的增加。 19 與此同時，隨著氣象事業(yè)的發(fā)展，新的業(yè)務(wù)種類的增加也會對數(shù)據(jù)的管理有新的需求。這就要求存儲 共享 系統(tǒng)具有良好的可擴充性，預(yù)留足夠的擴展接口，這包括新種類資料的入庫、新的檢索需求、存儲空間的預(yù)留及可擴充性等因素，以適應(yīng)新增數(shù)據(jù)和新的業(yè)務(wù)需求。 ⑷ 數(shù)據(jù)維護需求 對于保存于在線設(shè)備中的數(shù)據(jù)，無論是采用數(shù)據(jù)庫管理還是采用文件系統(tǒng)管理 ，總是要不斷地進行追加與更新，這是氣象數(shù)據(jù)的應(yīng)用特點所決定的。特別是對于實時資料，必須具有隨時處理、隨時入庫、隨時更新的能力。 實時資料的更新一般是由運行的程序自動完成的，但如果資料格式有變化或者有新的資料類型出現(xiàn)，則原來的程序?qū)⒉荒苷_處理，必須對相應(yīng)的程序進行修改才能保證數(shù)據(jù)的正確與完整。 對于非實時資料的追加，應(yīng)有自動和人工兩種方式。對由實時轉(zhuǎn)入非實時的數(shù)據(jù)采用自動方式，對那些分散的、通過加工收集的零散數(shù)據(jù)則采用人工 輸 入命