【正文】 、氣象科研 和服務發(fā)展 的 不可缺少的基礎，是無數(shù)氣象科研工作者心血的結晶。 意義 充分發(fā)揮 氣象 信息資源的 使用效益 隨著社會的進步和經(jīng)濟的發(fā)展，人們對天氣、氣候的變化越來越敏感，相關領域的科學研究對氣象數(shù)據(jù)信息的需求和應用越來越廣泛。 本項目一方面提供基本氣象資料并匯集其生成的各種氣象服務產(chǎn)品，另一方面又對部門外部非商業(yè)用戶提供氣象資料服務而成為氣象資料服務的主窗 口。 3 提高氣象信息資源的管理水平和共享能力 氣象在人類挽救自身生命和財產(chǎn)的努力中具有獨特的作用，氣象服務的公益性質(zhì)和互惠互利性質(zhì)，決定了氣象信息資源的共享具有一定的基礎，但提升其共享水平也存在著很大的局限性。 隨著自動氣象站、自動雨量氣溫雙要素站、自動雨量站 的建設，各級各類資料大幅增加，目前我省已形成了基本的基礎資料信息共享。 本項目將以 信息 存儲管理、 共享 服務 需求開展研究，將顯著提高云南省 氣象信息 的科 學管理水平，增強氣象信息資源的共享能力， 提高 全 省業(yè)務服務能力。 建立省級數(shù)據(jù)存儲共享系統(tǒng)，對數(shù)量龐大的信息進行科學地組織、管理、存儲和使用，實現(xiàn)快捷、高效、準確、全方位氣象資料服務，是氣象業(yè)務、科研及社會經(jīng)濟建設 的需要。 滿足服務需要 社會進步、經(jīng)濟發(fā)展和科學研究對氣象資料的社會共享提出了迫切的要求。 云南省級 氣象信息存儲共享 系統(tǒng)的建 設 ，將大大地提高我省氣象數(shù)據(jù)收集 、 服務的能力，極大地擴展收集的覆蓋面及處理時效，為國民經(jīng)濟宏觀決策，如應用氣候規(guī)律開發(fā)云南，指導政府經(jīng)濟建設、在減災防災制定重大決策中發(fā)揮作用。尤其是對國家安全和軍事戰(zhàn)略具有重要意義的氣候資料尤其是高空資料的需求極大增加，在開發(fā)西部的戰(zhàn)略指導下，云南的發(fā)展急需氣候資料部門提供詳實、全面的全省氣候環(huán)境數(shù)據(jù)，以指導我省合理開發(fā)。 5 2 現(xiàn)狀及發(fā)展趨勢 現(xiàn)狀 氣象信息存儲管理作為基礎氣象業(yè)務工作受到越來越高度的重視，包括資料收集、加工 處理、存儲和服務的數(shù)據(jù)管理工作在標準化、規(guī)范化和現(xiàn)代化方面取得了重要進步。以氣象通信網(wǎng)絡、高性能計算技術為代表的我省氣象信息網(wǎng)絡系統(tǒng)的發(fā)展已取得長足進步，以 Sybase、 SQL Server 為主的商用數(shù)據(jù)庫管理系統(tǒng)在我省的氣象信息業(yè)務中得到初步應用，以數(shù)據(jù)為中心的業(yè)務流程正在逐步形成 。 隨著氣象科技的發(fā)展，我省大氣探測系統(tǒng)將以自動觀測站、特種氣象要素觀測、大氣本底站、多譜勒雷達、氣象衛(wèi)星、 EOS 資源衛(wèi)星等為 核心建設新一代氣象綜合探測系統(tǒng)，獲取的 氣象 資料將呈海量增 6 加。其中，常規(guī)觀測資料（包括農(nóng)氣資料、業(yè)務服務產(chǎn)品資料等）數(shù)據(jù)量較??；而數(shù)值模式資料、衛(wèi)星觀測資料以及天氣雷達觀測及產(chǎn)品資料的數(shù)據(jù)量較大。 服務器 系統(tǒng)幾乎都是以單機形式運行，缺乏容錯保護功能，很容易因某一服務器故障而導致業(yè)務的短時中斷；運行在各計算機系統(tǒng)上的業(yè)務作業(yè)沒有統(tǒng)一的數(shù)據(jù)來源、數(shù)據(jù)格式和缺少二進制代碼級的兼容。到目前為止， 云南省氣象檔案館 所真正掌握的完整的氣象資料仍僅限于常規(guī)氣象觀測資料及其相關的統(tǒng)計產(chǎn)品，其它如數(shù)值預報產(chǎn)品、數(shù)值分析產(chǎn)品、衛(wèi)星觀測及 產(chǎn)品資料、雷達觀測及產(chǎn)品資料、特種觀測資料等資料的管理分散，保存時間不能滿足業(yè)務及研究的需求，而且大量的數(shù)據(jù)使用后就丟棄沒有延續(xù)保存，管理的疏漏導致資料使用的不便，以致影響一些業(yè)務及研究工作的開展。同時，部分常用的觀測和產(chǎn)品資料由于未做進一步的加工處理，使得眾多的用戶重復進行報文解碼和質(zhì)量控制工作。 ⑷ 信息資源的開發(fā)利用水平和共享程度低 盡管隨著新的大氣探測技術和業(yè)務的發(fā)展，各類氣象信息資料大量增加，但存在著 條塊分割和數(shù)據(jù)壁壘 的問題。各 業(yè)務、科研系統(tǒng)為了自身系統(tǒng)運行的需要，只好另行建立基于本系統(tǒng)需求的資料庫，或從對應的數(shù)據(jù)庫中提取有關資料，保存于本地 ，雖然這些資料庫中的大部分資料在其他數(shù)據(jù)庫中已經(jīng)存在，造成信息資源的嚴重浪費。 8 ⑸ 資料庫缺少面向業(yè)務應用的靈活的檢索接口 一般而言，資料庫目前在檢索功能基本上主要有聯(lián)機檢索和程序調(diào)用檢索兩種方式：聯(lián)機檢索基本上局限于資 料的瀏覽和下載，程序調(diào)用檢索則必須在數(shù)據(jù)庫服務器上運行。 由此造成各業(yè)務、科研系統(tǒng)為了自身系統(tǒng)運行的需要，必須另行建立基于本系統(tǒng)需求的資料庫，雖然這些資料庫中的大部分資料在公用數(shù)據(jù)庫中已經(jīng)存在。 ⑴ 數(shù)據(jù)庫管理技術 數(shù)據(jù)庫管理技術應用領域不斷拓寬，適合于因特網(wǎng)上各種應用目的的管理技術將得到更進一步的發(fā)展，管理的數(shù)據(jù)類型多樣化，開發(fā)工具更加豐富、智能化；多級管理技術、統(tǒng)一透明的應用界面日趨成熟，檢索效率將進一步提高；并行數(shù)據(jù)管理技術更加成熟，并行查詢算法更加先進；分布式數(shù)據(jù)庫管理功能日趨強化，數(shù)據(jù)的一致性、整合性、安全性等更加完善；數(shù)據(jù)備份功能更加強化，把數(shù)據(jù)和數(shù)據(jù)庫系統(tǒng)作為兩個獨立的資源，確保數(shù)據(jù)安全，建立一個高效、合理和安 9 全的數(shù)據(jù)備份機制，是當今各大數(shù)據(jù)庫開發(fā)商追逐的方向。傳統(tǒng)的數(shù)據(jù)倉庫提供的決策信息是戰(zhàn)略性的、長期的；動態(tài)數(shù)據(jù)倉庫是網(wǎng)絡經(jīng)濟飛速發(fā)展需求驅(qū)動的產(chǎn)物，主要用于經(jīng)營性決策，其要求決策要快，以防錯失良機，造成重大的經(jīng)濟損失；數(shù)據(jù)挖掘技術是從大量的數(shù)據(jù)中找出有價值的信息，供決策使用，使決策者或被服務對象從中收益。 ⑶ 存域網(wǎng)（ SAN）和網(wǎng)絡附加存儲（ NAS）技術 存儲越來越成為氣象資料共享的瓶頸和薄弱環(huán)節(jié)，如何更好地利用現(xiàn)有的網(wǎng)絡通信優(yōu)勢，實現(xiàn)現(xiàn)有及未 來的更多的氣象數(shù)據(jù)的應用，使現(xiàn)有氣象數(shù)據(jù)利用率和實時性得以大幅度提高，為精細化預報提供實時資料保障，更好地為氣象事業(yè)服務，是我省迫切需要解決的問題。存域網(wǎng)技術逐步走向成熟，并將成為數(shù)據(jù)管理技術對多級存儲介質(zhì)進行集中統(tǒng)一管理的較好的運行平臺之一；網(wǎng)絡附加存儲技術性能不斷改進，并將與 SAN 共存，配置在同 一個環(huán)境中，達到優(yōu)勢互補。數(shù)字圖書館具有虛擬網(wǎng)絡特點，是一個超大規(guī)模、開放性、分布式的數(shù)字信息資源網(wǎng)絡體系結構。網(wǎng)絡系統(tǒng)具有良好的兼容性、互操作性、可擴充性，并具有智能化檢索功能，符合國際標準和規(guī)范。 3 需求分析 氣象信息 存儲需求 ⑴ 從中國局下載的數(shù)據(jù)量估算 中國局下發(fā)全球常規(guī)觀測資料 ， 每天 105MB。 11 HLAFS 資料（ CH）， 每天約 45MB。 歐洲中心資料（ EC）， 每天 。 德國降水量資料（ ED）， 每天 2MB。其中正點接收全圓盤圖 24 張，每張 110MB；半點（ 5: 11: 23:30）接 收半圓盤圖3 張，每張 72MB。 ③自動站資料： 目前包括每小時一次，每 10 分鐘一次的自動 站報文，每天共約 12 。 ④本省常規(guī)地面高空觀測資料： 本省常規(guī)地面高空觀測資料及其加工產(chǎn)品， 每天 11MB； 每月常規(guī)地面高空觀測資料報表文件為 150MB，每年 ； 本省高性能計算機數(shù)值預報產(chǎn)品 ， 預計約 50 MB； ⑤本省其它綜合觀測資料： 含閃電定位、酸雨檢測、土壤水分監(jiān)測等等資料每天 10MB； 與外系統(tǒng)合作獲得的資料如水文資料、環(huán)境監(jiān)測資料、風能監(jiān)測資料、國土資源資料等約每天 100MB； ⑶ 資料匯總 省 局目前及未來 5 年的資料存儲量估算見下表： 資料 名稱 目前資料量 未來資料量 日資料量(MB) 年資料量(GB) 日資料量(MB) 年資料量(GB) 風云靜止衛(wèi)星云圖 3100 3100 風云極軌衛(wèi)星遙感資料 450 164 900 328 美國極軌衛(wèi)星遙感資料 2500 2500 EOS 衛(wèi)星遙感資料 2400 876 2400 876 多普勒雷達資料 1000 365 30000 5400 自動站資料 MICAPS 資料 1024 1024 MM5 資料 210 210 13 HLAFS 資料 45 45 T213 資料 121 121 歐洲中心資料 日本降水量資料 德國降水量資料 2 2 PCVSAT 接收常規(guī)資料 105 105 本地加工常規(guī)資料 11 11 合計 ⑷ 小結 ① 云南省 的氣象 信息 工作主要是面向?qū)崟r業(yè)務及準實時業(yè)務、科研和服務，對氣象資料的應用及存儲需求涉及到所有的氣象觀測資料及產(chǎn)品資料。現(xiàn)存數(shù)據(jù)量大約 5TB (包括將信息化的紙 質(zhì)資料、 歸檔在省氣象臺信息檔案科 歷史資料、分散 保存在各個業(yè)務單位的資料 )。 ② 部分珍貴資料需信息化。 ③ 正在建立與 氣象相關的一些資料正式收集途徑。 ④ 氣象業(yè)務未來發(fā)展對數(shù)據(jù)存儲和利用的要求很高，估計未來５年數(shù)據(jù)存儲量將成倍增長，因此，省級數(shù)據(jù)庫存儲 共享 系統(tǒng)應留有足夠的存儲空間以滿足未來５年的數(shù)據(jù)存儲需求。 氣象信息資源開發(fā)利用的需求 氣象信息 存儲 共享系統(tǒng)收集省內(nèi)觀測資料的主要數(shù)據(jù)源，統(tǒng)一組織和管理云南省氣象局所收集的省內(nèi)乃至全球范圍的觀測資料及其分析加工產(chǎn)品。 15 經(jīng)濟社會發(fā)展對氣象信息的需求 依托氣象信息綜合業(yè)務網(wǎng)向下級氣象部門分發(fā)各類資料產(chǎn)品，同時向有關政府部門提供決策服務產(chǎn)品和基本氣象資料；通過因特網(wǎng)向社會上的 授權用戶提供基本氣象資料服務，從而實現(xiàn)氣象資料多層次的共享。系統(tǒng)對軟件的 功能 需求包括以下幾個部份。因此氣象資料的獲取就有實時和非實時之分，在資料的收集功能方面要考慮采用不 同的手段對不同類型的資料進行有效的收集。 省局氣象檔案館珍藏有大量的以紙張形式保存的歷史氣象資料，它們對氣象業(yè)務和科研工作的發(fā)展具有重要的使用價值。 ⑵ 數(shù)據(jù)加工處理需求 數(shù)據(jù)的加工處理是存儲 共享 系統(tǒng)中極其重要的工 作，通過加工處理使各類氣象資料進行有效的分類檢測、形成格式化和標準化的數(shù)據(jù)，為數(shù)據(jù)的入庫和管理乃至檢索應用打好基礎。 在存儲 共享 系統(tǒng)中，觀測資料的量相比其它資料而言并不大，但對它的處理卻是最為復雜的。 對產(chǎn)品資料，凡是以報文格式傳送的也都要進行基本的格式檢測。其它以文件方式形成或傳送的產(chǎn)品資料，要根據(jù)其具體格式進行適當?shù)臋z測與處理，尤其是文件首行的關鍵信息需要進行檢測與確認。 元數(shù)據(jù)是 數(shù)據(jù)管理的核心數(shù)據(jù)，它包括存儲系統(tǒng)中各數(shù)據(jù)庫子庫、目錄文件、數(shù)據(jù)集、被遷移數(shù)據(jù)的信息描述以及存在于本系統(tǒng)之外的其它單位或載體的數(shù)據(jù)記錄的說明等，按照所制定的元數(shù)據(jù)標準和元數(shù)據(jù)描述標準專門制作形成的元數(shù)據(jù)文件。 氣象數(shù)據(jù)種類的多樣化，也使得其格式多種多樣，為了使本系統(tǒng)所管理的數(shù)據(jù)能夠在內(nèi)容和格式上統(tǒng)一規(guī)范，則必須在資料入庫前按照相應的數(shù)據(jù)格式標準，對經(jīng)過預處理或質(zhì)量控制后的資料再進行格式轉(zhuǎn) 換，以形成入庫前的標準數(shù)據(jù)格式。 ⑶ 數(shù)據(jù)存儲管理需求 存儲 共享 系統(tǒng)的服務對象是基本氣象業(yè)務、科研和對外 數(shù)據(jù)共享，主要解決公共氣象數(shù)據(jù)的存儲 共享 問題。 對于那些特定業(yè)務系統(tǒng)的專用數(shù)據(jù)，或服務于特定業(yè)務系統(tǒng)的專用數(shù)據(jù)庫不進入本系統(tǒng)管理，根據(jù)其專用的特性進行專門管理，但基本的公用數(shù)據(jù)和服務產(chǎn)品則必須納入到本系統(tǒng)統(tǒng)一管理。綜合考慮用戶的需求和系統(tǒng)設備配置的性價比，存儲 共享 系統(tǒng)需采用多級存儲的概念來進行管理。存儲 共享 系統(tǒng)可以通過多級分層管理，滿足用戶對資料的檢索時效要求，這就需要合理規(guī)定各類數(shù)據(jù)在不同存儲設備中的保存期限。 氣象數(shù)據(jù)種類的多樣性、格式的復雜性和應用的時效性，決定了數(shù)據(jù)管理的復雜性。例如，對常規(guī)觀測資料，用戶需要提供關于要素、時間、空間、值域等多項條件組合的檢索，顯然，對這類資料用數(shù)據(jù) 庫方式管理較為合適；而對數(shù)值分析和預報二維格點場資料以及圖形圖像資料，用戶一般需要某時次的完整的場資料和圖形圖像 文件，顯然，對這類資料用文件庫方式管理較為合適。 數(shù)據(jù)類型的不斷增加和數(shù)據(jù)量的快速增長是氣象資料的顯著特點，這得益于現(xiàn)代觀（探）測技術的發(fā)展 以及計算機技術的快速發(fā)展，特別是數(shù)值預報模式分辨率的提高將會使產(chǎn)品數(shù)據(jù)成倍增長。 19 與此同時，隨著氣象事業(yè)的發(fā)展，新的業(yè)務種類的增加也會對數(shù)據(jù)的管理有新的需求。 ⑷ 數(shù)據(jù)維護需求 對于保存于在線設備中的數(shù)據(jù)，無論是采用數(shù)據(jù)庫管理還是采用文件系統(tǒng)管理 ，總是要不斷地進行追加與更新，這是氣象數(shù)據(jù)的應用特點所決定的。 實時資料的更新一般是由運行的程序自動完成的，但如果資料格式有變化或者有新的資料類型出現(xiàn)，則原來的程序?qū)⒉荒苷_處理，必須對相應的程序進行修改才能保證數(shù)據(jù)的正確與完整。對由實時轉(zhuǎn)入非實時的數(shù)據(jù)采用自動方式，對那些分散的、通過加工收集的零散數(shù)據(jù)則采用人工 輸 入命令方式追加入庫。 數(shù)據(jù)的清除功能包括對數(shù)據(jù)庫中的數(shù)據(jù)、文件系統(tǒng)管理的數(shù)據(jù)以及其它相關目錄的數(shù)據(jù)進行清除。 20 ⑸ 數(shù)據(jù)檢索需求 數(shù)據(jù)的檢索對用戶來說應該是透明的，即無論用戶索要的資料存放在何處、何種設備上，用戶都能通過同一界面獲得數(shù)據(jù)；實時氣象資料和非實時氣象資料盡管在存儲和管理上有所區(qū)別，但對檢索應用的用戶而言，它們是透明的，即用戶檢索的界面是一 致的，檢索的資料不存在實時和非實時的差別。用戶通過