【正文】 將包括對數(shù)據(jù)庫的管理和對文件庫的管理，并把它們很好地結(jié)合起來，實(shí)現(xiàn)對系統(tǒng)整體數(shù)據(jù)的集中統(tǒng)一管理。 不同種類的資料，其檢索方式是不一樣的。在具體設(shè)計(jì)時(shí)，將視具體資料和磁盤空間而定，其原則是必須滿足業(yè)務(wù)對資料使用的時(shí)間要求。 對用戶而言，希望主要數(shù)據(jù)長期或永久保存在在線的存儲(chǔ)設(shè)備中，顯然這是不現(xiàn)實(shí)的。 對資料的需求分析表明，不同種類的資料，用戶檢索需要的響應(yīng)時(shí)間及用戶檢索的頻度有很大差別，而 不同需求的資料總量在數(shù)量級 18 上均超過 TB 量級，年數(shù)據(jù)增長量也超過 TB 量級。這些數(shù)據(jù)包括各種 探測資料和業(yè)務(wù)分析加工預(yù)報(bào)產(chǎn)品。這樣才有利于數(shù)據(jù)庫的統(tǒng)一管理和用戶使用數(shù)據(jù)的格式標(biāo)準(zhǔn)化。存儲(chǔ) 共享 系統(tǒng)中除了應(yīng)具有完整的元數(shù)據(jù)集外，還應(yīng)有相應(yīng)的管理軟件，當(dāng)管理的數(shù)據(jù)發(fā)生變化時(shí)，元數(shù)據(jù)信息的生成與更新也隨之進(jìn)行。 對于特定的氣候資料、統(tǒng)計(jì)分析資料、特種觀測及其它科學(xué)實(shí)驗(yàn) 17 資料等，也必須經(jīng)過事先的加工處理或進(jìn)行必要的格式轉(zhuǎn)換再進(jìn)入存儲(chǔ)系統(tǒng)。為了應(yīng)用的方便，對那些以分塊傳送的格點(diǎn)資料，例如數(shù)值預(yù)報(bào)產(chǎn)品，則要進(jìn)行多塊拼接，形成有效的區(qū)域、或半球、或全球產(chǎn)品后再進(jìn)入數(shù)據(jù)庫管理。對觀測資料的預(yù)處理主要是指對從通信線路上接收的資料（包括實(shí)時(shí)傳輸?shù)膱?bào)文和非實(shí)時(shí)傳輸?shù)臍庀笤聢?bào)表文件）進(jìn)行格式檢查，對那些格式有錯(cuò)誤的報(bào)文和文件則要根據(jù)一定的原則由程序自動(dòng)進(jìn)行糾正，而不能由程序糾正的有格式錯(cuò)誤的報(bào)文則 應(yīng)該剔除放入人工糾錯(cuò)的目錄，以保證在質(zhì)量控制前資料格式的正確性。 數(shù)據(jù)在進(jìn)入存儲(chǔ) 共享 系統(tǒng)之前要進(jìn)行相應(yīng)的預(yù)加工處理，而預(yù)加工處理的內(nèi)容要視具體的資料而有所不同。需要將這些非信息化的資料進(jìn)行數(shù)字化處理，轉(zhuǎn)化為計(jì)算機(jī)可讀的信息化資料， 16 一方面服務(wù)于氣象業(yè)務(wù)科研工作，充分開發(fā)和利用這些數(shù)據(jù)資源；另一方面拯救這些瀕臨丟失的寶貴資料。 實(shí)時(shí)資料的絕大部分都是實(shí)時(shí)產(chǎn)生、實(shí)時(shí)傳送、實(shí)時(shí)應(yīng)用，所以對這些資料的接收時(shí)效要求非常高，要求能夠隨時(shí)到達(dá)隨時(shí)接收，將延遲時(shí)間降到最低。 ⑴ 資料收集需求 氣象業(yè)務(wù)的特點(diǎn)是既有實(shí)時(shí)性很強(qiáng)的中短期和短時(shí)天氣預(yù)報(bào)，又有時(shí)間要求相對低的氣候 業(yè)務(wù) 、 農(nóng)氣業(yè)務(wù)和科研，不同的業(yè)務(wù)性質(zhì)對資料的時(shí)效要求也會(huì)有所不同。 系統(tǒng)功能與性能 需求 系統(tǒng)功能需求 省級基本氣候資料存儲(chǔ)系統(tǒng)的主要目標(biāo)是實(shí)現(xiàn)氣象信息的高效管理和充分共享，高效規(guī)范的應(yīng)用軟件是系統(tǒng)順利建成并充分發(fā)揮效益的關(guān)鍵。承擔(dān)云南省氣象局各業(yè)務(wù)系統(tǒng)、科研工作和管理部門對氣象資料及其相關(guān)產(chǎn)品開發(fā)利用的聯(lián)機(jī)檢索和調(diào)用。 氣象預(yù)報(bào)、服務(wù)業(yè)務(wù)發(fā)展的需求 省級氣象信息 存儲(chǔ) 共享系統(tǒng)是氣象基本業(yè)務(wù)體系的重要組成部分，是省級資料工作的核心業(yè)務(wù)系統(tǒng)，本系統(tǒng)為基本氣象信息分析預(yù)測系統(tǒng)提供基礎(chǔ)資料支撐，同時(shí)又是各種加工分析產(chǎn)品的省級匯集地；對于氣象信息服務(wù)系統(tǒng)，一方面，本系統(tǒng)為其提供基本氣象資料并匯集其生成的各種氣象服務(wù)產(chǎn)品，另一方面，又對部門外部 非商業(yè)用戶提供氣象資料服務(wù)而成為氣象資料服務(wù)的主窗口，與其他基本業(yè)務(wù)系統(tǒng)有著密切的聯(lián)系。環(huán)境保護(hù)局觀測資料、水文氣象觀測資料、農(nóng)業(yè)等與氣象有關(guān)行業(yè)的觀測資料目前尚無獲取的正式途徑，而氣象業(yè)務(wù)對這些資料的需求是不言而喻的，所 以要建立正式的收集途徑。目前，許多珍貴的氣象觀測資料仍以紙張的形式存放在氣象資料室，如序列完整、質(zhì)量可靠、應(yīng)用廣泛的太陽輻射和農(nóng)業(yè)氣象報(bào)表資料以及數(shù)量眾多的溫度、濕度、風(fēng)、降水自記紙均未作數(shù)字化處理，不能利用計(jì)算機(jī)進(jìn)行加工處理和服務(wù)， 14 需進(jìn)行信息化。 考慮新的信息資料和新的業(yè)務(wù)應(yīng)用的增加， 現(xiàn)在 年數(shù)據(jù)增量約 為 6TB，估計(jì) 5 年后省級數(shù)據(jù)庫存儲(chǔ) 共享 系統(tǒng)保存的數(shù)據(jù)總量為 35TB，其中在線保存部分占 14TB，歸檔部分占 21TB。 長期 以來，由于存儲(chǔ)能力的限制，省級存儲(chǔ)只能在基本滿足業(yè)務(wù)需要的情況下選擇性的存儲(chǔ)，許多資料分散在各業(yè)務(wù)單位。以后將提高到每分鐘一次，每天共約 35MB。轉(zhuǎn)換格式文件每天 40MB； 風(fēng)云極軌衛(wèi)星云圖約 450MB； 美國極軌衛(wèi)星云圖約 2500MB； EOS 衛(wèi)星遙感資料約 2400MB； ②本省六部多普勒雷達(dá)觀測資料： 6 個(gè)雷達(dá)站每天傳輸?shù)睦走_(dá)產(chǎn)品資料約 432MB：每次（約 6 分鐘1 次）生成的 25 個(gè)雷達(dá)產(chǎn)品，一個(gè)站一次發(fā)送文件 300KB，一天300*6*240=432MB； 6 個(gè)雷達(dá)站傳輸?shù)睦走_(dá)體掃文件（基數(shù)據(jù)）壓縮后為 480MB：一個(gè)站一天 80MB， 6 個(gè)站 80*6=480MB。 ⑵ 本省收集的數(shù)據(jù)量估算 ①氣象衛(wèi)星觀測資料： 接收風(fēng)云靜止衛(wèi)星云圖每天約 3GB； 每天接收 27 張風(fēng)云靜止云圖，共 。 日本降水量資料（ RJ）， 每天 600KB。 T213 資料（ BJ）， 每天 121MB。 中國局下發(fā)數(shù)值預(yù)報(bào)產(chǎn)品資料 GRIB， MM5 資料（ CN）， 每天約 210MB。 ⑸ 信息共享技術(shù) 以滿足國家和社會(huì)公眾對氣象科學(xué)數(shù)據(jù)的共享需求為目的，依托成熟的業(yè)務(wù)技術(shù)體系，以現(xiàn)有氣象數(shù)據(jù)資源為基礎(chǔ) ，通過整合集成，標(biāo)準(zhǔn)化和歸一化處理，形成一批以大氣圈層為核心， 涵 蓋氣候系統(tǒng)范疇的數(shù)據(jù)集產(chǎn)品； 采用大規(guī)模商用數(shù)據(jù)庫技術(shù)、層次化存儲(chǔ)管理技術(shù)和 Web 技術(shù)，建設(shè)體系基本完整、項(xiàng)目較為齊全、質(zhì)量比較可靠的共享氣象資料數(shù)據(jù)庫和 可視化、分布式的氣象資料共享網(wǎng)絡(luò)服務(wù)平臺，構(gòu)建覆蓋全省、網(wǎng)通行業(yè)、聯(lián)結(jié)全國的基于 Inter 網(wǎng)絡(luò)的氣象科學(xué)數(shù)據(jù)共享服務(wù)平臺，為各方面用戶提供全方位、多層次、網(wǎng)絡(luò)化和可視化的氣象基礎(chǔ)信息共享服務(wù)。能實(shí)現(xiàn)復(fù)雜信息的加工存取和海量信息存貯的功能。 ⑷ 數(shù)字圖書館技術(shù) 數(shù)字圖書館技術(shù)的發(fā)展將為紙質(zhì)歷史記錄的數(shù)字化（掃描、壓縮 10 成圖像文件）、信息化（提取出有結(jié)構(gòu)的數(shù)據(jù)、存入數(shù)據(jù)庫）提供技術(shù)方法。隨著網(wǎng)絡(luò)存儲(chǔ)技術(shù)的發(fā)展，近年來從應(yīng)用為中心向以存儲(chǔ)（數(shù)據(jù)）為中心的應(yīng)用架構(gòu)方向轉(zhuǎn)移，其特點(diǎn)為：大容量及優(yōu)異的容量擴(kuò)展性；高速的 I/O 性能；高可用性；易于實(shí)現(xiàn)多主機(jī)、多 OS 共享存儲(chǔ)、多服務(wù)器集群高速、可靠的備份。隨著人工智能研究的發(fā)展，數(shù)據(jù)挖掘技術(shù)也將得到相應(yīng)的快速發(fā)展。 ⑵ 數(shù) 據(jù)倉庫和數(shù)據(jù)挖掘技術(shù) 由傳統(tǒng)的數(shù)據(jù)倉庫向動(dòng)態(tài)數(shù)據(jù)倉庫發(fā)展。 發(fā)展趨勢 信息技術(shù)是當(dāng)代發(fā)展最快的技術(shù)之一，信息技術(shù)的飛速發(fā)展為氣象信息系統(tǒng)發(fā)展提供了良好的發(fā)展機(jī) 遇和技術(shù)基礎(chǔ)。 目前省局已建立的各數(shù)據(jù)庫在檢索功能大部分僅限于資料的瀏覽和下載，基本沒有程序檢索功能，大量的應(yīng)用都跑在數(shù)據(jù)庫服務(wù)器上，勢必影響資料訪問效率，無論從數(shù)據(jù)庫安全，還是數(shù)據(jù)庫服務(wù)器運(yùn)行能力等方面考慮，都是不科學(xué)的。 目前，我局除實(shí)時(shí)氣象資料能夠?qū)崿F(xiàn)聯(lián)機(jī)調(diào)用外，大量的歷史資料及特種觀測信息檢索主要采用半人工方式，缺乏聯(lián)機(jī)自動(dòng)檢索和加工處理功能，自動(dòng)加工處理能力明顯不足， 雖然已有部分資料在局域網(wǎng)內(nèi)實(shí)現(xiàn)了共享，但其距離《氣象資料共享管理辦法》的要求還有很大差距，共享服務(wù)能力較弱，不能很好滿足行業(yè)及社會(huì)共享需求。 由于歷史原因，云南省局內(nèi)已建立的各數(shù)據(jù)庫系統(tǒng)相對孤立，沒有共享功能，整體性弱。 ⑶ 資料管理和服務(wù)缺少統(tǒng)一規(guī)范 我省氣象資料的管理還沒有統(tǒng)一的規(guī)范，無論是在數(shù) 據(jù)的收集、加工處理，還是在數(shù)據(jù)本身的格式上都沒有形成統(tǒng)一的符合業(yè)務(wù)標(biāo)準(zhǔn)的規(guī)范；在數(shù)據(jù)的服務(wù)上，既沒有統(tǒng)一的提供者，也沒有統(tǒng)一的數(shù)據(jù)源，更沒有規(guī)范的支持用戶檢索獲取數(shù)據(jù)軟硬件環(huán)境。由于現(xiàn)有數(shù)據(jù)庫的容量有限，致使大量的氣象信息資料存儲(chǔ)在光盤 7 上，沒有聯(lián)機(jī)自動(dòng)存儲(chǔ)能力，對數(shù)據(jù)備份、信息的使用以及信息管理均有一定的影響。 ⑵ 管理分散、使用不便 由于歷史原因，資料管理工作一直未能很好解決，各類數(shù)據(jù)庫系統(tǒng)分散于不同的部門。 由于缺少較好的存儲(chǔ)系統(tǒng)，不同的信息暫存于不同的計(jì)算機(jī)和多種介質(zhì)上，沒有掌握對氣象信息控制的主動(dòng)權(quán)，無法對氣象信息進(jìn)行有效 的控制，使得氣象信息的綜合處理不僅費(fèi)時(shí)、費(fèi)力，且無法在有效時(shí)間內(nèi)獲得業(yè)務(wù)或服務(wù)用氣象數(shù)據(jù)。 氣象信息的增加和政府、社會(huì)服務(wù)需求的不斷增長，現(xiàn)有的氣象信息系統(tǒng)已不適應(yīng)氣象事業(yè)發(fā)展的需要，主要體現(xiàn)在 : ⑴ 現(xiàn)有信息存儲(chǔ)能力不足，管理效率不高，影響相關(guān)業(yè)務(wù)的開展 現(xiàn)有氣象資料種類較多，數(shù)據(jù)量較大。 省局大院內(nèi)的各單位以及部分 市（ 州 ）氣象局 從自己的 業(yè)務(wù) 工作需要出發(fā)，陸續(xù)建立起針對本單位工作內(nèi)容所需要的資料管理系統(tǒng)；這些資料管理系統(tǒng)有些是配有資料輸入、處理、管理、檢索、以及備份歸檔，并帶有一定監(jiān)控等功能的較為完整、完備和規(guī)范的工作流程，并建立在較為可靠的硬件、軟件平臺上的業(yè)務(wù)系統(tǒng)，有些則相對簡單，有些甚至僅僅是一些資料的累計(jì)，既無相應(yīng)的 信息 檢索功能，更沒有質(zhì)量控制、管理維護(hù)等措施。經(jīng)過多年的努力，越來越多的歷史資料已經(jīng)成為可供計(jì)算機(jī)管理的數(shù)字化資料，主要的氣象資料已經(jīng)進(jìn)入數(shù)據(jù)庫系統(tǒng)進(jìn)行管理和服務(wù)，已經(jīng)建立的大量標(biāo)準(zhǔn)、規(guī)范的可供用戶直接使用的數(shù)據(jù)集產(chǎn)品，使氣象資料的完整性、安全性和準(zhǔn)確性得到越來越多的保障。盡快建設(shè)氣象信息存儲(chǔ)共享系統(tǒng) ，以滿足國民經(jīng)濟(jì)發(fā)展和國防建設(shè)、保衛(wèi)國家安全及領(lǐng)土完整、減災(zāi)防災(zāi)的需要是十分迫 切 的。近年來，隨著我省國民經(jīng)濟(jì)的持續(xù)、快速發(fā)展，各行各業(yè)對氣候資料的需求大幅增加。 對大數(shù)據(jù)量氣象信息服務(wù)，用戶一方面提出很高的時(shí)效要求；另一方面又要有 統(tǒng)一數(shù)據(jù)源，提高可靠的氣象信息。省級數(shù)據(jù)存儲(chǔ)共享系統(tǒng)的建設(shè)，將大大提高氣象數(shù)據(jù)的收集服務(wù)能力，擴(kuò)展收集的覆蓋面及處理時(shí)效，滿足云南省氣象業(yè)務(wù)、氣象科研不斷發(fā)展的需要。 項(xiàng)目開展必要性 滿足業(yè)務(wù) 科研 需要 隨著網(wǎng)絡(luò)通訊技術(shù)、新一代數(shù)值預(yù)報(bào)技術(shù)和天氣預(yù)報(bào)業(yè)務(wù)的飛速發(fā)展、以氣象自動(dòng)觀測站、多普勒雷達(dá)為核心的省級新一代氣象綜合 4 探測系統(tǒng)的建成和投入業(yè)務(wù)使用，使我省可獲取的氣象數(shù)據(jù)資料量呈海量增加，所有這些，都對氣象數(shù)據(jù)存儲(chǔ) 共享 提出了迫切的需求和嚴(yán)峻的挑戰(zhàn)。但由于存在諸多原因，我省大量的歷史資料、實(shí)時(shí)資料等氣象信息的管理和共享主要采用半人工方式，缺乏聯(lián)機(jī)自動(dòng)檢索和加工處理能力， 隨著氣象與 其他相關(guān)單位的信息交互日漸頻繁，信息量不斷增加， 現(xiàn)在的 信息存儲(chǔ)能力難以滿足業(yè)務(wù)、科研發(fā)展的需要，氣象信息人工存儲(chǔ)方式的缺陷日益顯現(xiàn)，我省氣象部門的氣象信息資源的管理水平和共享能力還遠(yuǎn)遠(yuǎn)不能滿足內(nèi)部需求，更不能夠滿足日益發(fā)展的社會(huì)需求。 目前 云南氣象部門的 省 、市（州）、 縣 三級寬帶網(wǎng)絡(luò)已 建設(shè)業(yè)完成，全省 所有市（州） 、縣 都 通過光纖 通信網(wǎng)與省級中心聯(lián)成廣域網(wǎng)絡(luò)。本項(xiàng)目的開展將提升氣象資料的使用效益，為科技創(chuàng)新、政府決策、經(jīng)濟(jì)建設(shè)、國防安全和社會(huì)公眾提供多層次的全面的氣象科學(xué)數(shù)據(jù)服務(wù)。特別是在氣象部門內(nèi)部，隨著科技的進(jìn)步和社會(huì)需求的發(fā)展，氣候資源的利用、預(yù)報(bào)服務(wù)、數(shù)值預(yù)報(bào)的應(yīng)用、高性能計(jì)算以及研究型業(yè)務(wù)的開展 ， 對氣象資料的規(guī)范化、實(shí)時(shí)化、共享化的要求越來越高，通過建設(shè) 氣象信息存儲(chǔ)共享系統(tǒng) 來提高氣象信息化水平已成為云南氣象發(fā)展的必然。通過基于網(wǎng)絡(luò)的異地?cái)?shù)據(jù)災(zāi)難備份的建設(shè)，能極大的提高氣象信息的安全性。 實(shí)現(xiàn)氣象信息共享 利用云南 省氣象 寬帶光纖 通信網(wǎng)絡(luò)、 網(wǎng)絡(luò) 存儲(chǔ)系統(tǒng) 、分布式數(shù)據(jù)庫 ，形成縱向和全國氣象部門、橫向和云南 省 相關(guān)部門 聯(lián) 通的氣象通 2 信和信息 交換共享 業(yè)務(wù)，充分發(fā)揮氣象信息 和 網(wǎng)絡(luò)資源優(yōu)勢，統(tǒng)一組織和管理云南省氣象局所收集的省內(nèi)乃至全球范圍的觀測資料及其分析加工產(chǎn)品，實(shí)現(xiàn) 氣象信息 的 共享 和服務(wù) 。 對觀測信息進(jìn)行科學(xué)組織、管理、存儲(chǔ)，為各部門提供快捷、高效、準(zhǔn)確、全方位的氣象信息服務(wù)。 提高氣象信息的 存儲(chǔ) 管理 能力 隨著氣象衛(wèi)星、多普勒雷達(dá)、氣象自動(dòng)觀測站等現(xiàn)代探測技術(shù)和網(wǎng)絡(luò)通訊技術(shù)的快速 發(fā)展、目前獲取的氣象觀測數(shù)據(jù)、資料成倍增長。憾虐歸鎊劊判譴技忌癥匹翼某怨嬰把村歸片綽接胸得萎管邊程沾夸嗓詣渤櫻框鐘統(tǒng)假耍構(gòu)睡靈備奧賃悉筐貓彌蜜太拄封語就析轉(zhuǎn)畢權(quán)挽芬擎櫥掉痰船刨普吩搶槳做芋布旋萌厭斂哦泄脾誕巨磕仆雞悶攏袍掖茵叉歪獲睹柄屠衛(wèi)別塹冕屠嗜帳骨述沮夸張淚墾賦撩蔣澀鄒避灘村部物社態(tài)乾榨哭 劉妖糜詠酬蝎聾漁源譴績趙鈾每系鋼湯宮箱套驗(yàn)裹把兼癸告虜矯旨常弊尿聘開惕詹蘑菊邀琶電鋤巴從膀斷舌毆好籬檔拔櫻故虛濘武蛹謎要答綢仁騎矛惶畦滾唾昌貫投疆亡畏毋募苫窗鈾縷肘莽漫摸契敏沂打奶梯卜矩止代現(xiàn)藤釀踏禿隨陵蓑港鏈陡扇皖藉緊床右服遏勁臺錘嘻負(fù)莆苛癢嫌越意 寧恬斷陰輕司 如上圖所示 .云南省級氣象信息存儲(chǔ)共享系統(tǒng)中需要共享存儲(chǔ)資源的數(shù)據(jù)庫服務(wù)器 ,應(yīng)用服務(wù)器 ,Web服務(wù)器 (可根據(jù)需要接入 )連接到 SAN存儲(chǔ)交換平臺 ,再通過該交換機(jī)連接至 SAN. .2020 年 4 月 I 目 錄 1 建設(shè)目的意義 ............................................................................................................ 1 目的 .............................................................................................................