【正文】 俯拾皆是。因此應(yīng)當說，氣象數(shù)據(jù)是“大數(shù)據(jù)”的組成部分之一，但其自身并不完全具備“大數(shù)據(jù)”的所有特征。 氣象觀探測業(yè)務(wù)系統(tǒng)只采集那些能夠客觀反映自然界氣象狀態(tài)的要素，所以氣象觀探測數(shù)據(jù)里包含且只包含豐富的氣象信息，而以觀探測數(shù)據(jù)為唯一數(shù)據(jù)和信息來源的氣象數(shù)值模式，其生成的產(chǎn)品中所包含的信息也只能是局限于未來天氣或氣候狀態(tài)的預(yù)測。這與互聯(lián)網(wǎng)大數(shù)據(jù)如電子郵件、微信、微博中所包含的社會百態(tài)、生老病死、喜怒哀樂、柴米油鹽醬醋茶等所有信息有很大差異。所以就內(nèi)容而言，氣象資料在目前及可預(yù)見的未來，超不出該行標所規(guī)定的范圍。 按照行業(yè)標準《氣象資料分類與編碼》，氣象資料分為14大類，計有數(shù)百種之多【4】。 數(shù)值預(yù)報模式產(chǎn)品資料是各級預(yù)報員最重要的預(yù)報參考資料，這些產(chǎn)品甫一生成，便即刻送達天氣預(yù)報、氣候預(yù)測專家的桌面，供其業(yè)務(wù)參考使用；同時以滿足業(yè)務(wù)需求的時效，分發(fā)至各省級乃至地市級氣象部門，供其本地化應(yīng)用。因此氣象衛(wèi)星數(shù)據(jù)目前雖以每年數(shù)百TB的量級增長，而且規(guī)模有可能繼續(xù)擴大，但卻始終處于可控可管和完全可用狀態(tài)。 未來數(shù)年內(nèi)，我國還將發(fā)射數(shù)顆氣象衛(wèi)星，每顆衛(wèi)星都會產(chǎn)生數(shù)百TB級的數(shù)據(jù)年增量。因此天氣雷達的資料量（年增量），將穩(wěn)定相當長一段時間，而不會有倍數(shù)的增量變化。 對天氣雷達而言，布網(wǎng)工作已基本完成，雷達總量不會有成倍數(shù)的增加。然而，這種臺站規(guī)模的擴充和觀測頻次的加密是基于預(yù)報和服務(wù)需求，經(jīng)過嚴格科學(xué)論證，有計劃有步驟逐步推進的；在觀測臺站達到一定密度，觀測頻度足以滿足氣象業(yè)務(wù)需求后，臺站數(shù)不會無限制持續(xù)增加，觀測頻度更不會無節(jié)制地永遠加密下去，因此總量既是可預(yù)測的，更是可控的。 這里對地面觀測、氣象衛(wèi)星遙感、天氣雷達和數(shù)值預(yù)報產(chǎn)品這四類體量最大的氣象數(shù)據(jù)進行分析：氣象數(shù)據(jù)的體積雖大，卻有其獨特的特征：“氣象大數(shù)據(jù)”的特征分析 在上述四類數(shù)據(jù)之外，氣象資料尚有高空探測、地面農(nóng)氣觀測、沙塵暴觀測、閃電定位觀測、風(fēng)廓線雷達探測等等許多種，但就體積而言，較上述四類資料至少低一個數(shù)量級，難以將其稱之為“大數(shù)據(jù)”.以GRAPS、T639為代表的天氣預(yù)報模式，以及以BCC_CSM，每天都在實時運行，不斷產(chǎn)生著數(shù)以萬計的各類要素場，以供國家級、省級乃至區(qū)域級預(yù)報員參考使用，日增量接近TB級。此外還將在2020年前發(fā)射2顆氣象試驗衛(wèi)星。 天氣雷達資料：按照《天氣雷達近期發(fā)展規(guī)劃（20052010）》以及《氣象發(fā)展規(guī)劃（20112015）》中“新一代天氣雷達建設(shè)增補站點布局方案”,目前在全國已布設(shè)約200部不同波長的多普勒天氣雷達，并為達到雷達資料全社會共享的目的，已基本實現(xiàn)724小時全天候不間斷觀測；日增總量約300GB.根據(jù)防、減災(zāi)以及氣象服務(wù)的需要，未來擴建計劃有可能將臺站數(shù)繼續(xù)擴增至70,000到100,000個，觀測頻度有可能繼續(xù)加密到1分鐘/次；因此未來六年內(nèi)該類資料總量有可能在現(xiàn)有基礎(chǔ)上再行擴增1~2個數(shù)量級，由現(xiàn)在的每天數(shù)百萬條記錄增至超過一億條記錄/天。 氣象資料種類較多，就體積而言，其中的地面觀測、氣象衛(wèi)星遙感、天氣雷達和數(shù)值預(yù)報產(chǎn)品四類資料占據(jù)總量的90%以上，其中： 如果數(shù)據(jù)量雖大，但卻能夠處理和掌控，便不能稱其為“大數(shù)據(jù)”.因此，“4V”對于大數(shù)據(jù)而言，既是特征，也是考量的四個維度。 需要注意的是，在此“4V”（或“3V”）特征中，“Volume”（體量巨大）僅僅是成為大數(shù)據(jù)的必要條件，而非充分條件，如同 30mm的日降水，在我國東南沿海地區(qū)十分平常，但在西北地區(qū)卻可算罕見大雨，所以體量大小是相對的。限于篇幅，不予展開討論。因此如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”,是大數(shù)據(jù)時代亟待解決的難題。根據(jù)業(yè)界專家的看法，大數(shù)據(jù)里蘊藏著的信息無所不包，任何人所需要的任何信息，都可以從大數(shù)據(jù)里尋找到。大數(shù)據(jù)非但體積巨大，而且內(nèi)容繁雜，數(shù)據(jù)種類繁多，包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等；這些種類繁雜的數(shù)據(jù)來源于多種不同的渠道。 早在2012年，業(yè)界便已就大數(shù)據(jù)在體積、類型、速度和價值這四個方面的特征達成了共識，即所謂大數(shù)據(jù)的4V特征： 相對而言，氣象數(shù)據(jù)無論總量還是增量，較這些數(shù)據(jù)大戶至少低3個數(shù)量級。 氣象部門需要永久保存的數(shù)據(jù)目前約4~5PB,年增量約1PB.【2】 （4） 其他，商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域 衛(wèi)生：整個醫(yī)療衛(wèi)生行業(yè)，一年保存下來的數(shù)據(jù)可達到數(shù)百PB. 交通：飛機航班往返一次產(chǎn)生的數(shù)據(jù)達TB級。（含定期循環(huán)清除），每年能夠保存下來的數(shù)據(jù)在數(shù)百PB以上。 （3）公共安全、醫(yī)療、交通、電子政務(wù)領(lǐng)域總和則有數(shù)百個EB的存儲數(shù)據(jù)和數(shù)十EB的年增量。 （2）電信、金融、保險、電力、石化系統(tǒng) 目前國內(nèi)的互聯(lián)網(wǎng)公司，擁有總計約2EB的數(shù)據(jù)，而其中的互聯(lián)網(wǎng)三巨頭BAT（百度、阿里巴巴、騰訊）占有了其中的3/4（）。 就數(shù)據(jù)量而言，中國的大數(shù)據(jù)近期具有如下行業(yè)分布特征： （4）氣象信息技術(shù)領(lǐng)域當務(wù)之急需要解決的關(guān)鍵技術(shù)問題。 （2）業(yè)界公認的“大數(shù)據(jù)應(yīng)用”的主要形態(tài)是什么？ 做為拋磚引玉，筆者擬就如下問題提出自己的看法：一些人憧憬于“大數(shù)據(jù)”可能帶來的十分珍稀的高價值信息和珍貴商機，也有許多人困惑于目前所知“大數(shù)據(jù)”的應(yīng)用范式，以此研判著可能給本行業(yè)帶來的變化和新的業(yè)務(wù)契機氣象部門也是如此。 很快地，“地理大數(shù)據(jù)”、“水利大數(shù)據(jù)”、“環(huán)境大數(shù)據(jù)”、“金融大數(shù)據(jù)”、“互聯(lián)網(wǎng)大數(shù)據(jù)”乃至“氣象大數(shù)據(jù)”等名詞陸續(xù)出現(xiàn)在有關(guān)媒體上。而到2013 年，,2倍于2012年，相當于2009年全球的數(shù)據(jù)總量。引言氣象數(shù)據(jù)大數(shù)據(jù)氣象數(shù)據(jù)在“大數(shù)據(jù)應(yīng)用”浪潮中亟待解決的信息技術(shù)問題，是海量氣象結(jié)構(gòu)化數(shù)據(jù)的高效應(yīng)用。氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”淺析20140324 17:03:19作者：國家氣象總局沈文海 來源：CIO時代網(wǎng)摘要：這是氣象數(shù)據(jù)能否參與“大數(shù)據(jù)應(yīng)用”的技術(shù)基礎(chǔ)和前提。關(guān)鍵詞： 據(jù)統(tǒng)計，,這些信息將填滿575億個32GB的ipad,以這些ipad做磚石，足可以壘建起兩座中國的萬里長城。預(yù)計到2020年，中國產(chǎn)生的數(shù)據(jù)總量將是2013年的10倍，.【1】而屆時全球的數(shù)據(jù)總量預(yù)計將達到40ZB,如果將這些數(shù)據(jù)全部刻錄成藍光光盤，則這些光盤的總重量相當于424艘滿載荷的尼米茲航空母艦。 數(shù)據(jù)量暴增的速度令人瞠目結(jié)舌，我們的確已進入“大數(shù)據(jù)時代”.“大數(shù)據(jù)”逐漸成為近來人們談?wù)撟疃?、思考最多的技術(shù)話題之一。 （1）氣象數(shù)據(jù)是否具備“大數(shù)據(jù)”的核心特征？ （3）“大數(shù)據(jù)時代”背景下氣象數(shù)據(jù)應(yīng)用中新的價值領(lǐng)域在何處？需要首先具備哪些必要條件？大數(shù)據(jù)的現(xiàn)實以及氣象數(shù)據(jù)的體量構(gòu)成大數(shù)據(jù)的行業(yè)分布 （1）互聯(lián)網(wǎng)公司 這些行業(yè)及企業(yè)數(shù)據(jù)量分布較為平均，就每個企業(yè)（或運營商、部門）而言，大致都擁有10PB以上的數(shù)據(jù)，且年增量都在PB級以上。 城市：隨著平安城市、智慧城市等工程的推進，監(jiān)控攝像頭遍布大街小巷。列車、水陸路運輸每年產(chǎn)生并保存下來的各種數(shù)據(jù)視頻、文本類數(shù)據(jù)約達數(shù)十PB. 電子政務(wù)：，未來1~%,有將近三成（%）的用戶數(shù)據(jù)規(guī)模是10~50TB. 隨著產(chǎn)業(yè)互聯(lián)網(wǎng)的普及，（線下）商業(yè)銷售、制造業(yè)、農(nóng)林牧漁業(yè)、（線下）餐飲、食品、科研、物流運輸?shù)鹊冗@些傳統(tǒng)行業(yè)的數(shù)據(jù)量將呈現(xiàn)迅速增長態(tài)勢，但目前這些行業(yè)數(shù)據(jù)量尚處于積累期，體量不大，多的達到PB級別，基本約近百TB甚至數(shù)十TB級別。 （5）氣象數(shù)據(jù) 由此可見，以數(shù)據(jù)量而言，在整個大數(shù)據(jù)市場中，新興的互聯(lián)網(wǎng)行業(yè)巨頭BAT,以及電信、金融、保險等行業(yè)占據(jù)比重較大。大數(shù)據(jù)的特征 Volume（大體積）：體積巨大是大數(shù)據(jù)的最根本的特征，體積不足夠大，任何數(shù)據(jù)都不能稱之為“大數(shù)據(jù)”.一般而言，大數(shù)據(jù)的起始計量單位至少是PB、EB或ZB級別。 Variety（多樣性）：類型和來源渠道繁多是大數(shù)據(jù)的第二個特征。多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的甚至全新的要求。 Velocity（高速度）：生成速度快，處理時效要求高，這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)采集、匯聚、處理乃至數(shù)據(jù)挖掘等方面最顯著的特征。 Value（價值稀?。簲?shù)據(jù)價值密度相對較低，這是大數(shù)據(jù)的第四個特征。只是這些信息隱藏在大數(shù)據(jù)的汪洋大海之中，尋之如同大海撈針，人們需要研究出類似沙里淘金的辦法，才能在有效的時間內(nèi)將所需信息尋找到。當然，還有一些人將對大數(shù)據(jù)“Value”的理解確定在“價值豐富”的層面上；而最早提出“大數(shù)據(jù)”概念及特征的Gartner公司和麥肯錫公司，甚至至今仍堅持特征“3V”（Volume、Variety、Velocity）論，認為“Value”不能作為大數(shù)據(jù)的特征【3】。事實上，大數(shù)據(jù)概念的提出絕非僅因為數(shù)據(jù)量的暴增，而且是因為數(shù)據(jù)已多得用傳統(tǒng)方法無法應(yīng)對或處理，導(dǎo)致人們必須采用新的方法、新的思路乃至新的理念予以應(yīng)對。氣象數(shù)據(jù)的體量種類分布 地面觀測資料：因二十一世紀以來觀測方法從人工觀測改進為自動觀測，擺脫了人類居住條件限制的制約，臺站數(shù)由本世紀初的不到3,000個，迅速擴展到目前的40,000多個，觀測頻度由最初的3小時/次調(diào)整到目前的5分鐘/次，因而導(dǎo)致資料量呈幾何倍數(shù)增漲，,增幅約4個數(shù)量級。 氣象衛(wèi)星資料：根據(jù)《我國氣象衛(wèi)星及其應(yīng)用發(fā)展規(guī)劃（2011~2020年）》，至2020年，我國計劃發(fā)射11顆氣象業(yè)務(wù)衛(wèi)星，包括3顆風(fēng)云二號03批衛(wèi)星，3顆風(fēng)云三號上午星、2顆風(fēng)云三號下午星、1顆降水測量雷達星以及2顆風(fēng)云四號光學(xué)星?！緮?shù)據(jù)量待補充】目前的日增總量約數(shù)百GB,未來有可能增加到數(shù)TB/日。 數(shù)值預(yù)報產(chǎn)品：與地面觀測、氣象衛(wèi)星和天氣雷達等氣象觀探測資料不同，氣象數(shù)值預(yù)報模式資料屬于氣象觀探測資料的加工產(chǎn)品。 因此，如果就體積而言，氣象資料可勉強算得上“大數(shù)據(jù)”,也是因為地面觀測、氣象衛(wèi)星、天氣雷達和數(shù)值模式這四大金剛將氣象資料的體積撐大而成的。 （1）體積雖大但總量可控 地面觀測資料數(shù)據(jù)量劇增的原因，是站點數(shù)的增加和觀測頻度的大幅加密。而且目前的天氣雷達已基本實現(xiàn)724小時全天候不間斷觀測。為滿足氣象衛(wèi)星資料的應(yīng)用時效，國家衛(wèi)星氣象中心針對每一顆氣象衛(wèi)星，都建有相應(yīng)專屬的地面接收處理系統(tǒng)，已完全實現(xiàn)所有氣象衛(wèi)星遙測遙感資料的實時接收處理。因此與氣象衛(wèi)星資料相類似，數(shù)值預(yù)報產(chǎn)品資料體積雖大，卻始終處于可控可管和可用的狀態(tài)，未來也將始終如此。 因此，氣象資料體積雖大，在量級上算得上“大數(shù)據(jù)”,但卻始終處于可控可管可用狀態(tài)。 （2）種類雖多但內(nèi)部信息單純，來源單一該標準基本涵蓋了氣象資料的所有內(nèi)容。數(shù)百種的氣象資料種類雖多，但每種資料所含信息卻十分單純：土壤持水量只記載某時某地某規(guī)定土壤深度中水份的持有程度，“云能天”只記錄某時某地的云量云狀、能見度以及天氣現(xiàn)象等信息。究其原因，海量氣象數(shù)據(jù)是由氣象探測系統(tǒng)以及數(shù)值預(yù)報業(yè)務(wù)系統(tǒng)產(chǎn)生的，來源比較單一；而互聯(lián)網(wǎng)大數(shù)據(jù)則由人來提供的，它來源于人類社會的方方面面和各個角落，是人類活動的實況記錄。 （3）價值單一而明確因此所謂“氣象大數(shù)據(jù)”,其自身的直接用途只能是氣象業(yè)務(wù)，即：天氣預(yù)報、氣候預(yù)測以及氣象服務(wù)。 麥肯錫公司和Gartner公司始終認為：“大數(shù)據(jù)是用傳統(tǒng)的架構(gòu)、傳統(tǒng)的技術(shù)方法無法解決的數(shù)據(jù)問題”【3】；而由上分析可知，氣象數(shù)據(jù)始終處于可管、控、用狀態(tài)，雖然隨著數(shù)據(jù)體積的不斷膨脹，以及原有管理和處理技術(shù)架構(gòu)的陳舊，逐漸出現(xiàn)性能下降、時效減慢等現(xiàn)象，但并非沒有解決的技術(shù)手段。從這個觀點考察，以體積碩大為由稱氣象數(shù)據(jù)為“大數(shù)據(jù)”十分勉強，而且較易產(chǎn)生觀念和認知上的混亂；因為衡量體量大小的標準是在不斷變化的。應(yīng)用分析展望大數(shù)據(jù)帶來大變革 （1）當數(shù)據(jù)處理技術(shù)已發(fā)生翻天覆地變化時，在大數(shù)據(jù)時代進行抽樣分析已經(jīng)過時。 （2）執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶。 （3）知道“是什么”就夠了，不必知道“為什么”.在大數(shù)據(jù)時代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”.【5】 因此，數(shù)據(jù)的價值由“內(nèi)部自身”和“外部關(guān)聯(lián)”兩部分組成：內(nèi)部自身價值是指該數(shù)據(jù)自身所包含的所有信息對其所屬企業(yè)和部門業(yè)務(wù)工作的支撐、以及開拓業(yè)務(wù)領(lǐng)域的作用；而外部關(guān)聯(lián)價值則是指該數(shù)據(jù)與外部企業(yè)、領(lǐng)域和行業(yè)數(shù)據(jù)進行深度結(jié)合以及具有創(chuàng)意的分析思路和有效的處理方法，從而發(fā)掘出新的、超出所屬企業(yè)和部門原有業(yè)務(wù)范圍的、傳統(tǒng)思維所意想不到的、具有開創(chuàng)意義的信息，眾多企業(yè)和行業(yè)部門可由此了解并掌握用傳統(tǒng)思維和方法無法獲得的事實，并因此可創(chuàng)造出新的經(jīng)濟和社會價值。而所謂“大數(shù)據(jù)應(yīng)用”,是由于近二十余年來，各行業(yè)信息化程度逐漸提高，互聯(lián)網(wǎng)及其豐富的應(yīng)用逐漸滲透到人類社會各個階層的方方面面，在使得人們的工作和生活更加舒適、方便、快捷和安全的同時，也將社會上各方面信息通過網(wǎng)絡(luò)（尤其是互聯(lián)網(wǎng)）采集并收集管理起來，從而導(dǎo)致社會上數(shù)據(jù)總量以令人瞠目結(jié)舌的速度暴增，而這些暴增起來的數(shù)據(jù)也逐漸呈現(xiàn)出與此前數(shù)據(jù)所不同的性質(zhì)和特征（即所謂“4V”特征）。 “大數(shù)據(jù)時代”伴隨著“大數(shù)據(jù)應(yīng)用”.通過分析眾多媒體、專著上所刊載的各個“大