【正文】 數(shù)據(jù)應(yīng)用”成功案例，不難發(fā)現(xiàn)三個事實(shí)： 所有成功案例都是企業(yè)通過分析自身擁有的數(shù)據(jù)而產(chǎn)生的。不是這些公司沒有分析能力，而是對方的數(shù)據(jù)無法獲取到?？缧袠I(yè)、跨部門甚至跨企業(yè)的數(shù)據(jù)聯(lián)合分析應(yīng)用的成功案例難覓其蹤。 沃爾瑪能夠分析出嬰兒紙尿布與啤酒銷量之間的正相關(guān)關(guān)系，是因?yàn)槠鋽?shù)據(jù)庫中包含所有本系統(tǒng)連鎖店中所有商品的銷售記錄，包括啤酒和嬰兒紙尿布。美國中央情報(bào)局能夠通過對電子郵件的篩選探知出幾十起針對美國的恐怖襲擊計(jì)劃，并提前采取相應(yīng)措施，是因?yàn)榭植婪肿邮褂秒娮余]件進(jìn)行通信聯(lián)絡(luò)，留下了相關(guān)的痕跡。 這些成功案例企業(yè)或是近十幾年來方才崛起的新興互聯(lián)網(wǎng)企業(yè)（如：谷歌、亞馬遜、阿里巴巴、騰訊等）；或是行業(yè)歷史雖然悠久，但信息化建設(shè)歷程并不久遠(yuǎn)（如：沃爾瑪超市等），所擁有信息的內(nèi)在價(jià)值尚未真正有效地挖掘出來。 由此可知，目前業(yè)界眾口稱道的“大數(shù)據(jù)應(yīng)用”成功案例，基本上都屬于數(shù)據(jù)內(nèi)部自身價(jià)值的挖掘和展現(xiàn)，而且數(shù)據(jù)內(nèi)部的信息種類十分豐富。 氣象行業(yè)是信息化建設(shè)較早的行業(yè)，氣象科學(xué)家分析研究氣象數(shù)據(jù)已有近百年的歷史。而這些要素之間的物理關(guān)系，早已被動力氣象學(xué)解釋清楚。因此氣象數(shù)據(jù)中常規(guī)探測部分（如：地面觀測、高空探測等）對于氣象行業(yè)而言，其常規(guī)的基本價(jià)值（對天氣預(yù)報(bào)、氣候預(yù)測以及其它專業(yè)氣象預(yù)報(bào)的貢獻(xiàn)）已被充分認(rèn)識并挖掘。以氣象衛(wèi)星數(shù)據(jù)為例：雖然氣象衛(wèi)星是用來獲取與氣象要素相關(guān)的各類信息的，然而在森林草場火災(zāi)、船舶航道浮冰分布等方面，氣象衛(wèi)星卻同樣也能發(fā)揮出跨行業(yè)的實(shí)時監(jiān)測服務(wù)價(jià)值。氣象衛(wèi)星每批次（型號）所搭載的探測儀器設(shè)備都較前批次（或型號）有所調(diào)整和增加，因此每顆衛(wèi)星都有可能產(chǎn)生新的遙感產(chǎn)品，除首先應(yīng)用于氣象行業(yè)的預(yù)定應(yīng)用外，幾乎都含有行業(yè)外新的服務(wù)應(yīng)用的可能，從而可使氣象部門得以不斷擴(kuò)展新的業(yè)務(wù)領(lǐng)域。 天氣雷達(dá)數(shù)據(jù)與此類似，限于篇幅，不再展開討論。 所以，雖然海量氣象數(shù)據(jù)屬于專業(yè)感知領(lǐng)域，所含信息量豐富而內(nèi)容單純只包含（且富含）與氣象有關(guān)的信息，并且其內(nèi)部自身價(jià)值中的常規(guī)內(nèi)容已被充分挖掘并應(yīng)用于氣象業(yè)務(wù)，可能深度蘊(yùn)藏的內(nèi)部自身價(jià)值正在艱難地挖掘中（已屬于科學(xué)問題），但這并不意味著氣象數(shù)據(jù)的內(nèi)部自身價(jià)值已被挖掘殆盡。然而這一切，首先需要管理者具有敏銳捕捉行業(yè)外服務(wù)需求的能力，其次則需要一支召之即來、來之能戰(zhàn)、戰(zhàn)之能勝的服務(wù)產(chǎn)品研發(fā)科技團(tuán)隊(duì)，而且需要積極進(jìn)取和勇于擔(dān)當(dāng)?shù)念I(lǐng)導(dǎo)素養(yǎng)以及完善的機(jī)制配合。然而，雖然需求十分迫切，呼吁也強(qiáng)烈而持久，但數(shù)據(jù)的社會共享至今仍是一個世界性難題。在我國，早在二十一世紀(jì)初便由科技部主導(dǎo)的科學(xué)數(shù)據(jù)共享試點(diǎn)工作，十余年來進(jìn)展并不順利，行業(yè)間的數(shù)據(jù)并未真正實(shí)現(xiàn)共享，氣象部門獲得某些相關(guān)部門的觀測數(shù)據(jù)異常困難，有時不得不從其網(wǎng)站上抓取數(shù)據(jù)表格，經(jīng)人工處理后獲得表格中的觀測數(shù)據(jù)。而如果沒有數(shù)據(jù)的充分社會共享，氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”便將始終徘徊在“內(nèi)部自身價(jià)值”的挖掘之中。 需要注意的是，“大數(shù)據(jù)應(yīng)用”與目前的氣象公共服務(wù)有所不同：后者是既定業(yè)務(wù)數(shù)據(jù)加工產(chǎn)品的社會推廣應(yīng)用，是氣象數(shù)據(jù)已挖掘出的內(nèi)部自身價(jià)值（天氣預(yù)報(bào)和氣候預(yù)測產(chǎn)品）的充分展示、應(yīng)用和發(fā)揮；前者則是氣象數(shù)據(jù)“內(nèi)部自身”和“外部關(guān)聯(lián)”價(jià)值的挖掘。產(chǎn)品應(yīng)用需要的是積極靈活的客戶經(jīng)理和及時周到的服務(wù)支持，而價(jià)值創(chuàng)新，對內(nèi)部自身而言，需要本行業(yè)領(lǐng)導(dǎo)的高素質(zhì)、科學(xué)家的高度專業(yè)水準(zhǔn)、研發(fā)團(tuán)隊(duì)的精干高效；對于外部關(guān)聯(lián)價(jià)值而言，則須與其它相關(guān)領(lǐng)域原始數(shù)據(jù)的深度結(jié)合，而由于其跨行業(yè)以及數(shù)據(jù)量的浩大，這種深度結(jié)合工作所需要的是天才的跨行業(yè)創(chuàng)意分析師和有效地處理技術(shù)手段。 因此，不宜將氣象預(yù)報(bào)產(chǎn)品的社會化推廣應(yīng)用簡單地冠以“氣象大數(shù)據(jù)廣泛應(yīng)用”的名稱，因?yàn)楫a(chǎn)品應(yīng)用與氣象數(shù)據(jù)“大小”無關(guān)，而如此冠名將易導(dǎo)致概念的混亂和氣象“大數(shù)據(jù)應(yīng)用”的簡單化。就信息技術(shù)領(lǐng)域而言，海量數(shù)據(jù)的高效應(yīng)用是亟需突破的核心技術(shù)難題。 （1）關(guān)鍵技術(shù)：海量氣象結(jié)構(gòu)化數(shù)據(jù)的高效應(yīng)用這不僅造成了資金方面的浪費(fèi)，更換系統(tǒng)設(shè)備過程中無法避免的系統(tǒng)移植和切換，也給有關(guān)業(yè)務(wù)和用戶造成不必要的負(fù)面影響。而通過“”中的介紹可知，目前全國四萬多個地面觀測站所產(chǎn)生的資料，月增量數(shù)億條記錄（），未來更有可能膨脹到每日上億條觀測記錄。雖然該問題在世界IT界亦屬難題，但如果不予解決，則海量氣象數(shù)據(jù)的應(yīng)用便存在時效上的障礙，本部門業(yè)務(wù)需求尚且無法滿足，遑論“大數(shù)據(jù)應(yīng)用”了。 自2013年初以來，國家氣象信息中心下屬的氣象資料服務(wù)室和系統(tǒng)設(shè)計(jì)室的有關(guān)技術(shù)人員，與國內(nèi)有關(guān)高科技企業(yè)進(jìn)行聯(lián)合研發(fā)，在此領(lǐng)域已有突破性進(jìn)展。 由于體量的巨大，統(tǒng)籌的集約化管理大數(shù)據(jù)顯得尤為重要，因?yàn)槿绱朔娇梢源蠓岣邤?shù)據(jù)的應(yīng)用效益，降低系統(tǒng)的復(fù)雜度和運(yùn)營成本。這在目前國家級和省級業(yè)務(wù)系統(tǒng)已十分復(fù)雜的我國氣象部門，顯得尤為重要和急迫。 云存儲在未來必將是大數(shù)據(jù)的主要管理和應(yīng)用形態(tài)，因?yàn)樵谖磥泶髷?shù)據(jù)開放時代，無力管理大數(shù)據(jù)者將占大數(shù)據(jù)應(yīng)用者中的絕大多數(shù)；沒有云存儲，大數(shù)據(jù)的廣泛應(yīng)用就不存在。有關(guān)的內(nèi)容及規(guī)劃，已納入《全國氣象信息網(wǎng)絡(luò)系統(tǒng)總體設(shè)計(jì)》之中，在不久的將來，將逐步予以實(shí)現(xiàn)。 綜上所述，可得出如下結(jié)論：相對而言，氣象數(shù)據(jù)中的氣象衛(wèi)星和天氣雷達(dá)數(shù)據(jù)因其信息量的較為豐富，有可能在與其它資料深度融合的過程中挖掘出新的應(yīng)用價(jià)值，并由此開拓出新的業(yè)務(wù)領(lǐng)域。在未來的數(shù)年或十余年后，其體量將漸趨于適中。這是氣象數(shù)據(jù)能否參與“大數(shù)據(jù)應(yīng)用”的技術(shù)基礎(chǔ)和前提。 （4）“云存儲”將是未來海量氣象數(shù)據(jù)最合理的存儲管理形式。 “氣象大數(shù)據(jù)”是暫時的，它終將回歸到自己應(yīng)有的位置，做為全社會“大數(shù)據(jù)”的組成部分之一。通過努力，有可能在其中挖掘出新的價(jià)值，并因之開辟新的業(yè)務(wù)領(lǐng)域。我們期待著氣象數(shù)據(jù)在跨行業(yè)綜合應(yīng)用這一“外部關(guān)聯(lián)價(jià)值”挖掘過程中煥發(fā)出新的耀眼光芒。 【1】ZDNET:《數(shù)據(jù)中心2013:硬件重構(gòu)與軟件定義》，ZDNET企業(yè)解決方案中心年度技術(shù)報(bào)告。 【2】36大數(shù)據(jù)：《大數(shù)據(jù)史記2013:盤點(diǎn)中國2013行業(yè)數(shù)據(jù)量 》， 【3】張瑾：大數(shù)據(jù)是用傳統(tǒng)方法無法解決的數(shù)據(jù)問題，和訊科技：2012年11月30日10:59 【4】QX/T 1022009《氣象資料分類與編碼》行業(yè)標(biāo)準(zhǔn)邁爾舍恩伯格，肯尼思 【6】胡小明：“大數(shù)據(jù)啟發(fā)新思維”,第二屆大數(shù)據(jù)應(yīng)用論壇大會報(bào)告， 氣象與大數(shù)據(jù) 那么，如何從氣象角度看大數(shù)據(jù)呢？特別的大數(shù)據(jù)——?dú)庀髿v來同數(shù)據(jù)打交道然而，在世界各國的經(jīng)濟(jì)生活中，不少行業(yè)，如農(nóng)業(yè)、交通業(yè)、建筑業(yè)、旅游業(yè)、銷售業(yè)、保險(xiǎn)業(yè)等，無一例外與天氣的變化息息相關(guān)，隨著氣象在社會生產(chǎn)生活中越來越受重視，氣象業(yè)務(wù)也在不斷地拓寬領(lǐng)域，從最基礎(chǔ)的天氣預(yù)報(bào)到現(xiàn)有的氣候預(yù)測、氣候可行性論證、公共氣象服務(wù)、專業(yè)專項(xiàng)氣象服務(wù)、氣象防災(zāi)減災(zāi)等，氣象業(yè)務(wù)仍將繼續(xù)拓展，把氣象產(chǎn)品送到更多人手中，為社會創(chuàng)造財(cái)富、減輕損失。 毫不夸張地說，氣象部門就是一個超大的“數(shù)據(jù)庫”，里面存儲了海量的數(shù)據(jù)。我們平時從電視、報(bào)紙或者網(wǎng)站獲取的看似簡單的天氣預(yù)報(bào)信息，在其后都有非常龐雜的數(shù)據(jù)采集作支撐，包括全國2000多個地面站、120多個高空探測站、6顆在軌衛(wèi)星、5萬多個自動監(jiān)測站、600多個農(nóng)業(yè)監(jiān)測站、300多個雷達(dá)站等，逐日逐小時甚至到逐分鐘掃描著中國出現(xiàn)的各種各樣的大氣數(shù)據(jù)。我們每日接收到的天氣預(yù)報(bào)信息，就是由如此龐雜的數(shù)據(jù)，再加上歐亞甚至全球的所有氣象數(shù)據(jù)，通過篩選、運(yùn)算、分析等一系列復(fù)雜的工序得到的。針對不同領(lǐng)域、不同行業(yè)、不同群體，氣象部門要制作相應(yīng)的氣象產(chǎn)品，例如提供給政府的決策氣象服務(wù)，水利、電力、交通、農(nóng)業(yè)等部門對氣象也各有需求，各類企業(yè)對氣象信息的需求也不一樣，有的關(guān)注降水，有的關(guān)注氣溫，有的關(guān)注災(zāi)害，有的關(guān)注風(fēng)速風(fēng)向，而且在不同時間、不同地域，各行各業(yè)對氣象的需求也不一樣。氣象產(chǎn)品越來越龐雜，內(nèi)容越來越豐富，構(gòu)成了氣象大數(shù)據(jù)中的一部分。引爆氣象大數(shù)據(jù)——挖掘大數(shù)據(jù)在氣象上的運(yùn)用長期以來，無論是觀測業(yè)務(wù)、預(yù)報(bào)預(yù)測業(yè)務(wù)還是科研工作，氣象工作者們都一直在做著量化的努力。大數(shù)據(jù)時代觀點(diǎn)認(rèn)為，對大數(shù)據(jù)進(jìn)行相對簡單的相關(guān)運(yùn)算永遠(yuǎn)比對小數(shù)據(jù)進(jìn)行復(fù)雜運(yùn)算得出的結(jié)果準(zhǔn)確，在一定程度上來說，氣象部門一直在做這樣的事，例如我們常用到的“遙相關(guān)”、“模式耦合”等運(yùn)算方法，正是在尋求氣象要素之間，以及氣象與其它事物之間的相關(guān)關(guān)系。 當(dāng)然，一旦我們完成了對大數(shù)據(jù)的相關(guān)關(guān)系分析，我們將不僅僅滿足于知道“是什么”，而會繼續(xù)更深層次地研究因果關(guān)系，找出背后的“為什么”，這就是氣象科研工作者每日在忙碌的事情了。 氣象工作的最終目的是服務(wù)。在大數(shù)據(jù)觀點(diǎn)中，預(yù)測是核心，而“防災(zāi)”是應(yīng)對災(zāi)害的重中之重，所以氣象預(yù)警信息顯得尤為重要。然而，防災(zāi)減災(zāi)的發(fā)展方向，不僅僅是完善預(yù)警系統(tǒng)和提高預(yù)警準(zhǔn)確率，還要做老百姓看得懂的預(yù)警，直接指導(dǎo)他們防災(zāi)避災(zāi)，氣象大數(shù)據(jù)必將發(fā)揮很大的作用。例如今年2月17日我省出現(xiàn)的大范圍雨雪天氣，17日夜間至18日白天，我省普遍出現(xiàn)降雪天氣，有8個縣出現(xiàn)暴雪，12個縣出現(xiàn)中雪，52縣出現(xiàn)小雪。正是通過對大量氣象數(shù)據(jù)以及氣象數(shù)據(jù)與交通、農(nóng)業(yè)等其他領(lǐng)域的數(shù)據(jù)進(jìn)行分析處理，才讓我們做到了準(zhǔn)確的預(yù)報(bào)和及時到位的服務(wù)，省領(lǐng)導(dǎo)作出重要批示，充分肯定了各部門之間的通力協(xié)作和聯(lián)動應(yīng)對，將降雪對交通運(yùn)輸?shù)挠绊懡档搅俗畹汀?氣象數(shù)據(jù)的大量搜集、處理和分析，對硬、軟件的要求更為苛刻，傳統(tǒng)的處理設(shè)備難以滿足大數(shù)據(jù)處理的功能和性能要求。當(dāng)越來越多的需求出現(xiàn)時，向虛擬的“云端”提出申請，“云端”為該需求迅速組織計(jì)算資源，而在計(jì)算結(jié)束并將結(jié)果反饋后，“云端”又可將這些臨時組織起來的資源快速釋放。要提高預(yù)報(bào)預(yù)警準(zhǔn)確率、科學(xué)評估災(zāi)害，必須要納入除氣象數(shù)據(jù)以外的大量其他各行各業(yè)的數(shù)據(jù)，傳統(tǒng)的設(shè)備無法快速處理，這無疑是和生命財(cái)產(chǎn)安全搶奪時間，而云計(jì)算可以很好地規(guī)避這個問題。打破“數(shù)據(jù)壁壘”——?dú)庀蟠髷?shù)據(jù)將大有作為氣象數(shù)據(jù)能做這樣的事情是由于其客觀、穩(wěn)定、量大，而且氣象數(shù)據(jù)和各行各業(yè)的相關(guān)性非常高。氣象大數(shù)據(jù)對創(chuàng)造和增長社會財(cái)富有重要意義，比如說能源，可以通過分析電力負(fù)荷歷史，加上氣象數(shù)據(jù)進(jìn)行用電量估算；比如農(nóng)業(yè)，可以通過某一地的農(nóng)耕歷史加上氣候信息就可以進(jìn)行農(nóng)作物結(jié)構(gòu)調(diào)整指導(dǎo)；還有交通，航班準(zhǔn)點(diǎn)率歷史加上機(jī)場歷史天氣特征，就可以得到航班延誤預(yù)測；再有公共衛(wèi)生，通過門診量和藥品銷量加上氣象歷史就可以推測發(fā)病率趨勢；在飲品方面，通過銷量和氣象要素關(guān)聯(lián)就可以掌握銷量變化。 然而，在實(shí)現(xiàn)氣象大數(shù)據(jù)的過程中，“數(shù)據(jù)壁壘”是一個實(shí)實(shí)在在的障礙。所以，用好氣象大數(shù)據(jù)，必須打破各行業(yè)之間的“數(shù)據(jù)壁壘”，真正做到數(shù)據(jù)共享，才能更大地實(shí)現(xiàn)氣象大數(shù)據(jù)的價(jià)值，從而更大程度減輕災(zāi)害損失，為社會創(chuàng)造更多的財(cái)富。大數(shù)據(jù)時代：氣象應(yīng)用與時俱進(jìn)標(biāo)簽： 大數(shù)據(jù) 20140515 14:46　　當(dāng)前，信息技術(shù)的創(chuàng)新正在改變著我們熟悉的生活和工作方式。氣象的大數(shù)據(jù)時代真的到來了嗎？近日，記者就上述問題采訪了國家氣象信息中心副總工程師沈文海、中國科學(xué)院自動化研究所研究員張文生。而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍?！　?shù)據(jù)量暴增的速度令人瞠目結(jié)舌，我們已進(jìn)入“大數(shù)據(jù)時代”?！薄　∮浾吡私獾剑蛿?shù)據(jù)量而言，中國的大數(shù)據(jù)主要有以下幾類：互聯(lián)網(wǎng)，大約有2EB的數(shù)據(jù)。在商業(yè)銷售、制造業(yè)、農(nóng)業(yè)、物流和流通等領(lǐng)域，數(shù)據(jù)量尚處于積累期，體量不大，多的達(dá)到PB級別，基本約在數(shù)十TB到近百TB級別?！鄙蛭暮＝榻B，相對而言，氣象數(shù)據(jù)較上述數(shù)據(jù)大戶至少低3個數(shù)量級?！睆埼纳榻B?！绑w積巨大是大數(shù)據(jù)的最根本的特征。”沈文海介紹。此外，生成速度快、處理時效高、價(jià)值巨大也是大數(shù)據(jù)的特征?！鄙蛭暮７治龅溃耗壳?，在所有氣象資料中，地面觀測、氣象衛(wèi)星遙感、天氣雷達(dá)和數(shù)值預(yù)報(bào)產(chǎn)品四類數(shù)據(jù)占數(shù)據(jù)總量的90%以上，堪稱“四大金剛”。沈文海說：“這些數(shù)據(jù)雖然種類多，但都是只用于氣象領(lǐng)域的科學(xué)數(shù)據(jù)，來源較為單一。“大數(shù)據(jù)應(yīng)用”與目前的氣象服務(wù)有所不同，前者是氣象數(shù)據(jù)的“深度應(yīng)用”和“增值應(yīng)用”，后者是既定業(yè)務(wù)數(shù)據(jù)加工產(chǎn)品的社會推廣應(yīng)用?！鄙蛭暮１硎??！澳壳埃鐣系摹髷?shù)據(jù)應(yīng)用’大多局限在數(shù)據(jù)基本價(jià)值的深度應(yīng)用挖掘方面。除了大家知道的天氣預(yù)報(bào)等，現(xiàn)在，氣象行業(yè)的公共服務(wù)職能越來越強(qiáng)，面向政府提供決策服務(wù)，面向公眾提供氣象預(yù)報(bào)預(yù)警服務(wù)，面向社會發(fā)展，應(yīng)對氣候發(fā)展節(jié)能減排?！　〔捎媒y(tǒng)計(jì)分析方法對海量數(shù)據(jù)進(jìn)行分析處理，發(fā)現(xiàn)其中某些特定要素之間的關(guān)系，這是到目前為止，所有“大數(shù)據(jù)應(yīng)用”成功案例的共同特征，即便“大機(jī)器學(xué)習(xí)”等目前備受推崇的大數(shù)據(jù)時代新事物也無例外。“如果這一斷言是準(zhǔn)確的話，那么氣象數(shù)據(jù)的‘大數(shù)據(jù)應(yīng)用’時代也許還沒有到來。　　天氣和氣候系統(tǒng)是典型的非線性系統(tǒng)，無法通過運(yùn)用簡單的統(tǒng)計(jì)分析方法來對其進(jìn)行準(zhǔn)確的預(yù)報(bào)和預(yù)測。運(yùn)用統(tǒng)計(jì)分析方法進(jìn)行天氣預(yù)報(bào)在數(shù)十年前便已被氣象科學(xué)界否決了——也就是說，目前經(jīng)典的大數(shù)據(jù)應(yīng)用方法并不適用于天氣預(yù)報(bào)業(yè)務(wù)?！　庀髷?shù)據(jù)是整個氣象行業(yè)的基礎(chǔ)資源，它的價(jià)值在氣象行業(yè)內(nèi)部已經(jīng)和正在被深入挖掘著。我們期待著氣象數(shù)據(jù)在跨行業(yè)綜合應(yīng)用這一“增值應(yīng)用”價(jià)值挖掘過程中煥發(fā)出的新的光芒。當(dāng)你了解到這些國外（尤其是發(fā)達(dá)國家）氣象同行對于大數(shù)據(jù)風(fēng)潮近乎一致的冷漠反應(yīng)時，你的頭腦也許會冷靜下來，并產(chǎn)生如下疑問——?dú)庀蟠髷?shù)據(jù)時代真的到來了嗎？　　來源：《中國氣象報(bào)》權(quán)限：公開其原創(chuàng)性及文中表