【文章內容簡介】 源。我們期待著氣象數據在跨行業(yè)綜合應用這一“外部關聯價值”挖掘過程中煥發(fā)出新的耀眼光芒。而在此之前，氣象預報服務產品的廣泛社會應用，將是氣象部門履行職責，服務社會的工作重點；它與氣象數據的價值挖掘一道，成為氣象業(yè)務中不可或缺的組成部分。 參考文獻： 【1】ZDNET:《數據中心2013:硬件重構與軟件定義》，ZDNET企業(yè)解決方案中心年度技術報告。原文鏈接： 【2】36大數據：《大數據史記2013:盤點中國2013行業(yè)數據量 》， 原文鏈接： 【3】張瑾：大數據是用傳統(tǒng)方法無法解決的數據問題，和訊科技：2012年11月30日10:59 原文鏈接： 【4】QX/T 1022009《氣象資料分類與編碼》行業(yè)標準 【5】[英]維克托邁爾舍恩伯格，肯尼思庫克耶：《大數據時代》，浙江人民出版社，2013年1月，第一版 【6】胡小明：“大數據啟發(fā)新思維”,第二屆大數據應用論壇大會報告， 原文鏈接： 氣象與大數據 時間：20140324 08:47:12 來源：未知 作者：宣傳與科普中心 點擊數： 194 世界發(fā)展的趨勢之一就是信息化，不同數據之間相互交叉編織成立體的、密集的信息網，在其中的任何一個數據都可能有它的用途。那么，如何從氣象角度看大數據呢？特別的大數據——氣象歷來同數據打交道 在一些人眼中，氣象部門的主要職責是預報天氣。然而，在世界各國的經濟生活中，不少行業(yè)，如農業(yè)、交通業(yè)、建筑業(yè)、旅游業(yè)、銷售業(yè)、保險業(yè)等，無一例外與天氣的變化息息相關，隨著氣象在社會生產生活中越來越受重視，氣象業(yè)務也在不斷地拓寬領域，從最基礎的天氣預報到現有的氣候預測、氣候可行性論證、公共氣象服務、專業(yè)專項氣象服務、氣象防災減災等，氣象業(yè)務仍將繼續(xù)拓展，把氣象產品送到更多人手中，為社會創(chuàng)造財富、減輕損失。 毫不夸張地說，氣象部門就是一個超大的“數據庫”，里面存儲了海量的數據。從業(yè)務角度對氣象數據進行劃分，包括氣象觀測數據和氣象產品數據。 計量和記錄一起促成了數據的誕生，它們是數據化最早的根基，氣象觀測數據是開展各項氣象業(yè)務的基礎。我們平時從電視、報紙或者網站獲取的看似簡單的天氣預報信息，在其后都有非常龐雜的數據采集作支撐，包括全國2000多個地面站、120多個高空探測站、6顆在軌衛(wèi)星、5萬多個自動監(jiān)測站、600多個農業(yè)監(jiān)測站、300多個雷達站等，逐日逐小時甚至到逐分鐘掃描著中國出現的各種各樣的大氣數據。僅就貴州來說，每天有85個氣象站、3000多個區(qū)域自動氣象站、7部新一代多普勒天氣雷達、2個探空雷達站實時監(jiān)測各類氣象要素。我們每日接收到的天氣預報信息，就是由如此龐雜的數據，再加上歐亞甚至全球的所有氣象數據，通過篩選、運算、分析等一系列復雜的工序得到的。隨著預報業(yè)務的不斷發(fā)展，這些數據將更加精密，數量也將繼續(xù)增加。 隨著各行各業(yè)對氣象信息的需求越來越大，簡單的晴雨氣溫預報早已無法滿足社會的需要。針對不同領域、不同行業(yè)、不同群體，氣象部門要制作相應的氣象產品，例如提供給政府的決策氣象服務，水利、電力、交通、農業(yè)等部門對氣象也各有需求，各類企業(yè)對氣象信息的需求也不一樣，有的關注降水，有的關注氣溫，有的關注災害，有的關注風速風向，而且在不同時間、不同地域，各行各業(yè)對氣象的需求也不一樣。僅就一般公眾來說，對天氣預報的需求也不限于是否下雨、溫度如何升降了，他們渴望更精細、更準確、更長時效的預報，甚至需要氣象部門直接指導他們的生活。氣象產品越來越龐雜，內容越來越豐富，構成了氣象大數據中的一部分。引爆氣象大數據——挖掘大數據在氣象上的運用 量化一切，是數據化的核心。長期以來，無論是觀測業(yè)務、預報預測業(yè)務還是科研工作，氣象工作者們都一直在做著量化的努力。就氣象數據自身來說，我們可以由已知的數據模擬得到過去幾千年、幾萬年甚至更久以前的氣象數據，也可以通過這些數據去預測多年后的氣象環(huán)境，當然，在這其中還需要量化其他非氣象因子。大數據時代觀點認為，對大數據進行相對簡單的相關運算永遠比對小數據進行復雜運算得出的結果準確，在一定程度上來說，氣象部門一直在做這樣的事，例如我們常用到的“遙相關”、“模式耦合”等運算方法，正是在尋求氣象要素之間，以及氣象與其它事物之間的相關關系。 當然，一旦我們完成了對大數據的相關關系分析，我們將不僅僅滿足于知道“是什么”，而會繼續(xù)更深層次地研究因果關系，找出背后的“為什么”，這就是氣象科研工作者每日在忙碌的事情了。 氣象工作的最終目的是服務。氣象部門現有的服務包括面向政府的決策氣象服務，面向社會群體的公眾氣象服務，面向水利、電力、交通、農業(yè)以及其它部門或企業(yè)的專業(yè)專項服務，以及針對干旱、暴雨洪澇、森林火險、冰雹、雷電等災害性天氣的氣象災害預報預警服務。 防災減災是氣象部門最重要的職責之一，氣象大數據在防災減災救災中大有可為。在大數據觀點中，預測是核心，而“防災”是應對災害的重中之重，所以氣象預警信息顯得尤為重要。氣象預警的確定，需要非常復雜的氣象數據分析，再綜合地形、地貌等數據，以及預報員自身的經驗分析。然而，防災減災的發(fā)展方向，不僅僅是完善預警系統(tǒng)和提高預警準確率，還要做老百姓看得懂的預警，直接指導他們防災避災，氣象大數據必將發(fā)揮很大的作用。例如，我們可以通過某一個地方的歷史災害情況和歷史氣候數據，以及該地的地理信息、森林覆蓋情況、居住人口數據等，提前知曉在什么天氣條件下該地會出現洪澇災害，雨要下到多大才會成災，下那么大的雨會有多少人受災，受災人群要如何撤離等等，進而指導農作物種植、房屋建造、建筑設施規(guī)劃選址等等，從源頭防災減災。 氣象部門應用氣象大數據的實例很多，實際上我們每天都在做著這樣的事情。例如今年2月17日我省出現的大范圍雨雪天氣，17日夜間至18日白天，我省普遍出現降雪天氣，有8個縣出現暴雪，12個縣出現中雪，52縣出現小雪。全省共有83縣1341鄉(xiāng)鎮(zhèn)降水，貴陽市區(qū)也降下中雪。 其實早在2月中旬初，我們就已經根據大量的氣象觀測資料以及模式資料數據分析，對這次大范圍的降雪天氣進行密切跟蹤預報，期間多次向政府及各部門提供決策服務材料，通過各大媒體發(fā)布預報和預警信息，并針對公路、鐵路、民航、農業(yè)等不同領域制作相應的氣象服務產品。正是通過對大量氣象數據以及氣象數據與交通、農業(yè)等其他領域的數據進行分析處理，才讓我們做到了準確的預報和及時到位的服務，省領導作出重要批示，充分肯定了各部門之間的通力協(xié)作和聯動應對，將降雪對交通運輸的影響降到了最低。從大數據角度來看，這也是對各行各業(yè)之間的數據共享做出的肯定。云計算搭載氣象大數據助力防災減災 氣象數據的大量搜集、處理和分析，對硬、軟件的要求更為苛刻，傳統(tǒng)的處理設備難以滿足大數據處理的功能和性能要求。大數據與云計算是一個問題的兩面，一個是問題，一個是解決問題的方法。 云計算是大數據時代的基礎。當越來越多的需求出現時，向虛擬的“云端”提出申請，“云端”為該需求迅速組織計算資源，而在計算結束并將結果反饋后，“云端”又可將這些臨時組織起來的資源快速釋放。這樣既提高了資源利用率，也使得我們不必為了復雜的運算一味追求昂貴的超級計算機。 云計算使得大數據處理更方便、更快速、更省時省力，這在氣象防災減災中意義重大。要提高預報預警準確率、科學評估災害，必須要納入除氣象數據以外的大量其他各行各業(yè)的數據，傳統(tǒng)的設備無法快速處理，這無疑是和生命財產安全搶奪時間，而云計算可以很好地規(guī)避這個問題。打破“數據壁壘”——氣象大數據將大有作為 總的說來，氣象大數據也就是氣象數據加上行業(yè)數據分析得出事情變化規(guī)律和對未來的一些預測，也就是說，要在不同數據之間確立一定的規(guī)則，對未來進行預測。氣象數據能做這樣的事情是由于其客觀、穩(wěn)定、量大，而且氣象數據和各行各業(yè)的相關性非常高。氣象與經濟發(fā)展和社會生活息息相關，因此，發(fā)展氣象大數據大有作為，一定能為國家、為社會創(chuàng)造更多的財富。 氣象部門是高科技部門，積累了大量的數據，無疑這些數據都是寶貴的資源和財富，要充分挖掘這些資源的價值，利用好這些資源，與政府部門、企業(yè)、社會組織等緊密合作，才能提供更貼近民生、貼近生產、貼近實際，并且更為準確、更個性化的氣象服務產品。氣象大數據對創(chuàng)造和增長社會財富有重要意義，比如說能源，可以通過分析電力負荷歷史，加上氣象數據進行用電量估算；比如農業(yè)，可以通過某一地的農耕歷史加上氣候信息就可以進行農作物結構調整指導；還有交通，航班準點率歷史加上機場歷史天氣特征，就可以得到航班延誤預測；再有公共衛(wèi)生，通過門診量和藥品銷量加上氣象歷史就可以推測發(fā)病率趨勢；在飲品方面，通過銷量和氣象要素關聯就可以掌握銷量變化。 然而，在實現氣象大數據的過程中，“數據壁壘”是一個實實在在的障礙。我們需要建立雙方及多方的信息基礎環(huán)境進行數據融合，對各個行業(yè)的數據都需要融合深度分析。所以，用好氣象大數據，必須打破各行業(yè)之間的“數據壁壘”，真正做到數據共享，才能更大地實現氣象大數據的價值，從而更大程度減輕災害損失，為社會創(chuàng)造更多的財富。(文:張蕾/指導:湯筑強)大數據時代：氣象應用與時俱進標簽： 大數據 20140515 14:46　　當前，信息技術的創(chuàng)新正在改變著我們熟悉的生活和工作方式。在大數據時代，與氣象事業(yè)發(fā)展密切相關的氣象數據再次成為焦點。氣象的大數據時代真的到來了嗎？近日，記者就上述問題采訪了國家氣象信息中心副總工程師沈文海、中國科學院自動化研究所研究員張文生?！　〈髷祿降子卸唷按蟆保俊　BM研究表明，在整個人類文明所獲得的全部數據中，有90%是過去兩年內產生的。而到了2020年，全世界所產生的數據規(guī)模將達到今天的44倍?！　「鶕H數據公司IDC監(jiān)測，人類產生的數據量正在呈指數級增長，大約每兩年翻一番?！　祿勘┰龅乃俣攘钊祟拷Y舌，我們已進入“大數據時代”。張文生說：“事實上，智能終端的大量應用，如聊微信、刷微博、手機支付，讓越來越多的用戶貢獻了越來越多的數據。”　　記者了解到，就數據量而言，中國的大數據主要有以下幾類：互聯網，大約有2EB的數據。電信、金融、保險、電力、石化系統(tǒng)每個系統(tǒng)大致都擁有10PB以上的數據；在公共安全、醫(yī)療、交通、電子政務領域，一個中等規(guī)模城市每年大約產生300PB。在商業(yè)銷售、制造業(yè)、農業(yè)、物流和流通等領域，數據量尚處于積累期，體量不大，多的達到PB級別，基本約在數十TB到近百TB級別。　　對于氣象數據來說，“氣象部門需要永久保存的數據目前約有4PB～5PB，年增量約1PB?！鄙蛭暮＝榻B，相對而言，氣象數據較上述數據大戶至少低3個數量級?！　庀髷祿谴髷祿?　　“大數據就是全體數據，是混雜數據，不必追究數據的來源?！睆埼纳榻B。　　目前，對大數據的特征，科學界已達成了共識，就是大體積、多樣性、高速度和價值大?！绑w積巨大是大數據的最根本的特征。一般而言，大數據的起始計量單位至少是PB、EB或ZB級別?！鄙蛭暮＝榻B。類型和來源的渠道繁多是大數據的第二個特征。此外，生成速度快、處理時效高、價值巨大也是大數據的特征。　　“在體積上，氣象數據剛剛達到大數據的準入門檻?！鄙蛭暮７治龅溃耗壳?，在所有氣象資料中，地面觀測、氣象衛(wèi)星遙感、天氣雷達和數值預報產品四類數據占數據總量的90%以上，堪稱“四大金剛”?！　庀髷祿碓捶N類繁多，僅氣候工作特用資料就包括冰芯、花粉、樹木年輪、洋流鹽度、地表植被等觀測資料，已達數十種。沈文海說：“這些數據雖然種類多，但都是只用于氣象領域的科學數據，來源較為單一?！薄　”娝苤?，基本的氣象數據直接用途是氣象業(yè)務、天氣預報、氣候預測以及氣象服務?！按髷祿谩迸c目前的氣象服務有所不同，前者是氣象數據的“深度應用”和“增值應用”，后者是既定業(yè)務數據加工產品的社會推廣應用?！　　安灰藢庀箢A報產品的社會化推廣應用簡單地冠以‘氣象大數據廣泛應用’的名稱，因為產品應用與氣象數據的‘大小’無關，如此冠名將易導致概念的混亂和氣象‘大數據’的簡單化。”沈文海表示。　　氣象數據要如何發(fā)展？　　大數據時代已經到來，氣象數據如何發(fā)展是氣象工作者關注的重點。“目前，社會上的‘大數據應用’大多局限在數據基本價值的深度應用挖掘方面?！睆埼纳f。除了大家知道的天氣預報等，現在，氣象行業(yè)的公共服務職能越來越強，面向政府提供決策服務，面向公眾提供氣象預報預警服務，面向社會發(fā)展，應對氣候發(fā)展節(jié)能減排。這些決策信息怎么來依賴于我們對氣象數據的處理。　　采用統(tǒng)計分析方法對海量數據進行分析處理，發(fā)現其中某些特定要素之間的關系，這是到目前為止，所有“大數據應用”成功案例的共同特征，即便“大機器學習”等目前備受推崇的大數據時代新事物也無例外?！按髷祿暮诵木褪穷A測”，這是《大數據時代》的作者舍恩伯格的名言?！叭绻@一斷言是準確的話，那么氣象數據的‘大數據應用’時代也許還沒有到來?！鄙蛭暮７治龅馈！　√鞖夂蜌夂蛳到y(tǒng)是典型的非線性系統(tǒng)，無法通過運用簡單的統(tǒng)計分析方法來對其進行準確的預報和預測。人們常說的南美叢林里一只蝴蝶扇動幾下翅膀，會在幾周后引發(fā)北美的一場暴風雪這一現象，形象地描繪了氣象科學的復雜性。運用統(tǒng)計分析方法進行天氣預報在數十年前便已被氣象科學界否決了——也就是說，目前經典的大數據應用方法并不適用于天氣預報業(yè)務。“既然預測是大數據的核心，那么對于天