【正文】 買家，或?qū)ふ液献髡?。　　理念的?yīng)用快于數(shù)據(jù)的應(yīng)用　　數(shù)據(jù)就是資產(chǎn)?！　∮行У膽?yīng)用模式還未找到　　當前，大數(shù)據(jù)還未形成普遍應(yīng)用的局面。尤其是在中國，盡管大數(shù)據(jù)擁有良好的產(chǎn)業(yè)基礎(chǔ)和發(fā)展前景，但數(shù)據(jù)資源的開放程度較低、數(shù)據(jù)資產(chǎn)的保護等現(xiàn)實問題都是當前面臨的主要挑戰(zhàn)。但是，盡管業(yè)界不乏探索，但客觀來看大數(shù)據(jù)的整體發(fā)展目前尚處于初級階段。移動Labs博客致力于為ICT領(lǐng)域的研究者及從業(yè)者提供技術(shù)和業(yè)務(wù)交流的網(wǎng)絡(luò)平臺，對本文中全部或部分內(nèi)容的真實性、完整性不作任何保證或承諾，僅供讀者參考交流。來自：labs 聲明： 本文僅代表作者個人觀點?！　∶鎸ι鐣戏蟹袚P揚的大數(shù)據(jù)風(fēng)潮，觀察一下國外氣象同行們的反應(yīng)不無裨益——尤其是身處大數(shù)據(jù)風(fēng)潮發(fā)源地的美國氣象同行。對于全社會而言，氣象數(shù)據(jù)也是極其珍貴的信息資源?！凹热活A(yù)測是大數(shù)據(jù)的核心，那么對于天氣預(yù)報這一氣象領(lǐng)域核心‘預(yù)測’業(yè)務(wù)而言，其‘大數(shù)據(jù)應(yīng)用’除了統(tǒng)計分析方法外，還有什么別的方法嗎？”沈文海說道。人們常說的南美叢林里一只蝴蝶扇動幾下翅膀，會在幾周后引發(fā)北美的一場暴風(fēng)雪這一現(xiàn)象，形象地描繪了氣象科學(xué)的復(fù)雜性。”沈文海分析道。“大數(shù)據(jù)的核心就是預(yù)測”，這是《大數(shù)據(jù)時代》的作者舍恩伯格的名言。這些決策信息怎么來依賴于我們對氣象數(shù)據(jù)的處理。”張文生說。　　氣象數(shù)據(jù)要如何發(fā)展？　　大數(shù)據(jù)時代已經(jīng)到來，氣象數(shù)據(jù)如何發(fā)展是氣象工作者關(guān)注的重點。　　“不宜將氣象預(yù)報產(chǎn)品的社會化推廣應(yīng)用簡單地冠以‘氣象大數(shù)據(jù)廣泛應(yīng)用’的名稱，因為產(chǎn)品應(yīng)用與氣象數(shù)據(jù)的‘大小’無關(guān)，如此冠名將易導(dǎo)致概念的混亂和氣象‘大數(shù)據(jù)’的簡單化?！薄　”娝苤?，基本的氣象數(shù)據(jù)直接用途是氣象業(yè)務(wù)、天氣預(yù)報、氣候預(yù)測以及氣象服務(wù)。　　氣象數(shù)據(jù)來源種類繁多，僅氣候工作特用資料就包括冰芯、花粉、樹木年輪、洋流鹽度、地表植被等觀測資料，已達數(shù)十種?！　　霸隗w積上，氣象數(shù)據(jù)剛剛達到大數(shù)據(jù)的準入門檻。類型和來源的渠道繁多是大數(shù)據(jù)的第二個特征。一般而言，大數(shù)據(jù)的起始計量單位至少是PB、EB或ZB級別?！　∧壳?，對大數(shù)據(jù)的特征，科學(xué)界已達成了共識，就是大體積、多樣性、高速度和價值大?！　庀髷?shù)據(jù)是大數(shù)據(jù)嗎?　　“大數(shù)據(jù)就是全體數(shù)據(jù)，是混雜數(shù)據(jù)，不必追究數(shù)據(jù)的來源?！　τ跉庀髷?shù)據(jù)來說，“氣象部門需要永久保存的數(shù)據(jù)目前約有4PB～5PB，年增量約1PB。電信、金融、保險、電力、石化系統(tǒng)每個系統(tǒng)大致都擁有10PB以上的數(shù)據(jù)；在公共安全、醫(yī)療、交通、電子政務(wù)領(lǐng)域，一個中等規(guī)模城市每年大約產(chǎn)生300PB。張文生說：“事實上，智能終端的大量應(yīng)用，如聊微信、刷微博、手機支付，讓越來越多的用戶貢獻了越來越多的數(shù)據(jù)?！　「鶕?jù)國際數(shù)據(jù)公司IDC監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番?！　〈髷?shù)據(jù)到底有多“大”？　　IBM研究表明，在整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。在大數(shù)據(jù)時代，與氣象事業(yè)發(fā)展密切相關(guān)的氣象數(shù)據(jù)再次成為焦點。(文:張蕾/指導(dǎo):湯筑強)我們需要建立雙方及多方的信息基礎(chǔ)環(huán)境進行數(shù)據(jù)融合，對各個行業(yè)的數(shù)據(jù)都需要融合深度分析。 氣象部門是高科技部門，積累了大量的數(shù)據(jù)，無疑這些數(shù)據(jù)都是寶貴的資源和財富，要充分挖掘這些資源的價值，利用好這些資源，與政府部門、企業(yè)、社會組織等緊密合作，才能提供更貼近民生、貼近生產(chǎn)、貼近實際，并且更為準確、更個性化的氣象服務(wù)產(chǎn)品。氣象與經(jīng)濟發(fā)展和社會生活息息相關(guān)，因此，發(fā)展氣象大數(shù)據(jù)大有作為，一定能為國家、為社會創(chuàng)造更多的財富。 總的說來，氣象大數(shù)據(jù)也就是氣象數(shù)據(jù)加上行業(yè)數(shù)據(jù)分析得出事情變化規(guī)律和對未來的一些預(yù)測，也就是說，要在不同數(shù)據(jù)之間確立一定的規(guī)則，對未來進行預(yù)測。 云計算使得大數(shù)據(jù)處理更方便、更快速、更省時省力，這在氣象防災(zāi)減災(zāi)中意義重大。這樣既提高了資源利用率，也使得我們不必為了復(fù)雜的運算一味追求昂貴的超級計算機。 云計算是大數(shù)據(jù)時代的基礎(chǔ)。大數(shù)據(jù)與云計算是一個問題的兩面，一個是問題，一個是解決問題的方法。云計算搭載氣象大數(shù)據(jù)助力防災(zāi)減災(zāi)從大數(shù)據(jù)角度來看，這也是對各行各業(yè)之間的數(shù)據(jù)共享做出的肯定。 其實早在2月中旬初，我們就已經(jīng)根據(jù)大量的氣象觀測資料以及模式資料數(shù)據(jù)分析，對這次大范圍的降雪天氣進行密切跟蹤預(yù)報，期間多次向政府及各部門提供決策服務(wù)材料，通過各大媒體發(fā)布預(yù)報和預(yù)警信息，并針對公路、鐵路、民航、農(nóng)業(yè)等不同領(lǐng)域制作相應(yīng)的氣象服務(wù)產(chǎn)品。全省共有83縣1341鄉(xiāng)鎮(zhèn)降水，貴陽市區(qū)也降下中雪。 氣象部門應(yīng)用氣象大數(shù)據(jù)的實例很多，實際上我們每天都在做著這樣的事情。例如，我們可以通過某一個地方的歷史災(zāi)害情況和歷史氣候數(shù)據(jù)，以及該地的地理信息、森林覆蓋情況、居住人口數(shù)據(jù)等，提前知曉在什么天氣條件下該地會出現(xiàn)洪澇災(zāi)害，雨要下到多大才會成災(zāi)，下那么大的雨會有多少人受災(zāi)，受災(zāi)人群要如何撤離等等，進而指導(dǎo)農(nóng)作物種植、房屋建造、建筑設(shè)施規(guī)劃選址等等，從源頭防災(zāi)減災(zāi)。氣象預(yù)警的確定，需要非常復(fù)雜的氣象數(shù)據(jù)分析，再綜合地形、地貌等數(shù)據(jù)，以及預(yù)報員自身的經(jīng)驗分析。 防災(zāi)減災(zāi)是氣象部門最重要的職責之一，氣象大數(shù)據(jù)在防災(zāi)減災(zāi)救災(zāi)中大有可為。氣象部門現(xiàn)有的服務(wù)包括面向政府的決策氣象服務(wù)，面向社會群體的公眾氣象服務(wù)，面向水利、電力、交通、農(nóng)業(yè)以及其它部門或企業(yè)的專業(yè)專項服務(wù)，以及針對干旱、暴雨洪澇、森林火險、冰雹、雷電等災(zāi)害性天氣的氣象災(zāi)害預(yù)報預(yù)警服務(wù)。就氣象數(shù)據(jù)自身來說，我們可以由已知的數(shù)據(jù)模擬得到過去幾千年、幾萬年甚至更久以前的氣象數(shù)據(jù)，也可以通過這些數(shù)據(jù)去預(yù)測多年后的氣象環(huán)境，當然，在這其中還需要量化其他非氣象因子。 量化一切，是數(shù)據(jù)化的核心。僅就一般公眾來說，對天氣預(yù)報的需求也不限于是否下雨、溫度如何升降了，他們渴望更精細、更準確、更長時效的預(yù)報，甚至需要氣象部門直接指導(dǎo)他們的生活。 隨著各行各業(yè)對氣象信息的需求越來越大，簡單的晴雨氣溫預(yù)報早已無法滿足社會的需要。隨著預(yù)報業(yè)務(wù)的不斷發(fā)展，這些數(shù)據(jù)將更加精密，數(shù)量也將繼續(xù)增加。僅就貴州來說，每天有85個氣象站、3000多個區(qū)域自動氣象站、7部新一代多普勒天氣雷達、2個探空雷達站實時監(jiān)測各類氣象要素。 計量和記錄一起促成了數(shù)據(jù)的誕生，它們是數(shù)據(jù)化最早的根基，氣象觀測數(shù)據(jù)是開展各項氣象業(yè)務(wù)的基礎(chǔ)。從業(yè)務(wù)角度對氣象數(shù)據(jù)進行劃分，包括氣象觀測數(shù)據(jù)和氣象產(chǎn)品數(shù)據(jù)。 在一些人眼中，氣象部門的主要職責是預(yù)報天氣。 時間：20140324 08:47:12 來源：未知 作者：宣傳與科普中心 點擊數(shù)： 194 世界發(fā)展的趨勢之一就是信息化，不同數(shù)據(jù)之間相互交叉編織成立體的、密集的信息網(wǎng)，在其中的任何一個數(shù)據(jù)都可能有它的用途。 原文鏈接：庫克耶：《大數(shù)據(jù)時代》，浙江人民出版社，2013年1月，第一版 【5】[英]維克托 原文鏈接： 原文鏈接：原文鏈接： 參考文獻：而在此之前，氣象預(yù)報服務(wù)產(chǎn)品的廣泛社會應(yīng)用，將是氣象部門履行職責，服務(wù)社會的工作重點；它與氣象數(shù)據(jù)的價值挖掘一道，成為氣象業(yè)務(wù)中不可或缺的組成部分。氣象數(shù)據(jù)對于全社會而言，是極其珍貴的數(shù)據(jù)和信息資源。氣象數(shù)據(jù)是匯聚自然界與氣象有關(guān)的信息聚合體，其核心價值是支撐氣象業(yè)務(wù)；但其自身價值并未被窮盡。結(jié)語 （3）氣象數(shù)據(jù)在“大數(shù)據(jù)應(yīng)用”浪潮中亟待解決的信息技術(shù)問題，是海量氣象結(jié)構(gòu)化數(shù)據(jù)的高效應(yīng)用。因此“氣象大數(shù)據(jù)”的稱謂將是暫時的。 （2）目前氣象數(shù)據(jù)體量雖大，但其增速緩于摩爾定律。而氣象數(shù)據(jù)外部關(guān)聯(lián)價值的挖掘，有待于科學(xué)數(shù)據(jù)社會共享良好環(huán)境的建立。 （1）目前社會上的“大數(shù)據(jù)應(yīng)用”大多仍局限在數(shù)據(jù)內(nèi)部自身價值的深度挖掘方面，氣象數(shù)據(jù)也是如此。反之，如果沒有大數(shù)據(jù)及大數(shù)據(jù)應(yīng)用，很多“云”（尤其是“存儲云”）的價值也難以體現(xiàn)出來，二者是相輔相成的關(guān)系。云計算概念的出現(xiàn)以及隨之衍生出的“云存儲”等應(yīng)用架構(gòu)，為大數(shù)據(jù)的有效管理提供了可行的方案。 （2）“大數(shù)據(jù)應(yīng)用”與云的關(guān)系相信不久的將來，此項關(guān)鍵技術(shù)將被突破。因此，如何運用恰當?shù)募夹g(shù)，有效管理海量地面觀測資料，充分滿足所有用戶對地面觀測資料的實時檢索和分析應(yīng)用，并使系統(tǒng)長期處于穩(wěn)定狀態(tài)，是目前必須解決的核心技術(shù)問題。 地面觀測資料是氣象業(yè)務(wù)和科研中應(yīng)用最為廣泛和持久的一類結(jié)構(gòu)化數(shù)據(jù)，被要求永久在線管理以提供實時服務(wù)。分布式處理和存儲等云計算/大數(shù)據(jù)技術(shù)雖然提供了對非結(jié)構(gòu)化數(shù)據(jù)的規(guī)范管理和高效應(yīng)用技術(shù)，但對于以地面觀測資料為代表的海量氣象結(jié)構(gòu)化數(shù)據(jù)及其復(fù)雜多變、難以預(yù)測的應(yīng)用方式，卻顯得束手無策。 由“”分析可知，目前氣象數(shù)據(jù)的產(chǎn)生量巨大，每時每刻如滔滔洪水般洶涌而至，傳統(tǒng)的技術(shù)架構(gòu)已無法應(yīng)對海量氣象數(shù)據(jù)的處理、管理和有效服務(wù)，以至于有關(guān)業(yè)務(wù)單位不得不頻繁更新設(shè)備，用更高檔的服務(wù)器運行傳統(tǒng)的關(guān)系型數(shù)據(jù)庫和文件系統(tǒng)，用更高性能的磁盤陣列存儲大小不一、數(shù)量驚人的數(shù)據(jù)文件，以及動輒數(shù)億條記錄的數(shù)據(jù)庫列表，以期能夠茍且滿足當前日益嚴苛的數(shù)據(jù)處理、存儲和檢索等業(yè)務(wù)要求。氣象數(shù)據(jù)的廣泛應(yīng)用需要突破的關(guān)鍵技術(shù)很多，其中大部分（如天氣雷達數(shù)據(jù)拼圖等）屬于專業(yè)領(lǐng)域的科學(xué)問題，需要相應(yīng)領(lǐng)域科學(xué)家們的深入研究。5 信息技術(shù)領(lǐng)域需要突破的關(guān)鍵技術(shù)以及與“云”的關(guān)系簡言之，前者是價值產(chǎn)品的創(chuàng)新，后者是價值產(chǎn)品的應(yīng)用。因此，氣象數(shù)據(jù)通過跨行業(yè)深度結(jié)合而挖掘其外部關(guān)聯(lián)價值的必要環(huán)境并非已全部具備。美國政府多年來年以來一再發(fā)布政令，要求政府部門在規(guī)定期限內(nèi)將與國家安全無關(guān)的數(shù)據(jù)實現(xiàn)社會共享。 與之相對應(yīng)，氣象數(shù)據(jù)“外部關(guān)聯(lián)價值”的挖掘，則當出現(xiàn)在其與其它專業(yè)領(lǐng)域數(shù)據(jù)的跨領(lǐng)域跨部門綜合分析應(yīng)用過程中；而這一切的必要條件，就是行業(yè)間數(shù)據(jù)的高度共享和深度分析應(yīng)用。那種小心翼翼、循規(guī)蹈矩的行為方式，難以適應(yīng)服務(wù)市場瞬息萬變的狀態(tài)。氣象衛(wèi)星、天氣雷達等非常規(guī)遙感遙測數(shù)據(jù)中包含的信息十分豐富，有可能挖掘出新的應(yīng)用價值，從而拓展氣象行業(yè)新的業(yè)務(wù)領(lǐng)域和服務(wù)范圍。究其原因，氣象衛(wèi)星視野的廣闊和搭載探測設(shè)備種類的多樣化，以及各類儀器設(shè)備所獲信息之間、衛(wèi)星數(shù)據(jù)與其它種類氣象資料（如地面觀測數(shù)據(jù)）之間綜合應(yīng)用的可能性，占據(jù)了絕大比重。 相對而言，非常規(guī)觀測資料中的氣象衛(wèi)星和天氣雷達資料，與“大數(shù)據(jù)應(yīng)用”成功案例的特點較相吻合。而其中可能潛藏的反映本領(lǐng)域內(nèi)天氣或氣候規(guī)律的新的信號，正在由數(shù)以千計的氣象科學(xué)家們分析研究著。已有數(shù)十年歷史的傳統(tǒng)的統(tǒng)計氣候業(yè)務(wù)，正是采用復(fù)雜的統(tǒng)計方法，對氣象要素進行時間、空間分布方面的詳盡分析，發(fā)現(xiàn)其中的規(guī)律，進而完成氣候統(tǒng)計預(yù)測的。直到目前，氣象數(shù)據(jù)的核心內(nèi)容并未發(fā)生根本性變化，近年來所增設(shè)的新的探測手段（如氣象衛(wèi)星、天氣雷達等），其探測信息最終都將反演成溫、壓、濕、風(fēng)以及云能天等有限的幾個氣象要素，以供業(yè)務(wù)及科研使用。氣象數(shù)據(jù)的“大數(shù)據(jù)應(yīng)用”前景預(yù)期相對而言，數(shù)據(jù)“外部關(guān)聯(lián)價值”的挖掘和展現(xiàn)在業(yè)界和社會上尚未成為主流形態(tài)。 （3）大多是新興的或信息化時間不長的企業(yè)（行業(yè)） 所以，大數(shù)據(jù)應(yīng)用成功案例中最重要的一點，就是這些企業(yè)所分析的數(shù)據(jù)對象中包含了可能需要的所有信息，只不過這些信息在整體數(shù)據(jù)的汪洋大海中十分稀少，需要采取非傳統(tǒng)的、被稱之為“大數(shù)據(jù)”技術(shù)的處理手段、在規(guī)定的時效內(nèi)挖掘出來。相反，我國金融行業(yè)數(shù)據(jù)量巨大，但分析師們卻絕不可能通過分析金融數(shù)據(jù)來預(yù)測天氣和氣候，因為金融數(shù)據(jù)中不包含任何與氣象有關(guān)的信息；反之亦然。阿里巴巴企業(yè)能夠提前半年預(yù)測出2008年北美將爆發(fā)經(jīng)濟危機，是因為其數(shù)據(jù)庫中詳細記錄了數(shù)年來世界各地與阿里集團的每一筆訂單和詢單，可從中統(tǒng)計并發(fā)現(xiàn)出其異常變化以及變化的區(qū)域分布。 （2）所分析的數(shù)據(jù)對象中所需要的信息足夠豐富因此所有這些成功案例，都是數(shù)據(jù)內(nèi)部自身價值的被挖掘。所有成功案例都是該企業(yè)通過分析本企業(yè)所擁有的數(shù)據(jù)“大數(shù)據(jù)”所獲得的。這里既沒有谷歌通過分析諸如沃爾瑪?shù)瓤珙I(lǐng)域跨行業(yè)部門的數(shù)據(jù)而得到有價值信息的成功案例，也沒有阿里巴巴通過分析類似騰訊或百度等同為互聯(lián)網(wǎng)運營應(yīng)用的兄弟企業(yè)的數(shù)據(jù)而獲益的案例。 （1）所分析的數(shù)據(jù)都是企業(yè)自身所擁有的 “大數(shù)據(jù)應(yīng)用”成功案例分析由于此時的數(shù)據(jù)具有Variety（多樣性）的特性，所含信息種類較之此前大大增加，人們有可能通過分析這些信息，獲得以前不可能得到的新的知識、預(yù)測信息，激發(fā)出新的開拓性思維，乃至開創(chuàng)新的業(yè)務(wù)領(lǐng)域。無論是否處于“大數(shù)據(jù)時代”,數(shù)據(jù)的價值概莫能外。 而對于大數(shù)據(jù)的價值，該書作者認為，“數(shù)據(jù)就像一個神奇的鉆石礦，當它的首要價值被發(fā)掘后仍能不斷給予”,它目前展現(xiàn)在人們面前僅僅是其總價值的“冰山一角”.對此，胡小明先生的理解是：雖然一些數(shù)據(jù)所蘊含的其所屬領(lǐng)域的內(nèi)部規(guī)律（即所謂“首要價值”）已被本領(lǐng)域?qū)＜页浞职l(fā)掘，但如果將這些數(shù)據(jù)與其它領(lǐng)域數(shù)據(jù)相鏈接，卻有可能發(fā)現(xiàn)出許多意想不到的相關(guān)關(guān)系，即所謂“豐富的未知價值在領(lǐng)域的外部”.【6】人們進行分析的對象已不是抽樣數(shù)據(jù)，而是所有的數(shù)據(jù)，即：“樣本 = 總體”. 《大數(shù)據(jù)時代》的作者就大數(shù)據(jù)帶給人們思維方面的變革，提出了三個觀點： 信息技術(shù)的發(fā)展突飛猛進，處理及存儲能力依摩爾定律，每18個月增加一倍；今天的大體量規(guī)模數(shù)據(jù)，如果不具備超摩爾定律的膨脹能力，數(shù)年后便很有可能萎縮成中等甚至中等以下規(guī)模的數(shù)據(jù)；這樣的事例在IT界