【正文】 氣象大數(shù)據(jù)應(yīng)用技術(shù)架構(gòu)設(shè)計(jì)思路二〇一五年五月文檔信息客戶單位:內(nèi)部技術(shù)機(jī)密心項(xiàng)目:文檔：.docx版本：(150521)發(fā)布日期:未發(fā)布編者:姓名公司項(xiàng)目職稱日期邱承國高級(jí)技術(shù)經(jīng)理20150511批準(zhǔn):姓名公司項(xiàng)目職稱日期修訂歷史主要修訂記錄版本號(hào)修改人修改內(nèi)容修改日期1.邱承國初稿20150112.3.4.目錄文檔信息 ii修訂歷史 ii1 引言 12 氣象行業(yè)大數(shù)據(jù)分類 2 概述 2 從分類大數(shù)據(jù)到選擇大數(shù)據(jù)解決方案 3 依據(jù)大數(shù)據(jù)類型對(duì)業(yè)務(wù)問題進(jìn)行分類 4 使用大數(shù)據(jù)類型對(duì)大數(shù)據(jù)特征進(jìn)行分類 5 依據(jù)大數(shù)據(jù)類型對(duì)氣象信息進(jìn)行處理 73 大數(shù)據(jù)平臺(tái)架構(gòu) 8 大數(shù)據(jù)解決方案的邏輯構(gòu)成 8 大數(shù)據(jù)來源 8 數(shù)據(jù)改動(dòng)和存儲(chǔ)層 8 大數(shù)據(jù)分析層 9 大數(shù)據(jù)應(yīng)用層 9 大數(shù)據(jù)解決方案的組件構(gòu)成 10 橫向?qū)?10 垂直層 154 大數(shù)據(jù)平臺(tái)組成 19 概述 19 原子模式 19 數(shù)據(jù)使用組件 20 數(shù)據(jù)處理組件 22 數(shù)據(jù)訪問組件 24 數(shù)據(jù)存儲(chǔ)組件 28 復(fù)合模式 29 存儲(chǔ)和探索復(fù)合組件 30 專業(yè)分析和預(yù)測分析組件 30 OLAP在線分析 31 原子模式和符合模式的映射 32 解決方案模式（模擬應(yīng)用場景） 355 技術(shù)架構(gòu)實(shí)現(xiàn)選擇產(chǎn)品 36 概述 36 技術(shù)架構(gòu)的關(guān)鍵問題 36 分布式存儲(chǔ)與分布式應(yīng)用 36 服務(wù)平臺(tái)的硬件架構(gòu)與調(diào)整 36 數(shù)據(jù)庫與數(shù)據(jù)倉庫 36 NOSQL數(shù)據(jù)庫 36 數(shù)據(jù)集成工具 36 數(shù)據(jù)分析軟件 36 Web應(yīng)用以及Web開發(fā)的關(guān)鍵問題 366 我們的研發(fā)策略 36 效益 36 目前的形勢 36 針對(duì)目前直接的應(yīng)用需求 36 技術(shù)儲(chǔ)備與項(xiàng)目應(yīng)用 36 如何保證將來的擴(kuò)展 37iv1 引言在氣象行業(yè)內(nèi)部，氣象數(shù)據(jù)的價(jià)值已經(jīng)和正在被深入挖掘著。但是，不能將氣象預(yù)報(bào)產(chǎn)品的社會(huì)化推廣簡單地認(rèn)為就是“氣象大數(shù)據(jù)的廣泛應(yīng)用”。大數(shù)據(jù)實(shí)際上是一種混雜數(shù)據(jù)，氣象大數(shù)據(jù)應(yīng)該是指氣象行業(yè)所擁有的以及鎖接觸到的全體數(shù)據(jù)，包括傳統(tǒng)的氣象數(shù)據(jù)和對(duì)外服務(wù)提供的影視音頻資料、網(wǎng)頁資料、預(yù)報(bào)文本以及地理位置相關(guān)數(shù)據(jù)、社會(huì)經(jīng)濟(jì)共享數(shù)據(jù)等等。傳統(tǒng)的”氣象數(shù)據(jù)“，地面觀測、氣象衛(wèi)星遙感、天氣雷達(dá)和數(shù)值預(yù)報(bào)產(chǎn)品四類數(shù)據(jù)占數(shù)據(jù)總量的90%以上，基本的氣象數(shù)據(jù)直接用途是氣象業(yè)務(wù)、天氣預(yù)報(bào)、氣候預(yù)測以及氣象服務(wù)?！按髷?shù)據(jù)應(yīng)用”與目前的氣象服務(wù)有所不同，前者是氣象數(shù)據(jù)的“深度應(yīng)用”和“增值應(yīng)用”，后者是既定業(yè)務(wù)數(shù)據(jù)加工產(chǎn)品的社會(huì)推廣應(yīng)用?！按髷?shù)據(jù)的核心就是預(yù)測”，這是《大數(shù)據(jù)時(shí)代》的作者舍恩伯格的名言。天氣和氣候系統(tǒng)是典型的非線性系統(tǒng)，無法通過運(yùn)用簡單的統(tǒng)計(jì)分析方法來對(duì)其進(jìn)行準(zhǔn)確的預(yù)報(bào)和預(yù)測。人們常說的南美叢林里一只蝴蝶扇動(dòng)幾下翅膀，會(huì)在幾周后引發(fā)北美的一場暴風(fēng)雪這一現(xiàn)象，形象地描繪了氣象科學(xué)的復(fù)雜性。運(yùn)用統(tǒng)計(jì)分析方法進(jìn)行天氣預(yù)報(bào)在數(shù)十年前便已被氣象科學(xué)界否決了——也就是說，目前經(jīng)典的大數(shù)據(jù)應(yīng)用方法并不適用于天氣預(yù)報(bào)業(yè)務(wù)?，F(xiàn)在，氣象行業(yè)的公共服務(wù)職能越來越強(qiáng)，面向政府提供決策服務(wù)，面向公眾提供氣象預(yù)報(bào)預(yù)警服務(wù)，面向社會(huì)發(fā)展，應(yīng)對(duì)氣候發(fā)展節(jié)能減排。這些決策信息怎么來依賴于我們對(duì)氣象數(shù)據(jù)的處理。氣象大數(shù)據(jù)應(yīng)該在跨行業(yè)綜合應(yīng)用這一“增值應(yīng)用”價(jià)值挖掘過程中煥發(fā)出的新的光芒。2 大數(shù)據(jù)平臺(tái)的基本構(gòu)成 概述“大數(shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘（SaaS），但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫（PaaS）和云存儲(chǔ)、虛擬化技術(shù)（IaaS）。大數(shù)據(jù)可通過許多方式來存儲(chǔ)、獲取、處理和分析。每個(gè)大數(shù)據(jù)來源都有不同的特征，包括數(shù)據(jù)的頻率、量、速度、類型和真實(shí)性。處理并存儲(chǔ)大數(shù)據(jù)時(shí)，會(huì)涉及到更多維度，比如治理、安全性和策略。選擇一種架構(gòu)并構(gòu)建合適的大數(shù)據(jù)解決方案極具挑戰(zhàn)，因?yàn)樾枰紤]非常多的因素。氣象行業(yè)的數(shù)據(jù)情況則更為復(fù)雜，除了“機(jī)器生成”（可以理解為遙測、傳感設(shè)備產(chǎn)生的觀測數(shù)據(jù)，大量參與氣象服務(wù)和共享的信息都以文本、圖片、視頻等多種形式存儲(chǔ)，符合“大數(shù)據(jù)”的4V特點(diǎn)：Volume(大量)、Velocity(高速)、Variety(多樣)、veracity(真實(shí)性) 。這些信息長期存儲(chǔ)于氣象各部門的平臺(tái)上未能加以合理利用。另一方面，這些數(shù)據(jù)本身就是分散存儲(chǔ)于多個(gè)服務(wù)器平臺(tái)上，急需應(yīng)用分布式平臺(tái)統(tǒng)一管理。因此，我們亟需一種結(jié)構(gòu)化和基于模式的方法來簡化定義完整的大數(shù)據(jù)架構(gòu)的任務(wù)。因?yàn)樵u(píng)估一個(gè)業(yè)務(wù)場景是否存在大數(shù)據(jù)問題很重要，所以我們包含了一些線索來幫助確定哪些業(yè)務(wù)問題適合采用大數(shù)據(jù)解決方案。 數(shù)據(jù)基礎(chǔ)決定平臺(tái)框架 從分類大數(shù)據(jù)到選擇大數(shù)據(jù)解決方案RDBMS：關(guān)系型數(shù)據(jù)庫；ETL：數(shù)據(jù)清晰、轉(zhuǎn)換、裝載的過程；ELT：數(shù)據(jù)清晰、裝載、轉(zhuǎn)換的過程；CDC：增量數(shù)據(jù)復(fù)制。有同步和異步兩種模式。數(shù)據(jù)種類結(jié)構(gòu)示例量安全性建模存儲(chǔ)和檢索集成使用主數(shù)據(jù)事務(wù)分析數(shù)據(jù)元數(shù)據(jù)結(jié)構(gòu)化觀測數(shù)據(jù)中高數(shù)據(jù)庫、應(yīng)用程序和用戶訪問預(yù)定義的關(guān)系建?；蚓S度建模RDBMS/SQLETL/ELT、CDC應(yīng)用程序、BI和統(tǒng)計(jì)程序參考數(shù)據(jù)結(jié)構(gòu)化和半結(jié)構(gòu)化交換數(shù)據(jù)中低平臺(tái)安全性靈活可擴(kuò)展XML/xQueryETL/ELT、消息使用基于系統(tǒng)文檔和內(nèi)容非結(jié)構(gòu)化預(yù)報(bào)文件高基于文件系統(tǒng)隨意文件系統(tǒng)/搜索操作系統(tǒng)級(jí)文件移動(dòng)內(nèi)容管理大數(shù)據(jù)網(wǎng)頁物聯(lián)網(wǎng)衛(wèi)星/雷達(dá)等傳感器結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化云圖視頻語音網(wǎng)志高文件系統(tǒng)和數(shù)據(jù)庫靈活（鍵值）分布式文件系統(tǒng)/noSQLHadoop、MapReduce、ETL/ELT、消息BI和統(tǒng)計(jì)工具結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)“非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù) 依據(jù)大數(shù)據(jù)類型對(duì)業(yè)務(wù)問題進(jìn)行分類根據(jù)氣象服務(wù)需要，業(yè)務(wù)問題可分類為不同的大數(shù)據(jù)問題類型。以后，我們將使用此類型確定合適的分類模式（原子或復(fù)合）和合適的大數(shù)據(jù)解決方案。但第一步是將業(yè)務(wù)問題映射到它的大數(shù)據(jù)類型。下表列出了常見的業(yè)務(wù)問題并為每個(gè)問題分配了一種大數(shù)據(jù)類型。業(yè)務(wù)問題大數(shù)據(jù)問題描述公用事業(yè)：臨近天氣預(yù)報(bào)機(jī)器生成數(shù)據(jù)依據(jù)站點(diǎn)觀測數(shù)據(jù)匯總和國家局下發(fā)文件、全球交換數(shù)據(jù)只做的預(yù)報(bào)信息政府決策：區(qū)域天氣預(yù)警機(jī)器生成的數(shù)據(jù)地理信息數(shù)據(jù)政府交換數(shù)據(jù)圖片視頻資料語音播報(bào)數(shù)據(jù)歷史災(zāi)害匯總微博等網(wǎng)頁數(shù)據(jù)政府機(jī)構(gòu)通過“智慧都市”等平臺(tái)整合IS關(guān)聯(lián)天氣預(yù)警產(chǎn)品、預(yù)警通知反饋、城區(qū)建筑布局與災(zāi)害易發(fā)分析結(jié)果預(yù)測預(yù)判轄區(qū)內(nèi)的災(zāi)情險(xiǎn)情，做好防災(zāi)避險(xiǎn)工作保險(xiǎn)業(yè)：氣象相關(guān)險(xiǎn)種氣象預(yù)報(bào)Web與社交媒體數(shù)據(jù)依據(jù)氣象預(yù)報(bào)信息以及網(wǎng)絡(luò)媒體調(diào)查反饋，開辟“中暑險(xiǎn)”、“賞月險(xiǎn)”等多個(gè)險(xiǎn)種醫(yī)療保?。毫餍胁”O(jiān)控氣象預(yù)報(bào)生活指數(shù)根據(jù)歷史氣象資料和流行病歷史資料結(jié)合分析，預(yù)判流行病發(fā)展趨勢，對(duì)流行病監(jiān)控、地區(qū)流行病學(xué)、藥物發(fā)明、臨床試驗(yàn)數(shù)據(jù)分析、病人病情分析等起著至關(guān)重要的作用此類分析也可以為醫(yī)藥企業(yè)的銷售行為提供參考期貨：農(nóng)產(chǎn)品災(zāi)害預(yù)測氣象災(zāi)害預(yù)警歷史氣候?qū)r(nóng)產(chǎn)品影響分析用于氣象災(zāi)害提醒、農(nóng)產(chǎn)品價(jià)格變化預(yù)測 用于期貨市場預(yù)測