【正文】 Volume(大量)、Velocity(高速)、Variety(多樣)、veracity(真實(shí)性) 。天氣和氣候系統(tǒng)是典型的非線性系統(tǒng)，無(wú)法通過(guò)運(yùn)用簡(jiǎn)單的統(tǒng)計(jì)分析方法來(lái)對(duì)其進(jìn)行準(zhǔn)確的預(yù)報(bào)和預(yù)測(cè)?，F(xiàn)在，氣象行業(yè)的公共服務(wù)職能越來(lái)越強(qiáng)，面向政府提供決策服務(wù)，面向公眾提供氣象預(yù)報(bào)預(yù)警服務(wù)，面向社會(huì)發(fā)展，應(yīng)對(duì)氣候發(fā)展節(jié)能減排。因此，我們亟需一種結(jié)構(gòu)化和基于模式的方法來(lái)簡(jiǎn)化定義完整的大數(shù)據(jù)架構(gòu)的任務(wù)。處理方法的選擇，有助于識(shí)別要在您的大數(shù)據(jù)解決方案中使用的合適的工具和技術(shù)。要求團(tuán)隊(duì)中的數(shù)據(jù)專家闡明執(zhí)行需求所需的數(shù)據(jù)。可視化分析層的結(jié)果可能具有挑戰(zhàn)。它必須能夠確定數(shù)據(jù)在存儲(chǔ)前是否應(yīng)改動(dòng)，或者數(shù)據(jù)是否可直接發(fā)送到業(yè)務(wù)分析層。分析的結(jié)果由組織內(nèi)的各個(gè)用戶和組織外部的實(shí)體（比如客戶、供應(yīng)商、合作伙伴和提供商）使用。? 實(shí)時(shí)監(jiān)視— 可以使用從分析中得出的數(shù)據(jù)來(lái)生成實(shí)時(shí)警告。各種組件還可以使用這一層在大數(shù)據(jù)存儲(chǔ)中存儲(chǔ)信息，從大數(shù)據(jù)存儲(chǔ)中檢索信息，以便處理這些信息。考慮以下數(shù)據(jù)訪問(wèn)策略：? 數(shù)據(jù)可用性? 數(shù)據(jù)關(guān)鍵性? 數(shù)據(jù)真實(shí)性? 數(shù)據(jù)共享和發(fā)布? 數(shù)據(jù)存儲(chǔ)和保留，包括能否存儲(chǔ)外部數(shù)據(jù)等問(wèn)題。 數(shù)據(jù)使用組件這種類型的模式處理使用數(shù)據(jù)分析結(jié)果的各種方式。加強(qiáng)現(xiàn)有的數(shù)據(jù)存儲(chǔ)有助于拓寬可用于現(xiàn)有分析的數(shù)據(jù)的范圍，包括駐留在組織邊界內(nèi)外的數(shù)據(jù)，比如社交媒體數(shù)據(jù)，它可以豐富主數(shù)據(jù)。由于處理和存儲(chǔ)的限制，超出此時(shí)間段的數(shù)據(jù)通常會(huì)被歸檔或清除。另一個(gè)主要挑戰(zhàn)是如何驗(yàn)證這些技術(shù)和算法的輸出的準(zhǔn)確度和正確性。有關(guān)的訪問(wèn)機(jī)制見(jiàn)圖 3。如圖所示，數(shù)據(jù)可以直接存儲(chǔ)在存儲(chǔ)器中，或者可以對(duì)它們進(jìn)行預(yù)處理，并將它們轉(zhuǎn)換成一個(gè)中間格式或標(biāo)準(zhǔn)格式，然后再存儲(chǔ)它們。預(yù)處理事務(wù)性數(shù)據(jù)要容易得多，因?yàn)閿?shù)據(jù)大多是結(jié)構(gòu)化的。BigTable 是一個(gè)大規(guī)模容錯(cuò)式自我管理系統(tǒng)，包括 TB 級(jí)的內(nèi)存和 PB 級(jí)的存儲(chǔ)。在將復(fù)合模式應(yīng)用到每個(gè)模式時(shí)，會(huì)有許多變化。作為分析運(yùn)動(dòng)數(shù)據(jù)的示例，預(yù)測(cè)某個(gè)給定事務(wù)正在經(jīng)歷欺詐的需求必須實(shí)時(shí)或近實(shí)時(shí)地發(fā)生。半自動(dòng) 意味著，分析建議操作，但不需要通過(guò)人類干預(yù)來(lái)啟動(dòng)操作，或從一組建議的操作中進(jìn)行選擇。當(dāng)然，這種混合使用的方案會(huì)要求大量的ETL過(guò)程來(lái)進(jìn)行數(shù)據(jù)的轉(zhuǎn)換和存儲(chǔ)。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（lowcost）硬件上 數(shù)據(jù)庫(kù)此方案實(shí)際上是綜合利用傳統(tǒng)數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)、NOSQL等多種數(shù)據(jù)庫(kù)組合。? 激活相應(yīng)的渠道，對(duì)正確的使用者采取行動(dòng)?？梢詮淖罱l(fā)現(xiàn)的來(lái)源或從現(xiàn)有的數(shù)據(jù)存儲(chǔ)訪問(wèn)數(shù)據(jù)。傳輸大量數(shù)據(jù)的能力也是云存儲(chǔ)的另一個(gè)重要考慮因素。這些系統(tǒng)提供了檢索非結(jié)構(gòu)化數(shù)據(jù)的有效方法。 基礎(chǔ)數(shù)據(jù)(觀測(cè)數(shù)據(jù)和生產(chǎn)數(shù)據(jù))的訪問(wèn)模式可以存儲(chǔ)現(xiàn)有的事務(wù)、運(yùn)營(yíng)和倉(cāng)庫(kù)數(shù)據(jù)，避免清除或歸檔數(shù)據(jù)（因?yàn)榇鎯?chǔ)和處理的限制），或減少在數(shù)據(jù)被其他使用者訪問(wèn)時(shí)對(duì)傳統(tǒng)存儲(chǔ)的負(fù)載。步驟 D2. 數(shù)據(jù)被存儲(chǔ)在結(jié)構(gòu)化或非結(jié)構(gòu)化存儲(chǔ)中。在所有數(shù)據(jù)源中，因?yàn)?Web 和社交媒體的多樣性、速度和數(shù)量，所以 Web和社交媒體是最為復(fù)雜的。比如 SPSS、InfoSphere Streams 和 InfoSphere BigInsights 等工具提供了這類功能。這些類別通常也適用于基于 RDBMS 的傳統(tǒng)系統(tǒng)。? 單一的查詢可以有多個(gè)結(jié)果。每種模式都用于滿足特定的需求：例如，可視化、歷史數(shù)據(jù)分析、社交媒體數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。 服務(wù)質(zhì)量層此層復(fù)雜定義數(shù)據(jù)質(zhì)量、圍繞隱私和安全性的策略、數(shù)據(jù)頻率、每次抓取的數(shù)據(jù)大小和數(shù)據(jù)過(guò)濾器：? 數(shù)據(jù)質(zhì)量? 完整地識(shí)別所有必要的數(shù)據(jù)元素? 以可接受的新鮮度提供數(shù)據(jù)的時(shí)間軸? 依照數(shù)據(jù)準(zhǔn)確性規(guī)則來(lái)驗(yàn)證數(shù)據(jù)的準(zhǔn)確性? 采用一種通用語(yǔ)言（數(shù)據(jù)元組滿足使用簡(jiǎn)單業(yè)務(wù)語(yǔ)言所表達(dá)的需求） ? 依據(jù)數(shù)據(jù)一致性規(guī)則驗(yàn)證來(lái)自多個(gè)系統(tǒng)的數(shù)據(jù)一致性? 在滿足數(shù)據(jù)規(guī)范和信息架構(gòu)指南基礎(chǔ)上的技術(shù)符合性? 圍繞隱私和安全的策略需要策略來(lái)保護(hù)敏感數(shù)據(jù)。這個(gè)垂直層可供各種組件使用（例如數(shù)據(jù)獲取、數(shù)據(jù)整理、模型管理和交易攔截器），負(fù)責(zé)連接到各種數(shù)據(jù)源。事務(wù)攔截器應(yīng)能夠集成并處理來(lái)自各種來(lái)源的數(shù)據(jù)，比如傳感器、智能儀表、麥克風(fēng)、攝像頭、GPS 設(shè)備、ATM 和圖像掃描儀。分析引擎可具有支持并行處理的各種不同的工作流、算法和工具。? 聚合的數(shù)據(jù)提供程序— 這些提供程序擁有或獲取數(shù)據(jù)，并以復(fù)雜的格式和所需的頻率通過(guò)特定的過(guò)濾器公開(kāi)它。設(shè)計(jì)分析層需要認(rèn)真地進(jìn)行事先籌劃和規(guī)劃。 數(shù)據(jù)分類決定應(yīng)用方案將不同的數(shù)據(jù)類型集成后，統(tǒng)一按照大數(shù)據(jù)進(jìn)行處理，如下圖： 大數(shù)據(jù)平臺(tái)的邏輯層次邏輯構(gòu)成從框架上展示了各個(gè)組件的組織方式。? 歷史分析針對(duì)戰(zhàn)略性業(yè)務(wù)決策的趨勢(shì)分析；分析可采用批量模式。選擇一種架構(gòu)并構(gòu)建合適的大數(shù)據(jù)解決方案極具挑戰(zhàn)，因?yàn)樾枰紤]非常多的因素。“大數(shù)據(jù)的核心就是預(yù)測(cè)”，這是《大數(shù)據(jù)時(shí)代》的作者舍恩伯格的名言。這些決策信息怎么來(lái)依賴于我們對(duì)氣象數(shù)據(jù)的處理。因?yàn)樵u(píng)估一個(gè)業(yè)務(wù)場(chǎng)景是否存在大數(shù)據(jù)問(wèn)題很重要，所以我們包含了一些線索來(lái)幫助確定哪些業(yè)務(wù)問(wèn)題適合采用大數(shù)據(jù)解決方案。? 數(shù)據(jù)頻率和大小 — 預(yù)計(jì)有多少數(shù)據(jù)和數(shù)據(jù)到達(dá)的頻率多高。這些信息包括：? 格式— 結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化。3 大數(shù)據(jù)平臺(tái)的功能架構(gòu) 組件構(gòu)成 橫向?qū)?大數(shù)據(jù)集成層大數(shù)據(jù)來(lái)源：? 企業(yè)遺留系統(tǒng)— 這些系統(tǒng)是企業(yè)應(yīng)用程序，執(zhí)行業(yè)務(wù)需要的分析并獲取需要的洞察：? 氣象網(wǎng)絡(luò)設(shè)備監(jiān)測(cè)系統(tǒng)? 氣象信息共享系統(tǒng)? MICAPS? 網(wǎng)絡(luò)通信系統(tǒng)CMACast? 突發(fā)應(yīng)急系統(tǒng)? 氣象預(yù)報(bào)系統(tǒng)? 氣象服務(wù)系統(tǒng)? 辦公自動(dòng)化? ?? ? Web 應(yīng)用程序開(kāi)發(fā)Web 應(yīng)用程序和其他數(shù)據(jù)來(lái)源擴(kuò)充了企業(yè)擁有的數(shù)據(jù)。? 數(shù)據(jù)整理— 負(fù)責(zé)將數(shù)據(jù)修改為需要的格式，以實(shí)現(xiàn)分析用途。此洞察可用于針對(duì)客戶提供產(chǎn)品營(yíng)銷信息?？梢詫⒕姘l(fā)送給感興趣的使用者和設(shè)備，比如智能電話和平板電腦。大多數(shù)大數(shù)據(jù)存儲(chǔ)都提供了服務(wù)和 API 來(lái)存儲(chǔ)和檢索該信息。如果能夠存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)可存儲(chǔ)多長(zhǎng)時(shí)間？可存儲(chǔ)何種類型的數(shù)據(jù)？? 數(shù)據(jù)提供程序約束（政策、技術(shù)和地區(qū)）? 社交媒體使用條款（參見(jiàn) 參考資料）? 數(shù)據(jù)頻率提供新鮮數(shù)據(jù)的頻率是多少？它是按需、連續(xù)還是離線的？? 抓取的數(shù)據(jù)大小此屬性有助于定義可抓取的數(shù)據(jù)以及每次抓取后可使用的數(shù)據(jù)大小。數(shù)據(jù)使用模式可以滿足幾個(gè)需求。通過(guò)拓寬數(shù)據(jù)范圍，使之包含現(xiàn)有存儲(chǔ)中的新事實(shí)表、維度和主數(shù)據(jù)，并從社交媒體獲取客戶數(shù)據(jù)，組織可以獲得更深入的客戶洞察。基于 Hadoop 的系統(tǒng)和其他等效的系統(tǒng)可以克服這些限制，因?yàn)樗鼈兙哂胸S富的存儲(chǔ)以及分布式大規(guī)模并行處理能力。要對(duì)任何數(shù)據(jù)執(zhí)行分析，數(shù)據(jù)都必須是某種結(jié)構(gòu)化格式。如果需要的話，在完成預(yù)處理后，可將所訪問(wèn)的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)中。在可以分析數(shù)據(jù)之前，數(shù)據(jù)格式必須可用于實(shí)體解析或用于查詢所需數(shù)據(jù)?？梢允褂煤?jiǎn)單的提取、轉(zhuǎn)換和加載流程將事務(wù)數(shù)據(jù)移動(dòng)到存儲(chǔ)中。Hadoop 中的 HBase 可媲美 BigTable?？梢詫?fù)合模式映射到一個(gè)或多個(gè)原子模式，以解決某個(gè)給定的業(yè)務(wù)問(wèn)題。圖 7. 專用和預(yù)測(cè)分析復(fù)合模式圖 7 說(shuō)明了這種模式的多個(gè)維度。全自動(dòng) 表示在決策之后，系統(tǒng)立即執(zhí)行操作。 流計(jì)算在傳統(tǒng)的數(shù)據(jù)分析策略中，數(shù)據(jù)被收集到一個(gè)數(shù)據(jù)庫(kù)中，并被搜索或查詢答案。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distribute