【正文】 當(dāng)然，這種混合使用的方案會(huì)要求大量的ETL過程來進(jìn)行數(shù)據(jù)的轉(zhuǎn)換和存儲(chǔ)。表示在決策之后，系統(tǒng)立即執(zhí)行操作。該通知可以使用可視化功能。該模式旨在緩解對(duì)現(xiàn)有數(shù)據(jù)存儲(chǔ)的負(fù)載。 云存儲(chǔ)組件許多云計(jì)算基礎(chǔ)架構(gòu)供應(yīng)商都有分布式結(jié)構(gòu)化、非結(jié)構(gòu)化的存儲(chǔ)能力。分布式文件系統(tǒng)（如 GFS 和 HDFS）都能夠存儲(chǔ)任何類型的數(shù)據(jù)。下圖說明了處理機(jī)器生成的數(shù)據(jù)的典型過程。步驟 B2. 對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。下面的列表顯示了將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)所需的算法和活動(dòng)：l 文檔和文本分類l 特征提取l 圖像和文本分割l 關(guān)聯(lián)特征、變量和時(shí)間，然后提取包含時(shí)間的值l 輸出的準(zhǔn)確度檢查使用了混淆矩陣（confusion matrix）等技術(shù)和其他手動(dòng)活動(dòng)l 數(shù)據(jù)專家可以幫助用戶選擇合適的技術(shù)和算法。不同的數(shù)據(jù)集可以在多種上下文中存在關(guān)聯(lián)。 自動(dòng)響應(yīng)組件從大數(shù)據(jù)獲得的業(yè)務(wù)洞察，可用于觸發(fā)或啟動(dòng)其他業(yè)務(wù)流程或事務(wù) 數(shù)據(jù)處理組件無論數(shù)據(jù)是處于靜止?fàn)顟B(tài)還是在運(yùn)動(dòng)中，都可以處理大數(shù)據(jù)。 即席發(fā)現(xiàn)組件創(chuàng)建滿足所有業(yè)務(wù)需求的標(biāo)準(zhǔn)報(bào)告往往是不可行的，因?yàn)槠髽I(yè)的業(yè)務(wù)數(shù)據(jù)查詢會(huì)有不同的需求。 原子模式對(duì)于大數(shù)據(jù)上下文中經(jīng)常出現(xiàn)的問題，原子模式l 創(chuàng)建如何跨各種系統(tǒng)復(fù)制數(shù)據(jù)的策略。此能力使得組織能夠?qū)⑵鋫鹘y(tǒng)的企業(yè)內(nèi)容（包含在企業(yè)內(nèi)容管理系統(tǒng)和數(shù)據(jù)倉庫中）與新的社交內(nèi)容（例如 tweet 和博客文章）組合到單個(gè)用戶界面中。對(duì)于內(nèi)部使用者，為業(yè)務(wù)用戶構(gòu)建報(bào)告和儀表板的能力使得利益相關(guān)者能夠制定精明的決策并設(shè)計(jì)恰當(dāng)?shù)膽?zhàn)略。分析引擎將需要上下文實(shí)體來執(zhí)行分析。這些設(shè)備可用于執(zhí)行各種類型的分析。設(shè)計(jì)分析層需要認(rèn)真地進(jìn)行事先籌劃和規(guī)劃。 數(shù)據(jù)分類決定應(yīng)用方案將不同的數(shù)據(jù)類型集成后，統(tǒng)一按照大數(shù)據(jù)進(jìn)行處理，如下圖： 大數(shù)據(jù)平臺(tái)的邏輯層次邏輯構(gòu)成從框架上展示了各個(gè)組件的組織方式。n 歷史分析針對(duì)戰(zhàn)略性業(yè)務(wù)決策的趨勢分析；分析可采用批量模式。選擇一種架構(gòu)并構(gòu)建合適的大數(shù)據(jù)解決方案極具挑戰(zhàn)，因?yàn)樾枰紤]非常多的因素?！按髷?shù)據(jù)的核心就是預(yù)測”，這是《大數(shù)據(jù)時(shí)代》的作者舍恩伯格的名言。這些決策信息怎么來依賴于我們對(duì)氣象數(shù)據(jù)的處理。因?yàn)樵u(píng)估一個(gè)業(yè)務(wù)場景是否存在大數(shù)據(jù)問題很重要，所以我們包含了一些線索來幫助確定哪些業(yè)務(wù)問題適合采用大數(shù)據(jù)解決方案。l 數(shù)據(jù)頻率和大小 — 預(yù)計(jì)有多少數(shù)據(jù)和數(shù)據(jù)到達(dá)的頻率多高。這些信息包括：l 格式— 結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化。3 大數(shù)據(jù)平臺(tái)的功能架構(gòu) 組件構(gòu)成 橫向?qū)?大數(shù)據(jù)集成層大數(shù)據(jù)來源：l 企業(yè)遺留系統(tǒng)— 這些系統(tǒng)是企業(yè)應(yīng)用程序，執(zhí)行業(yè)務(wù)需要的分析并獲取需要的洞察：n 氣象網(wǎng)絡(luò)設(shè)備監(jiān)測系統(tǒng)n 氣象信息共享系統(tǒng)n MICAPSn 網(wǎng)絡(luò)通信系統(tǒng)CMACastn 突發(fā)應(yīng)急系統(tǒng)n 氣象預(yù)報(bào)系統(tǒng)n 氣象服務(wù)系統(tǒng)n 辦公自動(dòng)化n ……l Web 應(yīng)用程序開發(fā)Web 應(yīng)用程序和其他數(shù)據(jù)來源擴(kuò)充了企業(yè)擁有的數(shù)據(jù)。此組件必須足夠智能，能夠選擇是否和在何處存儲(chǔ)傳入的數(shù)據(jù)。 使用層這一層使用了從分析應(yīng)用程序獲取的業(yè)務(wù)洞察。l 業(yè)務(wù)流程管理流程— 來自分析層的洞察可供業(yè)務(wù)流程執(zhí)行語言 (BPEL) 流程、API 或其他業(yè)務(wù)流程使用，通過自動(dòng)化上游和下游 IT 應(yīng)用程序、人員和流程的功能，進(jìn)一步獲取業(yè)務(wù)價(jià)值。這些加速器包括社交媒體適配器和天氣數(shù)據(jù)適配器。必須制定有關(guān)數(shù)據(jù)屏蔽和這類數(shù)據(jù)的存儲(chǔ)的決策。可以將多種原子模式結(jié)合使用，組成一個(gè)復(fù)合模式。l 輸出可以是靜態(tài)的，并具有多種格式（視頻、音頻、圖形和文本）。惟一的區(qū)別是龐大規(guī)模的數(shù)據(jù)、多樣性和速度。數(shù)據(jù)專家可以指導(dǎo)您識(shí)別合適的技術(shù)、算法和數(shù)據(jù)集，以及在給定上下文中解決問題所需的數(shù)據(jù)源。在幾乎所有分析中，都會(huì)用到 Web 和社交媒體，但獲得這種數(shù)據(jù)需要不同的訪問機(jī)制。非結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)的 Web 媒體訪問步驟 D1. 數(shù)據(jù)供應(yīng)商提供結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。對(duì)于分析來說，要求執(zhí)行預(yù)處理。這樣的數(shù)據(jù)可以存儲(chǔ)在分布式文件系統(tǒng)（如 HDFS）和 NoSQL 文檔存儲(chǔ)（如 MongoDB）中。您需要考慮數(shù)據(jù)安全性、數(shù)據(jù)共享、數(shù)據(jù)治理，以及有關(guān)數(shù)據(jù)的其他政策，在考慮將云作為大數(shù)據(jù)存儲(chǔ)庫的時(shí)候尤其如此。數(shù)據(jù)的使用目的可能只是存儲(chǔ)它，或處理和使用它。行動(dòng)是預(yù)定義的，分析的結(jié)果被映射到行動(dòng)。必須對(duì)模式進(jìn)行調(diào)整，以滿足特定的情況和需求。流計(jì)算動(dòng)態(tài)收集多個(gè)數(shù)據(jù)流，使用先進(jìn)的算法來提供近乎瞬時(shí)的分析。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。手動(dòng)操作作為可以分析的靜態(tài)數(shù)據(jù)的示例，某電信公司可能構(gòu)建客戶流失模型，包括分析呼叫數(shù)據(jù)記錄、社交數(shù)據(jù)和事務(wù)數(shù)據(jù)。每個(gè)復(fù)合模式都要考慮一個(gè)或多個(gè)維度。Hadoop 中的 HBase 可媲美 BigTable?？梢允褂煤唵蔚奶崛?、轉(zhuǎn)換和加載流程將事務(wù)數(shù)據(jù)移動(dòng)到存儲(chǔ)中。在可以分析數(shù)據(jù)之前，數(shù)據(jù)格式必須可用于實(shí)體解析或用于查詢所需數(shù)據(jù)。如果需要的話，在完成預(yù)處理后，可將所訪問的數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)中。要對(duì)任何數(shù)據(jù)執(zhí)行分析，數(shù)據(jù)都必須是某種結(jié)構(gòu)化格式。歷史分析包括分析給定時(shí)間段、季節(jié)組合和產(chǎn)品的歷史趨勢，并與最新的可用數(shù)據(jù)進(jìn)行比較。您可能需要使用具有大規(guī)模并行處理能力的高級(jí)工具來解決數(shù)據(jù)的數(shù)量、多樣性、真實(shí)性和速度特征。這些傳統(tǒng)的方法并不總是用來可視化數(shù)據(jù)的最佳方式。對(duì)整個(gè)大數(shù)據(jù)生態(tài)系統(tǒng)的健康的監(jiān)視包括：l 管理系統(tǒng)日志、虛擬機(jī)、應(yīng)用程序和其他設(shè)備l 關(guān)聯(lián)各種日志，幫助調(diào)查和監(jiān)視具體情形l 監(jiān)視實(shí)時(shí)警告和通知l 使用顯示各種參數(shù)的實(shí)時(shí)儀表板l 引用有關(guān)系統(tǒng)的報(bào)告和詳細(xì)分析l 設(shè)定和遵守服務(wù)水平協(xié)議l 管理存儲(chǔ)和容量l 歸檔和管理歸檔檢索l 執(zhí)行系統(tǒng)恢復(fù)、集群管理和網(wǎng)絡(luò)管理l 策略管理 功能應(yīng)用前面提到的技術(shù)架構(gòu)的這些層定義了各種組件，并對(duì)它們進(jìn)行分類，這些組件必須處理某個(gè)給定業(yè)務(wù)用例的功能性和非功能性需求。除了正常的數(shù)據(jù)治理考慮因素之外，大數(shù)據(jù)治理還包含其他因素：l 管理各種格式的大量數(shù)據(jù)。用戶可基于從分析層中得到的洞察，創(chuàng)建臨時(shí)報(bào)告、計(jì)劃的報(bào)告或自助查詢和分析。此外，可以根據(jù)在數(shù)據(jù)改動(dòng)層完成的分析來觸發(fā)業(yè)務(wù)流程。l 分布式數(shù)據(jù)存儲(chǔ)— 負(fù)責(zé)存儲(chǔ)來自數(shù)據(jù)源的數(shù)據(jù)。l 數(shù)據(jù)存儲(chǔ)— 數(shù)據(jù)存儲(chǔ)包含企業(yè)數(shù)據(jù)倉庫、操作數(shù)據(jù)庫和事務(wù)數(shù)據(jù)庫。 大數(shù)據(jù)存儲(chǔ)層此層負(fù)責(zé)從數(shù)據(jù)源獲取數(shù)據(jù)，并在必要時(shí)，將它轉(zhuǎn)換為適合符合分析方式的格式。l 數(shù)據(jù)源 — 數(shù)據(jù)的來源（生成數(shù)據(jù)的地方），比如 Web 和社交媒體、機(jī)器生成、人類生成等。下表列出了常見的業(yè)務(wù)問題并為每個(gè)問題分配了一種大數(shù)據(jù)類型。大數(shù)據(jù)必然無法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。氣象大數(shù)據(jù)應(yīng)用技術(shù)架構(gòu)設(shè)計(jì)思路二〇一五年五月文檔信息客戶單位:內(nèi)部技術(shù)機(jī)密心項(xiàng)目:文檔：.docx版本：(150521)發(fā)布日期:未發(fā)布編者:姓名公司項(xiàng)目職稱日期邱承國高級(jí)技術(shù)經(jīng)理20150511批準(zhǔn):姓名公司項(xiàng)目職稱日期修訂歷史主要修訂記錄版本號(hào)修改人修改內(nèi)容修改日期1.邱承國初稿20150112.3.4.目錄文檔信息 ii修訂歷史 ii1 引言 12 氣象行業(yè)大數(shù)據(jù)分類 2 概述 2 從分類大數(shù)據(jù)到選擇大數(shù)據(jù)解決方案 3 依據(jù)大數(shù)據(jù)類型對(duì)業(yè)務(wù)問題進(jìn)行分類 4 使用大數(shù)據(jù)類型對(duì)大數(shù)據(jù)特征進(jìn)行分類 5 依據(jù)大數(shù)據(jù)類型對(duì)氣象信息進(jìn)行處理 73 大數(shù)據(jù)平臺(tái)架構(gòu) 8 大數(shù)據(jù)解決方案的邏輯構(gòu)成 8 大數(shù)據(jù)來源 8 數(shù)據(jù)改動(dòng)和存儲(chǔ)層 8 大數(shù)據(jù)分析層 9 大數(shù)據(jù)應(yīng)用層 9 大數(shù)據(jù)解決方案的組件構(gòu)成 10 橫向?qū)?10 垂直層 154 大數(shù)據(jù)平臺(tái)組成 19 概述 19 原子模式 19 數(shù)據(jù)使用組件 20 數(shù)據(jù)處理組件 22 數(shù)據(jù)訪問組件 24 數(shù)據(jù)存儲(chǔ)組