【正文】 當(dāng)然，這種混合使用的方案會要求大量的ETL過程來進行數(shù)據(jù)的轉(zhuǎn)換和存儲。表示在決策之后，系統(tǒng)立即執(zhí)行操作。該通知可以使用可視化功能。該模式旨在緩解對現(xiàn)有數(shù)據(jù)存儲的負載。 云存儲組件許多云計算基礎(chǔ)架構(gòu)供應(yīng)商都有分布式結(jié)構(gòu)化、非結(jié)構(gòu)化的存儲能力。分布式文件系統(tǒng)（如 GFS 和 HDFS）都能夠存儲任何類型的數(shù)據(jù)。下圖說明了處理機器生成的數(shù)據(jù)的典型過程。步驟 B2. 對數(shù)據(jù)進行預(yù)處理。下面的列表顯示了將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)所需的算法和活動：l 文檔和文本分類l 特征提取l 圖像和文本分割l 關(guān)聯(lián)特征、變量和時間，然后提取包含時間的值l 輸出的準確度檢查使用了混淆矩陣（confusion matrix）等技術(shù)和其他手動活動l 數(shù)據(jù)專家可以幫助用戶選擇合適的技術(shù)和算法。不同的數(shù)據(jù)集可以在多種上下文中存在關(guān)聯(lián)。 自動響應(yīng)組件從大數(shù)據(jù)獲得的業(yè)務(wù)洞察，可用于觸發(fā)或啟動其他業(yè)務(wù)流程或事務(wù) 數(shù)據(jù)處理組件無論數(shù)據(jù)是處于靜止狀態(tài)還是在運動中，都可以處理大數(shù)據(jù)。 即席發(fā)現(xiàn)組件創(chuàng)建滿足所有業(yè)務(wù)需求的標準報告往往是不可行的，因為企業(yè)的業(yè)務(wù)數(shù)據(jù)查詢會有不同的需求。 原子模式對于大數(shù)據(jù)上下文中經(jīng)常出現(xiàn)的問題，原子模式l 創(chuàng)建如何跨各種系統(tǒng)復(fù)制數(shù)據(jù)的策略。此能力使得組織能夠?qū)⑵鋫鹘y(tǒng)的企業(yè)內(nèi)容（包含在企業(yè)內(nèi)容管理系統(tǒng)和數(shù)據(jù)倉庫中）與新的社交內(nèi)容（例如 tweet 和博客文章）組合到單個用戶界面中。對于內(nèi)部使用者，為業(yè)務(wù)用戶構(gòu)建報告和儀表板的能力使得利益相關(guān)者能夠制定精明的決策并設(shè)計恰當(dāng)?shù)膽?zhàn)略。分析引擎將需要上下文實體來執(zhí)行分析。這些設(shè)備可用于執(zhí)行各種類型的分析。設(shè)計分析層需要認真地進行事先籌劃和規(guī)劃。 數(shù)據(jù)分類決定應(yīng)用方案將不同的數(shù)據(jù)類型集成后，統(tǒng)一按照大數(shù)據(jù)進行處理，如下圖： 大數(shù)據(jù)平臺的邏輯層次邏輯構(gòu)成從框架上展示了各個組件的組織方式。n 歷史分析針對戰(zhàn)略性業(yè)務(wù)決策的趨勢分析；分析可采用批量模式。選擇一種架構(gòu)并構(gòu)建合適的大數(shù)據(jù)解決方案極具挑戰(zhàn)，因為需要考慮非常多的因素。“大數(shù)據(jù)的核心就是預(yù)測”，這是《大數(shù)據(jù)時代》的作者舍恩伯格的名言。這些決策信息怎么來依賴于我們對氣象數(shù)據(jù)的處理。因為評估一個業(yè)務(wù)場景是否存在大數(shù)據(jù)問題很重要，所以我們包含了一些線索來幫助確定哪些業(yè)務(wù)問題適合采用大數(shù)據(jù)解決方案。l 數(shù)據(jù)頻率和大小 — 預(yù)計有多少數(shù)據(jù)和數(shù)據(jù)到達的頻率多高。這些信息包括：l 格式— 結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化。3 大數(shù)據(jù)平臺的功能架構(gòu) 組件構(gòu)成 橫向?qū)?大數(shù)據(jù)集成層大數(shù)據(jù)來源：l 企業(yè)遺留系統(tǒng)— 這些系統(tǒng)是企業(yè)應(yīng)用程序，執(zhí)行業(yè)務(wù)需要的分析并獲取需要的洞察：n 氣象網(wǎng)絡(luò)設(shè)備監(jiān)測系統(tǒng)n 氣象信息共享系統(tǒng)n MICAPSn 網(wǎng)絡(luò)通信系統(tǒng)CMACastn 突發(fā)應(yīng)急系統(tǒng)n 氣象預(yù)報系統(tǒng)n 氣象服務(wù)系統(tǒng)n 辦公自動化n ……l Web 應(yīng)用程序開發(fā)Web 應(yīng)用程序和其他數(shù)據(jù)來源擴充了企業(yè)擁有的數(shù)據(jù)。此組件必須足夠智能，能夠選擇是否和在何處存儲傳入的數(shù)據(jù)。 使用層這一層使用了從分析應(yīng)用程序獲取的業(yè)務(wù)洞察。l 業(yè)務(wù)流程管理流程— 來自分析層的洞察可供業(yè)務(wù)流程執(zhí)行語言 (BPEL) 流程、API 或其他業(yè)務(wù)流程使用，通過自動化上游和下游 IT 應(yīng)用程序、人員和流程的功能，進一步獲取業(yè)務(wù)價值。這些加速器包括社交媒體適配器和天氣數(shù)據(jù)適配器。必須制定有關(guān)數(shù)據(jù)屏蔽和這類數(shù)據(jù)的存儲的決策。可以將多種原子模式結(jié)合使用，組成一個復(fù)合模式。l 輸出可以是靜態(tài)的，并具有多種格式（視頻、音頻、圖形和文本）。惟一的區(qū)別是龐大規(guī)模的數(shù)據(jù)、多樣性和速度。數(shù)據(jù)專家可以指導(dǎo)您識別合適的技術(shù)、算法和數(shù)據(jù)集，以及在給定上下文中解決問題所需的數(shù)據(jù)源。在幾乎所有分析中，都會用到 Web 和社交媒體，但獲得這種數(shù)據(jù)需要不同的訪問機制。非結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)的 Web 媒體訪問步驟 D1. 數(shù)據(jù)供應(yīng)商提供結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。對于分析來說，要求執(zhí)行預(yù)處理。這樣的數(shù)據(jù)可以存儲在分布式文件系統(tǒng)（如 HDFS）和 NoSQL 文檔存儲（如 MongoDB）中。您需要考慮數(shù)據(jù)安全性、數(shù)據(jù)共享、數(shù)據(jù)治理，以及有關(guān)數(shù)據(jù)的其他政策，在考慮將云作為大數(shù)據(jù)存儲庫的時候尤其如此。數(shù)據(jù)的使用目的可能只是存儲它，或處理和使用它。行動是預(yù)定義的，分析的結(jié)果被映射到行動。必須對模式進行調(diào)整，以滿足特定的情況和需求。流計算動態(tài)收集多個數(shù)據(jù)流，使用先進的算法來提供近乎瞬時的分析。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。手動操作作為可以分析的靜態(tài)數(shù)據(jù)的示例，某電信公司可能構(gòu)建客戶流失模型，包括分析呼叫數(shù)據(jù)記錄、社交數(shù)據(jù)和事務(wù)數(shù)據(jù)。每個復(fù)合模式都要考慮一個或多個維度。Hadoop 中的 HBase 可媲美 BigTable?？梢允褂煤唵蔚奶崛?、轉(zhuǎn)換和加載流程將事務(wù)數(shù)據(jù)移動到存儲中。在可以分析數(shù)據(jù)之前，數(shù)據(jù)格式必須可用于實體解析或用于查詢所需數(shù)據(jù)。如果需要的話，在完成預(yù)處理后，可將所訪問的數(shù)據(jù)存儲在數(shù)據(jù)存儲中。要對任何數(shù)據(jù)執(zhí)行分析，數(shù)據(jù)都必須是某種結(jié)構(gòu)化格式。歷史分析包括分析給定時間段、季節(jié)組合和產(chǎn)品的歷史趨勢，并與最新的可用數(shù)據(jù)進行比較。您可能需要使用具有大規(guī)模并行處理能力的高級工具來解決數(shù)據(jù)的數(shù)量、多樣性、真實性和速度特征。這些傳統(tǒng)的方法并不總是用來可視化數(shù)據(jù)的最佳方式。對整個大數(shù)據(jù)生態(tài)系統(tǒng)的健康的監(jiān)視包括：l 管理系統(tǒng)日志、虛擬機、應(yīng)用程序和其他設(shè)備l 關(guān)聯(lián)各種日志，幫助調(diào)查和監(jiān)視具體情形l 監(jiān)視實時警告和通知l 使用顯示各種參數(shù)的實時儀表板l 引用有關(guān)系統(tǒng)的報告和詳細分析l 設(shè)定和遵守服務(wù)水平協(xié)議l 管理存儲和容量l 歸檔和管理歸檔檢索l 執(zhí)行系統(tǒng)恢復(fù)、集群管理和網(wǎng)絡(luò)管理l 策略管理 功能應(yīng)用前面提到的技術(shù)架構(gòu)的這些層定義了各種組件，并對它們進行分類，這些組件必須處理某個給定業(yè)務(wù)用例的功能性和非功能性需求。除了正常的數(shù)據(jù)治理考慮因素之外，大數(shù)據(jù)治理還包含其他因素：l 管理各種格式的大量數(shù)據(jù)。用戶可基于從分析層中得到的洞察，創(chuàng)建臨時報告、計劃的報告或自助查詢和分析。此外，可以根據(jù)在數(shù)據(jù)改動層完成的分析來觸發(fā)業(yè)務(wù)流程。l 分布式數(shù)據(jù)存儲— 負責(zé)存儲來自數(shù)據(jù)源的數(shù)據(jù)。l 數(shù)據(jù)存儲— 數(shù)據(jù)存儲包含企業(yè)數(shù)據(jù)倉庫、操作數(shù)據(jù)庫和事務(wù)數(shù)據(jù)庫。 大數(shù)據(jù)存儲層此層負責(zé)從數(shù)據(jù)源獲取數(shù)據(jù)，并在必要時，將它轉(zhuǎn)換為適合符合分析方式的格式。l 數(shù)據(jù)源 — 數(shù)據(jù)的來源（生成數(shù)據(jù)的地方），比如 Web 和社交媒體、機器生成、人類生成等。下表列出了常見的業(yè)務(wù)問題并為每個問題分配了一種大數(shù)據(jù)類型。大數(shù)據(jù)必然無法用單臺的計算機進行處理，必須采用分布式架構(gòu)。精選資料氣象大數(shù)據(jù)應(yīng)用技術(shù)架構(gòu)設(shè)計思路二〇一五年五月文檔信息客戶單位:內(nèi)部技術(shù)機密心項目:文檔：.docx版本：(150521)發(fā)布日期:未發(fā)布編者:姓名公司項目職稱日期邱承國高級技術(shù)經(jīng)理20150511批準:姓名公司項目職稱日期修訂歷史主要修訂記錄版本號修改人修改內(nèi)容修改日期1.邱承國初稿20150112.3.4.目錄文檔信息 ii修訂歷史 ii1 引言 12 氣象行業(yè)大數(shù)據(jù)分類 2 概述 2 從分類大數(shù)據(jù)到選擇大數(shù)據(jù)解決方案 3 依據(jù)大數(shù)據(jù)類型對業(yè)務(wù)問題進行分類 4 使用大數(shù)據(jù)類型對大數(shù)據(jù)特征進行分類 5 依據(jù)大數(shù)據(jù)類型對氣象信息進行處理 73 大數(shù)據(jù)平臺架構(gòu) 8 大數(shù)據(jù)解決方案的邏輯構(gòu)成 8 大數(shù)據(jù)來源 8 數(shù)據(jù)改動和存儲層 8 大數(shù)據(jù)分析層 9 大數(shù)據(jù)應(yīng)用層 9 大數(shù)據(jù)解決方案的組件構(gòu)成 10 橫向?qū)?10 垂直層 154 大數(shù)據(jù)平臺組成 19 概述 19 原子模式 19 數(shù)據(jù)使用組件 20 數(shù)據(jù)處理組件 22 數(shù)據(jù)訪問組件 24 數(shù)據(jù)存儲組件 28 復(fù)合模式 29