【正文】 題所需的數(shù)據(jù)源。 和 InfoSphere174。惟一的區(qū)別是龐大規(guī)模的數(shù)據(jù)、多樣性和速度。通知平臺必須能夠處理及時發(fā)送出去的預計數(shù)量的通知。l 輸出可以是靜態(tài)的，并具有多種格式（視頻、音頻、圖形和文本）。這些挑戰(zhàn)包括所涉及的數(shù)據(jù)量，并且需要將數(shù)據(jù)與上下文相關(guān)聯(lián)?？梢詫⒍喾N原子模式結(jié)合使用，組成一個復合模式。通過將所提出的解決方案映射到此處提供的模式，讓用戶了解需要如何設(shè)計組件，以及從功能角度考慮，應該將它們放置在何處。必須制定有關(guān)數(shù)據(jù)屏蔽和這類數(shù)據(jù)的存儲的決策。請記住，設(shè)置處理非結(jié)構(gòu)化數(shù)據(jù)時的重要一步。這些加速器包括社交媒體適配器和天氣數(shù)據(jù)適配器。該引擎實時處理可用信息并動態(tài)地響應每個用戶，響應基于用戶的實時活動、存儲在 CRM 系統(tǒng)中的注冊客戶信息，以及非注冊客戶的社交概況。l 業(yè)務流程管理流程— 來自分析層的洞察可供業(yè)務流程執(zhí)行語言 (BPEL) 流程、API 或其他業(yè)務流程使用，通過自動化上游和下游 IT 應用程序、人員和流程的功能，進一步獲取業(yè)務價值。分析的輸出也可由推薦引擎使用，該引擎可將客戶與他們喜歡的產(chǎn)品相匹配。 使用層這一層使用了從分析應用程序獲取的業(yè)務洞察。 分析層這是從數(shù)據(jù)中提取業(yè)務洞察的層：l 分析層實體識別— 負責識別和填充上下文實體。此組件必須足夠智能，能夠選擇是否和在何處存儲傳入的數(shù)據(jù)。這些數(shù)據(jù)不一定存儲在分布式文件系統(tǒng)中，具體依賴于所處的上下文。3 大數(shù)據(jù)平臺的功能架構(gòu) 組件構(gòu)成 橫向?qū)?大數(shù)據(jù)集成層大數(shù)據(jù)來源：l 企業(yè)遺留系統(tǒng)— 這些系統(tǒng)是企業(yè)應用程序，執(zhí)行業(yè)務需要的分析并獲取需要的洞察：n 氣象網(wǎng)絡設(shè)備監(jiān)測系統(tǒng)n 氣象信息共享系統(tǒng)n MICAPSn 網(wǎng)絡通信系統(tǒng)CMACastn 突發(fā)應急系統(tǒng)n 氣象預報系統(tǒng)n 氣象服務系統(tǒng)n 辦公自動化n ……l Web 應用程序開發(fā)Web 應用程序和其他數(shù)據(jù)來源擴充了企業(yè)擁有的數(shù)據(jù)。規(guī)范 1和治理策略要求為不同的數(shù)據(jù)類型提供合適的存儲。這些信息包括：l 格式— 結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化。該圖顯示了使用最廣泛的數(shù)據(jù)源。l 數(shù)據(jù)頻率和大小 — 預計有多少數(shù)據(jù)和數(shù)據(jù)到達的頻率多高。對數(shù)據(jù)進行分類后，就可以將它與合適的大數(shù)據(jù)模式匹配：l 分析類型 — 對數(shù)據(jù)執(zhí)行實時分析還是批量分析。因為評估一個業(yè)務場景是否存在大數(shù)據(jù)問題很重要，所以我們包含了一些線索來幫助確定哪些業(yè)務問題適合采用大數(shù)據(jù)解決方案。大數(shù)據(jù)可通過許多方式來存儲、獲取、處理和分析。這些決策信息怎么來依賴于我們對氣象數(shù)據(jù)的處理。大數(shù)據(jù)實際上是一種混雜數(shù)據(jù)，氣象大數(shù)據(jù)應該是指氣象行業(yè)所擁有的以及鎖接觸到的全體數(shù)據(jù)，包括傳統(tǒng)的氣象數(shù)據(jù)和對外服務提供的影視音頻資料、網(wǎng)頁資料、預報文本以及地理位置相關(guān)數(shù)據(jù)、社會經(jīng)濟共享數(shù)據(jù)等等。“大數(shù)據(jù)的核心就是預測”，這是《大數(shù)據(jù)時代》的作者舍恩伯格的名言。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。選擇一種架構(gòu)并構(gòu)建合適的大數(shù)據(jù)解決方案極具挑戰(zhàn)，因為需要考慮非常多的因素。數(shù)據(jù)種類結(jié)構(gòu)示例量安全性建模存儲和檢索集成使用主數(shù)據(jù)事務分析數(shù)據(jù)元數(shù)據(jù)結(jié)構(gòu)化觀測數(shù)據(jù)中高數(shù)據(jù)庫、應用程序和用戶訪問預定義的關(guān)系建模或維度建模RDBMS/SQLETL/ELT、CDC應用程序、BI和統(tǒng)計程序參考數(shù)據(jù)結(jié)構(gòu)化和半結(jié)構(gòu)化交換數(shù)據(jù)中低平臺安全性靈活可擴展XML/xQueryETL/ELT、消息使用基于系統(tǒng)文檔和內(nèi)容非結(jié)構(gòu)化預報文件高基于文件系統(tǒng)隨意文件系統(tǒng)/搜索操作系統(tǒng)級文件移動內(nèi)容管理大數(shù)據(jù)網(wǎng)頁物聯(lián)網(wǎng)衛(wèi)星/雷達等傳感器結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化云圖視頻語音網(wǎng)志高文件系統(tǒng)和數(shù)據(jù)庫靈活（鍵值）分布式文件系統(tǒng)/noSQLHadoop、MapReduce、ETL/ELT、消息BI和統(tǒng)計工具結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)“非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù) 依據(jù)大數(shù)據(jù)類型對業(yè)務問題進行分類根據(jù)氣象服務需要，業(yè)務問題可分類為不同的大數(shù)據(jù)問題類型。n 歷史分析針對戰(zhàn)略性業(yè)務決策的趨勢分析；分析可采用批量模式。知道數(shù)據(jù)類型，有助于將數(shù)據(jù)隔離在存儲中。 數(shù)據(jù)分類決定應用方案將不同的數(shù)據(jù)類型集成后，統(tǒng)一按照大數(shù)據(jù)進行處理，如下圖： 大數(shù)據(jù)平臺的邏輯層次邏輯構(gòu)成從框架上展示了各個組件的組織方式。數(shù)據(jù)可能來自某個主要來源，比如天氣條件，也有可能來自一個輔助來源，比如媒體贊助的天氣頻道。設(shè)計分析層需要認真地進行事先籌劃和規(guī)劃。 Excel174。這些設(shè)備可用于執(zhí)行各種類型的分析。此組件可擁有簡單的轉(zhuǎn)換邏輯或復雜的統(tǒng)計算法來轉(zhuǎn)換源數(shù)據(jù)。分析引擎將需要上下文實體來執(zhí)行分析。例如，借助從分析中獲取的洞察，公司可以使用客戶偏好數(shù)據(jù)和位置感知，在客戶經(jīng)過通道或店鋪時向他們提供個性化的營銷信息。對于內(nèi)部使用者，為業(yè)務用戶構(gòu)建報告和儀表板的能力使得利益相關(guān)者能夠制定精明的決策并設(shè)計恰當?shù)膽?zhàn)略?？梢允褂脧姆治鼋M件生成的數(shù)據(jù)洞察，定義并監(jiān)視關(guān)鍵績效指標，以便確定操作有效性。此能力使得組織能夠?qū)⑵鋫鹘y(tǒng)的企業(yè)內(nèi)容（包含在企業(yè)內(nèi)容管理系統(tǒng)和數(shù)據(jù)倉庫中）與新的社交內(nèi)容（例如 tweet 和博客文章）組合到單個用戶界面中。 大數(shù)據(jù)治理數(shù)據(jù)治理涉及到定義指南來幫助企業(yè)制定有關(guān)數(shù)據(jù)的正確決策。l 創(chuàng)建如何跨各種系統(tǒng)復制數(shù)據(jù)的策略。參考資料）l 數(shù)據(jù)頻率提供新鮮數(shù)據(jù)的頻率是多少？它是按需、連續(xù)還是離線的？l 抓取的數(shù)據(jù)大小此屬性有助于定義可抓取的數(shù)據(jù)以及每次抓取后可使用的數(shù)據(jù)大小。 原子模式對于大數(shù)據(jù)上下文中經(jīng)常出現(xiàn)的問題，原子模式 數(shù)據(jù)使用組件這種類型的模式處理使用數(shù)據(jù)分析結(jié)果的各種方式。 即席發(fā)現(xiàn)組件創(chuàng)建滿足所有業(yè)務需求的標準報告往往是不可行的，因為企業(yè)的業(yè)務數(shù)據(jù)查詢會有不同的需求。加強現(xiàn)有的數(shù)據(jù)存儲有助于拓寬可用于現(xiàn)有分析的數(shù)據(jù)的范圍，包括駐留在組織邊界內(nèi)外的數(shù)據(jù)，比如社交媒體數(shù)據(jù)，它可以豐富主數(shù)據(jù)。 自動響應組件從大數(shù)據(jù)獲得的業(yè)務洞察，可用于觸發(fā)或啟動其他業(yè)務流程或事務 數(shù)據(jù)處理組件無論數(shù)據(jù)是處于靜止狀態(tài)還是在運動中，都可以處理大數(shù)據(jù)。由于處理和存儲的限制，超出此時間段的數(shù)據(jù)通常會被歸檔或清除。不同的數(shù)據(jù)集可以在多種上下文中存在關(guān)聯(lián)。 預處理原始數(shù)據(jù)組件大數(shù)據(jù)解決方案主要由基于 MapReduce 的 Hadoop 系統(tǒng)和技術(shù)組成，MapReduce 是開箱即用的分布式存儲和處理解決方案。下面的列表顯示了將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)所需的算法和活動：l 文檔和文本分類l 特征提取l 圖像和文本分割l 關(guān)聯(lián)特征、變量和時間，然后提取包含時間的值l 輸出的準確度檢查使用了混淆矩陣（confusion matrix）等技術(shù)和其他手動活動l 數(shù)據(jù)專家可以幫助用戶選擇合適的技術(shù)和算法。本節(jié)將列出這些類別，并介紹一些訪問機制。步驟 B2. 對數(shù)據(jù)進行預處理。步驟 E2. 對數(shù)據(jù)進行預處理。下圖說明了處理機器生成的數(shù)據(jù)的典型過程。如果用在 Internet 上，或者通過傳感器和智能設(shè)備提供的非結(jié)構(gòu)化數(shù)據(jù)以及外部數(shù)據(jù)來增強此數(shù)據(jù)，那么可以幫助組織獲得準確的洞察，并執(zhí)行高級分析。分布式文件系統(tǒng)（如 GFS 和 HDFS）都能夠存儲任何類型的數(shù)據(jù)。必須存儲已經(jīng)過轉(zhuǎn)換的數(shù)據(jù)，避免從原始數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的頻繁數(shù)據(jù)轉(zhuǎn)換。 云存儲組件許多云計算基礎(chǔ)架構(gòu)供應商都有分布式結(jié)構(gòu)化、非結(jié)構(gòu)化的存儲能力。側(cè)重于提供執(zhí)行各項功能所需的能力。該模式旨在緩解對現(xiàn)有數(shù)據(jù)存儲的負載。可以從最近發(fā)現(xiàn)的來源或從現(xiàn)有的數(shù)據(jù)存儲訪問數(shù)據(jù)。該通知可以使用可視化功能。l 激活相應的渠道，對正確的使用者采取行動。表示在決策之后，系統(tǒng)立即執(zhí)行操作。圖 9. 復合模式對原子模式的映射 圖 10. 將原子模式映射到架構(gòu)層 解決方案模式（模擬應用場景）4 技術(shù)架構(gòu)實現(xiàn)方案 概述 技術(shù)架構(gòu)的關(guān)鍵問題 hadoop此方案基于開源Apache當然，這種混合使用的方案會要求大量的ETL過程來進行數(shù)據(jù)的轉(zhuǎn)換和存