【正文】 re174。惟一的區(qū)別是龐大規(guī)模的數(shù)據(jù)、多樣性和速度。通知平臺必須能夠處理及時(shí)發(fā)送出去的預(yù)計(jì)數(shù)量的通知。l 輸出可以是靜態(tài)的，并具有多種格式（視頻、音頻、圖形和文本）。這些挑戰(zhàn)包括所涉及的數(shù)據(jù)量，并且需要將數(shù)據(jù)與上下文相關(guān)聯(lián)?？梢詫⒍喾N原子模式結(jié)合使用，組成一個(gè)復(fù)合模式。通過將所提出的解決方案映射到此處提供的模式，讓用戶了解需要如何設(shè)計(jì)組件，以及從功能角度考慮，應(yīng)該將它們放置在何處。必須制定有關(guān)數(shù)據(jù)屏蔽和這類數(shù)據(jù)的存儲的決策。請記住，設(shè)置處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)的重要一步。這些加速器包括社交媒體適配器和天氣數(shù)據(jù)適配器。該引擎實(shí)時(shí)處理可用信息并動(dòng)態(tài)地響應(yīng)每個(gè)用戶，響應(yīng)基于用戶的實(shí)時(shí)活動(dòng)、存儲在 CRM 系統(tǒng)中的注冊客戶信息，以及非注冊客戶的社交概況。l 業(yè)務(wù)流程管理流程— 來自分析層的洞察可供業(yè)務(wù)流程執(zhí)行語言 (BPEL) 流程、API 或其他業(yè)務(wù)流程使用，通過自動(dòng)化上游和下游 IT 應(yīng)用程序、人員和流程的功能，進(jìn)一步獲取業(yè)務(wù)價(jià)值。分析的輸出也可由推薦引擎使用，該引擎可將客戶與他們喜歡的產(chǎn)品相匹配。 使用層這一層使用了從分析應(yīng)用程序獲取的業(yè)務(wù)洞察。 分析層這是從數(shù)據(jù)中提取業(yè)務(wù)洞察的層：l 分析層實(shí)體識別— 負(fù)責(zé)識別和填充上下文實(shí)體。此組件必須足夠智能，能夠選擇是否和在何處存儲傳入的數(shù)據(jù)。這些數(shù)據(jù)不一定存儲在分布式文件系統(tǒng)中，具體依賴于所處的上下文。3 大數(shù)據(jù)平臺的功能架構(gòu) 組件構(gòu)成 橫向?qū)?大數(shù)據(jù)集成層大數(shù)據(jù)來源：l 企業(yè)遺留系統(tǒng)— 這些系統(tǒng)是企業(yè)應(yīng)用程序，執(zhí)行業(yè)務(wù)需要的分析并獲取需要的洞察：n 氣象網(wǎng)絡(luò)設(shè)備監(jiān)測系統(tǒng)n 氣象信息共享系統(tǒng)n MICAPSn 網(wǎng)絡(luò)通信系統(tǒng)CMACastn 突發(fā)應(yīng)急系統(tǒng)n 氣象預(yù)報(bào)系統(tǒng)n 氣象服務(wù)系統(tǒng)n 辦公自動(dòng)化n ……l Web 應(yīng)用程序開發(fā)Web 應(yīng)用程序和其他數(shù)據(jù)來源擴(kuò)充了企業(yè)擁有的數(shù)據(jù)。規(guī)范 1和治理策略要求為不同的數(shù)據(jù)類型提供合適的存儲。這些信息包括：l 格式— 結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化。該圖顯示了使用最廣泛的數(shù)據(jù)源。l 數(shù)據(jù)頻率和大小 — 預(yù)計(jì)有多少數(shù)據(jù)和數(shù)據(jù)到達(dá)的頻率多高。對數(shù)據(jù)進(jìn)行分類后，就可以將它與合適的大數(shù)據(jù)模式匹配：l 分析類型 — 對數(shù)據(jù)執(zhí)行實(shí)時(shí)分析還是批量分析。因?yàn)樵u估一個(gè)業(yè)務(wù)場景是否存在大數(shù)據(jù)問題很重要，所以我們包含了一些線索來幫助確定哪些業(yè)務(wù)問題適合采用大數(shù)據(jù)解決方案。大數(shù)據(jù)可通過許多方式來存儲、獲取、處理和分析。這些決策信息怎么來依賴于我們對氣象數(shù)據(jù)的處理。大數(shù)據(jù)實(shí)際上是一種混雜數(shù)據(jù)，氣象大數(shù)據(jù)應(yīng)該是指氣象行業(yè)所擁有的以及鎖接觸到的全體數(shù)據(jù)，包括傳統(tǒng)的氣象數(shù)據(jù)和對外服務(wù)提供的影視音頻資料、網(wǎng)頁資料、預(yù)報(bào)文本以及地理位置相關(guān)數(shù)據(jù)、社會經(jīng)濟(jì)共享數(shù)據(jù)等等?！按髷?shù)據(jù)的核心就是預(yù)測”，這是《大數(shù)據(jù)時(shí)代》的作者舍恩伯格的名言。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。選擇一種架構(gòu)并構(gòu)建合適的大數(shù)據(jù)解決方案極具挑戰(zhàn)，因?yàn)樾枰紤]非常多的因素。數(shù)據(jù)種類結(jié)構(gòu)示例量安全性建模存儲和檢索集成使用主數(shù)據(jù)事務(wù)分析數(shù)據(jù)元數(shù)據(jù)結(jié)構(gòu)化觀測數(shù)據(jù)中高數(shù)據(jù)庫、應(yīng)用程序和用戶訪問預(yù)定義的關(guān)系建模或維度建模RDBMS/SQLETL/ELT、CDC應(yīng)用程序、BI和統(tǒng)計(jì)程序參考數(shù)據(jù)結(jié)構(gòu)化和半結(jié)構(gòu)化交換數(shù)據(jù)中低平臺安全性靈活可擴(kuò)展XML/xQueryETL/ELT、消息使用基于系統(tǒng)文檔和內(nèi)容非結(jié)構(gòu)化預(yù)報(bào)文件高基于文件系統(tǒng)隨意文件系統(tǒng)/搜索操作系統(tǒng)級文件移動(dòng)內(nèi)容管理大數(shù)據(jù)網(wǎng)頁物聯(lián)網(wǎng)衛(wèi)星/雷達(dá)等傳感器結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化云圖視頻語音網(wǎng)志高文件系統(tǒng)和數(shù)據(jù)庫靈活（鍵值）分布式文件系統(tǒng)/noSQLHadoop、MapReduce、ETL/ELT、消息BI和統(tǒng)計(jì)工具結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)“非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù) 依據(jù)大數(shù)據(jù)類型對業(yè)務(wù)問題進(jìn)行分類根據(jù)氣象服務(wù)需要，業(yè)務(wù)問題可分類為不同的大數(shù)據(jù)問題類型。n 歷史分析針對戰(zhàn)略性業(yè)務(wù)決策的趨勢分析；分析可采用批量模式。知道數(shù)據(jù)類型，有助于將數(shù)據(jù)隔離在存儲中。 數(shù)據(jù)分類決定應(yīng)用方案將不同的數(shù)據(jù)類型集成后，統(tǒng)一按照大數(shù)據(jù)進(jìn)行處理，如下圖： 大數(shù)據(jù)平臺的邏輯層次邏輯構(gòu)成從框架上展示了各個(gè)組件的組織方式。數(shù)據(jù)可能來自某個(gè)主要來源，比如天氣條件，也有可能來自一個(gè)輔助來源，比如媒體贊助的天氣頻道。設(shè)計(jì)分析層需要認(rèn)真地進(jìn)行事先籌劃和規(guī)劃。 Excel174。這些設(shè)備可用于執(zhí)行各種類型的分析。此組件可擁有簡單的轉(zhuǎn)換邏輯或復(fù)雜的統(tǒng)計(jì)算法來轉(zhuǎn)換源數(shù)據(jù)。分析引擎將需要上下文實(shí)體來執(zhí)行分析。例如，借助從分析中獲取的洞察，公司可以使用客戶偏好數(shù)據(jù)和位置感知，在客戶經(jīng)過通道或店鋪時(shí)向他們提供個(gè)性化的營銷信息。對于內(nèi)部使用者，為業(yè)務(wù)用戶構(gòu)建報(bào)告和儀表板的能力使得利益相關(guān)者能夠制定精明的決策并設(shè)計(jì)恰當(dāng)?shù)膽?zhàn)略?？梢允褂脧姆治鼋M件生成的數(shù)據(jù)洞察，定義并監(jiān)視關(guān)鍵績效指標(biāo)，以便確定操作有效性。此能力使得組織能夠?qū)⑵鋫鹘y(tǒng)的企業(yè)內(nèi)容（包含在企業(yè)內(nèi)容管理系統(tǒng)和數(shù)據(jù)倉庫中）與新的社交內(nèi)容（例如 tweet 和博客文章）組合到單個(gè)用戶界面中。 大數(shù)據(jù)治理數(shù)據(jù)治理涉及到定義指南來幫助企業(yè)制定有關(guān)數(shù)據(jù)的正確決策。l 創(chuàng)建如何跨各種系統(tǒng)復(fù)制數(shù)據(jù)的策略。參考資料）l 數(shù)據(jù)頻率提供新鮮數(shù)據(jù)的頻率是多少？它是按需、連續(xù)還是離線的？l 抓取的數(shù)據(jù)大小此屬性有助于定義可抓取的數(shù)據(jù)以及每次抓取后可使用的數(shù)據(jù)大小。 原子模式對于大數(shù)據(jù)上下文中經(jīng)常出現(xiàn)的問題，原子模式 數(shù)據(jù)使用組件這種類型的模式處理使用數(shù)據(jù)分析結(jié)果的各種方式。 即席發(fā)現(xiàn)組件創(chuàng)建滿足所有業(yè)務(wù)需求的標(biāo)準(zhǔn)報(bào)告往往是不可行的，因?yàn)槠髽I(yè)的業(yè)務(wù)數(shù)據(jù)查詢會有不同的需求。加強(qiáng)現(xiàn)有的數(shù)據(jù)存儲有助于拓寬可用于現(xiàn)有分析的數(shù)據(jù)的范圍，包括駐留在組織邊界內(nèi)外的數(shù)據(jù)，比如社交媒體數(shù)據(jù)，它可以豐富主數(shù)據(jù)。 自動(dòng)響應(yīng)組件從大數(shù)據(jù)獲得的業(yè)務(wù)洞察，可用于觸發(fā)或啟動(dòng)其他業(yè)務(wù)流程或事務(wù) 數(shù)據(jù)處理組件無論數(shù)據(jù)是處于靜止?fàn)顟B(tài)還是在運(yùn)動(dòng)中，都可以處理大數(shù)據(jù)。由于處理和存儲的限制，超出此時(shí)間段的數(shù)據(jù)通常會被歸檔或清除。不同的數(shù)據(jù)集可以在多種上下文中存在關(guān)聯(lián)。 預(yù)處理原始數(shù)據(jù)組件大數(shù)據(jù)解決方案主要由基于 MapReduce 的 Hadoop 系統(tǒng)和技術(shù)組成，MapReduce 是開箱即用的分布式存儲和處理解決方案。下面的列表顯示了將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)所需的算法和活動(dòng)：l 文檔和文本分類l 特征提取l 圖像和文本分割l 關(guān)聯(lián)特征、變量和時(shí)間，然后提取包含時(shí)間的值l 輸出的準(zhǔn)確度檢查使用了混淆矩陣（confusion matrix）等技術(shù)和其他手動(dòng)活動(dòng)l 數(shù)據(jù)專家可以幫助用戶選擇合適的技術(shù)和算法。本節(jié)將列出這些類別，并介紹一些訪問機(jī)制。步驟 B2. 對數(shù)據(jù)進(jìn)行預(yù)處理。步驟 E2. 對數(shù)據(jù)進(jìn)行預(yù)處理。下圖說明了處理機(jī)器生成的數(shù)據(jù)的典型過程。如果用在 Internet 上，或者通過傳感器和智能設(shè)備提供的非結(jié)構(gòu)化數(shù)據(jù)以及外部數(shù)據(jù)來增強(qiáng)此數(shù)據(jù)，那么可以幫助組織獲得準(zhǔn)確的洞察，并執(zhí)行高級分析。分布式文件系統(tǒng)（如 GFS 和 HDFS）都能夠存儲任何類型的數(shù)據(jù)。必須存儲已經(jīng)過轉(zhuǎn)換的數(shù)據(jù)，避免從原始數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的頻繁數(shù)據(jù)轉(zhuǎn)換。 云存儲組件許多云計(jì)算基礎(chǔ)架構(gòu)供應(yīng)商都有分布式結(jié)構(gòu)化、非結(jié)構(gòu)化的存儲能力。側(cè)重于提供執(zhí)行各項(xiàng)功能所需的能力。該模式旨在緩解對現(xiàn)有數(shù)據(jù)存儲的負(fù)載?？梢詮淖罱l(fā)現(xiàn)的來源或從現(xiàn)有的數(shù)據(jù)存儲訪問數(shù)據(jù)。該通知可以使用可視化功能。l 激活相應(yīng)的渠道，對正確的使用者采取行動(dòng)。表示在決策之后，系統(tǒng)立即執(zhí)行操作。圖 9. 復(fù)合模式對原子模式的映射 圖 10. 將原子模式映射到架構(gòu)層 解決方案模式（模擬應(yīng)用場景）4 技術(shù)架構(gòu)實(shí)現(xiàn)方案 概述 技術(shù)架構(gòu)的關(guān)鍵問題 hadoop此方案基于開源Apache當(dāng)然，這種混合使用的方案會要求大量的ETL過程來進(jìn)行數(shù)據(jù)的轉(zhuǎn)換