【正文】 趨勢，并與最新的可用數(shù)據(jù)進行比較。基于 Hadoop 的系統(tǒng)和其他等效的系統(tǒng)可以克服這些限制，因為它們具有豐富的存儲以及分布式大規(guī)模并行處理能力。 歷史數(shù)據(jù)分析組件傳統(tǒng)的歷史數(shù)據(jù)分析僅限于預(yù)定義的數(shù)據(jù)時間段，這通常取決于數(shù)據(jù)保留策略。惟一的區(qū)別是龐大規(guī)模的數(shù)據(jù)、多樣性和速度。以下高級的大數(shù)據(jù)處理類別適用于大多數(shù)分析。具體情況取決于分析的復(fù)雜性，有可能不需要對數(shù)據(jù)進行實時處理。例如，推薦引擎可以提供有關(guān)世界各地的龐大客戶群的洞察，而且可以將通知發(fā)送給這樣的客戶。通知平臺必須能夠處理及時發(fā)送出去的預(yù)計數(shù)量的通知。您可能需要使用具有大規(guī)模并行處理能力的高級工具來解決數(shù)據(jù)的數(shù)量、多樣性、真實性和速度特征。通過拓寬數(shù)據(jù)范圍，使之包含現(xiàn)有存儲中的新事實表、維度和主數(shù)據(jù)，并從社交媒體獲取客戶數(shù)據(jù)，組織可以獲得更深入的客戶洞察。 數(shù)據(jù)轉(zhuǎn)儲組件在大數(shù)據(jù)的初步探索中，許多企業(yè)選擇使用現(xiàn)有的分析平臺來降低成本，并依賴于現(xiàn)有的技能。? 輸出可以是靜態(tài)的，并具有多種格式（視頻、音頻、圖形和文本）。即席處理中涉及的復(fù)雜性來自多種因素：多個數(shù)據(jù)源可用于相同的域。用戶在查找特定信息時，可能需要獲得根據(jù)問題的上下文執(zhí)行即席查詢的能力。? 可視化數(shù)據(jù)的目的是為了更容易、更直觀地使用數(shù)據(jù)，因此報告和儀表板可能提供全高清的觀看效果和 3D 互動視頻，并且可以為用戶提供使用應(yīng)用程序控制業(yè)務(wù)活動和結(jié)果的能力。這些挑戰(zhàn)包括所涉及的數(shù)據(jù)量，并且需要將數(shù)據(jù)與上下文相關(guān)聯(lián)。這些傳統(tǒng)的方法并不總是用來可視化數(shù)據(jù)的最佳方式。數(shù)據(jù)使用模式可以滿足幾個需求。例如，可視化模式可以與社交媒體的數(shù)據(jù)訪問模式直接交互，可視化模式還可以與高級分析處理模式進行交互?？梢詫⒍喾N原子模式結(jié)合使用，組成一個復(fù)合模式。訪問、存儲和處理來自不同數(shù)據(jù)源的多種數(shù)據(jù)需要不同的方法。 原子模式對于大數(shù)據(jù)上下文中經(jīng)常出現(xiàn)的問題，原子模式 有助于識別數(shù)據(jù)如何是被使用、處理、存儲和訪問的。模式有助于定義大數(shù)據(jù)解決方案的架構(gòu)。本文基于層和組件的概念，介紹了解決方案中所用的典型原子模式和復(fù)合模式。 系統(tǒng)管理系統(tǒng)管理對大數(shù)據(jù)至關(guān)重要，因為它涉及到跨企業(yè)集群和邊界的許多系統(tǒng)。如果能夠存儲數(shù)據(jù)，數(shù)據(jù)可存儲多長時間？可存儲何種類型的數(shù)據(jù)？? 數(shù)據(jù)提供程序約束（政策、技術(shù)和地區(qū)）? 社交媒體使用條款（參見 參考資料）? 數(shù)據(jù)頻率提供新鮮數(shù)據(jù)的頻率是多少？它是按需、連續(xù)還是離線的？? 抓取的數(shù)據(jù)大小此屬性有助于定義可抓取的數(shù)據(jù)以及每次抓取后可使用的數(shù)據(jù)大小。必須制定有關(guān)數(shù)據(jù)屏蔽和這類數(shù)據(jù)的存儲的決策。從外部機構(gòu)和提供程序獲取的數(shù)據(jù)可能包含敏感數(shù)據(jù)（比如 Facebook 用戶的聯(lián)系信息或產(chǎn)品定價信息）。? 設(shè)置數(shù)據(jù)加密策略。? 定義數(shù)據(jù)歸檔和清除策略。請記住，設(shè)置處理非結(jié)構(gòu)化數(shù)據(jù)時的重要一步。除了正常的數(shù)據(jù)治理考慮因素之外，大數(shù)據(jù)治理還包含其他因素：? 管理各種格式的大量數(shù)據(jù)。大數(shù)據(jù)治理有助于處理企業(yè)內(nèi)或從外部來源傳入的數(shù)據(jù)的復(fù)雜性、量和種類。大多數(shù)大數(shù)據(jù)存儲都提供了服務(wù)和 API 來存儲和檢索該信息。這些加速器包括社交媒體適配器和天氣數(shù)據(jù)適配器。集成將具有不同特征（例如協(xié)議和連接性）的數(shù)據(jù)源的信息，需要高質(zhì)量的連接器和適配器。 垂直層影響邏輯層（大數(shù)據(jù)來源、數(shù)據(jù)改動和存儲、分析和使用層）的所有組件的各方面都包含在垂直層中：? 信息集成? 大數(shù)據(jù)治理? 系統(tǒng)管理? 服務(wù)質(zhì)量 信息集成大數(shù)據(jù)應(yīng)用程序從各種數(shù)據(jù)起源、提供程序和數(shù)據(jù)源獲取數(shù)據(jù)，并存儲在 HDFS、NoSQL 和 MongoDB 等數(shù)據(jù)存儲系統(tǒng)中。數(shù)據(jù)可能具有不同的內(nèi)容和格式，所有數(shù)據(jù)（結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化）可組合來進行可視化并提供給用戶。該引擎實時處理可用信息并動態(tài)地響應(yīng)每個用戶，響應(yīng)基于用戶的實時活動、存儲在 CRM 系統(tǒng)中的注冊客戶信息，以及非注冊客戶的社交概況。用戶可基于從分析層中得到的洞察，創(chuàng)建臨時報告、計劃的報告或自助查詢和分析。實時數(shù)據(jù)可從各種來源以儀表板的形式向業(yè)務(wù)用戶公開，以便監(jiān)視系統(tǒng)的健康或度量營銷活動的有效性。可以將警告發(fā)送給感興趣的使用者和設(shè)備，比如智能電話和平板電腦。? 業(yè)務(wù)流程管理流程— 來自分析層的洞察可供業(yè)務(wù)流程執(zhí)行語言 (BPEL)流程、API 或其他業(yè)務(wù)流程使用，通過自動化上游和下游 IT 應(yīng)用程序、人員和流程的功能，進一步獲取業(yè)務(wù)價值?？梢允褂酶鞣N類型的適配器和 API 來連接到數(shù)據(jù)源。為了提高操作有效性，可以從數(shù)據(jù)中生成實時業(yè)務(wù)警告，而且可以監(jiān)視操作性的關(guān)鍵績效指標：? 交易攔截器— 此組件可實時攔截高容量交易，將它們轉(zhuǎn)換為一種容易被分析層理解的實時格式，以便在傳入數(shù)據(jù)上執(zhí)行實時分析。使用層還為內(nèi)部用戶提供了理解、找到和導(dǎo)航企業(yè)內(nèi)外的鏈鎖信息的能力。分析的輸出也可由推薦引擎使用，該引擎可將客戶與他們喜歡的產(chǎn)品相匹配。此外，可以根據(jù)在數(shù)據(jù)改動層完成的分析來觸發(fā)業(yè)務(wù)流程。該洞察可用于檢測欺詐，實時攔截交易，并將它們與使用已存儲在企業(yè)中的數(shù)據(jù)構(gòu)建的視圖進行關(guān)聯(lián)。此洞察可用于針對客戶提供產(chǎn)品營銷信息。 使用層這一層使用了從分析應(yīng)用程序獲取的業(yè)務(wù)洞察。? 模型管理— 負責(zé)維護各種統(tǒng)計模型，驗證和檢驗這些模型，通過持續(xù)培訓(xùn)模型來提高準確性。? 分析引擎— 使用其他組件（具體來講，包括實體鑒別、模型管理和分析算法）來處理和執(zhí)行分析。數(shù)據(jù)整理組件應(yīng)為這個實體識別組件提供補充，將數(shù)據(jù)修改為需要的格式。 分析層這是從數(shù)據(jù)中提取業(yè)務(wù)洞察的層：? 分析層實體識別— 負責(zé)識別和填充上下文實體。? 分布式數(shù)據(jù)存儲— 負責(zé)存儲來自數(shù)據(jù)源的數(shù)據(jù)。分析引擎將會確定所需的特定的數(shù)據(jù)格式。? 數(shù)據(jù)整理— 負責(zé)將數(shù)據(jù)修改為需要的格式，以實現(xiàn)分析用途。此組件必須足夠智能，能夠選擇是否和在何處存儲傳入的數(shù)據(jù)。每天都會產(chǎn)生海量的數(shù)據(jù)，它們具有不同的格式，以不同的速度生成，而且通過各種數(shù)據(jù)提供程序、傳感器和現(xiàn)有企業(yè)提供。絕大多數(shù)智慧設(shè)備都會執(zhí)行實時分析，但從智慧設(shè)備傳來的信息也可批量分析。這方面的示例包括智能電話、儀表和醫(yī)療設(shè)備。這些數(shù)據(jù)不一定存儲在分布式文件系統(tǒng)中，具體依賴于所處的上下文。 ? 數(shù)據(jù)存儲— 數(shù)據(jù)存儲包含企業(yè)數(shù)據(jù)倉庫、操作數(shù)據(jù)庫和事務(wù)數(shù)據(jù)庫。? 數(shù)據(jù)管理系統(tǒng) (DMS)— 數(shù)據(jù)管理系統(tǒng)存儲邏輯數(shù)據(jù)、流程、策略和各種其他類型的文檔：? Microsoft? Excel? 電子表格? Microsoft Word 文檔? 這些文檔可以轉(zhuǎn)換為可用于分析的結(jié)構(gòu)化數(shù)據(jù)。3 大數(shù)據(jù)平臺的功能架構(gòu) 組件構(gòu)成 橫向?qū)?大數(shù)據(jù)集成層大數(shù)據(jù)來源：? 企業(yè)遺留系統(tǒng)— 這些系統(tǒng)是企業(yè)應(yīng)用程序，執(zhí)行業(yè)務(wù)需要的分析并獲取需要的洞察：? 氣象網(wǎng)絡(luò)設(shè)備監(jiān)測系統(tǒng)? 氣象信息共享系統(tǒng)? MICAPS? 網(wǎng)絡(luò)通信系統(tǒng)CMACast? 突發(fā)應(yīng)急系統(tǒng)? 氣象預(yù)報系統(tǒng)? 氣象服務(wù)系統(tǒng)? 辦公自動化? ?? ? Web 應(yīng)用程序開發(fā)Web 應(yīng)用程序和其他數(shù)據(jù)來源擴充了企業(yè)擁有的數(shù)據(jù)。使用者可以是可視化應(yīng)用程序、人類、業(yè)務(wù)流程或服務(wù)。必須制定如何管理以下任務(wù)的決策：? 生成想要的分析? 從數(shù)據(jù)中獲取洞察? 找到所需的實體? 定位可提供這些實體的數(shù)據(jù)的數(shù)據(jù)源? 理解執(zhí)行分析需要哪些算法和工具。在某些情況下，分析層直接從數(shù)據(jù)源訪問數(shù)據(jù)。規(guī)范 1和治理策略要求為不同的數(shù)據(jù)類型提供合適的存儲。