【文章內(nèi)容簡介】 品營銷信息。例如，借助從分析中獲取的洞察，公司可以使用客戶偏好數(shù)據(jù)和位置感知，在客戶經(jīng)過通道或店鋪時向他們提供個性化的營銷信息。該洞察可用于檢測欺詐，實時攔截交易，并將它們與使用已存儲在企業(yè)中的數(shù)據(jù)構建的視圖進行關聯(lián)。在欺詐性交易發(fā)生時，可以告知客戶可能存在欺詐，以便及時采取更正操作。此外，可以根據(jù)在數(shù)據(jù)改動層完成的分析來觸發(fā)業(yè)務流程。可以啟動自動化的步驟 — 例如，如果客戶接受了一條可自動觸發(fā)的營銷信息，則需要創(chuàng)建一個新訂單，如果客戶報告了欺詐，那么可以觸發(fā)對信用卡使用的阻止。分析的輸出也可由推薦引擎使用，該引擎可將客戶與他們喜歡的產(chǎn)品相匹配。推薦引擎分析可用的信息，并提供個性化且實時的推薦。使用層還為內(nèi)部用戶提供了理解、找到和導航企業(yè)內(nèi)外的鏈鎖信息的能力。對于內(nèi)部使用者，為業(yè)務用戶構建報告和儀表板的能力使得利益相關者能夠制定精明的決策并設計恰當?shù)膽?zhàn)略。為了提高操作有效性，可以從數(shù)據(jù)中生成實時業(yè)務警告，而且可以監(jiān)視操作性的關鍵績效指標：l 交易攔截器— 此組件可實時攔截高容量交易，將它們轉(zhuǎn)換為一種容易被分析層理解的實時格式，以便在傳入數(shù)據(jù)上執(zhí)行實時分析。事務攔截器應能夠集成并處理來自各種來源的數(shù)據(jù)，比如傳感器、智能儀表、麥克風、攝像頭、GPS 設備、ATM 和圖像掃描儀。可以使用各種類型的適配器和 API 來連接到數(shù)據(jù)源。也可以使用各種加速器來簡化開發(fā)，比如實時優(yōu)化和流分析，視頻分析，銀行、保險、零售、電信和公共運輸領域的加速器，社交媒體分析，以及情緒分析。l 業(yè)務流程管理流程— 來自分析層的洞察可供業(yè)務流程執(zhí)行語言 (BPEL) 流程、API 或其他業(yè)務流程使用，通過自動化上游和下游 IT 應用程序、人員和流程的功能，進一步獲取業(yè)務價值。l 實時監(jiān)視— 可以使用從分析中得出的數(shù)據(jù)來生成實時警告?？梢詫⒕姘l(fā)送給感興趣的使用者和設備，比如智能電話和平板電腦?？梢允褂脧姆治鼋M件生成的數(shù)據(jù)洞察，定義并監(jiān)視關鍵績效指標，以便確定操作有效性。實時數(shù)據(jù)可從各種來源以儀表板的形式向業(yè)務用戶公開，以便監(jiān)視系統(tǒng)的健康或度量營銷活動的有效性。l 報告引擎— 生成與傳統(tǒng)商業(yè)智能報告類似的報告的能力至關重要。用戶可基于從分析層中得到的洞察，創(chuàng)建臨時報告、計劃的報告或自助查詢和分析。l 推薦引擎— 基于來自分析層的分析結果，推薦引擎可向購物者提供實時的、相關的和個性化的推薦，提高電子商務交易中的轉(zhuǎn)換率和每個訂單的平均價值。該引擎實時處理可用信息并動態(tài)地響應每個用戶，響應基于用戶的實時活動、存儲在 CRM 系統(tǒng)中的注冊客戶信息，以及非注冊客戶的社交概況。l 可視化和發(fā)現(xiàn)— 數(shù)據(jù)可跨企業(yè)內(nèi)外的各種聯(lián)邦的數(shù)據(jù)源進行導航。數(shù)據(jù)可能具有不同的內(nèi)容和格式，所有數(shù)據(jù)（結構化、半結構化和非結構化）可組合來進行可視化并提供給用戶。此能力使得組織能夠?qū)⑵鋫鹘y(tǒng)的企業(yè)內(nèi)容（包含在企業(yè)內(nèi)容管理系統(tǒng)和數(shù)據(jù)倉庫中）與新的社交內(nèi)容（例如 tweet 和博客文章）組合到單個用戶界面中。 垂直層影響邏輯層（大數(shù)據(jù)來源、數(shù)據(jù)改動和存儲、分析和使用層）的所有組件的各方面都包含在垂直層中：l 信息集成l 大數(shù)據(jù)治理l 系統(tǒng)管理l 服務質(zhì)量 信息集成大數(shù)據(jù)應用程序從各種數(shù)據(jù)起源、提供程序和數(shù)據(jù)源獲取數(shù)據(jù)，并存儲在 HDFS、NoSQL 和 MongoDB 等數(shù)據(jù)存儲系統(tǒng)中。這個垂直層可供各種組件使用（例如數(shù)據(jù)獲取、數(shù)據(jù)整理、模型管理和交易攔截器），負責連接到各種數(shù)據(jù)源。集成將具有不同特征（例如協(xié)議和連接性）的數(shù)據(jù)源的信息，需要高質(zhì)量的連接器和適配器?？梢允褂眉铀倨鬟B接到大多數(shù)已知和廣泛使用的來源。這些加速器包括社交媒體適配器和天氣數(shù)據(jù)適配器。各種組件還可以使用這一層在大數(shù)據(jù)存儲中存儲信息，從大數(shù)據(jù)存儲中檢索信息，以便處理這些信息。大多數(shù)大數(shù)據(jù)存儲都提供了服務和 API 來存儲和檢索該信息。 大數(shù)據(jù)治理數(shù)據(jù)治理涉及到定義指南來幫助企業(yè)制定有關數(shù)據(jù)的正確決策。大數(shù)據(jù)治理有助于處理企業(yè)內(nèi)或從外部來源傳入的數(shù)據(jù)的復雜性、量和種類。在將數(shù)據(jù)傳入企業(yè)進行處理、存儲、分析和清除或歸檔時，需要強有力的指南和流程來監(jiān)視、構建、存儲和保護數(shù)據(jù)。除了正常的數(shù)據(jù)治理考慮因素之外，大數(shù)據(jù)治理還包含其他因素：l 管理各種格式的大量數(shù)據(jù)。l 持續(xù)培訓和管理必要的統(tǒng)計模型，以便對非結構化數(shù)據(jù)和分析進行預處理。請記住，設置處理非結構化數(shù)據(jù)時的重要一步。l 為外部數(shù)據(jù)設置有關其保留和使用的策略和合規(guī)性制度。l 定義數(shù)據(jù)歸檔和清除策略。l 創(chuàng)建如何跨各種系統(tǒng)復制數(shù)據(jù)的策略。l 設置數(shù)據(jù)加密策略。 服務質(zhì)量層此層復雜定義數(shù)據(jù)質(zhì)量、圍繞隱私和安全性的策略、數(shù)據(jù)頻率、每次抓取的數(shù)據(jù)大小和數(shù)據(jù)過濾器：l 數(shù)據(jù)質(zhì)量n 完整地識別所有必要的數(shù)據(jù)元素n 以可接受的新鮮度提供數(shù)據(jù)的時間軸n 依照數(shù)據(jù)準確性規(guī)則來驗證數(shù)據(jù)的準確性n 采用一種通用語言（數(shù)據(jù)元組滿足使用簡單業(yè)務語言所表達的需求）n 依據(jù)數(shù)據(jù)一致性規(guī)則驗證來自多個系統(tǒng)的數(shù)據(jù)一致性n 在滿足數(shù)據(jù)規(guī)范和信息架構指南基礎上的技術符合性l 圍繞隱私和安全的策略 需要策略來保護敏感數(shù)據(jù)。從外部機構和提供程序獲取的數(shù)據(jù)可能包含敏感數(shù)據(jù)（比如 Facebook 用戶的聯(lián)系信息或產(chǎn)品定價信息）。數(shù)據(jù)可以來源于不同的地區(qū)和國家，但必須進行相應的處理。必須制定有關數(shù)據(jù)屏蔽和這類數(shù)據(jù)的存儲的決策?？紤]以下數(shù)據(jù)訪問策略：n 數(shù)據(jù)可用性n 數(shù)據(jù)關鍵性n 數(shù)據(jù)真實性n 數(shù)據(jù)共享和發(fā)布n 數(shù)據(jù)存儲和保留，包括能否存儲外部數(shù)據(jù)等問題。如果能夠存儲數(shù)據(jù)，數(shù)據(jù)可存儲多長時間？可存儲何種類型的數(shù)據(jù)？n 數(shù)據(jù)提供程序約束（政策、技術和地區(qū)）n 社交媒體使用條款（參見參考資料）l 數(shù)據(jù)頻率提供新鮮數(shù)據(jù)的頻率是多少？它是按需、連續(xù)還是離線的？l 抓取的數(shù)據(jù)大小此屬性有助于定義可抓取的數(shù)據(jù)以及每次抓取后可使用的數(shù)據(jù)大小。l 過濾器標準過濾器會刪除不想要的數(shù)據(jù)和數(shù)據(jù)中的干擾數(shù)據(jù)，僅留下分析所需的數(shù)據(jù)。 系統(tǒng)管理系統(tǒng)管理對大數(shù)據(jù)至關重要，因為它涉及到跨企業(yè)集群和邊界的許多系統(tǒng)。對整個大數(shù)據(jù)生態(tài)系統(tǒng)的健康的監(jiān)視包括：l 管理系統(tǒng)日志、虛擬機、應用程序和其他設備l 關聯(lián)各種日志，幫助調(diào)查和監(jiān)視具體情形l 監(jiān)視實時警告和通知l 使用顯示各種參數(shù)的實時儀表板l 引用有關系統(tǒng)的報告和詳細分析l 設定和遵守服務水平協(xié)議l 管理存儲和容量l 歸檔和管理歸檔檢索l 執(zhí)行系統(tǒng)恢復、集群管理和網(wǎng)絡管理l 策略管理 功能應用前面提到的技術架構的這些層定義了各種組件，并對它們進行分類，這些組件必須處理某個給定業(yè)務用例的功能性和非功能性需求。本文基于層和組件的概念，介紹了解決方案中所用的典型原子模式和復合模式。通過將所提出的解決方案映射到此處提供的模式，讓用戶了解需要如何設計組件，以及從功能角度考慮，應該將它們放置在何處。模式有助于定義大數(shù)據(jù)解決方案的架構。利用原子模式和復合模式可以幫助進一步完善大數(shù)據(jù)解決方案的每個組件的角色和責任。 原子模式對于大數(shù)據(jù)上下文中經(jīng)常出現(xiàn)的問題，原子模式有助于識別數(shù)據(jù)如何是被使用、處理、存儲和訪問的。它們還有助于識別所需的組件。訪問、存儲和處理來自不同數(shù)據(jù)源的多種數(shù)據(jù)需要不同的方法。每種模式都用于滿足特定的需求：例如，可視化、歷史數(shù)據(jù)分析、社交媒體數(shù)據(jù)和非結構化數(shù)據(jù)的存儲?？梢詫⒍喾N原子模式結合使用，組成一個復合模式。這些原子模式?jīng)]有進行分層或排序。例如，可視化模式可以與社交媒體的數(shù)據(jù)訪問模式直接交互，可視化模式還可以與高級分析處理模式進行交互。 數(shù)據(jù)使用組件這種類型的模式處理使用數(shù)據(jù)分析結果的各種方式。數(shù)據(jù)使用模式可以滿足幾個需求。 可視化組件可視化數(shù)據(jù)的傳統(tǒng)方式以圖表、儀表板和摘要報告為基礎。這些傳統(tǒng)的方法并不總是用來可視化數(shù)據(jù)的最佳方式。大數(shù)據(jù)可視化的典型需求（包括新出現(xiàn)的需求）如下所示：l 執(zhí)行流數(shù)據(jù)的實時分析和顯示l 基于上下文，以交互方式挖掘數(shù)據(jù)l 執(zhí)行高級搜索，并獲得建議l 并行可視化信息l 獲得先進的硬件，支持未來的可視化需求l 正在進行研究，以確定人類和機器如何使用大數(shù)據(jù)洞察。這些挑戰(zhàn)包括所涉及的數(shù)據(jù)量，并且需要將數(shù)據(jù)與上下文相關聯(lián)。必須在適當?shù)纳舷挛闹酗@示洞察。l 可視化數(shù)據(jù)的目的是為了更容易、更直觀地使用數(shù)據(jù)，因此報告和儀表