【文章內容簡介】 外的鏈鎖信息的能力。對于內部使用者，為業(yè)務用戶構建報告和儀表板的能力使得利益相關者能夠制定精明的決策并設計恰當的戰(zhàn)略。為了提高操作有效性，可以從數據中生成實時業(yè)務警告，而且可以監(jiān)視操作性的關鍵績效指標：交易攔截器— 此組件可實時攔截高容量交易，將它們轉換為一種容易被分析層理解的實時格式，以便在傳入數據上執(zhí)行實時分析。事務攔截器應能夠集成并處理來自各種來源的數據，比如傳感器、智能儀表、麥克風、攝像頭、GPS 設備、ATM 和圖像掃描儀?？梢允褂酶鞣N類型的適配器和 API 來連接到數據源。也可以使用各種加速器來簡化開發(fā)，比如實時優(yōu)化和流分析，視頻分析，銀行、保險、零售、電信和公共運輸領域的加速器，社交媒體分析，以及情緒分析。業(yè)務流程管理流程— 來自分析層的洞察可供業(yè)務流程執(zhí)行語言 (BPEL) 流程、API 或其他業(yè)務流程使用，通過自動化上游和下游 IT 應用程序、人員和流程的功能，進一步獲取業(yè)務價值。實時監(jiān)視— 可以使用從分析中得出的數據來生成實時警告?？梢詫⒕姘l(fā)送給感興趣的使用者和設備，比如智能電話和平板電腦?？梢允褂脧姆治鼋M件生成的數據洞察，定義并監(jiān)視關鍵績效指標，以便確定操作有效性。實時數據可從各種來源以儀表板的形式向業(yè)務用戶公開，以便監(jiān)視系統(tǒng)的健康或度量營銷活動的有效性。報告引擎— 生成與傳統(tǒng)商業(yè)智能報告類似的報告的能力至關重要。用戶可基于從分析層中得到的洞察，創(chuàng)建臨時報告、計劃的報告或自助查詢和分析。推薦引擎— 基于來自分析層的分析結果，推薦引擎可向購物者提供實時的、相關的和個性化的推薦，提高電子商務交易中的轉換率和每個訂單的平均價值。該引擎實時處理可用信息并動態(tài)地響應每個用戶，響應基于用戶的實時活動、存儲在 CRM 系統(tǒng)中的注冊客戶信息，以及非注冊客戶的社交概況?？梢暬桶l(fā)現— 數據可跨企業(yè)內外的各種聯邦的數據源進行導航。數據可能具有不同的內容和格式，所有數據（結構化、半結構化和非結構化）可組合來進行可視化并提供給用戶。此能力使得組織能夠將其傳統(tǒng)的企業(yè)內容（包含在企業(yè)內容管理系統(tǒng)和數據倉庫中）與新的社交內容（例如 tweet 和博客文章）組合到單個用戶界面中。垂直層影響邏輯層（大數據來源、數據改動和存儲、分析和使用層）的所有組件的各方面都包含在垂直層中： 信息集成 大數據治理 系統(tǒng)管理 服務質量信息集成大數據應用程序從各種數據起源、提供程序和數據源獲取數據，并存儲在 HDFS、NoSQL 和 MongoDB 等數據存儲系統(tǒng)中。這個垂直層可供各種組件使用（例如數據獲取、數據整理、模型管理和交易攔截器），負責連接到各種數據源。集成將具有不同特征（例如協(xié)議和連接性）的數據源的信息，需要高質量的連接器和適配器?？梢允褂眉铀倨鬟B接到大多數已知和廣泛使用的來源。這些加速器包括社交媒體適配器和天氣數據適配器。各種組件還可以使用這一層在大數據存儲中存儲信息，從大數據存儲中檢索信息，以便處理這些信息。大多數大數據存儲都提供了服務和 API 來存儲和檢索該信息。大數據治理數據治理涉及到定義指南來幫助企業(yè)制定有關數據的正確決策。大數據治理有助于處理企業(yè)內或從外部來源傳入的數據的復雜性、量和種類。在將數據傳入企業(yè)進行處理、存儲、分析和清除或歸檔時，需要強有力的指南和流程來監(jiān)視、構建、存儲和保護數據。除了正常的數據治理考慮因素之外，大數據治理還包含其他因素：管理各種格式的大量數據。持續(xù)培訓和管理必要的統(tǒng)計模型，以便對非結構化數據和分析進行預處理。請記住，設置處理非結構化數據時的重要一步。為外部數據設置有關其保留和使用的策略和合規(guī)性制度。定義數據歸檔和清除策略。創(chuàng)建如何跨各種系統(tǒng)復制數據的策略。設置數據加密策略。服務質量層此層復雜定義數據質量、圍繞隱私和安全性的策略、數據頻率、每次抓取的數據大小和數據過濾器：數據質量完整地識別所有必要的數據元素以可接受的新鮮度提供數據的時間軸依照數據準確性規(guī)則來驗證數據的準確性采用一種通用語言（數據元組滿足使用簡單業(yè)務語言所表達的需求）依據數據一致性規(guī)則驗證來自多個系統(tǒng)的數據一致性在滿足數據規(guī)范和信息架構指南基礎上的技術符合性圍繞隱私和安全的策略需要策略來保護敏感數據。從外部機構和提供程序獲取的數據可能包含敏感數據（比如 Facebook 用戶的聯系信息或產品定價信息）。數據可以來源于不同的地區(qū)和國家，但必須進行相應的處理。必須制定有關數據屏蔽和這類數據的存儲的決策。考慮以下數據訪問策略：A、數據可用性B、數據關鍵性C、數據真實性D、數據共享和發(fā)布E、數據存儲和保留，包括能否存儲外部數據等問題。如果能夠存儲數據，數據可存儲多長時間？可存儲何種類型的數據？F、數據提供程序約束（政策、技術和地區(qū)）G、社交媒體使用條款數據頻率提供新鮮數據的頻率是多少？它是按需、連續(xù)還是離線的？抓取的數據大小此屬性有助于定義可抓取的數據以及每次抓取后可使用的數據大小。過濾器標準過濾器會刪除不想要的數據和數據中的干擾數據，僅留下分析所需的數據。系統(tǒng)管理系統(tǒng)管理對大數據至關重要，因為它涉及到跨企業(yè)集群和邊界的許多系統(tǒng)。對整個大數據生態(tài)系統(tǒng)的健康的監(jiān)視包括：A、管理系統(tǒng)日志、虛擬機、應用程序和其他設備B、關聯各種日志，幫助調查和監(jiān)視具體情形C、監(jiān)視實時警告和通知D、使用顯示各種參數的實時儀表板E、引用有關系統(tǒng)的報告和詳細分析F、設定和遵守服務水平協(xié)議G、管理存儲和容量G、歸檔和管理歸檔檢索I、執(zhí)行系統(tǒng)恢復、集群管理和網絡管理J、策略管理結束語對開發(fā)人員而言，層提供了一種對大數據解決方案必須執(zhí)行的功能進行分類的途徑，為組織建議必需執(zhí)行這些功能所需的代碼。但是，對于想要從大數據獲取洞察的業(yè)務用戶，考慮大數據需求和范圍通常會有所幫助。原子模式解決了訪問、處理、存儲和使用大數據的機制，為業(yè)務用戶提供了一種解決需求和范圍的途徑。下一篇文章將介紹用于此用途的原子模式。作者: Divakar等來源: DeveloperWorksEnd.大數據架構和模式（四）大數據解決方案的原子模式和復合模式？？？簡介本系列的 第 3 部分 介紹了大數據解決方案的邏輯層。這些層定義了各種組件，并對它們進行分類，這些組件必須處理某個給定業(yè)務用例的功能性和非功能性需求。本文基于層和組件的概念，介紹了解決方案中所用的典型原子模式和復合模式。通過將所提出的解決方案映射到此處提供的模式，讓用戶了解需要如何設計組件，以及從功能角度考慮，應該將它們放置在何處。模式有助于定義大數據解決方案的架構。利用原子模式和復合模式可以幫助進一步完善大數據解決方案的每個組件的角色和責任。本文介紹原子模式和復合模式。本系列的最后一篇文章將介紹解決方案模式。圖 1. 模式的類別該圖顯示了一下模式：原子模式、復合模式和解決方案模式原子模式對于大數據上下文中經常出現的問題，原子模式 有助于識別數據如何是被使用、處理、存儲和訪問的。它們還有助于識別所需的組件。訪問、存儲和處理來自不同數據源的多種數據需要不同的方法。每種模式都用于滿足特定的需求：例如，可視化、歷史數據分析、社交媒體數據和非結構化數據的存儲?？梢詫⒍喾N原子模式結合使用，組成一個復合模式。這些原子模式沒有進行分層或排序。例如，可視化模式可以與社交媒體的數據訪問模式直接交互，可視化模式還可以與高級分析處理模式進行交互。圖 2. 用于數據使用、處理、數據訪問和存儲的原子模式的示例該圖顯示了每種原子模式下的樣例模式的列表數據使用模式這種類型的模式處理使用數據分析結果的各種方式。本節(jié)包括的數據使用模式可以滿足幾個需求?？梢暬Ｊ娇梢暬瘮祿膫鹘y(tǒng)方式以圖表、儀表板和摘要報告為基礎。這些傳統(tǒng)的方法并不總是用來可視化數據的最佳方式。大數據可視化的典型需求（包括新出現的需求）如下所示：執(zhí)行流數據的實時分析和顯示基于上下文，以交互方式挖掘數據執(zhí)行高級搜索，并獲得建議并行可視化信息獲得先進的硬件，支持未來的可視化需求正在進行研究，以確定人類和機器如何使用大數據洞察。這些挑戰(zhàn)包括所涉及的數據量，并且需要將數據與上下文相關聯。必須在適當的上下文中顯示洞察?？梢暬瘮祿哪康氖菫榱烁菀?、更直觀地使用數據，因此報告和儀表板可能提供全高清的觀看效果和 3D 互動視頻，并且可以為用戶提供使用應用程序控制業(yè)務活動和結果的能力。即席發(fā)現模式創(chuàng)建滿足所有業(yè)務需求的標準報告往往是不可行的，因為企業(yè)的業(yè)務數據查詢會有不同的需求。用戶在查找特定信息時，可能需要獲得根據問題的上下文執(zhí)行即席查詢的能力。即席分析可以幫助數據科學家和關鍵業(yè)務用戶了解業(yè)務數據的行為。即席處理中涉及的復雜性來自多種因素：多個數據源可用于相同的域。單一的查詢可以有多個結果。輸出可以是靜態(tài)的，并具有多種格式（視頻、音頻、圖形和文本）。輸出可以是動態(tài)和交互式的。加強傳統(tǒng)的數據存儲在大數據的初步探索中，許多企業(yè)選擇使用現有的分析平臺來降低成本，并依賴于現有的技能。加強現有的數據存儲有助于拓寬可用于現有分析的數據的范圍，包括駐留在組織邊界內外的數據，比如社交媒體數據，它可以豐富主數據。通過拓寬數據范圍，使之包含現有存儲中的新事實表、維度和主數據，并從社交媒體獲取客戶數據，組織可以獲得更深入的客戶洞察。但要牢記的是，新的數據集通常比較大，而現有的提取、轉換和加載工具可能不足以處理它。您可能需要使用具有大規(guī)模并行處理能力的高級工具來解決數據的數量、多樣性、真實性和速度特征。通知模式大數據洞察使人類、企業(yè)和機器可以通過使用事件通知而立即采取行動。通知平臺必須能夠處理及時發(fā)送出去的預計數量的通知。這些通知與大量郵件或群發(fā)短信不同，因為內容一般是特定于使用者的。例如，推薦引擎可以提供有關世界各地的龐大客戶群的洞察，而且可以將通知發(fā)送給這樣的客戶。啟動一個自動響應模式從大數據獲得的業(yè)務洞察，可用于觸發(fā)或啟動其他業(yè)務流程或事務。處理模式無論數據是處于靜止狀態(tài)還是在運動中，都可以處理大數據。具體情況取決于分析的復雜性，有可能不需要對數據進行實時處理。這種模式解決了對大數據進行實時、近實時或批量處理的方式。以下高級的大數據處理類別適用于大多數分析。這些類別通常也適用于基于 RDBMS 的傳統(tǒng)系統(tǒng)。惟一的區(qū)別是龐大規(guī)模的數據、多樣性和速度。在處理大數據時，要使用機器學習、復雜事件處理、事件流處理、決策管理和統(tǒng)計模型管理等技術。歷史數據分析模式傳統(tǒng)的歷史數據分析僅限于預定義的數據時間段，這通常取決于數據保留策略。由于處理和存儲的限制，超出此時間段的數據通常會被歸檔或清除。基于 Hadoop 的系統(tǒng)和其他等效的系統(tǒng)可以克服這些限制，因為它們具有豐富的存儲以及分布式大規(guī)模并行處理能力。運營、業(yè)務和數據倉庫的數據被移動到大數據存儲，您通過使用大數據平臺功能對它們進行處理。歷史分析包括分析給定時間段、季節(jié)組合和產品的歷史趨勢，并與最新的可用數據進行比較。為了能夠存儲和處理如此龐大的數據，您可以使用 HDFS、NoSQL、SPSS174。 和 InfoSphere174。 BigInsights?。高級分析模式大數據提供了很多實現創(chuàng)意洞察的機會。不同的數據集可以在多種上下文中存在關聯。發(fā)現這些關系需要創(chuàng)新的復雜算法和技術。高級分析包括預測、決策、推理過程、模擬、上下文信息標識和實體解析。高級分析的應用包括生物統(tǒng)計數據分析（例如，DNA 分析）、空間分析、基于位置的分析、科學分析、研究，等等。高級分析要求大量的計算來管理大量的數據。數據科學家可以指導您識別合適的技術、算法和數據集，以及在給定上下文中解決問題所需的數據源。比如 SPSS、InfoSphere Streams 和 InfoSphere BigInsights 等工具提供了這類功能。這些工具訪問存儲在大數據存儲系統(tǒng)（比如 BigTable、HBase，等等）中的非結構化數據和結構化數據（例如，JSON 數據）。預處理原始數據模式大數據解決方案主要由基于 MapReduce 的 Hadoop 系統(tǒng)和技術組成，MapReduce 是開箱即用的分布式存儲和處理解決方案。然而，從非結構化數據提取數據（例如，圖像、音頻、視頻、二進制提要，甚至是文本）是一項復雜的任務，需要具有機器學習能力并掌握自然語言處理等技術。另一個主要挑戰(zhàn)是如何驗證這些技術和算法的輸出的準確度和正確性。