【正文】 格式（視頻、音頻、圖形和文本）。即席處理中涉及的復(fù)雜性來自多種因素：多個數(shù)據(jù)源可用于相同的域。用戶在查找特定信息時，可能需要獲得根據(jù)問題的上下文執(zhí)行即席查詢的能力。l 可視化數(shù)據(jù)的目的是為了更容易、更直觀地使用數(shù)據(jù)，因此報告和儀表板可能提供全高清的觀看效果和 3D 互動視頻，并且可以為用戶提供使用應(yīng)用程序控制業(yè)務(wù)活動和結(jié)果的能力。這些挑戰(zhàn)包括所涉及的數(shù)據(jù)量，并且需要將數(shù)據(jù)與上下文相關(guān)聯(lián)。這些傳統(tǒng)的方法并不總是用來可視化數(shù)據(jù)的最佳方式。數(shù)據(jù)使用模式可以滿足幾個需求。例如，可視化模式可以與社交媒體的數(shù)據(jù)訪問模式直接交互，可視化模式還可以與高級分析處理模式進(jìn)行交互?？梢詫⒍喾N原子模式結(jié)合使用，組成一個復(fù)合模式。訪問、存儲和處理來自不同數(shù)據(jù)源的多種數(shù)據(jù)需要不同的方法。有助于識別數(shù)據(jù)如何是被使用、處理、存儲和訪問的。利用原子模式和復(fù)合模式可以幫助進(jìn)一步完善大數(shù)據(jù)解決方案的每個組件的角色和責(zé)任。通過將所提出的解決方案映射到此處提供的模式，讓用戶了解需要如何設(shè)計組件，以及從功能角度考慮，應(yīng)該將它們放置在何處。對整個大數(shù)據(jù)生態(tài)系統(tǒng)的健康的監(jiān)視包括：l 管理系統(tǒng)日志、虛擬機(jī)、應(yīng)用程序和其他設(shè)備l 關(guān)聯(lián)各種日志，幫助調(diào)查和監(jiān)視具體情形l 監(jiān)視實時警告和通知l 使用顯示各種參數(shù)的實時儀表板l 引用有關(guān)系統(tǒng)的報告和詳細(xì)分析l 設(shè)定和遵守服務(wù)水平協(xié)議l 管理存儲和容量l 歸檔和管理歸檔檢索l 執(zhí)行系統(tǒng)恢復(fù)、集群管理和網(wǎng)絡(luò)管理l 策略管理 功能應(yīng)用前面提到的技術(shù)架構(gòu)的這些層定義了各種組件，并對它們進(jìn)行分類，這些組件必須處理某個給定業(yè)務(wù)用例的功能性和非功能性需求。l 過濾器標(biāo)準(zhǔn)過濾器會刪除不想要的數(shù)據(jù)和數(shù)據(jù)中的干擾數(shù)據(jù)，僅留下分析所需的數(shù)據(jù)。如果能夠存儲數(shù)據(jù)，數(shù)據(jù)可存儲多長時間？可存儲何種類型的數(shù)據(jù)？n 數(shù)據(jù)提供程序約束（政策、技術(shù)和地區(qū)）n 社交媒體使用條款（參見必須制定有關(guān)數(shù)據(jù)屏蔽和這類數(shù)據(jù)的存儲的決策。從外部機(jī)構(gòu)和提供程序獲取的數(shù)據(jù)可能包含敏感數(shù)據(jù)（比如 Facebook 用戶的聯(lián)系信息或產(chǎn)品定價信息）。l 設(shè)置數(shù)據(jù)加密策略。l 定義數(shù)據(jù)歸檔和清除策略。請記住，設(shè)置處理非結(jié)構(gòu)化數(shù)據(jù)時的重要一步。除了正常的數(shù)據(jù)治理考慮因素之外，大數(shù)據(jù)治理還包含其他因素：l 管理各種格式的大量數(shù)據(jù)。大數(shù)據(jù)治理有助于處理企業(yè)內(nèi)或從外部來源傳入的數(shù)據(jù)的復(fù)雜性、量和種類。大多數(shù)大數(shù)據(jù)存儲都提供了服務(wù)和 API 來存儲和檢索該信息。這些加速器包括社交媒體適配器和天氣數(shù)據(jù)適配器。集成將具有不同特征（例如協(xié)議和連接性）的數(shù)據(jù)源的信息，需要高質(zhì)量的連接器和適配器。 垂直層影響邏輯層（大數(shù)據(jù)來源、數(shù)據(jù)改動和存儲、分析和使用層）的所有組件的各方面都包含在垂直層中：l 信息集成l 大數(shù)據(jù)治理l 系統(tǒng)管理l 服務(wù)質(zhì)量 信息集成大數(shù)據(jù)應(yīng)用程序從各種數(shù)據(jù)起源、提供程序和數(shù)據(jù)源獲取數(shù)據(jù)，并存儲在 HDFS、NoSQL 和 MongoDB 等數(shù)據(jù)存儲系統(tǒng)中。數(shù)據(jù)可能具有不同的內(nèi)容和格式，所有數(shù)據(jù)（結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化）可組合來進(jìn)行可視化并提供給用戶。該引擎實時處理可用信息并動態(tài)地響應(yīng)每個用戶，響應(yīng)基于用戶的實時活動、存儲在 CRM 系統(tǒng)中的注冊客戶信息，以及非注冊客戶的社交概況。用戶可基于從分析層中得到的洞察，創(chuàng)建臨時報告、計劃的報告或自助查詢和分析。實時數(shù)據(jù)可從各種來源以儀表板的形式向業(yè)務(wù)用戶公開，以便監(jiān)視系統(tǒng)的健康或度量營銷活動的有效性?？梢詫⒕姘l(fā)送給感興趣的使用者和設(shè)備，比如智能電話和平板電腦。l 業(yè)務(wù)流程管理流程— 來自分析層的洞察可供業(yè)務(wù)流程執(zhí)行語言 (BPEL) 流程、API 或其他業(yè)務(wù)流程使用，通過自動化上游和下游 IT 應(yīng)用程序、人員和流程的功能，進(jìn)一步獲取業(yè)務(wù)價值?？梢允褂酶鞣N類型的適配器和 API 來連接到數(shù)據(jù)源。為了提高操作有效性，可以從數(shù)據(jù)中生成實時業(yè)務(wù)警告，而且可以監(jiān)視操作性的關(guān)鍵績效指標(biāo)：l 交易攔截器— 此組件可實時攔截高容量交易，將它們轉(zhuǎn)換為一種容易被分析層理解的實時格式，以便在傳入數(shù)據(jù)上執(zhí)行實時分析。使用層還為內(nèi)部用戶提供了理解、找到和導(dǎo)航企業(yè)內(nèi)外的鏈鎖信息的能力。分析的輸出也可由推薦引擎使用，該引擎可將客戶與他們喜歡的產(chǎn)品相匹配。此外，可以根據(jù)在數(shù)據(jù)改動層完成的分析來觸發(fā)業(yè)務(wù)流程。該洞察可用于檢測欺詐，實時攔截交易，并將它們與使用已存儲在企業(yè)中的數(shù)據(jù)構(gòu)建的視圖進(jìn)行關(guān)聯(lián)。此洞察可用于針對客戶提供產(chǎn)品營銷信息。 使用層這一層使用了從分析應(yīng)用程序獲取的業(yè)務(wù)洞察。l 模型管理— 負(fù)責(zé)維護(hù)各種統(tǒng)計模型，驗證和檢驗這些模型，通過持續(xù)培訓(xùn)模型來提高準(zhǔn)確性。l 分析引擎— 使用其他組件（具體來講，包括實體鑒別、模型管理和分析算法）來處理和執(zhí)行分析。數(shù)據(jù)整理組件應(yīng)為這個實體識別組件提供補充，將數(shù)據(jù)修改為需要的格式。 分析層這是從數(shù)據(jù)中提取業(yè)務(wù)洞察的層：l 分析層實體識別— 負(fù)責(zé)識別和填充上下文實體。l 分布式數(shù)據(jù)存儲— 負(fù)責(zé)存儲來自數(shù)據(jù)源的數(shù)據(jù)。分析引擎將會確定所需的特定的數(shù)據(jù)格式。l 數(shù)據(jù)整理— 負(fù)責(zé)將數(shù)據(jù)修改為需要的格式，以實現(xiàn)分析用途。此組件必須足夠智能，能夠選擇是否和在何處存儲傳入的數(shù)據(jù)。每天都會產(chǎn)生海量的數(shù)據(jù)，它們具有不同的格式，以不同的速度生成，而且通過各種數(shù)據(jù)提供程序、傳感器和現(xiàn)有企業(yè)提供。絕大多數(shù)智慧設(shè)備都會執(zhí)行實時分析，但從智慧設(shè)備傳來的信息也可批量分析。這方面的示例包括智能電話、儀表和醫(yī)療設(shè)備。這些數(shù)據(jù)不一定存儲在分布式文件系統(tǒng)中，具體依賴于所處的上下文。l 數(shù)據(jù)存儲— 數(shù)據(jù)存儲包含企業(yè)數(shù)據(jù)倉庫、操作數(shù)據(jù)庫和事務(wù)數(shù)據(jù)庫。 電子表格n Microsoft Word 文檔n 這些文檔可以轉(zhuǎn)換為可用于分析的結(jié)構(gòu)化數(shù)據(jù)。l 數(shù)據(jù)管理系統(tǒng) (DMS)— 數(shù)據(jù)管理系統(tǒng)存儲邏輯數(shù)據(jù)、流程、策略和各種其他類型的文檔：n Microsoft174。3 大數(shù)據(jù)平臺的功能架構(gòu) 組件構(gòu)成 橫向?qū)?大數(shù)據(jù)集成層大數(shù)據(jù)來源：l 企業(yè)遺留系統(tǒng)— 這些系統(tǒng)是企業(yè)應(yīng)用程序，執(zhí)行業(yè)務(wù)需要的分析并獲取需要的洞察：n 氣象網(wǎng)絡(luò)設(shè)備監(jiān)測系統(tǒng)n 氣象信息共享系統(tǒng)n MICAPSn 網(wǎng)絡(luò)通信系統(tǒng)CMACastn 突發(fā)應(yīng)急系統(tǒng)n 氣象預(yù)報系統(tǒng)n 氣象服務(wù)系統(tǒng)n 辦公自動化n ……l Web 應(yīng)用程序開發(fā)Web 應(yīng)用程序和其他數(shù)據(jù)來源擴(kuò)充了企業(yè)擁有的數(shù)據(jù)。使用者可以是可視化應(yīng)用程序、人類、業(yè)務(wù)流程或服務(wù)。必須制定如何管理以下任務(wù)的決策：l 生成想要的分析l 從數(shù)據(jù)中獲取洞察l 找到所需的實體l 定位可提供這些實體的數(shù)據(jù)的數(shù)據(jù)源l 理解執(zhí)行分析需要哪些算法和工具。在某些情況下，分析層直接從數(shù)據(jù)源訪問數(shù)據(jù)。規(guī)范 1和治理策略要求為不同的數(shù)據(jù)類型提供合適的存儲。 大數(shù)據(jù)存儲層此層負(fù)責(zé)從數(shù)據(jù)源獲取數(shù)據(jù)，并在必要時，將它轉(zhuǎn)換為適合符合分析方式的格式。l 數(shù)據(jù)源的位置— 數(shù)據(jù)源可能位于企業(yè)內(nèi)或外部。l 收集點— 收集數(shù)據(jù)的位置，直接或通過數(shù)據(jù)提供程序，實時或以批量模式收集數(shù)據(jù)。這些信息包括：l 格式— 結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化。大數(shù)據(jù)平臺通常由以下邏輯層組成：1. 數(shù)據(jù)集成層2. 數(shù)據(jù)存儲層3. 數(shù)據(jù)分析層4. 數(shù)據(jù)使用層 大數(shù)據(jù)集成層要全面考慮來自所有渠道的，所有可用于分析的數(shù)據(jù)。這些層提供了一種方法來組織執(zhí)行特定功能的組件。理解硬件的限制，有助于指導(dǎo)大數(shù)據(jù)解決方案的選擇。該圖顯示了使用最廣泛的數(shù)據(jù)源。l 數(shù)據(jù)源 — 數(shù)據(jù)的來源（生成數(shù)據(jù)的地方），比如 Web 和社交媒體、機(jī)器生成、人類生成等。l 內(nèi)容格式（傳入數(shù)據(jù)的格式）結(jié)構(gòu)化（例如 RDMBS）、非結(jié)構(gòu)化（例如音頻、視頻和圖像）或半結(jié)構(gòu)化。數(shù)據(jù)頻率和大小依賴于數(shù)據(jù)源：n 按需分析，與社交媒體數(shù)據(jù)一樣n 實時、持續(xù)提供（天氣數(shù)據(jù)、交易數(shù)據(jù)）n 時序（基于時間的數(shù)據(jù)）l 數(shù)據(jù)類型 — 要處理數(shù)據(jù)類型 — 交易、歷史、主數(shù)據(jù)等。l 數(shù)據(jù)頻率和大小 — 預(yù)計有多少數(shù)據(jù)和數(shù)據(jù)到達(dá)的頻率多高。可結(jié)合使用各種技術(shù)。l 處理方法 — 要應(yīng)用來處理數(shù)據(jù)的技術(shù)類型（比如預(yù)測、分析、臨時查詢和報告）。一些用例可能需要混合使用兩種類型：n 臨近分析；分析必須實時或近實時地完成。對數(shù)據(jù)進(jìn)行分類后，就可以將它與合適的大數(shù)據(jù)模式匹配：l 分析類型 — 對數(shù)據(jù)執(zhí)行實時分析還是批量分析。下