【正文】 上下文執(zhí)行即席查詢(xún)的能力。l 可視化數(shù)據(jù)的目的是為了更容易、更直觀地使用數(shù)據(jù)，因此報(bào)告和儀表板可能提供全高清的觀看效果和 3D 互動(dòng)視頻，并且可以為用戶(hù)提供使用應(yīng)用程序控制業(yè)務(wù)活動(dòng)和結(jié)果的能力。這些挑戰(zhàn)包括所涉及的數(shù)據(jù)量，并且需要將數(shù)據(jù)與上下文相關(guān)聯(lián)。這些傳統(tǒng)的方法并不總是用來(lái)可視化數(shù)據(jù)的最佳方式。數(shù)據(jù)使用模式可以滿(mǎn)足幾個(gè)需求。例如，可視化模式可以與社交媒體的數(shù)據(jù)訪(fǎng)問(wèn)模式直接交互，可視化模式還可以與高級(jí)分析處理模式進(jìn)行交互。可以將多種原子模式結(jié)合使用，組成一個(gè)復(fù)合模式。訪(fǎng)問(wèn)、存儲(chǔ)和處理來(lái)自不同數(shù)據(jù)源的多種數(shù)據(jù)需要不同的方法。有助于識(shí)別數(shù)據(jù)如何是被使用、處理、存儲(chǔ)和訪(fǎng)問(wèn)的。利用原子模式和復(fù)合模式可以幫助進(jìn)一步完善大數(shù)據(jù)解決方案的每個(gè)組件的角色和責(zé)任。通過(guò)將所提出的解決方案映射到此處提供的模式，讓用戶(hù)了解需要如何設(shè)計(jì)組件，以及從功能角度考慮，應(yīng)該將它們放置在何處。對(duì)整個(gè)大數(shù)據(jù)生態(tài)系統(tǒng)的健康的監(jiān)視包括：l 管理系統(tǒng)日志、虛擬機(jī)、應(yīng)用程序和其他設(shè)備l 關(guān)聯(lián)各種日志，幫助調(diào)查和監(jiān)視具體情形l 監(jiān)視實(shí)時(shí)警告和通知l 使用顯示各種參數(shù)的實(shí)時(shí)儀表板l 引用有關(guān)系統(tǒng)的報(bào)告和詳細(xì)分析l 設(shè)定和遵守服務(wù)水平協(xié)議l 管理存儲(chǔ)和容量l 歸檔和管理歸檔檢索l 執(zhí)行系統(tǒng)恢復(fù)、集群管理和網(wǎng)絡(luò)管理l 策略管理 功能應(yīng)用前面提到的技術(shù)架構(gòu)的這些層定義了各種組件，并對(duì)它們進(jìn)行分類(lèi)，這些組件必須處理某個(gè)給定業(yè)務(wù)用例的功能性和非功能性需求。l 過(guò)濾器標(biāo)準(zhǔn)過(guò)濾器會(huì)刪除不想要的數(shù)據(jù)和數(shù)據(jù)中的干擾數(shù)據(jù)，僅留下分析所需的數(shù)據(jù)。如果能夠存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)可存儲(chǔ)多長(zhǎng)時(shí)間？可存儲(chǔ)何種類(lèi)型的數(shù)據(jù)？n 數(shù)據(jù)提供程序約束（政策、技術(shù)和地區(qū)）n 社交媒體使用條款（參見(jiàn)必須制定有關(guān)數(shù)據(jù)屏蔽和這類(lèi)數(shù)據(jù)的存儲(chǔ)的決策。從外部機(jī)構(gòu)和提供程序獲取的數(shù)據(jù)可能包含敏感數(shù)據(jù)（比如 Facebook 用戶(hù)的聯(lián)系信息或產(chǎn)品定價(jià)信息）。l 設(shè)置數(shù)據(jù)加密策略。l 定義數(shù)據(jù)歸檔和清除策略。請(qǐng)記住，設(shè)置處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)的重要一步。除了正常的數(shù)據(jù)治理考慮因素之外，大數(shù)據(jù)治理還包含其他因素：l 管理各種格式的大量數(shù)據(jù)。大數(shù)據(jù)治理有助于處理企業(yè)內(nèi)或從外部來(lái)源傳入的數(shù)據(jù)的復(fù)雜性、量和種類(lèi)。大多數(shù)大數(shù)據(jù)存儲(chǔ)都提供了服務(wù)和 API 來(lái)存儲(chǔ)和檢索該信息。這些加速器包括社交媒體適配器和天氣數(shù)據(jù)適配器。集成將具有不同特征（例如協(xié)議和連接性）的數(shù)據(jù)源的信息，需要高質(zhì)量的連接器和適配器。 垂直層影響邏輯層（大數(shù)據(jù)來(lái)源、數(shù)據(jù)改動(dòng)和存儲(chǔ)、分析和使用層）的所有組件的各方面都包含在垂直層中：l 信息集成l 大數(shù)據(jù)治理l 系統(tǒng)管理l 服務(wù)質(zhì)量 信息集成大數(shù)據(jù)應(yīng)用程序從各種數(shù)據(jù)起源、提供程序和數(shù)據(jù)源獲取數(shù)據(jù)，并存儲(chǔ)在 HDFS、NoSQL 和 MongoDB 等數(shù)據(jù)存儲(chǔ)系統(tǒng)中。數(shù)據(jù)可能具有不同的內(nèi)容和格式，所有數(shù)據(jù)（結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化）可組合來(lái)進(jìn)行可視化并提供給用戶(hù)。該引擎實(shí)時(shí)處理可用信息并動(dòng)態(tài)地響應(yīng)每個(gè)用戶(hù)，響應(yīng)基于用戶(hù)的實(shí)時(shí)活動(dòng)、存儲(chǔ)在 CRM 系統(tǒng)中的注冊(cè)客戶(hù)信息，以及非注冊(cè)客戶(hù)的社交概況。用戶(hù)可基于從分析層中得到的洞察，創(chuàng)建臨時(shí)報(bào)告、計(jì)劃的報(bào)告或自助查詢(xún)和分析。實(shí)時(shí)數(shù)據(jù)可從各種來(lái)源以?xún)x表板的形式向業(yè)務(wù)用戶(hù)公開(kāi)，以便監(jiān)視系統(tǒng)的健康或度量營(yíng)銷(xiāo)活動(dòng)的有效性?？梢詫⒕姘l(fā)送給感興趣的使用者和設(shè)備，比如智能電話(huà)和平板電腦。l 業(yè)務(wù)流程管理流程— 來(lái)自分析層的洞察可供業(yè)務(wù)流程執(zhí)行語(yǔ)言 (BPEL) 流程、API 或其他業(yè)務(wù)流程使用，通過(guò)自動(dòng)化上游和下游 IT 應(yīng)用程序、人員和流程的功能，進(jìn)一步獲取業(yè)務(wù)價(jià)值?？梢允褂酶鞣N類(lèi)型的適配器和 API 來(lái)連接到數(shù)據(jù)源。為了提高操作有效性，可以從數(shù)據(jù)中生成實(shí)時(shí)業(yè)務(wù)警告，而且可以監(jiān)視操作性的關(guān)鍵績(jī)效指標(biāo)：l 交易攔截器— 此組件可實(shí)時(shí)攔截高容量交易，將它們轉(zhuǎn)換為一種容易被分析層理解的實(shí)時(shí)格式，以便在傳入數(shù)據(jù)上執(zhí)行實(shí)時(shí)分析。使用層還為內(nèi)部用戶(hù)提供了理解、找到和導(dǎo)航企業(yè)內(nèi)外的鏈鎖信息的能力。分析的輸出也可由推薦引擎使用，該引擎可將客戶(hù)與他們喜歡的產(chǎn)品相匹配。此外，可以根據(jù)在數(shù)據(jù)改動(dòng)層完成的分析來(lái)觸發(fā)業(yè)務(wù)流程。該洞察可用于檢測(cè)欺詐，實(shí)時(shí)攔截交易，并將它們與使用已存儲(chǔ)在企業(yè)中的數(shù)據(jù)構(gòu)建的視圖進(jìn)行關(guān)聯(lián)。此洞察可用于針對(duì)客戶(hù)提供產(chǎn)品營(yíng)銷(xiāo)信息。 使用層這一層使用了從分析應(yīng)用程序獲取的業(yè)務(wù)洞察。l 模型管理— 負(fù)責(zé)維護(hù)各種統(tǒng)計(jì)模型，驗(yàn)證和檢驗(yàn)這些模型，通過(guò)持續(xù)培訓(xùn)模型來(lái)提高準(zhǔn)確性。l 分析引擎— 使用其他組件（具體來(lái)講，包括實(shí)體鑒別、模型管理和分析算法）來(lái)處理和執(zhí)行分析。數(shù)據(jù)整理組件應(yīng)為這個(gè)實(shí)體識(shí)別組件提供補(bǔ)充，將數(shù)據(jù)修改為需要的格式。 分析層這是從數(shù)據(jù)中提取業(yè)務(wù)洞察的層：l 分析層實(shí)體識(shí)別— 負(fù)責(zé)識(shí)別和填充上下文實(shí)體。l 分布式數(shù)據(jù)存儲(chǔ)— 負(fù)責(zé)存儲(chǔ)來(lái)自數(shù)據(jù)源的數(shù)據(jù)。分析引擎將會(huì)確定所需的特定的數(shù)據(jù)格式。l 數(shù)據(jù)整理— 負(fù)責(zé)將數(shù)據(jù)修改為需要的格式，以實(shí)現(xiàn)分析用途。此組件必須足夠智能，能夠選擇是否和在何處存儲(chǔ)傳入的數(shù)據(jù)。每天都會(huì)產(chǎn)生海量的數(shù)據(jù)，它們具有不同的格式，以不同的速度生成，而且通過(guò)各種數(shù)據(jù)提供程序、傳感器和現(xiàn)有企業(yè)提供。絕大多數(shù)智慧設(shè)備都會(huì)執(zhí)行實(shí)時(shí)分析，但從智慧設(shè)備傳來(lái)的信息也可批量分析。這方面的示例包括智能電話(huà)、儀表和醫(yī)療設(shè)備。這些數(shù)據(jù)不一定存儲(chǔ)在分布式文件系統(tǒng)中，具體依賴(lài)于所處的上下文。l 數(shù)據(jù)存儲(chǔ)— 數(shù)據(jù)存儲(chǔ)包含企業(yè)數(shù)據(jù)倉(cāng)庫(kù)、操作數(shù)據(jù)庫(kù)和事務(wù)數(shù)據(jù)庫(kù)。 電子表格n Microsoft Word 文檔n 這些文檔可以轉(zhuǎn)換為可用于分析的結(jié)構(gòu)化數(shù)據(jù)。l 數(shù)據(jù)管理系統(tǒng) (DMS)— 數(shù)據(jù)管理系統(tǒng)存儲(chǔ)邏輯數(shù)據(jù)、流程、策略和各種其他類(lèi)型的文檔：n Microsoft174。3 大數(shù)據(jù)平臺(tái)的功能架構(gòu) 組件構(gòu)成 橫向?qū)?大數(shù)據(jù)集成層大數(shù)據(jù)來(lái)源：l 企業(yè)遺留系統(tǒng)— 這些系統(tǒng)是企業(yè)應(yīng)用程序，執(zhí)行業(yè)務(wù)需要的分析并獲取需要的洞察：n 氣象網(wǎng)絡(luò)設(shè)備監(jiān)測(cè)系統(tǒng)n 氣象信息共享系統(tǒng)n MICAPSn 網(wǎng)絡(luò)通信系統(tǒng)CMACastn 突發(fā)應(yīng)急系統(tǒng)n 氣象預(yù)報(bào)系統(tǒng)n 氣象服務(wù)系統(tǒng)n 辦公自動(dòng)化n ……l Web 應(yīng)用程序開(kāi)發(fā)Web 應(yīng)用程序和其他數(shù)據(jù)來(lái)源擴(kuò)充了企業(yè)擁有的數(shù)據(jù)。使用者可以是可視化應(yīng)用程序、人類(lèi)、業(yè)務(wù)流程或服務(wù)。必須制定如何管理以下任務(wù)的決策：l 生成想要的分析l 從數(shù)據(jù)中獲取洞察l 找到所需的實(shí)體l 定位可提供這些實(shí)體的數(shù)據(jù)的數(shù)據(jù)源l 理解執(zhí)行分析需要哪些算法和工具。在某些情況下，分析層直接從數(shù)據(jù)源訪(fǎng)問(wèn)數(shù)據(jù)。規(guī)范 1和治理策略要求為不同的數(shù)據(jù)類(lèi)型提供合適的存儲(chǔ)。 大數(shù)據(jù)存儲(chǔ)層此層負(fù)責(zé)從數(shù)據(jù)源獲取數(shù)據(jù)，并在必要時(shí)，將它轉(zhuǎn)換為適合符合分析方式的格式。l 數(shù)據(jù)源的位置— 數(shù)據(jù)源可能位于企業(yè)內(nèi)或外部。l 收集點(diǎn)— 收集數(shù)據(jù)的位置，直接或通過(guò)數(shù)據(jù)提供程序，實(shí)時(shí)或以批量模式收集數(shù)據(jù)。這些信息包括：l 格式— 結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化。大數(shù)據(jù)平臺(tái)通常由以下邏輯層組成：1. 數(shù)據(jù)集成層2. 數(shù)據(jù)存儲(chǔ)層3. 數(shù)據(jù)分析層4. 數(shù)據(jù)使用層 大數(shù)據(jù)集成層要全面考慮來(lái)自所有渠道的，所有可用于分析的數(shù)據(jù)。這些層提供了一種方法來(lái)組織執(zhí)行特定功能的組件。理解硬件的限制，有助于指導(dǎo)大數(shù)據(jù)解決方案的選擇。該圖顯示了使用最廣泛的數(shù)據(jù)源。l 數(shù)據(jù)源 — 數(shù)據(jù)的來(lái)源（生成數(shù)據(jù)的地方），比如 Web 和社交媒體、機(jī)器生成、人類(lèi)生成等。l 內(nèi)容格式（傳入數(shù)據(jù)的格式）結(jié)構(gòu)化（例如 RDMBS）、非結(jié)構(gòu)化（例如音頻、視頻和圖像）或半結(jié)構(gòu)化。數(shù)據(jù)頻率和大小依賴(lài)于數(shù)據(jù)源：n 按需分析，與社交媒體數(shù)據(jù)一樣n 實(shí)時(shí)、持續(xù)提供（天氣數(shù)據(jù)、交易數(shù)據(jù)）n 時(shí)序（基于時(shí)間的數(shù)據(jù)）l 數(shù)據(jù)類(lèi)型 — 要處理數(shù)據(jù)類(lèi)型 — 交易、歷史、主數(shù)據(jù)等。l 數(shù)據(jù)頻率和大小 — 預(yù)計(jì)有多少數(shù)據(jù)和數(shù)據(jù)到達(dá)的頻率多高?？山Y(jié)合使用各種技術(shù)。l 處理方法 — 要應(yīng)用來(lái)處理數(shù)據(jù)的技術(shù)類(lèi)型（比如預(yù)測(cè)、分析、臨時(shí)查詢(xún)和報(bào)告）。一些用例可能需要混合使用兩種類(lèi)型：n 臨近分析；分析必須實(shí)時(shí)或近實(shí)時(shí)地完成。對(duì)數(shù)據(jù)進(jìn)行分類(lèi)后，就可以將它與合適的大數(shù)據(jù)模式匹配：l 分析類(lèi)型 — 對(duì)數(shù)據(jù)執(zhí)行實(shí)時(shí)分析還是批量分析。下表列出了常見(jiàn)的業(yè)務(wù)問(wèn)題并為每個(gè)問(wèn)題分配了一種大數(shù)據(jù)類(lèi)型。以后，我們將使用此類(lèi)型確定合適的分類(lèi)模式（原