【文章內(nèi)容簡介】 信息，以及非注冊客戶的社交概況。? 可視化和發(fā)現(xiàn)— 數(shù)據(jù)可跨企業(yè)內(nèi)外的各種聯(lián)邦的數(shù)據(jù)源進(jìn)行導(dǎo)航。數(shù)據(jù)可能具有不同的內(nèi)容和格式，所有數(shù)據(jù)（結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化）可組合來進(jìn)行可視化并提供給用戶。此能力使得組織能夠?qū)⑵鋫鹘y(tǒng)的企業(yè)內(nèi)容（包含在企業(yè)內(nèi)容管理系統(tǒng)和數(shù)據(jù)倉庫中）與新的社交內(nèi)容（例如 tweet 和博客文章）組合到單個(gè)用戶界面中。 垂直層影響邏輯層（大數(shù)據(jù)來源、數(shù)據(jù)改動(dòng)和存儲(chǔ)、分析和使用層）的所有組件的各方面都包含在垂直層中：? 信息集成? 大數(shù)據(jù)治理? 系統(tǒng)管理? 服務(wù)質(zhì)量 信息集成大數(shù)據(jù)應(yīng)用程序從各種數(shù)據(jù)起源、提供程序和數(shù)據(jù)源獲取數(shù)據(jù)，并存儲(chǔ)在 HDFS、NoSQL 和 MongoDB 等數(shù)據(jù)存儲(chǔ)系統(tǒng)中。這個(gè)垂直層可供各種組件使用（例如數(shù)據(jù)獲取、數(shù)據(jù)整理、模型管理和交易攔截器），負(fù)責(zé)連接到各種數(shù)據(jù)源。集成將具有不同特征（例如協(xié)議和連接性）的數(shù)據(jù)源的信息，需要高質(zhì)量的連接器和適配器。可以使用加速器連接到大多數(shù)已知和廣泛使用的來源。這些加速器包括社交媒體適配器和天氣數(shù)據(jù)適配器。各種組件還可以使用這一層在大數(shù)據(jù)存儲(chǔ)中存儲(chǔ)信息，從大數(shù)據(jù)存儲(chǔ)中檢索信息，以便處理這些信息。大多數(shù)大數(shù)據(jù)存儲(chǔ)都提供了服務(wù)和 API 來存儲(chǔ)和檢索該信息。 大數(shù)據(jù)治理數(shù)據(jù)治理涉及到定義指南來幫助企業(yè)制定有關(guān)數(shù)據(jù)的正確決策。大數(shù)據(jù)治理有助于處理企業(yè)內(nèi)或從外部來源傳入的數(shù)據(jù)的復(fù)雜性、量和種類。在將數(shù)據(jù)傳入企業(yè)進(jìn)行處理、存儲(chǔ)、分析和清除或歸檔時(shí)，需要強(qiáng)有力的指南和流程來監(jiān)視、構(gòu)建、存儲(chǔ)和保護(hù)數(shù)據(jù)。除了正常的數(shù)據(jù)治理考慮因素之外，大數(shù)據(jù)治理還包含其他因素：? 管理各種格式的大量數(shù)據(jù)。? 持續(xù)培訓(xùn)和管理必要的統(tǒng)計(jì)模型，以便對(duì)非結(jié)構(gòu)化數(shù)據(jù)和分析進(jìn)行預(yù)處理。請記住，設(shè)置處理非結(jié)構(gòu)化數(shù)據(jù)時(shí)的重要一步。? 為外部數(shù)據(jù)設(shè)置有關(guān)其保留和使用的策略和合規(guī)性制度。? 定義數(shù)據(jù)歸檔和清除策略。? 創(chuàng)建如何跨各種系統(tǒng)復(fù)制數(shù)據(jù)的策略。? 設(shè)置數(shù)據(jù)加密策略。 服務(wù)質(zhì)量層此層復(fù)雜定義數(shù)據(jù)質(zhì)量、圍繞隱私和安全性的策略、數(shù)據(jù)頻率、每次抓取的數(shù)據(jù)大小和數(shù)據(jù)過濾器：? 數(shù)據(jù)質(zhì)量? 完整地識(shí)別所有必要的數(shù)據(jù)元素? 以可接受的新鮮度提供數(shù)據(jù)的時(shí)間軸? 依照數(shù)據(jù)準(zhǔn)確性規(guī)則來驗(yàn)證數(shù)據(jù)的準(zhǔn)確性? 采用一種通用語言（數(shù)據(jù)元組滿足使用簡單業(yè)務(wù)語言所表達(dá)的需求） ? 依據(jù)數(shù)據(jù)一致性規(guī)則驗(yàn)證來自多個(gè)系統(tǒng)的數(shù)據(jù)一致性? 在滿足數(shù)據(jù)規(guī)范和信息架構(gòu)指南基礎(chǔ)上的技術(shù)符合性? 圍繞隱私和安全的策略需要策略來保護(hù)敏感數(shù)據(jù)。從外部機(jī)構(gòu)和提供程序獲取的數(shù)據(jù)可能包含敏感數(shù)據(jù)（比如 Facebook 用戶的聯(lián)系信息或產(chǎn)品定價(jià)信息）。數(shù)據(jù)可以來源于不同的地區(qū)和國家，但必須進(jìn)行相應(yīng)的處理。必須制定有關(guān)數(shù)據(jù)屏蔽和這類數(shù)據(jù)的存儲(chǔ)的決策?？紤]以下數(shù)據(jù)訪問策略：? 數(shù)據(jù)可用性? 數(shù)據(jù)關(guān)鍵性? 數(shù)據(jù)真實(shí)性? 數(shù)據(jù)共享和發(fā)布? 數(shù)據(jù)存儲(chǔ)和保留，包括能否存儲(chǔ)外部數(shù)據(jù)等問題。如果能夠存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)可存儲(chǔ)多長時(shí)間？可存儲(chǔ)何種類型的數(shù)據(jù)？? 數(shù)據(jù)提供程序約束（政策、技術(shù)和地區(qū)）? 社交媒體使用條款（參見 參考資料）? 數(shù)據(jù)頻率提供新鮮數(shù)據(jù)的頻率是多少？它是按需、連續(xù)還是離線的？? 抓取的數(shù)據(jù)大小此屬性有助于定義可抓取的數(shù)據(jù)以及每次抓取后可使用的數(shù)據(jù)大小。? 過濾器標(biāo)準(zhǔn)過濾器會(huì)刪除不想要的數(shù)據(jù)和數(shù)據(jù)中的干擾數(shù)據(jù)，僅留下分析所需的數(shù)據(jù)。 系統(tǒng)管理系統(tǒng)管理對(duì)大數(shù)據(jù)至關(guān)重要，因?yàn)樗婕暗娇缙髽I(yè)集群和邊界的許多系統(tǒng)。對(duì)整個(gè)大數(shù)據(jù)生態(tài)系統(tǒng)的健康的監(jiān)視包括：? 管理系統(tǒng)日志、虛擬機(jī)、應(yīng)用程序和其他設(shè)備? 關(guān)聯(lián)各種日志，幫助調(diào)查和監(jiān)視具體情形? 監(jiān)視實(shí)時(shí)警告和通知? 使用顯示各種參數(shù)的實(shí)時(shí)儀表板? 引用有關(guān)系統(tǒng)的報(bào)告和詳細(xì)分析? 設(shè)定和遵守服務(wù)水平協(xié)議? 管理存儲(chǔ)和容量? 歸檔和管理歸檔檢索? 執(zhí)行系統(tǒng)恢復(fù)、集群管理和網(wǎng)絡(luò)管理? 策略管理 功能應(yīng)用前面提到的技術(shù)架構(gòu)的這些層定義了各種組件，并對(duì)它們進(jìn)行分類，這些組件必須處理某個(gè)給定業(yè)務(wù)用例的功能性和非功能性需求。本文基于層和組件的概念，介紹了解決方案中所用的典型原子模式和復(fù)合模式。通過將所提出的解決方案映射到此處提供的模式，讓用戶了解需要如何設(shè)計(jì)組件，以及從功能角度考慮，應(yīng)該將它們放置在何處。模式有助于定義大數(shù)據(jù)解決方案的架構(gòu)。利用原子模式和復(fù)合模式可以幫助進(jìn)一步完善大數(shù)據(jù)解決方案的每個(gè)組件的角色和責(zé)任。 原子模式對(duì)于大數(shù)據(jù)上下文中經(jīng)常出現(xiàn)的問題，原子模式 有助于識(shí)別數(shù)據(jù)如何是被使用、處理、存儲(chǔ)和訪問的。它們還有助于識(shí)別所需的組件。訪問、存儲(chǔ)和處理來自不同數(shù)據(jù)源的多種數(shù)據(jù)需要不同的方法。每種模式都用于滿足特定的需求：例如，可視化、歷史數(shù)據(jù)分析、社交媒體數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)?？梢詫⒍喾N原子模式結(jié)合使用，組成一個(gè)復(fù)合模式。這些原子模式?jīng)]有進(jìn)行分層或排序。例如，可視化模式可以與社交媒體的數(shù)據(jù)訪問模式直接交互，可視化模式還可以與高級(jí)分析處理模式進(jìn)行交互。 數(shù)據(jù)使用組件這種類型的模式處理使用數(shù)據(jù)分析結(jié)果的各種方式。數(shù)據(jù)使用模式可以滿足幾個(gè)需求。 可視化組件可視化數(shù)據(jù)的傳統(tǒng)方式以圖表、儀表板和摘要報(bào)告為基礎(chǔ)。這些傳統(tǒng)的方法并不總是用來可視化數(shù)據(jù)的最佳方式。大數(shù)據(jù)可視化的典型需求（包括新出現(xiàn)的需求）如下所示：? 執(zhí)行流數(shù)據(jù)的實(shí)時(shí)分析和顯示? 基于上下文，以交互方式挖掘數(shù)據(jù)? 執(zhí)行高級(jí)搜索，并獲得建議? 并行可視化信息? 獲得先進(jìn)的硬件，支持未來的可視化需求? 正在進(jìn)行研究，以確定人類和機(jī)器如何使用大數(shù)據(jù)洞察。這些挑戰(zhàn)包括所涉及的數(shù)據(jù)量，并且需要將數(shù)據(jù)與上下文相關(guān)聯(lián)。必須在適當(dāng)?shù)纳舷挛闹酗@示洞察。? 可視化數(shù)據(jù)的目的是為了更容易、更直觀地使用數(shù)據(jù)，因此報(bào)告和儀表板可能提供全高清的觀看效果和 3D 互動(dòng)視頻，并且可以為用戶提供使用應(yīng)用程序控制業(yè)務(wù)活動(dòng)和結(jié)果的能力。 即席發(fā)現(xiàn)組件創(chuàng)建滿足所有業(yè)務(wù)需求的標(biāo)準(zhǔn)報(bào)告往往是不可行的，因?yàn)槠髽I(yè)的業(yè)務(wù)數(shù)據(jù)查詢會(huì)有不同的需求。用戶在查找特定信息時(shí)，可能需要獲得根據(jù)問題的上下文執(zhí)行即席查詢的能力。即席分析可以幫助數(shù)據(jù)專家和關(guān)鍵業(yè)務(wù)用戶了解業(yè)務(wù)數(shù)據(jù)的行為。即席處理中涉及的復(fù)雜性來自多種因素：多個(gè)數(shù)據(jù)源可用于相同的域。? 單一的查詢可以有多個(gè)結(jié)果。? 輸出可以是靜態(tài)的，并具有多種格式（視頻、音頻、圖形和文本）。 ? 輸出可以是動(dòng)態(tài)和交互式的。 數(shù)據(jù)轉(zhuǎn)儲(chǔ)組件在大數(shù)據(jù)的初步探索中，許多企業(yè)選擇使用現(xiàn)有的分析平臺(tái)來降低成本，并依賴于現(xiàn)有的技能。加強(qiáng)現(xiàn)有的數(shù)據(jù)存儲(chǔ)有助于拓寬可用于現(xiàn)有分析的數(shù)據(jù)的范圍，包括駐留在組織邊界內(nèi)外的數(shù)據(jù)，比如社交媒體數(shù)據(jù)，它可以豐富主數(shù)據(jù)。通過拓寬數(shù)據(jù)范圍，使之包含現(xiàn)有存儲(chǔ)中的新事實(shí)表、維度和主數(shù)據(jù)，并從社交媒體獲取客戶數(shù)據(jù)，組織可以獲得更深入的客戶洞察。但要牢記的是，新的數(shù)據(jù)集通常比較大，而現(xiàn)有的提取、轉(zhuǎn)換和加載工具可能不足以處理它。您可能需要使用具有大規(guī)模并行處理能力的高級(jí)工具來解決數(shù)據(jù)的數(shù)量、多樣性、真實(shí)性和速度特征。 信息推送/通知組件大數(shù)據(jù)洞察使人類、企業(yè)和機(jī)器可以通過使用事件通知而立即采取行動(dòng)。通知平臺(tái)必須能夠處理及時(shí)發(fā)送出去的預(yù)計(jì)數(shù)量的通知。這些通知與大量郵件或群發(fā)短信不同，因?yàn)閮?nèi)容一般是特定于使用者的。例如，推薦引擎可以提供有關(guān)世界各地的龐大客戶群的洞察，而且可以將通知發(fā)送給這樣的客戶。 自動(dòng)響應(yīng)組件從大數(shù)據(jù)獲得的業(yè)務(wù)洞察，可用于觸發(fā)或啟