【正文】 例如以下特征：數(shù)據(jù)如何收集、分析和處理。請仔細(xì)考慮分析類型的選擇，因為這會影響一些有關(guān)產(chǎn)品、工具、硬件、數(shù)據(jù)源和預(yù)期的數(shù)據(jù)頻率的其他決策。n 歷史分析針對戰(zhàn)略性業(yè)務(wù)決策的趨勢分析；分析可采用批量模式。業(yè)務(wù)需求確定了合適的處理方法。處理方法的選擇，有助于識別要在您的大數(shù)據(jù)解決方案中使用的合適的工具和技術(shù)。知道頻率和大小，有助于確定存儲機制、存儲格式和所需的預(yù)處理工具。知道數(shù)據(jù)類型，有助于將數(shù)據(jù)隔離在存儲中。格式確定了需要如何處理傳入的數(shù)據(jù)，這是選擇工具、技術(shù)以及從業(yè)務(wù)角度定義解決方案的關(guān)鍵。識別所有數(shù)據(jù)源有助于從業(yè)務(wù)角度識別數(shù)據(jù)范圍。l 數(shù)據(jù)使用者 — 處理的數(shù)據(jù)的所有可能使用者的列表：n 業(yè)務(wù)流程n 業(yè)務(wù)用戶n 企業(yè)應(yīng)用程序n 各種業(yè)務(wù)角色中的各個人員n 部分處理流程n 其他數(shù)據(jù)存儲庫或企業(yè)應(yīng)用程序l 硬件 — 將在其上實現(xiàn)大數(shù)據(jù)解決方案的硬件類型，包括商用硬件或最先進(jìn)的硬件。 數(shù)據(jù)分類決定應(yīng)用方案將不同的數(shù)據(jù)類型集成后，統(tǒng)一按照大數(shù)據(jù)進(jìn)行處理，如下圖： 大數(shù)據(jù)平臺的邏輯層次邏輯構(gòu)成從框架上展示了各個組件的組織方式。這些層只是邏輯結(jié)構(gòu)；這并不意味著支持每層的功能在獨立的機器或獨立的進(jìn)程上運行。要求團(tuán)隊中的數(shù)據(jù)專家闡明執(zhí)行需求所需的數(shù)據(jù)。l 速度和數(shù)據(jù)量— 數(shù)據(jù)到達(dá)的速度和傳送它的速率因數(shù)據(jù)源不同而不同。數(shù)據(jù)可能來自某個主要來源，比如天氣條件，也有可能來自一個輔助來源，比如媒體贊助的天氣頻道。識別您具有有限訪問權(quán)的數(shù)據(jù)，因為對數(shù)據(jù)的訪問會影響可用于分析的數(shù)據(jù)范圍。例如，可能需要轉(zhuǎn)換一幅圖，才能將它存儲在 Hadoop Distributed File System (HDFS) 存儲或關(guān)系數(shù)據(jù)庫管理系統(tǒng) (RDBMS) 倉庫中，以供進(jìn)一步處理。 大數(shù)據(jù)分析層分析層讀取數(shù)據(jù)改動和存儲層整理 (digest) 的數(shù)據(jù)。設(shè)計分析層需要認(rèn)真地進(jìn)行事先籌劃和規(guī)劃。 大數(shù)據(jù)應(yīng)用層此層使用了分析層所提供的輸出?？梢暬治鰧拥慕Y(jié)果可能具有挑戰(zhàn)。這些應(yīng)用程序可使用自定義的協(xié)議和機制來公開數(shù)據(jù)。 Excel174。文檔數(shù)據(jù)可公開為領(lǐng)域?qū)嶓w，或者數(shù)據(jù)改動和存儲層可將它轉(zhuǎn)換為領(lǐng)域?qū)嶓w。此數(shù)據(jù)通常是結(jié)構(gòu)化數(shù)據(jù)，可直接使用或輕松地轉(zhuǎn)換來滿足需求。l 智慧設(shè)備— 智慧設(shè)備能夠捕獲、處理和傳輸使用最廣泛的協(xié)議和格式的信息。這些設(shè)備可用于執(zhí)行各種類型的分析。l 聚合的數(shù)據(jù)提供程序— 這些提供程序擁有或獲取數(shù)據(jù)，并以復(fù)雜的格式和所需的頻率通過特定的過濾器公開它。l 其他數(shù)據(jù)源— 有許多數(shù)據(jù)來自自動化的來源：n 地理信息：n 地圖n 地區(qū)詳細(xì)信息n 位置詳細(xì)信息n 經(jīng)濟(jì)熱點詳細(xì)信息（工農(nóng)業(yè)旅游交通教育醫(yī)療金融等等）n 人類生成的內(nèi)容：n 社交媒體n 電子郵件n 博客n 在線信息n 傳感器數(shù)據(jù)：n 環(huán)境：天氣、降雨量、濕度、光線n 電氣：電流、能源潛力等n 導(dǎo)航裝置n 電離輻射、亞原子粒子等n 靠近、存在等n 位置、角度、位移、距離、速度、加速度n 聲音、聲震動等n 汽車、運輸?shù)萵 熱量、熱度、溫度n 光學(xué)、光、成像、見光度n 化學(xué)n 壓力n 流動、流體、速度n 力、密度級別等n 來自傳感器供應(yīng)商的其他數(shù)據(jù) 大數(shù)據(jù)存儲層因為傳入的數(shù)據(jù)可能具有不同的特征，所以數(shù)據(jù)改動和存儲層中的組件必須能夠以各種頻率、格式、大小和在各種通信渠道上讀取數(shù)據(jù)：l 數(shù)據(jù)獲取— 從各種數(shù)據(jù)源獲取數(shù)據(jù)，并將其發(fā)送到數(shù)據(jù)整理組件或存儲在指定的位置中。它必須能夠確定數(shù)據(jù)在存儲前是否應(yīng)改動，或者數(shù)據(jù)是否可直接發(fā)送到業(yè)務(wù)分析層。此組件可擁有簡單的轉(zhuǎn)換邏輯或復(fù)雜的統(tǒng)計算法來轉(zhuǎn)換源數(shù)據(jù)。主要的挑戰(zhàn)是容納非結(jié)構(gòu)化數(shù)據(jù)格式，比如圖像、音頻、視頻和其他二進(jìn)制格式。通常，這一層中提供了多個數(shù)據(jù)存儲選項，比如分布式文件存儲 (DFS)、云、結(jié)構(gòu)化數(shù)據(jù)源、NoSQL 等。這是一個復(fù)雜的任務(wù)，需要高效的高性能流程。分析引擎將需要上下文實體來執(zhí)行分析。分析引擎可具有支持并行處理的各種不同的工作流、算法和工具。然后，模型管理組件會推廣這些模型，它們可供實體識別或分析引擎組件使用。分析的結(jié)果由組織內(nèi)的各個用戶和組織外部的實體（比如客戶、供應(yīng)商、合作伙伴和提供商）使用。例如，借助從分析中獲取的洞察，公司可以使用客戶偏好數(shù)據(jù)和位置感知，在客戶經(jīng)過通道或店鋪時向他們提供個性化的營銷信息。在欺詐性交易發(fā)生時，可以告知客戶可能存在欺詐，以便及時采取更正操作?？梢詥幼詣踊牟襟E — 例如，如果客戶接受了一條可自動觸發(fā)的營銷信息，則需要創(chuàng)建一個新訂單，如果客戶報告了欺詐，那么可以觸發(fā)對信用卡使用的阻止。推薦引擎分析可用的信息，并提供個性化且實時的推薦。對于內(nèi)部使用者，為業(yè)務(wù)用戶構(gòu)建報告和儀表板的能力使得利益相關(guān)者能夠制定精明的決策并設(shè)計恰當(dāng)?shù)膽?zhàn)略。事務(wù)攔截器應(yīng)能夠集成并處理來自各種來源的數(shù)據(jù)，比如傳感器、智能儀表、麥克風(fēng)、攝像頭、GPS 設(shè)備、ATM 和圖像掃描儀。也可以使用各種加速器來簡化開發(fā)，比如實時優(yōu)化和流分析，視頻分析，銀行、保險、零售、電信和公共運輸領(lǐng)域的加速器，社交媒體分析，以及情緒分析。l 實時監(jiān)視— 可以使用從分析中得出的數(shù)據(jù)來生成實時警告?？梢允褂脧姆治鼋M件生成的數(shù)據(jù)洞察，定義并監(jiān)視關(guān)鍵績效指標(biāo)，以便確定操作有效性。l 報告引擎— 生成與傳統(tǒng)商業(yè)智能報告類似的報告的能力至關(guān)重要。l 推薦引擎— 基于來自分析層的分析結(jié)果，推薦引擎可向購物者提供實時的、相關(guān)的和個性化的推薦，提高電子商務(wù)交易中的轉(zhuǎn)換率和每個訂單的平均價值。l 可視化和發(fā)現(xiàn)— 數(shù)據(jù)可跨企業(yè)內(nèi)外的各種聯(lián)邦的數(shù)據(jù)源進(jìn)行導(dǎo)航。此能力使得組織能夠?qū)⑵鋫鹘y(tǒng)的企業(yè)內(nèi)容（包含在企業(yè)內(nèi)容管理系統(tǒng)和數(shù)據(jù)倉庫中）與新的社交內(nèi)容（例如 tweet 和博客文章）組合到單個用戶界面中。這個垂直層可供各種組件使用（例如數(shù)據(jù)獲取、數(shù)據(jù)整理、模型管理和交易攔截器），負(fù)責(zé)連接到各種數(shù)據(jù)源?？梢允褂眉铀倨鬟B接到大多數(shù)已知和廣泛使用的來源。各種組件還可以使用這一層在大數(shù)據(jù)存儲中存儲信息，從大數(shù)據(jù)存儲中檢索信息，以便處理這些信息。 大數(shù)據(jù)治理數(shù)據(jù)治理涉及到定義指南來幫助企業(yè)制定有關(guān)數(shù)據(jù)的正確決策。在將數(shù)據(jù)傳入企業(yè)進(jìn)行處理、存儲、分析和清除或歸檔時，需要強有力的指南和流程來監(jiān)視、構(gòu)建、存儲和保護(hù)數(shù)據(jù)。l 持續(xù)培訓(xùn)和管理必要的統(tǒng)計模型，以便對非結(jié)構(gòu)化數(shù)據(jù)和分析進(jìn)行預(yù)處理。l 為外部數(shù)據(jù)設(shè)置有關(guān)其保留和使用的策略和合規(guī)性制度。l 創(chuàng)建如何跨各種系統(tǒng)復(fù)制數(shù)據(jù)的策略。 服務(wù)質(zhì)量層此層復(fù)雜定義數(shù)據(jù)質(zhì)量、圍繞隱私和安全性的策略、數(shù)據(jù)頻率、每次抓取的數(shù)據(jù)大小和數(shù)據(jù)過濾器：l 數(shù)據(jù)質(zhì)量n 完整地識別所有必要的數(shù)據(jù)元素n 以可接受的新鮮度提供數(shù)據(jù)的時間軸n 依照數(shù)據(jù)準(zhǔn)確性規(guī)則來驗證數(shù)據(jù)的準(zhǔn)確性n 采用一種通用語言（數(shù)據(jù)元組滿足使用簡單業(yè)務(wù)語言所表達(dá)的需求）n 依據(jù)數(shù)據(jù)一致性規(guī)則驗證來自多個系統(tǒng)的數(shù)據(jù)一致性n 在滿足數(shù)據(jù)規(guī)范和信息架構(gòu)指南基礎(chǔ)上的技術(shù)符合性l 圍繞隱私和安全的策略 需要策略來保護(hù)敏感數(shù)據(jù)。數(shù)據(jù)可以來源于不同的地區(qū)和國家，但必須進(jìn)行相應(yīng)的處理?？紤]以下數(shù)據(jù)訪問策略：n 數(shù)據(jù)可用性n 數(shù)據(jù)關(guān)鍵性n 數(shù)據(jù)真實性n 數(shù)據(jù)共享和發(fā)布n 數(shù)據(jù)存儲和保留，包括能否存儲外部數(shù)據(jù)等問題。參考資料）l 數(shù)據(jù)頻率提供新鮮數(shù)據(jù)的頻率是多少？它是按需、連續(xù)還是離線的？l 抓取的數(shù)據(jù)大小此屬性有助于定義可抓取的數(shù)據(jù)以及每次抓取后可使用的數(shù)據(jù)大小。 系統(tǒng)管理系統(tǒng)管理對大數(shù)據(jù)至關(guān)重要，因為它涉及到跨企業(yè)集群和邊界的許多系統(tǒng)。本文基于層和組件的概念，介紹了解決方案中所用的典型原子模式和復(fù)合模式。模式有助于定義大數(shù)據(jù)解決方案的架構(gòu)。 原子模式對于大數(shù)據(jù)上下文中經(jīng)常出現(xiàn)的問題，原子模式它們還有助于識別所需的組件。每種模式都用于滿足特定的需求：例如，可視化、歷史數(shù)據(jù)分析、社交媒體數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲。這些原子模式?jīng)]有進(jìn)行分層或排序。 數(shù)據(jù)使用組件這種類型的模式處理使用數(shù)據(jù)分析結(jié)果的各種方式。 可視化組件可視化數(shù)據(jù)的傳統(tǒng)方式以圖表、儀表板和摘要報告為基礎(chǔ)。大數(shù)據(jù)可視化的典型需求（包括新出現(xiàn)的需求）如下所示：l 執(zhí)行流數(shù)據(jù)的實時分析和顯示l 基于上下文，以交互方式挖掘數(shù)據(jù)l 執(zhí)行高級搜索，并