【正文】 分析 使用大數(shù)據(jù)類型對(duì)大數(shù)據(jù)特征進(jìn)行分類按特定方向分析大數(shù)據(jù)的特征會(huì)有所幫助，例如以下特征：數(shù)據(jù)如何收集、分析和處理。對(duì)數(shù)據(jù)進(jìn)行分類后，就可以將它與合適的大數(shù)據(jù)模式匹配：l 分析類型 — 對(duì)數(shù)據(jù)執(zhí)行實(shí)時(shí)分析還是批量分析。請(qǐng)仔細(xì)考慮分析類型的選擇，因?yàn)檫@會(huì)影響一些有關(guān)產(chǎn)品、工具、硬件、數(shù)據(jù)源和預(yù)期的數(shù)據(jù)頻率的其他決策。一些用例可能需要混合使用兩種類型：n 臨近分析；分析必須實(shí)時(shí)或近實(shí)時(shí)地完成。n 歷史分析針對(duì)戰(zhàn)略性業(yè)務(wù)決策的趨勢(shì)分析；分析可采用批量模式。l 處理方法 — 要應(yīng)用來(lái)處理數(shù)據(jù)的技術(shù)類型（比如預(yù)測(cè)、分析、臨時(shí)查詢和報(bào)告）。業(yè)務(wù)需求確定了合適的處理方法。可結(jié)合使用各種技術(shù)。處理方法的選擇，有助于識(shí)別要在您的大數(shù)據(jù)解決方案中使用的合適的工具和技術(shù)。l 數(shù)據(jù)頻率和大小 — 預(yù)計(jì)有多少數(shù)據(jù)和數(shù)據(jù)到達(dá)的頻率多高。知道頻率和大小，有助于確定存儲(chǔ)機(jī)制、存儲(chǔ)格式和所需的預(yù)處理工具。數(shù)據(jù)頻率和大小依賴于數(shù)據(jù)源：n 按需分析，與社交媒體數(shù)據(jù)一樣n 實(shí)時(shí)、持續(xù)提供（天氣數(shù)據(jù)、交易數(shù)據(jù)）n 時(shí)序（基于時(shí)間的數(shù)據(jù)）l 數(shù)據(jù)類型 — 要處理數(shù)據(jù)類型 — 交易、歷史、主數(shù)據(jù)等。知道數(shù)據(jù)類型，有助于將數(shù)據(jù)隔離在存儲(chǔ)中。l 內(nèi)容格式（傳入數(shù)據(jù)的格式）結(jié)構(gòu)化（例如 RDMBS）、非結(jié)構(gòu)化（例如音頻、視頻和圖像）或半結(jié)構(gòu)化。格式確定了需要如何處理傳入的數(shù)據(jù)，這是選擇工具、技術(shù)以及從業(yè)務(wù)角度定義解決方案的關(guān)鍵。l 數(shù)據(jù)源 — 數(shù)據(jù)的來(lái)源（生成數(shù)據(jù)的地方），比如 Web 和社交媒體、機(jī)器生成、人類生成等。識(shí)別所有數(shù)據(jù)源有助于從業(yè)務(wù)角度識(shí)別數(shù)據(jù)范圍。該圖顯示了使用最廣泛的數(shù)據(jù)源。l 數(shù)據(jù)使用者 — 處理的數(shù)據(jù)的所有可能使用者的列表：n 業(yè)務(wù)流程n 業(yè)務(wù)用戶n 企業(yè)應(yīng)用程序n 各種業(yè)務(wù)角色中的各個(gè)人員n 部分處理流程n 其他數(shù)據(jù)存儲(chǔ)庫(kù)或企業(yè)應(yīng)用程序l 硬件 — 將在其上實(shí)現(xiàn)大數(shù)據(jù)解決方案的硬件類型，包括商用硬件或最先進(jìn)的硬件。理解硬件的限制，有助于指導(dǎo)大數(shù)據(jù)解決方案的選擇。 數(shù)據(jù)分類決定應(yīng)用方案將不同的數(shù)據(jù)類型集成后，統(tǒng)一按照大數(shù)據(jù)進(jìn)行處理，如下圖： 大數(shù)據(jù)平臺(tái)的邏輯層次邏輯構(gòu)成從框架上展示了各個(gè)組件的組織方式。這些層提供了一種方法來(lái)組織執(zhí)行特定功能的組件。這些層只是邏輯結(jié)構(gòu)；這并不意味著支持每層的功能在獨(dú)立的機(jī)器或獨(dú)立的進(jìn)程上運(yùn)行。大數(shù)據(jù)平臺(tái)通常由以下邏輯層組成：1. 數(shù)據(jù)集成層2. 數(shù)據(jù)存儲(chǔ)層3. 數(shù)據(jù)分析層4. 數(shù)據(jù)使用層 大數(shù)據(jù)集成層要全面考慮來(lái)自所有渠道的，所有可用于分析的數(shù)據(jù)。要求團(tuán)隊(duì)中的數(shù)據(jù)專家闡明執(zhí)行需求所需的數(shù)據(jù)。這些信息包括：l 格式— 結(jié)構(gòu)化、半結(jié)構(gòu)化或非結(jié)構(gòu)化。l 速度和數(shù)據(jù)量— 數(shù)據(jù)到達(dá)的速度和傳送它的速率因數(shù)據(jù)源不同而不同。l 收集點(diǎn)— 收集數(shù)據(jù)的位置，直接或通過(guò)數(shù)據(jù)提供程序，實(shí)時(shí)或以批量模式收集數(shù)據(jù)。數(shù)據(jù)可能來(lái)自某個(gè)主要來(lái)源，比如天氣條件，也有可能來(lái)自一個(gè)輔助來(lái)源，比如媒體贊助的天氣頻道。l 數(shù)據(jù)源的位置— 數(shù)據(jù)源可能位于企業(yè)內(nèi)或外部。識(shí)別您具有有限訪問(wèn)權(quán)的數(shù)據(jù)，因?yàn)閷?duì)數(shù)據(jù)的訪問(wèn)會(huì)影響可用于分析的數(shù)據(jù)范圍。 大數(shù)據(jù)存儲(chǔ)層此層負(fù)責(zé)從數(shù)據(jù)源獲取數(shù)據(jù)，并在必要時(shí)，將它轉(zhuǎn)換為適合符合分析方式的格式。例如，可能需要轉(zhuǎn)換一幅圖，才能將它存儲(chǔ)在 Hadoop Distributed File System (HDFS) 存儲(chǔ)或關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng) (RDBMS) 倉(cāng)庫(kù)中，以供進(jìn)一步處理。規(guī)范 1和治理策略要求為不同的數(shù)據(jù)類型提供合適的存儲(chǔ)。 大數(shù)據(jù)分析層分析層讀取數(shù)據(jù)改動(dòng)和存儲(chǔ)層整理 (digest) 的數(shù)據(jù)。在某些情況下，分析層直接從數(shù)據(jù)源訪問(wèn)數(shù)據(jù)。設(shè)計(jì)分析層需要認(rèn)真地進(jìn)行事先籌劃和規(guī)劃。必須制定如何管理以下任務(wù)的決策：l 生成想要的分析l 從數(shù)據(jù)中獲取洞察l 找到所需的實(shí)體l 定位可提供這些實(shí)體的數(shù)據(jù)的數(shù)據(jù)源l 理解執(zhí)行分析需要哪些算法和工具。 大數(shù)據(jù)應(yīng)用層此層使用了分析層所提供的輸出。使用者可以是可視化應(yīng)用程序、人類、業(yè)務(wù)流程或服務(wù)?？梢暬治鰧拥慕Y(jié)果可能具有挑戰(zhàn)。3 大數(shù)據(jù)平臺(tái)的功能架構(gòu) 組件構(gòu)成 橫向?qū)?大數(shù)據(jù)集成層大數(shù)據(jù)來(lái)源：l 企業(yè)遺留系統(tǒng)— 這些系統(tǒng)是企業(yè)應(yīng)用程序，執(zhí)行業(yè)務(wù)需要的分析并獲取需要的洞察：n 氣象網(wǎng)絡(luò)設(shè)備監(jiān)測(cè)系統(tǒng)n 氣象信息共享系統(tǒng)n MICAPSn 網(wǎng)絡(luò)通信系統(tǒng)CMACastn 突發(fā)應(yīng)急系統(tǒng)n 氣象預(yù)報(bào)系統(tǒng)n 氣象服務(wù)系統(tǒng)n 辦公自動(dòng)化n ……l Web 應(yīng)用程序開發(fā)Web 應(yīng)用程序和其他數(shù)據(jù)來(lái)源擴(kuò)充了企業(yè)擁有的數(shù)據(jù)。這些應(yīng)用程序可使用自定義的協(xié)議和機(jī)制來(lái)公開數(shù)據(jù)。l 數(shù)據(jù)管理系統(tǒng) (DMS)— 數(shù)據(jù)管理系統(tǒng)存儲(chǔ)邏輯數(shù)據(jù)、流程、策略和各種其他類型的文檔：n Microsoft174。 Excel174。 電子表格n Microsoft Word 文檔n 這些文檔可以轉(zhuǎn)換為可用于分析的結(jié)構(gòu)化數(shù)據(jù)。文檔數(shù)據(jù)可公開為領(lǐng)域?qū)嶓w，或者數(shù)據(jù)改動(dòng)和存儲(chǔ)層可將它轉(zhuǎn)換為領(lǐng)域?qū)嶓w。l 數(shù)據(jù)存儲(chǔ)— 數(shù)據(jù)存儲(chǔ)包含企業(yè)數(shù)據(jù)倉(cāng)庫(kù)、操作數(shù)據(jù)庫(kù)和事務(wù)數(shù)據(jù)庫(kù)。此數(shù)據(jù)通常是結(jié)構(gòu)化數(shù)據(jù)，可直接使用或輕松地轉(zhuǎn)換來(lái)滿足需求。這些數(shù)據(jù)不一定存儲(chǔ)在分布式文件系統(tǒng)中，具體依賴于所處的上下文。l 智慧設(shè)備— 智慧設(shè)備能夠捕獲、處理和傳輸使用最廣泛的協(xié)議和格式的信息。這方面的示例包括智能電話、儀表和醫(yī)療設(shè)備。這些設(shè)備可用于執(zhí)行各種類型的分析。絕大多數(shù)智慧設(shè)備都會(huì)執(zhí)行實(shí)時(shí)分析，但從智慧設(shè)備傳來(lái)的信息也可批量分析。l 聚合的數(shù)據(jù)提供程序— 這些提供程序擁有或獲取數(shù)據(jù)，并以復(fù)雜的格式和所需的頻率通過(guò)特定的過(guò)濾器公開它。每天都會(huì)產(chǎn)生海量的數(shù)據(jù)，它們具有不同的格式，以不同的速度生成，而且通過(guò)各種數(shù)據(jù)提供程序、傳感器和現(xiàn)有企業(yè)提供。l 其他數(shù)據(jù)源— 有許多數(shù)據(jù)來(lái)自自動(dòng)化的來(lái)源：n 地理信息：n 地圖n 地區(qū)詳細(xì)信息n 位置詳細(xì)信息n 經(jīng)濟(jì)熱點(diǎn)詳細(xì)信息（工農(nóng)業(yè)旅游交通教育醫(yī)療金融等等）n 人類生成的內(nèi)容：n 社交媒體n 電子郵件n 博客n 在線信息n 傳感器數(shù)據(jù)：n 環(huán)境：天氣、降雨量、濕度、光線n 電氣：電流、能源潛力等n 導(dǎo)航裝置n 電離輻射、亞原子粒子等n 靠近、存在等n 位置、角度、位移、距離、速度、加速度n 聲音、聲震動(dòng)等n 汽車、運(yùn)輸?shù)萵 熱量、熱度、溫度n 光學(xué)、光、成像、見光度n 化學(xué)n 壓力n 流動(dòng)、流體、速度n 力、密度級(jí)別等n 來(lái)自傳感器供應(yīng)商的其他數(shù)據(jù) 大數(shù)據(jù)存儲(chǔ)層因?yàn)閭魅氲臄?shù)據(jù)可能具有不同的特征，所以數(shù)據(jù)改動(dòng)和存儲(chǔ)層中的組件必須能夠以各種頻率、格式、大小和在各種通信渠道上讀取數(shù)據(jù)：l 數(shù)據(jù)獲取— 從各種數(shù)據(jù)源獲取數(shù)據(jù)，并將其發(fā)送到數(shù)據(jù)整理組件或存儲(chǔ)在指定的位置中。此組件必須足夠智能，能夠選擇是否和在何處存儲(chǔ)傳入的數(shù)據(jù)。它必須能夠確定數(shù)據(jù)在存儲(chǔ)前是否應(yīng)改動(dòng)，或者數(shù)據(jù)是否可直接發(fā)送到業(yè)務(wù)分析層。l 數(shù)據(jù)整理— 負(fù)責(zé)將數(shù)據(jù)修改為需要的格式，以實(shí)現(xiàn)分析用途。此組件可擁有簡(jiǎn)單的轉(zhuǎn)換邏輯或復(fù)雜的統(tǒng)計(jì)算法來(lái)轉(zhuǎn)換源數(shù)據(jù)。分析引擎將會(huì)確定所需的特定的數(shù)據(jù)格式。主要的挑戰(zhàn)是容納非結(jié)構(gòu)化數(shù)據(jù)格式，比如圖像、音頻、視頻和其他二進(jìn)制格式。l 分布式數(shù)據(jù)存儲(chǔ)— 負(fù)責(zé)存儲(chǔ)來(lái)自數(shù)據(jù)源的數(shù)據(jù)。通常，這一層中提供了多個(gè)數(shù)據(jù)存儲(chǔ)選項(xiàng)，比如分布式文件存儲(chǔ) (DFS)、云、結(jié)構(gòu)化數(shù)據(jù)源、NoSQL 等。 分析層這是從數(shù)據(jù)中提取業(yè)務(wù)洞察的層：l 分析層實(shí)體識(shí)別— 負(fù)責(zé)識(shí)別和填充上下文實(shí)體。這是一個(gè)復(fù)雜的任務(wù)，需要高效的高性能流程。數(shù)據(jù)整理組件應(yīng)為這個(gè)實(shí)體識(shí)別組件提供補(bǔ)充，將數(shù)據(jù)修改為需要的格式。分析引擎將需要上下文實(shí)體來(lái)執(zhí)行分析。l 分析引擎— 使用其他組件（具體來(lái)講，包括實(shí)體鑒別、模型管理和分析算法）來(lái)處理和執(zhí)行分析。分析引擎可具有支持并行處理的各種不同的工作流、算法和工具。l 模型管理— 負(fù)責(zé)維護(hù)各種統(tǒng)計(jì)模型，驗(yàn)證和檢驗(yàn)這些模型，通過(guò)持續(xù)培訓(xùn)模型來(lái)提高準(zhǔn)確性。然后，模型管理組件會(huì)推廣這些模型，它們可供實(shí)體識(shí)別或分析引擎組件使用。 使用層這一層使用了從分析應(yīng)用程序獲取的業(yè)務(wù)洞察。分析的結(jié)果由組織內(nèi)的各個(gè)用戶和組織外部的實(shí)體（比如客戶、供應(yīng)商、合作伙伴和提供商）使用。此洞察可用于針對(duì)客戶提供產(chǎn)