【正文】 （例如，DNA 分析）、空間分析、基于位置的分析、科學(xué)分析、研究，等等。這些工具訪問存儲在大數(shù)據(jù)存儲系統(tǒng)（比如 BigTable、HBase，等等）中的非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)（例如，JSON 數(shù)據(jù)）。要對任何數(shù)據(jù)執(zhí)行分析，數(shù)據(jù)都必須是某種結(jié)構(gòu)化格式。此外，使用預(yù)測和統(tǒng)計(jì)算法的高級分析的準(zhǔn)確性和正確性取決于用來訓(xùn)練其模型的數(shù)據(jù)和算法的數(shù)量。所以需要利用數(shù)據(jù)專家和業(yè)務(wù)用戶的專業(yè)知識來定義下列任務(wù)所需的分析：l 識別并發(fā)現(xiàn)計(jì)算和算法l 識別并發(fā)現(xiàn)數(shù)據(jù)源l 定義所需的可以由計(jì)算使用的格式l 對數(shù)據(jù)執(zhí)行并行計(jì)算 數(shù)據(jù)訪問組件在大數(shù)據(jù)解決方案中，有許多數(shù)據(jù)源，還有很多訪問數(shù)據(jù)的方式，本節(jié)將介紹最常見的幾種。網(wǎng)站大約有 4050 個類別，每一個類別都需要使用不同的方式來訪問數(shù)據(jù)。如果需要的話，在完成預(yù)處理后，可將所訪問的數(shù)據(jù)存儲在數(shù)據(jù)存儲中。Web 媒體訪問為結(jié)構(gòu)化存儲預(yù)處理數(shù)據(jù)步驟 B1. 爬網(wǎng)程序讀取原始數(shù)據(jù)。步驟 C2. 對數(shù)據(jù)進(jìn)行預(yù)處理。Web 媒體訪問預(yù)處理非結(jié)構(gòu)化數(shù)據(jù)步驟 E1. 不能使用在存儲時未經(jīng)過預(yù)處理的非結(jié)構(gòu)化數(shù)據(jù)，除非它是結(jié)構(gòu)化格式的數(shù)據(jù)。在可以分析數(shù)據(jù)之前，數(shù)據(jù)格式必須可用于實(shí)體解析或用于查詢所需數(shù)據(jù)。這些數(shù)據(jù)可以是照片、視頻、文本和其他二進(jìn)制格式。機(jī)器生成的數(shù)據(jù)大多為二進(jìn)制格式（音頻、視頻和傳感器讀數(shù)）或文本格式。對于大多數(shù)企業(yè)而言，事務(wù)、運(yùn)營、主數(shù)據(jù)和倉庫信息都是所有分析的核心。可以使用簡單的提取、轉(zhuǎn)換和加載流程將事務(wù)數(shù)據(jù)移動到存儲中。數(shù)據(jù)可以按原樣存儲，根據(jù)鍵值對存儲，或者以預(yù)定義的格式存儲。 分布式非結(jié)構(gòu)化數(shù)據(jù)存儲組件大部分大數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，而且可以通過不同的方式針對不同的上下文提取它所擁有的信息。 分布式結(jié)構(gòu)化數(shù)據(jù)存儲組件結(jié)構(gòu)化數(shù)據(jù)包括從數(shù)據(jù)源到達(dá)的已經(jīng)是結(jié)構(gòu)化格式的數(shù)據(jù)，以及經(jīng)過預(yù)處理，被轉(zhuǎn)換為 JSON 數(shù)據(jù)等格式的非結(jié)構(gòu)化數(shù)據(jù)。Hadoop 中的 HBase 可媲美 BigTable。不要認(rèn)為傳統(tǒng)的數(shù)據(jù)存儲系統(tǒng)適用于大數(shù)據(jù)。探索大數(shù)據(jù)技術(shù)的企業(yè)可以使用云解決方案來提供大數(shù)據(jù)的存儲、維護(hù)和系統(tǒng)管理。 復(fù)合模式原子模式每個復(fù)合模式都要考慮一個或多個維度。 存儲和探索復(fù)合組件如果業(yè)務(wù)問題需要存儲大量新數(shù)據(jù)和現(xiàn)有數(shù)據(jù)，而且先前由于缺乏足夠的存儲和分析能力而一直未使用這些數(shù)據(jù)，那么這種模式就非常有用。您可以使用 ETL 工具來預(yù)處理和凈化原始數(shù)據(jù)，然后再進(jìn)行任何類型的分析。在處理和使用的情況下，分析的結(jié)果可以被處理和使用。作為可以分析的靜態(tài)數(shù)據(jù)的示例，某電信公司可能構(gòu)建客戶流失模型，包括分析呼叫數(shù)據(jù)記錄、社交數(shù)據(jù)和事務(wù)數(shù)據(jù)。此外，可以將通知發(fā)送給與特定任務(wù)或消息有關(guān)的系統(tǒng)或用戶。該操作可以是手動、半自動或全自動的。l 制定決策。手動操作全自動每個復(fù)合模式都被設(shè)計(jì)為針對具有一組特定特征的數(shù)據(jù)在特定情況下使用。“store and explore（存儲和探索）”模式是最簡單的。Hadoop實(shí)現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。另外，從NOSQL數(shù)據(jù)到數(shù)據(jù)倉庫需要一個緩沖處理。Streams 數(shù)據(jù)治理 分布式存儲與分布式應(yīng)用 服務(wù)平臺的硬件架構(gòu)與調(diào)整 數(shù)據(jù)庫與數(shù)據(jù)倉庫 NOSQL數(shù)據(jù)庫 數(shù)據(jù)集成工具 數(shù)據(jù)分析軟件 Web應(yīng)用以及Web開發(fā)的關(guān)鍵問題5 我們的研發(fā)策略 效益 目前的形勢 針對目前直接的應(yīng)用需求 技術(shù)儲備與項(xiàng)目應(yīng)用 如何保證將來的擴(kuò)展THANKS !!!致力為企業(yè)和個人提供合同協(xié)議，策劃案計(jì)劃書，學(xué)習(xí)課件等等打造全網(wǎng)一站式需求歡迎您的下載，資料僅供參考可修改編輯。流計(jì)算動態(tài)收集多個數(shù)據(jù)流，使用先進(jìn)的算法來提供近乎瞬時的分析。 流計(jì)算在傳統(tǒng)的數(shù)據(jù)分析策略中，數(shù)據(jù)被收集到一個數(shù)據(jù)庫中，并被搜索或查詢答案。傳統(tǒng)的數(shù)據(jù)庫/數(shù)據(jù)倉庫用于存儲結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，NOSQL數(shù)據(jù)庫用于存儲非結(jié)構(gòu)化的數(shù)據(jù)。Hadoop的框架實(shí)現(xiàn)。必須對模式進(jìn)行調(diào)整，以滿足特定的情況和需求。例如，在設(shè)備被預(yù)測會發(fā)生故障之后，系統(tǒng)可以自動創(chuàng)建一個工作訂單。半自動圖 8. 可操作的分析復(fù)合模式圖 8 說明該分析可以是手動、半自動或全自動的。行動是預(yù)定義的，分析的結(jié)果被映射到行動。該處理可實(shí)時發(fā)生或以批量模式發(fā)生。圖 7. 專用和預(yù)測分析復(fù)合模式圖 7 說明了這種模式的多個維度。 專業(yè)分析和預(yù)測分析組件使用此模式的情況是，使用多種處理技術(shù)執(zhí)行分析，因此，可以用新洞察豐富現(xiàn)有數(shù)據(jù)，或創(chuàng)建可由各種用戶使用的輸出。數(shù)據(jù)的使用目的可能只是存儲它，或處理和使用它。所存儲的數(shù)據(jù)可用于初始勘探和即席發(fā)現(xiàn)?？梢詫?fù)合模式映射到一個或多個原子模式，以解決某個給定的業(yè)務(wù)問題。但是，復(fù)合模式您需要考慮數(shù)據(jù)安全性、數(shù)據(jù)共享、數(shù)據(jù)治理，以及有關(guān)數(shù)據(jù)的其他政策，在考慮將云作為大數(shù)據(jù)存儲庫的時候尤其如此。從傳統(tǒng)的配置、維護(hù)、系統(tǒng)管理、編程和建模角度講，大數(shù)據(jù)技術(shù)有點(diǎn)不同。 傳統(tǒng)數(shù)據(jù)存儲組件對于存儲大數(shù)據(jù)而言，傳統(tǒng)的數(shù)據(jù)存儲并不是最佳選擇，但在企業(yè)執(zhí)行初步數(shù)據(jù)探索的情況下，企業(yè)可能會選擇使用現(xiàn)有的數(shù)據(jù)倉庫、RDBMS 系統(tǒng)和其他內(nèi)容存儲?？梢允褂?Google 的 BigTable 等技術(shù)來存儲結(jié)構(gòu)化數(shù)據(jù)。這樣的數(shù)據(jù)可以存儲在分布式文件系統(tǒng)（如 HDFS）和 NoSQL 文檔存儲（如 MongoDB）中。但是，高效地檢索或查詢數(shù)據(jù)的能力會影響性能。使用 Sqoop 等工具可以更容易將事務(wù)數(shù)據(jù)推入存儲系統(tǒng)，如 HBase 和 HDFS。使用由多個數(shù)據(jù)庫廠商提供的標(biāo)準(zhǔn)連接器，事務(wù)和倉庫數(shù)據(jù)可以被推入存儲。對于分析來說，要求執(zhí)行預(yù)處理。圖 5. 設(shè)備生成的數(shù)據(jù)訪問圖 5 說明了訪問來自傳感器的數(shù)據(jù)的過程。雖然預(yù)處理通常被認(rèn)為是微不足道的，但這項(xiàng)處理可能非常復(fù)雜和耗時。步驟 E3. 經(jīng)過預(yù)處理的結(jié)構(gòu)化數(shù)據(jù)被存儲在結(jié)構(gòu)化存儲中。非結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)的 Web 媒體訪問步驟 D1. 數(shù)據(jù)供應(yīng)商提供結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。步驟 B3. 數(shù)據(jù)被存儲在結(jié)構(gòu)化存儲中。圖 大數(shù)據(jù)訪問步驟非結(jié)構(gòu)化數(shù)據(jù)存儲中的 Web 媒體訪問步驟 A1. 爬網(wǎng)程序讀取原始數(shù)據(jù)。從大數(shù)據(jù)的角度講，高級的類別是商業(yè)站點(diǎn)、社交媒體站點(diǎn)，以及具有特定和通用組件的站點(diǎn)。在幾乎所有分析中，都會用到 Web 和社交媒體，但獲得這種數(shù)據(jù)需要不同的訪問機(jī)制。 即席分析組件處理大數(shù)據(jù)的即席查詢所帶來的挑戰(zhàn)不同于對結(jié)構(gòu)化數(shù)據(jù)執(zhí)行即席查詢時所面臨的挑戰(zhàn)，由于數(shù)據(jù)源和數(shù)據(jù)格式不是固定的，所以需要使用不同的機(jī)制來檢索和處理數(shù)據(jù)。非結(jié)構(gòu)化文本可以轉(zhuǎn)換成半結(jié)構(gòu)化或結(jié)構(gòu)化數(shù)據(jù)。然而，從非結(jié)構(gòu)化數(shù)據(jù)提取數(shù)據(jù)（例如，圖像、音頻、視頻、二進(jìn)制提要，甚至是文本）是一項(xiàng)復(fù)雜的任務(wù)，需要具有機(jī)器學(xué)習(xí)能力并掌握自然語言處理等技術(shù)。數(shù)據(jù)專家可以指導(dǎo)您識別合適的技術(shù)、算法和數(shù)據(jù)集，以及在給定上下文中解決問題所需的數(shù)據(jù)源。發(fā)現(xiàn)這些關(guān)系需要創(chuàng)新的復(fù)雜算法和技術(shù)。 和 InfoSphere174?；?Hadoop 的系統(tǒng)和其他等效的系統(tǒng)可以克服這些限制，因?yàn)樗鼈兙哂胸S富的存儲以及分布式大規(guī)模并行處理能力。惟一的區(qū)別是龐大規(guī)模的數(shù)據(jù)、多樣性和速度。具體情況取決于分析的復(fù)雜性，有可能不需要對數(shù)據(jù)進(jìn)行實(shí)時處理。通知平臺必須能夠處理及時發(fā)送出去的預(yù)計(jì)數(shù)量的通知。通過拓寬數(shù)據(jù)范圍，使之包含現(xiàn)有存儲中的新事實(shí)表、維度和主數(shù)據(jù)，并從社交媒體獲取客戶數(shù)據(jù)，組織可以獲得更深入的客戶洞察。l 輸出可以是靜態(tài)的，并具有多種格式（視頻、音頻、圖形和文本）。用戶在查找特定信息時，可能需要獲得根據(jù)問題的上下文執(zhí)行即席查詢的能力。這些挑戰(zhàn)包括所涉及的數(shù)據(jù)量，并且需要將數(shù)據(jù)與上下文相關(guān)聯(lián)。數(shù)據(jù)使用模式可以滿足幾個需求?？梢詫⒍喾N原子模式結(jié)合使用，組成一個復(fù)合模式。有助于識別數(shù)據(jù)如何是被使用、處理、存儲和訪問的。通過將所提出的解決方案映射到此處提供的模式，讓用戶了解需要如何設(shè)計(jì)組件，以及從功能角度考慮，應(yīng)該將它們放置在何處。l 過濾器標(biāo)準(zhǔn)過濾器會刪除不想要的數(shù)據(jù)和數(shù)據(jù)中的干擾數(shù)據(jù)，僅留下分析所需的數(shù)據(jù)。必須制定有關(guān)數(shù)據(jù)屏蔽和這類數(shù)據(jù)的存儲的決策。l 設(shè)置數(shù)據(jù)加密策略。請記住，設(shè)置處理非結(jié)構(gòu)化數(shù)據(jù)時的重要一步。大數(shù)據(jù)治理有助于