【正文】 。事務(wù)數(shù)據(jù)可以很容易地轉(zhuǎn)換成 JSON 和 CSV 等格式。使用 Sqoop 等工具可以更容易將事務(wù)數(shù)據(jù)推入存儲系統(tǒng)，如 HBase 和 HDFS。 數(shù)據(jù)存儲組件存儲模式有助于確定適當(dāng)?shù)拇鎯Ω鞣N數(shù)據(jù)的類型和格式。數(shù)據(jù)可以按原樣存儲，根據(jù)鍵值對存儲，或者以預(yù)定義的格式存儲。分布式文件系統(tǒng)（如 GFS 和 HDFS）都能夠存儲任何類型的數(shù)據(jù)。但是，高效地檢索或查詢數(shù)據(jù)的能力會影響性能。技術(shù)的選擇很重要。 分布式非結(jié)構(gòu)化數(shù)據(jù)存儲組件大部分大數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，而且可以通過不同的方式針對不同的上下文提取它所擁有的信息。大多數(shù)時候，非結(jié)構(gòu)化數(shù)據(jù)必須按原樣并以其原始格式進行存儲。這樣的數(shù)據(jù)可以存儲在分布式文件系統(tǒng)（如 HDFS）和 NoSQL 文檔存儲（如 MongoDB）中。這些系統(tǒng)提供了檢索非結(jié)構(gòu)化數(shù)據(jù)的有效方法。 分布式結(jié)構(gòu)化數(shù)據(jù)存儲組件結(jié)構(gòu)化數(shù)據(jù)包括從數(shù)據(jù)源到達的已經(jīng)是結(jié)構(gòu)化格式的數(shù)據(jù)，以及經(jīng)過預(yù)處理，被轉(zhuǎn)換為 JSON 數(shù)據(jù)等格式的非結(jié)構(gòu)化數(shù)據(jù)。必須存儲已經(jīng)過轉(zhuǎn)換的數(shù)據(jù)，避免從原始數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的頻繁數(shù)據(jù)轉(zhuǎn)換?？梢允褂?Google 的 BigTable 等技術(shù)來存儲結(jié)構(gòu)化數(shù)據(jù)。BigTable 是一個大規(guī)模容錯式自我管理系統(tǒng)，包括 TB 級的內(nèi)存和 PB 級的存儲。Hadoop 中的 HBase 可媲美 BigTable。它使用了 HDFS 作為底層存儲。 傳統(tǒng)數(shù)據(jù)存儲組件對于存儲大數(shù)據(jù)而言，傳統(tǒng)的數(shù)據(jù)存儲并不是最佳選擇，但在企業(yè)執(zhí)行初步數(shù)據(jù)探索的情況下，企業(yè)可能會選擇使用現(xiàn)有的數(shù)據(jù)倉庫、RDBMS 系統(tǒng)和其他內(nèi)容存儲。這些現(xiàn)有的存儲系統(tǒng)可用來存儲使用大數(shù)據(jù)平臺消化和過濾的數(shù)據(jù)。不要認為傳統(tǒng)的數(shù)據(jù)存儲系統(tǒng)適用于大數(shù)據(jù)。 云存儲組件許多云計算基礎(chǔ)架構(gòu)供應(yīng)商都有分布式結(jié)構(gòu)化、非結(jié)構(gòu)化的存儲能力。從傳統(tǒng)的配置、維護、系統(tǒng)管理、編程和建模角度講，大數(shù)據(jù)技術(shù)有點不同。此外，實現(xiàn)大數(shù)據(jù)解決方案所需的技能既罕見又昂貴。探索大數(shù)據(jù)技術(shù)的企業(yè)可以使用云解決方案來提供大數(shù)據(jù)的存儲、維護和系統(tǒng)管理。要存儲的數(shù)據(jù)往往是敏感數(shù)據(jù)，這些數(shù)據(jù)包括醫(yī)療記錄和生物特征數(shù)據(jù)。您需要考慮數(shù)據(jù)安全性、數(shù)據(jù)共享、數(shù)據(jù)治理，以及有關(guān)數(shù)據(jù)的其他政策，在考慮將云作為大數(shù)據(jù)存儲庫的時候尤其如此。傳輸大量數(shù)據(jù)的能力也是云存儲的另一個重要考慮因素。 復(fù)合模式原子模式 側(cè)重于提供執(zhí)行各項功能所需的能力。但是，復(fù)合模式 是基于端到端的解決方案進行分類的。每個復(fù)合模式都要考慮一個或多個維度。在將復(fù)合模式應(yīng)用到每個模式時，會有許多變化?？梢詫?fù)合模式映射到一個或多個原子模式，以解決某個給定的業(yè)務(wù)問題。本文所述的復(fù)合模式列表是基于經(jīng)常發(fā)生的典型業(yè)務(wù)問題，但這不是復(fù)合模式的完整列表。 存儲和探索復(fù)合組件如果業(yè)務(wù)問題需要存儲大量新數(shù)據(jù)和現(xiàn)有數(shù)據(jù)，而且先前由于缺乏足夠的存儲和分析能力而一直未使用這些數(shù)據(jù)，那么這種模式就非常有用。該模式旨在緩解對現(xiàn)有數(shù)據(jù)存儲的負載。所存儲的數(shù)據(jù)可用于初始勘探和即席發(fā)現(xiàn)。用戶可以推演報告，通過進一步的處理來分析數(shù)據(jù)的質(zhì)量和價值。您可以使用 ETL 工具來預(yù)處理和凈化原始數(shù)據(jù)，然后再進行任何類型的分析。圖 6. 存儲和探索復(fù)合模式圖 6 說明了這種模式的多個維度。數(shù)據(jù)的使用目的可能只是存儲它，或處理和使用它。僅存儲的示例是，數(shù)據(jù)的獲取和存儲只是為了將來能夠滿足合規(guī)性或法律的要求。在處理和使用的情況下，分析的結(jié)果可以被處理和使用?？梢詮淖罱l(fā)現(xiàn)的來源或從現(xiàn)有的數(shù)據(jù)存儲訪問數(shù)據(jù)。 專業(yè)分析和預(yù)測分析組件使用此模式的情況是，使用多種處理技術(shù)執(zhí)行分析，因此，可以用新洞察豐富現(xiàn)有數(shù)據(jù)，或創(chuàng)建可由各種用戶使用的輸出。該分析可以在事件發(fā)生的同時實時發(fā)生，或使用批量模式，根據(jù)收集到的數(shù)據(jù)獲得洞察。作為可以分析的靜態(tài)數(shù)據(jù)的示例，某電信公司可能構(gòu)建客戶流失模型，包括分析呼叫數(shù)據(jù)記錄、社交數(shù)據(jù)和事務(wù)數(shù)據(jù)。作為分析運動數(shù)據(jù)的示例，預(yù)測某個給定事務(wù)正在經(jīng)歷欺詐的需求必須實時或近實時地發(fā)生。圖 7. 專用和預(yù)測分析復(fù)合模式圖 7 說明了這種模式的多個維度。所執(zhí)行的處理可以是標準的或預(yù)測性的，并且可以包括決策。此外，可以將通知發(fā)送給與特定任務(wù)或消息有關(guān)的系統(tǒng)或用戶。該通知可以使用可視化功能。該處理可實時發(fā)生或以批量模式發(fā)生。 OLAP在線分析大數(shù)據(jù)解決方案的最高級形式是，對數(shù)據(jù)集執(zhí)行分析，并且基于可重復(fù)的過去的行動或行動矩陣來暗示行動。該操作可以是手動、半自動或全自動的?；A(chǔ)分析需要高度準確。行動是預(yù)定義的，分析的結(jié)果被映射到行動。可操作分析中所涉及的典型步驟是：分析數(shù)據(jù)以獲得洞察。? 制定決策。? 激活相應(yīng)的渠道，對正確的使用者采取行動。圖 8. 可操作的分析復(fù)合模式圖 8 說明該分析可以是手動、半自動或全自動的。如圖中的說明所示，它使用了原子模式。手動操作 意味著系統(tǒng)基于分析的結(jié)果來提供建議操作，并由人類決定和執(zhí)行操作。半自動 意味著，分析建議操作，但不需要通過人類干預(yù)來啟動操作，或從一組建議的操作中進行選擇。全自動 表示在決策之后，系統(tǒng)立即執(zhí)行操作。例如，在設(shè)備被預(yù)測會發(fā)生故障之后，系統(tǒng)可以自動創(chuàng)建一個工作訂單。 原子模式和符合模式的映射下面的矩陣顯示了如何將原子模式映射到復(fù)合模式，復(fù)合模式是原子模式的組合。每個復(fù)合模式都被設(shè)計為針對具有一組特定特征的數(shù)據(jù)在特定情況下使用。矩陣顯示了模式的典型組合。必須對模式進行調(diào)整，以滿足特定的情況和需求。在矩陣中，按照從最簡單到最復(fù)雜的順序列出了復(fù)合模式。“store and explore（存儲和探索）”模式是最簡單的。圖 9. 復(fù)合模式對原子模式的映射 圖 10. 將原子模式映射到架構(gòu)層 解決方案模式（模擬應(yīng)用場景）4 技術(shù)架構(gòu)實現(xiàn)方案 概述 技術(shù)架構(gòu)的關(guān)鍵問題 hadoop此方案基于開源Apache Hadoop的框架實現(xiàn)。因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，并且設(shè)計用來部署在低廉的（lowcost）硬件上 數(shù)據(jù)庫此方案實際上是綜合利用傳統(tǒng)數(shù)據(jù)庫/數(shù)據(jù)倉庫、NOSQL等多種數(shù)據(jù)庫組合。 傳統(tǒng)的數(shù)據(jù)庫/數(shù)據(jù)倉庫用于存儲結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，NOSQL數(shù)據(jù)庫用于存儲非結(jié)構(gòu)化的數(shù)據(jù)。之所以選擇組合的多數(shù)據(jù)庫并存方案，主要是考慮到氣象行業(yè)的數(shù)據(jù)存儲現(xiàn)狀比較復(fù)雜，在大叔據(jù)項目實施過程中很多分析是需要傳統(tǒng)數(shù)據(jù)和文件分析同時進行的。另外，從NOSQL數(shù)據(jù)到數(shù)據(jù)倉庫需要一個緩沖處理。當(dāng)然，這種混合使用的方案會要求大量的ETL過程來進行數(shù)據(jù)的轉(zhuǎn)換和存儲。 流計算在傳統(tǒng)的數(shù)據(jù)分析策略中，數(shù)據(jù)被收集到一個數(shù)據(jù)庫中，并被搜索或查詢答案。這種分析方法更多地依賴于數(shù)據(jù)庫平臺的資源。Streams 計算軟件，這是一個突破性的移動數(shù)據(jù)分析平臺。流計算動態(tài)收集多個數(shù)據(jù)流，使用先進的算法來提供近乎瞬時的分析。，流計算顛覆了這種策略，可用于需要立即作出決定的復(fù)雜動態(tài)情況 數(shù)據(jù)治理 分布式存儲與分布式應(yīng)用 服務(wù)平臺的硬件架構(gòu)與調(diào)整 數(shù)據(jù)庫與數(shù)據(jù)倉庫 NOSQL數(shù)據(jù)庫 數(shù)據(jù)集成工具 數(shù)據(jù)分析軟件 Web應(yīng)用以及Web開發(fā)的關(guān)鍵問題 5 我們的研發(fā)策略 效益 目前的形勢 針對目前直接的應(yīng)用需求 技術(shù)儲備與項目應(yīng)用 如何保證將來的擴展35 / 35