【正文】 格式。這樣的數(shù)據(jù)最初可以存儲(chǔ)在存儲(chǔ)系統(tǒng)中，也可以對(duì)它們進(jìn)行預(yù)處理，然后再存儲(chǔ)它們。對(duì)于分析來(lái)說(shuō)，要求執(zhí)行預(yù)處理。 基礎(chǔ)數(shù)據(jù)(觀測(cè)數(shù)據(jù)和生產(chǎn)數(shù)據(jù))的訪問(wèn)模式可以存儲(chǔ)現(xiàn)有的事務(wù)、運(yùn)營(yíng)和倉(cāng)庫(kù)數(shù)據(jù)，避免清除或歸檔數(shù)據(jù)（因?yàn)榇鎯?chǔ)和處理的限制），或減少在數(shù)據(jù)被其他使用者訪問(wèn)時(shí)對(duì)傳統(tǒng)存儲(chǔ)的負(fù)載。對(duì)于大多數(shù)企業(yè)而言，事務(wù)、運(yùn)營(yíng)、主數(shù)據(jù)和倉(cāng)庫(kù)信息都是所有分析的核心。如果用在 Internet 上，或者通過(guò)傳感器和智能設(shè)備提供的非結(jié)構(gòu)化數(shù)據(jù)以及外部數(shù)據(jù)來(lái)增強(qiáng)此數(shù)據(jù)，那么可以幫助組織獲得準(zhǔn)確的洞察，并執(zhí)行高級(jí)分析。使用由多個(gè)數(shù)據(jù)庫(kù)廠商提供的標(biāo)準(zhǔn)連接器，事務(wù)和倉(cāng)庫(kù)數(shù)據(jù)可以被推入存儲(chǔ)。預(yù)處理事務(wù)性數(shù)據(jù)要容易得多，因?yàn)閿?shù)據(jù)大多是結(jié)構(gòu)化的?？梢允褂煤?jiǎn)單的提取、轉(zhuǎn)換和加載流程將事務(wù)數(shù)據(jù)移動(dòng)到存儲(chǔ)中。事務(wù)數(shù)據(jù)可以很容易地轉(zhuǎn)換成 JSON 和 CSV 等格式。使用 Sqoop 等工具可以更容易將事務(wù)數(shù)據(jù)推入存儲(chǔ)系統(tǒng)，如 HBase 和 HDFS。 數(shù)據(jù)存儲(chǔ)組件存儲(chǔ)模式有助于確定適當(dāng)?shù)拇鎯?chǔ)各種數(shù)據(jù)的類型和格式。數(shù)據(jù)可以按原樣存儲(chǔ)，根據(jù)鍵值對(duì)存儲(chǔ)，或者以預(yù)定義的格式存儲(chǔ)。分布式文件系統(tǒng)（如 GFS 和 HDFS）都能夠存儲(chǔ)任何類型的數(shù)據(jù)。但是，高效地檢索或查詢數(shù)據(jù)的能力會(huì)影響性能。技術(shù)的選擇很重要。 分布式非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)組件大部分大數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)，而且可以通過(guò)不同的方式針對(duì)不同的上下文提取它所擁有的信息。大多數(shù)時(shí)候，非結(jié)構(gòu)化數(shù)據(jù)必須按原樣并以其原始格式進(jìn)行存儲(chǔ)。這樣的數(shù)據(jù)可以存儲(chǔ)在分布式文件系統(tǒng)（如 HDFS）和 NoSQL 文檔存儲(chǔ)（如 MongoDB）中。這些系統(tǒng)提供了檢索非結(jié)構(gòu)化數(shù)據(jù)的有效方法。 分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)組件結(jié)構(gòu)化數(shù)據(jù)包括從數(shù)據(jù)源到達(dá)的已經(jīng)是結(jié)構(gòu)化格式的數(shù)據(jù)，以及經(jīng)過(guò)預(yù)處理，被轉(zhuǎn)換為 JSON 數(shù)據(jù)等格式的非結(jié)構(gòu)化數(shù)據(jù)。必須存儲(chǔ)已經(jīng)過(guò)轉(zhuǎn)換的數(shù)據(jù)，避免從原始數(shù)據(jù)到結(jié)構(gòu)化數(shù)據(jù)的頻繁數(shù)據(jù)轉(zhuǎn)換?？梢允褂?Google 的 BigTable 等技術(shù)來(lái)存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)。BigTable 是一個(gè)大規(guī)模容錯(cuò)式自我管理系統(tǒng)，包括 TB 級(jí)的內(nèi)存和 PB 級(jí)的存儲(chǔ)。Hadoop 中的 HBase 可媲美 BigTable。它使用了 HDFS 作為底層存儲(chǔ)。 傳統(tǒng)數(shù)據(jù)存儲(chǔ)組件對(duì)于存儲(chǔ)大數(shù)據(jù)而言，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)并不是最佳選擇，但在企業(yè)執(zhí)行初步數(shù)據(jù)探索的情況下，企業(yè)可能會(huì)選擇使用現(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)、RDBMS 系統(tǒng)和其他內(nèi)容存儲(chǔ)。這些現(xiàn)有的存??儲(chǔ)系統(tǒng)可用來(lái)存儲(chǔ)使用大數(shù)據(jù)平臺(tái)消化和過(guò)濾的數(shù)據(jù)。不要認(rèn)為傳統(tǒng)的數(shù)據(jù)存儲(chǔ)系統(tǒng)適用于大數(shù)據(jù)。 云存儲(chǔ)組件許多云計(jì)算基礎(chǔ)架構(gòu)供應(yīng)商都有分布式結(jié)構(gòu)化、非結(jié)構(gòu)化的存儲(chǔ)能力。從傳統(tǒng)的配置、維護(hù)、系統(tǒng)管理、編程和建模角度講，大數(shù)據(jù)技術(shù)有點(diǎn)不同。此外，實(shí)現(xiàn)大數(shù)據(jù)解決方案所需的技能既罕見(jiàn)又昂貴。探索大數(shù)據(jù)技術(shù)的企業(yè)可以使用云解決方案來(lái)提供大數(shù)據(jù)的存儲(chǔ)、維護(hù)和系統(tǒng)管理。要存儲(chǔ)的數(shù)據(jù)往往是敏感數(shù)據(jù)，這些數(shù)據(jù)包括醫(yī)療記錄和生物特征數(shù)據(jù)。您需要考慮數(shù)據(jù)安全性、數(shù)據(jù)共享、數(shù)據(jù)治理，以及有關(guān)數(shù)據(jù)的其他政策，在考慮將云作為大數(shù)據(jù)存儲(chǔ)庫(kù)的時(shí)候尤其如此。傳輸大量數(shù)據(jù)的能力也是云存儲(chǔ)的另一個(gè)重要考慮因素。 復(fù)合模式原子模式側(cè)重于提供執(zhí)行各項(xiàng)功能所需的能力。但是，復(fù)合模式是基于端到端的解決方案進(jìn)行分類的。每個(gè)復(fù)合模式都要考慮一個(gè)或多個(gè)維度。在將復(fù)合模式應(yīng)用到每個(gè)模式時(shí)，會(huì)有許多變化?？梢詫?fù)合模式映射到一個(gè)或多個(gè)原子模式，以解決某個(gè)給定的業(yè)務(wù)問(wèn)題。本文所述的復(fù)合模式列表是基于經(jīng)常發(fā)生的典型業(yè)務(wù)問(wèn)題，但這不是復(fù)合模式的完整列表。 存儲(chǔ)和探索復(fù)合組件如果業(yè)務(wù)問(wèn)題需要存儲(chǔ)大量新數(shù)據(jù)和現(xiàn)有數(shù)據(jù)，而且先前由于缺乏足夠的存儲(chǔ)和分析能力而一直未使用這些數(shù)據(jù)，那么這種模式就非常有用。該模式旨在緩解對(duì)現(xiàn)有數(shù)據(jù)存儲(chǔ)的負(fù)載。所存儲(chǔ)的數(shù)據(jù)可用于初始勘探和即席發(fā)現(xiàn)。用戶可以推演報(bào)告，通過(guò)進(jìn)一步的處理來(lái)分析數(shù)據(jù)的質(zhì)量和價(jià)值。您可以使用 ETL 工具來(lái)預(yù)處理和凈化原始數(shù)據(jù)，然后再進(jìn)行任何類型的分析。圖 6. 存儲(chǔ)和探索復(fù)合模式圖 6 說(shuō)明了這種模式的多個(gè)維度。數(shù)據(jù)的使用目的可能只是存儲(chǔ)它，或處理和使用它。僅存儲(chǔ)的示例是，數(shù)據(jù)的獲取和存儲(chǔ)只是為了將來(lái)能夠滿足合規(guī)性或法律的要求。在處理和使用的情況下，分析的結(jié)果可以被處理和使用?？梢詮淖罱l(fā)現(xiàn)的來(lái)源或從現(xiàn)有的數(shù)據(jù)存儲(chǔ)訪問(wèn)數(shù)據(jù)。 專業(yè)分析和預(yù)測(cè)分析組件使用此模式的情況是，使用多種處理技術(shù)執(zhí)行分析，因此，可以用新洞察豐富現(xiàn)有數(shù)據(jù)，或創(chuàng)建可由各種用戶使用的輸出。該分析可以在事件發(fā)生的同時(shí)實(shí)時(shí)發(fā)生，或使用批量模式，根據(jù)收集到的數(shù)據(jù)獲得洞察。作為可以分析的靜態(tài)數(shù)據(jù)的示例，某電信公司可能構(gòu)建客戶流失模型，包括分析呼叫數(shù)據(jù)記錄、社交數(shù)據(jù)和事務(wù)數(shù)據(jù)。作為分析運(yùn)動(dòng)數(shù)據(jù)的示例，預(yù)測(cè)某個(gè)給定事務(wù)正在經(jīng)歷欺詐的需求必須實(shí)時(shí)或近實(shí)時(shí)地發(fā)生。圖 7. 專用和預(yù)測(cè)分析復(fù)合模式圖 7 說(shuō)明了這種模式的多個(gè)維度。所執(zhí)行的處理可以是標(biāo)準(zhǔn)的或預(yù)測(cè)性的，并且可以包括決策。此外，可以將通知發(fā)送給與特定任務(wù)或消息有關(guān)的系統(tǒng)或用戶。該通知可以使用可視化功能。該處理可實(shí)時(shí)發(fā)生或以批量模式發(fā)生。 OLAP在線分析大數(shù)據(jù)解決方案的最高級(jí)形式是，對(duì)數(shù)據(jù)集執(zhí)行分析，并且基于可重復(fù)的過(guò)去的行動(dòng)或行動(dòng)矩陣來(lái)暗示行動(dòng)。該操作可以是手動(dòng)、半自動(dòng)或全自動(dòng)的?；A(chǔ)分析需要高度準(zhǔn)確。行動(dòng)是預(yù)定義的，分析的結(jié)果被映射到行動(dòng)?？刹僮鞣治鲋兴婕暗牡湫筒襟E是：分析數(shù)據(jù)以獲得洞察。l 制定決策。l 激活相應(yīng)的渠道，對(duì)正確的使用者采取行動(dòng)。圖 8. 可操作的分析復(fù)合模式圖 8 說(shuō)明該分析可以是手動(dòng)、半自動(dòng)或全自動(dòng)的。如圖中的說(shuō)明所示，它使用了原子模式。手動(dòng)操作意味著系統(tǒng)基于分析的結(jié)果來(lái)提供建議操作，并由人類決定和執(zhí)行操作。半自動(dòng)意味著，分析建議操作，但不需要通過(guò)人類干預(yù)來(lái)啟動(dòng)操作，或從一組建議的操作中進(jìn)行選擇。全自動(dòng)表示在決策之后，系統(tǒng)立即執(zhí)行操作。例如，在設(shè)備被預(yù)測(cè)會(huì)發(fā)生故障之后，系統(tǒng)可以自動(dòng)創(chuàng)建一個(gè)工作訂單。 原子模式和符合模式的映射下面的矩陣顯示了如何將原子模式映射到復(fù)合模式，復(fù)合模式是原子模式的組合。每個(gè)復(fù)合模式都被設(shè)計(jì)為針對(duì)具有一組特定特征的數(shù)據(jù)在特定情況下使用。矩陣顯示了模式的典型組合。必須對(duì)模式進(jìn)行調(diào)整，以滿足特定的情況和需求。在矩陣中，按照從最簡(jiǎn)單到最復(fù)雜的順序列出了復(fù)合模式。“store and explore（存儲(chǔ)和探索）”模式是最簡(jiǎn)單的。圖 9. 復(fù)合模式對(duì)原子模式的映射 圖 10. 將原子模式映射到架構(gòu)層 解決方案模式（模擬應(yīng)用場(chǎng)景）4 技術(shù)架構(gòu)實(shí)現(xiàn)方案 概述 技術(shù)架構(gòu)的關(guān)鍵問(wèn)題 hadoop此方案基于開(kāi)源ApacheHadoop的框架實(shí)現(xiàn)。因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（Hadoop Distributed File System），簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（lowcost）硬件上 數(shù)據(jù)庫(kù)此方案實(shí)際上是綜合利用傳統(tǒng)數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)、NOSQL等多種數(shù)據(jù)庫(kù)組合。傳統(tǒng)的數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)用于存儲(chǔ)結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，NOSQL數(shù)據(jù)庫(kù)用于存儲(chǔ)非結(jié)構(gòu)化的數(shù)據(jù)。之所以選擇組合的多數(shù)據(jù)庫(kù)并存方案，主要是考慮到氣象行業(yè)的數(shù)據(jù)存儲(chǔ)現(xiàn)狀比較復(fù)雜，在大叔據(jù)項(xiàng)目實(shí)施過(guò)程中很多分析是需要傳統(tǒng)數(shù)據(jù)和文件分析同時(shí)進(jìn)行的。另外，從NOSQL數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)需要一個(gè)緩沖處理。當(dāng)然，這種混合使用的方案會(huì)要求大量的ETL過(guò)程來(lái)進(jìn)行數(shù)據(jù)的轉(zhuǎn)換和存儲(chǔ)。 流計(jì)算在傳統(tǒng)的數(shù)據(jù)分析策略中，數(shù)據(jù)被收集到一個(gè)數(shù)據(jù)庫(kù)中，并被搜索或查詢答案。這種分析方法更多地依賴于數(shù)據(jù)庫(kù)平臺(tái)的資源。Streams計(jì)算軟件，這是一個(gè)突破性的移動(dòng)數(shù)據(jù)分析平臺(tái)。流計(jì)算動(dòng)態(tài)收集多個(gè)數(shù)據(jù)流，使用先進(jìn)的算法來(lái)提供近乎瞬時(shí)的分析。，流計(jì)算顛覆了這種策略，可用于需要立即作出決定的復(fù)雜動(dòng)態(tài)情況。 數(shù)據(jù)治理 分布式存儲(chǔ)與分布式應(yīng)用 服務(wù)平臺(tái)的硬件架構(gòu)與調(diào)整 數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù) NOSQL數(shù)據(jù)庫(kù) 數(shù)據(jù)集成工具 數(shù)據(jù)分析軟件 Web應(yīng)用以及Web開(kāi)發(fā)的關(guān)鍵問(wèn)題5 我們的研發(fā)策略 效益 目前的形勢(shì) 針對(duì)目前直接的應(yīng)用需求 技術(shù)儲(chǔ)備與項(xiàng)目應(yīng)用 如何保證將來(lái)的擴(kuò)展38