【正文】 ibuted File System (HDFS) 存儲或關(guān)系數(shù)據(jù)庫管理系統(tǒng) (RDBMS) 倉庫中，以供進一步處理。要求團隊中的數(shù)據(jù)專家闡明執(zhí)行需求所需的數(shù)據(jù)。識別所有數(shù)據(jù)源有助于從業(yè)務(wù)角度識別數(shù)據(jù)范圍。處理方法的選擇，有助于識別要在您的大數(shù)據(jù)解決方案中使用的合適的工具和技術(shù)。 使用大數(shù)據(jù)類型對大數(shù)據(jù)特征進行分類按特定方向分析大數(shù)據(jù)的特征會有所幫助，例如以下特征：數(shù)據(jù)如何收集、分析和處理。因此，我們亟需一種結(jié)構(gòu)化和基于模式的方法來簡化定義完整的大數(shù)據(jù)架構(gòu)的任務(wù)。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘（SaaS），但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫（PaaS）和云存儲、虛擬化技術(shù)（IaaS）?，F(xiàn)在，氣象行業(yè)的公共服務(wù)職能越來越強，面向政府提供決策服務(wù)，面向公眾提供氣象預(yù)報預(yù)警服務(wù)，面向社會發(fā)展，應(yīng)對氣候發(fā)展節(jié)能減排。但是，不能將氣象預(yù)報產(chǎn)品的社會化推廣簡單地認為就是“氣象大數(shù)據(jù)的廣泛應(yīng)用”。天氣和氣候系統(tǒng)是典型的非線性系統(tǒng)，無法通過運用簡單的統(tǒng)計分析方法來對其進行準確的預(yù)報和預(yù)測。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。氣象行業(yè)的數(shù)據(jù)情況則更為復(fù)雜，除了“機器生成”（可以理解為遙測、傳感設(shè)備產(chǎn)生的觀測數(shù)據(jù)，大量參與氣象服務(wù)和共享的信息都以文本、圖片、視頻等多種形式存儲，符合“大數(shù)據(jù)”的4V特點：Volume(大量)、Velocity(高速)、Variety(多樣)、veracity(真實性) 。以后，我們將使用此類型確定合適的分類模式（原子或復(fù)合）和合適的大數(shù)據(jù)解決方案。 ? 處理方法 — 要應(yīng)用來處理數(shù)據(jù)的技術(shù)類型（比如預(yù)測、分析、臨時查詢和報告）。? 內(nèi)容格式（傳入數(shù)據(jù)的格式）結(jié)構(gòu)化（例如 RDMBS）、非結(jié)構(gòu)化（例如音頻、視頻和圖像）或半結(jié)構(gòu)化。這些層提供了一種方法來組織執(zhí)行特定功能的組件。? 數(shù)據(jù)源的位置— 數(shù)據(jù)源可能位于企業(yè)內(nèi)或外部。必須制定如何管理以下任務(wù)的決策：? 生成想要的分析? 從數(shù)據(jù)中獲取洞察? 找到所需的實體? 定位可提供這些實體的數(shù)據(jù)的數(shù)據(jù)源? 理解執(zhí)行分析需要哪些算法和工具。 ? 數(shù)據(jù)存儲— 數(shù)據(jù)存儲包含企業(yè)數(shù)據(jù)倉庫、操作數(shù)據(jù)庫和事務(wù)數(shù)據(jù)庫。每天都會產(chǎn)生海量的數(shù)據(jù)，它們具有不同的格式，以不同的速度生成，而且通過各種數(shù)據(jù)提供程序、傳感器和現(xiàn)有企業(yè)提供。? 分布式數(shù)據(jù)存儲— 負責(zé)存儲來自數(shù)據(jù)源的數(shù)據(jù)。? 模型管理— 負責(zé)維護各種統(tǒng)計模型，驗證和檢驗這些模型，通過持續(xù)培訓(xùn)模型來提高準確性。此外，可以根據(jù)在數(shù)據(jù)改動層完成的分析來觸發(fā)業(yè)務(wù)流程?？梢允褂酶鞣N類型的適配器和 API 來連接到數(shù)據(jù)源。用戶可基于從分析層中得到的洞察，創(chuàng)建臨時報告、計劃的報告或自助查詢和分析。集成將具有不同特征（例如協(xié)議和連接性）的數(shù)據(jù)源的信息，需要高質(zhì)量的連接器和適配器。除了正常的數(shù)據(jù)治理考慮因素之外，大數(shù)據(jù)治理還包含其他因素：? 管理各種格式的大量數(shù)據(jù)。從外部機構(gòu)和提供程序獲取的數(shù)據(jù)可能包含敏感數(shù)據(jù)（比如 Facebook 用戶的聯(lián)系信息或產(chǎn)品定價信息）。本文基于層和組件的概念，介紹了解決方案中所用的典型原子模式和復(fù)合模式?？梢詫⒍喾N原子模式結(jié)合使用，組成一個復(fù)合模式。這些挑戰(zhàn)包括所涉及的數(shù)據(jù)量，并且需要將數(shù)據(jù)與上下文相關(guān)聯(lián)。? 輸出可以是靜態(tài)的，并具有多種格式（視頻、音頻、圖形和文本）。通知平臺必須能夠處理及時發(fā)送出去的預(yù)計數(shù)量的通知。惟一的區(qū)別是龐大規(guī)模的數(shù)據(jù)、多樣性和速度。 高級分析組件大數(shù)據(jù)提供了很多實現(xiàn)創(chuàng)意洞察的機會。這些工具訪問存儲在大數(shù)據(jù)存儲系統(tǒng)（比如 BigTable、HBase，等等）中的非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)（例如，JSON 數(shù)據(jù)）。此外，使用預(yù)測和統(tǒng)計算法的高級分析的準確性和正確性取決于用來訓(xùn)練其模型的數(shù)據(jù)和算法的數(shù)量。網(wǎng)站大約有 4050 個類別，每一個類別都需要使用不同的方式來訪問數(shù)據(jù)。Web 媒體訪問為結(jié)構(gòu)化存儲預(yù)處理數(shù)據(jù)步驟 B1. 爬網(wǎng)程序讀取原始數(shù)據(jù)。Web 媒體訪問預(yù)處理非結(jié)構(gòu)化數(shù)據(jù)步驟 E1. 不能使用在存儲時未經(jīng)過預(yù)處理的非結(jié)構(gòu)化數(shù)據(jù)，除非它是結(jié)構(gòu)化格式的數(shù)據(jù)。這些數(shù)據(jù)可以是照片、視頻、文本和其他二進制格式。對于大多數(shù)企業(yè)而言，事務(wù)、運營、主數(shù)據(jù)和倉庫信息都是所有分析的核心。數(shù)據(jù)可以按原樣存儲，根據(jù)鍵值對存儲，或者以預(yù)定義的格式存儲。 分布式結(jié)構(gòu)化數(shù)據(jù)存儲組件結(jié)構(gòu)化數(shù)據(jù)包括從數(shù)據(jù)源到達的已經(jīng)是結(jié)構(gòu)化格式的數(shù)據(jù)，以及經(jīng)過預(yù)處理，被轉(zhuǎn)換為 JSON 數(shù)據(jù)等格式的非結(jié)構(gòu)化數(shù)據(jù)。不要認為傳統(tǒng)的數(shù)據(jù)存儲系統(tǒng)適用于大數(shù)據(jù)。 復(fù)合模式原子模式 側(cè)重于提供執(zhí)行各項功能所需的能力。所存儲的數(shù)據(jù)可用于初始勘探和即席發(fā)現(xiàn)。 專業(yè)分析和預(yù)測分析組件使用此模式的情況是，使用多種處理技術(shù)執(zhí)行分析，因此，可以用新洞察豐富現(xiàn)有數(shù)據(jù)，或創(chuàng)建可由各種用戶使用的輸出。該處理可實時發(fā)生或以批量模式發(fā)生。圖 8. 可操作的分析復(fù)合模式圖 8 說明該分析可以是手動、半自動或全自動的。矩陣顯示了模式的典型組合。 傳統(tǒng)的數(shù)據(jù)庫/數(shù)據(jù)倉庫用于存儲結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，NOSQL數(shù)據(jù)庫用于存儲非結(jié)構(gòu)化的數(shù)據(jù)。流計算顛覆了這種策略，可用于需要立即作出決定的復(fù)雜動態(tài)情況 數(shù)據(jù)治理 分布式存儲與分布式應(yīng)用 服務(wù)平臺的硬件架構(gòu)與調(diào)整 數(shù)據(jù)庫與數(shù)據(jù)倉庫 NOSQL數(shù)據(jù)庫 數(shù)據(jù)集成工具 數(shù)據(jù)分析軟件 Web應(yīng)用以及Web開發(fā)的關(guān)鍵問題 5 我們的研發(fā)策略 效益 目前的形勢 針對目前直接的應(yīng)用需求 技術(shù)儲備與項目應(yīng)用 如何保證將來的擴展35 / 35。另外，從NOSQL數(shù)據(jù)到數(shù)據(jù)倉庫需要一個緩沖處理。在矩陣中，按照從最簡單到最復(fù)雜的順序列出了復(fù)合模式。手動操作 意味著系統(tǒng)基于分析的結(jié)果來提供建議操作，并由人類決定和執(zhí)行操作。該操作可以是手動、半自動或全自動的。作為可以分析的靜態(tài)數(shù)據(jù)的示例，某電信公司可能構(gòu)建客戶流失模型，包括分析呼叫數(shù)據(jù)記錄、社交數(shù)據(jù)和事務(wù)數(shù)據(jù)。您可以使用 ETL 工具來預(yù)處理和凈化原始數(shù)據(jù)，然后再進行任何類型的分析。每個復(fù)合模式都要考慮一個或多個維度。從傳統(tǒng)的配置、維護、系統(tǒng)管理、編程和建模角度講，大數(shù)據(jù)技術(shù)有點不同。可以使用 Google 的 BigTable 等技術(shù)來存儲結(jié)構(gòu)化數(shù)據(jù)。但是，高效地檢索或查詢數(shù)據(jù)的能力會影響性能。使用由多個數(shù)據(jù)庫廠商提供的標準連接器，事務(wù)和倉庫數(shù)據(jù)可以被推入存儲。圖 5. 設(shè)備生成的數(shù)據(jù)訪問圖 5 說明了訪問來自傳感器的數(shù)據(jù)的過程。步驟 E3. 經(jīng)過預(yù)處理的結(jié)構(gòu)化數(shù)據(jù)被存儲在結(jié)構(gòu)化存儲中。步驟 B3. 數(shù)據(jù)被存儲在結(jié)構(gòu)化存儲中。從大數(shù)據(jù)的角度講，高級的類別是商業(yè)站點、社交媒體站點，以及具有特定和通用組件的站點。 即席分析組件處理大數(shù)據(jù)的即席查詢所帶來的挑戰(zhàn)不同于對結(jié)構(gòu)化數(shù)據(jù)執(zhí)行即席查詢時所面臨的挑戰(zhàn)，由于數(shù)據(jù)源和數(shù)據(jù)格式不是固定的，所以需要使用不同的機制來檢索和處理數(shù)據(jù)。然而，從非結(jié)構(gòu)化數(shù)據(jù)提取數(shù)據(jù)（例如，圖像、音頻、視頻、二進制提要，甚至是文本）是一項復(fù)雜的任務(wù)，需要具有機器學(xué)習(xí)能力并掌握自然語言處理等技術(shù)。發(fā)現(xiàn)這些關(guān)系需要創(chuàng)新的復(fù)雜算法和技術(shù)。 歷史數(shù)據(jù)分析組件傳統(tǒng)的歷史數(shù)據(jù)分析僅限于預(yù)定義的數(shù)據(jù)時間段，這通常取決于數(shù)據(jù)保留策略。例如，推薦引擎可以提供有關(guān)世界各地的龐大客戶群的洞察，而且可以將通知發(fā)送給這樣的客戶。 數(shù)據(jù)轉(zhuǎn)儲組