【正文】 計(jì)算軟件，這是一個(gè)突破性的移動(dòng)數(shù)據(jù)分析平臺(tái)。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（lowcost）硬件上 數(shù)據(jù)庫此方案實(shí)際上是綜合利用傳統(tǒng)數(shù)據(jù)庫/數(shù)據(jù)倉庫、NOSQL等多種數(shù)據(jù)庫組合。矩陣顯示了模式的典型組合。意味著系統(tǒng)基于分析的結(jié)果來提供建議操作，并由人類決定和執(zhí)行操作?；A(chǔ)分析需要高度準(zhǔn)確。作為分析運(yùn)動(dòng)數(shù)據(jù)的示例，預(yù)測(cè)某個(gè)給定事務(wù)正在經(jīng)歷欺詐的需求必須實(shí)時(shí)或近實(shí)時(shí)地發(fā)生。圖 6. 存儲(chǔ)和探索復(fù)合模式圖 6 說明了這種模式的多個(gè)維度。在將復(fù)合模式應(yīng)用到每個(gè)模式時(shí)，會(huì)有許多變化。要存儲(chǔ)的數(shù)據(jù)往往是敏感數(shù)據(jù)，這些數(shù)據(jù)包括醫(yī)療記錄和生物特征數(shù)據(jù)。它使用了 HDFS 作為底層存儲(chǔ)。大多數(shù)時(shí)候，非結(jié)構(gòu)化數(shù)據(jù)必須按原樣并以其原始格式進(jìn)行存儲(chǔ)。事務(wù)數(shù)據(jù)可以很容易地轉(zhuǎn)換成 JSON 和 CSV 等格式。這樣的數(shù)據(jù)最初可以存儲(chǔ)在存儲(chǔ)系統(tǒng)中，也可以對(duì)它們進(jìn)行預(yù)處理，然后再存儲(chǔ)它們。這種經(jīng)過預(yù)處理的數(shù)據(jù)可以存儲(chǔ)在一個(gè)存儲(chǔ)系統(tǒng)中。步驟 C3. 數(shù)據(jù)被存儲(chǔ)在結(jié)構(gòu)化存儲(chǔ)中。Web 和社交媒體訪問需要執(zhí)行以下步驟來訪問 Web 媒體信息。 web和社交媒體訪問組件Internet 是提供許多目前可以獲得的洞察的數(shù)據(jù)源。從多個(gè)數(shù)據(jù)源訪問的非結(jié)構(gòu)化數(shù)據(jù)可以按原樣存儲(chǔ)，然后被轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)（例如 JSON），并被再次存儲(chǔ)到大數(shù)據(jù)存儲(chǔ)系統(tǒng)中。高級(jí)分析要求大量的計(jì)算來管理大量的數(shù)據(jù)。為了能夠存儲(chǔ)和處理如此龐大的數(shù)據(jù)，您可以使用 HDFS、NoSQL、SPSS174。這些類別通常也適用于基于 RDBMS 的傳統(tǒng)系統(tǒng)。 信息推送/通知組件大數(shù)據(jù)洞察使人類、企業(yè)和機(jī)器可以通過使用事件通知而立即采取行動(dòng)。l 單一的查詢可以有多個(gè)結(jié)果。大數(shù)據(jù)可視化的典型需求（包括新出現(xiàn)的需求）如下所示：l 執(zhí)行流數(shù)據(jù)的實(shí)時(shí)分析和顯示l 基于上下文，以交互方式挖掘數(shù)據(jù)l 執(zhí)行高級(jí)搜索，并獲得建議l 并行可視化信息l 獲得先進(jìn)的硬件，支持未來的可視化需求l 正在進(jìn)行研究，以確定人類和機(jī)器如何使用大數(shù)據(jù)洞察。每種模式都用于滿足特定的需求：例如，可視化、歷史數(shù)據(jù)分析、社交媒體數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)。本文基于層和組件的概念，介紹了解決方案中所用的典型原子模式和復(fù)合模式。數(shù)據(jù)可以來源于不同的地區(qū)和國家，但必須進(jìn)行相應(yīng)的處理。l 持續(xù)培訓(xùn)和管理必要的統(tǒng)計(jì)模型，以便對(duì)非結(jié)構(gòu)化數(shù)據(jù)和分析進(jìn)行預(yù)處理。可以使用加速器連接到大多數(shù)已知和廣泛使用的來源。l 推薦引擎— 基于來自分析層的分析結(jié)果，推薦引擎可向購物者提供實(shí)時(shí)的、相關(guān)的和個(gè)性化的推薦，提高電子商務(wù)交易中的轉(zhuǎn)換率和每個(gè)訂單的平均價(jià)值。也可以使用各種加速器來簡化開發(fā)，比如實(shí)時(shí)優(yōu)化和流分析，視頻分析，銀行、保險(xiǎn)、零售、電信和公共運(yùn)輸領(lǐng)域的加速器，社交媒體分析，以及情緒分析?？梢詥?dòng)自動(dòng)化的步驟 — 例如，如果客戶接受了一條可自動(dòng)觸發(fā)的營銷信息，則需要?jiǎng)?chuàng)建一個(gè)新訂單，如果客戶報(bào)告了欺詐，那么可以觸發(fā)對(duì)信用卡使用的阻止。然后，模型管理組件會(huì)推廣這些模型，它們可供實(shí)體識(shí)別或分析引擎組件使用。通常，這一層中提供了多個(gè)數(shù)據(jù)存儲(chǔ)選項(xiàng)，比如分布式文件存儲(chǔ) (DFS)、云、結(jié)構(gòu)化數(shù)據(jù)源、NoSQL 等。l 其他數(shù)據(jù)源— 有許多數(shù)據(jù)來自自動(dòng)化的來源：n 地理信息：n 地圖n 地區(qū)詳細(xì)信息n 位置詳細(xì)信息n 經(jīng)濟(jì)熱點(diǎn)詳細(xì)信息（工農(nóng)業(yè)旅游交通教育醫(yī)療金融等等）n 人類生成的內(nèi)容：n 社交媒體n 電子郵件n 博客n 在線信息n 傳感器數(shù)據(jù)：n 環(huán)境：天氣、降雨量、濕度、光線n 電氣：電流、能源潛力等n 導(dǎo)航裝置n 電離輻射、亞原子粒子等n 靠近、存在等n 位置、角度、位移、距離、速度、加速度n 聲音、聲震動(dòng)等n 汽車、運(yùn)輸?shù)萵 熱量、熱度、溫度n 光學(xué)、光、成像、見光度n 化學(xué)n 壓力n 流動(dòng)、流體、速度n 力、密度級(jí)別等n 來自傳感器供應(yīng)商的其他數(shù)據(jù) 大數(shù)據(jù)存儲(chǔ)層因?yàn)閭魅氲臄?shù)據(jù)可能具有不同的特征，所以數(shù)據(jù)改動(dòng)和存儲(chǔ)層中的組件必須能夠以各種頻率、格式、大小和在各種通信渠道上讀取數(shù)據(jù)：l 數(shù)據(jù)獲取— 從各種數(shù)據(jù)源獲取數(shù)據(jù)，并將其發(fā)送到數(shù)據(jù)整理組件或存儲(chǔ)在指定的位置中。此數(shù)據(jù)通常是結(jié)構(gòu)化數(shù)據(jù)，可直接使用或輕松地轉(zhuǎn)換來滿足需求?？梢暬治鰧拥慕Y(jié)果可能具有挑戰(zhàn)。例如，可能需要轉(zhuǎn)換一幅圖，才能將它存儲(chǔ)在 Hadoop Distributed File System (HDFS) 存儲(chǔ)或關(guān)系數(shù)據(jù)庫管理系統(tǒng) (RDBMS) 倉庫中，以供進(jìn)一步處理。要求團(tuán)隊(duì)中的數(shù)據(jù)專家闡明執(zhí)行需求所需的數(shù)據(jù)。識(shí)別所有數(shù)據(jù)源有助于從業(yè)務(wù)角度識(shí)別數(shù)據(jù)范圍。處理方法的選擇，有助于識(shí)別要在您的大數(shù)據(jù)解決方案中使用的合適的工具和技術(shù)。業(yè)務(wù)問題大數(shù)據(jù)問題描述公用事業(yè)：臨近天氣預(yù)報(bào)機(jī)器生成數(shù)據(jù)依據(jù)站點(diǎn)觀測(cè)數(shù)據(jù)匯總和國家局下發(fā)文件、全球交換數(shù)據(jù)只做的預(yù)報(bào)信息政府決策：區(qū)域天氣預(yù)警機(jī)器生成的數(shù)據(jù)地理信息數(shù)據(jù)政府交換數(shù)據(jù)圖片視頻資料語音播報(bào)數(shù)據(jù)歷史災(zāi)害匯總微博等網(wǎng)頁數(shù)據(jù)政府機(jī)構(gòu)通過“智慧都市”等平臺(tái)整合IS關(guān)聯(lián)天氣預(yù)警產(chǎn)品、預(yù)警通知反饋、城區(qū)建筑布局與災(zāi)害易發(fā)分析結(jié)果預(yù)測(cè)預(yù)判轄區(qū)內(nèi)的災(zāi)情險(xiǎn)情，做好防災(zāi)避險(xiǎn)工作保險(xiǎn)業(yè)：氣象相關(guān)險(xiǎn)種氣象預(yù)報(bào)Web與社交媒體數(shù)據(jù)依據(jù)氣象預(yù)報(bào)信息以及網(wǎng)絡(luò)媒體調(diào)查反饋，開辟“中暑險(xiǎn)”、“賞月險(xiǎn)”等多個(gè)險(xiǎn)種醫(yī)療保?。毫餍胁”O(jiān)控氣象預(yù)報(bào)生活指數(shù)根據(jù)歷史氣象資料和流行病歷史資料結(jié)合分析，預(yù)判流行病發(fā)展趨勢(shì)，對(duì)流行病監(jiān)控、地區(qū)流行病學(xué)、藥物發(fā)明、臨床試驗(yàn)數(shù)據(jù)分析、病人病情分析等起著至關(guān)重要的作用此類分析也可以為醫(yī)藥企業(yè)的銷售行為提供參考期貨：農(nóng)產(chǎn)品災(zāi)害預(yù)測(cè)氣象災(zāi)害預(yù)警歷史氣候?qū)r(nóng)產(chǎn)品影響分析用于氣象災(zāi)害提醒、農(nóng)產(chǎn)品價(jià)格變化預(yù)測(cè) 用于期貨市場預(yù)測(cè)分析 使用大數(shù)據(jù)類型對(duì)大數(shù)據(jù)特征進(jìn)行分類按特定方向分析大數(shù)據(jù)的特征會(huì)有所幫助，例如以下特征：數(shù)據(jù)如何收集、分析和處理。因此，我們亟需一種結(jié)構(gòu)化和基于模式的方法來簡化定義完整的大數(shù)據(jù)架構(gòu)的任務(wù)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘（SaaS），但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫（PaaS）和云存儲(chǔ)、虛擬化技術(shù)（IaaS）?，F(xiàn)在，氣象行業(yè)的公共服務(wù)職能越來越強(qiáng)，面向政府提供決策服務(wù)，面向公眾提供氣象預(yù)報(bào)預(yù)警服務(wù)，面向社會(huì)發(fā)展，應(yīng)對(duì)氣候發(fā)展節(jié)能減排。但是，不能將氣象預(yù)報(bào)產(chǎn)品的社會(huì)化推廣簡單地認(rèn)為就是“氣象大數(shù)據(jù)的廣泛應(yīng)用”。天氣和氣候系統(tǒng)是典型的非線性系統(tǒng)，無法通過運(yùn)用簡單的統(tǒng)計(jì)分析方法來對(duì)其進(jìn)行準(zhǔn)確的預(yù)報(bào)和預(yù)測(cè)。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。氣象行業(yè)的數(shù)據(jù)情況則更為復(fù)雜，除了“機(jī)器生成”（可以理解為遙測(cè)、傳感設(shè)備產(chǎn)生的觀測(cè)數(shù)據(jù)，大量參與氣象服務(wù)和共享的信息都以文本、圖片、視頻等多種形式存儲(chǔ)，符合“大數(shù)據(jù)”的4V特點(diǎn)：Volume(大量)、Velocity(高速)、Variety(多樣)、veracity(真實(shí)性) 。以后，我們將使用此類型確定合適的分類模式（原子或復(fù)合）和合適的大數(shù)據(jù)解決方案。l 處理方法 — 要應(yīng)用來處理數(shù)據(jù)的技術(shù)類型（比如預(yù)測(cè)、分析、臨時(shí)查詢和報(bào)告）。l 內(nèi)容格式（傳入數(shù)據(jù)的格式）結(jié)構(gòu)化（例如 RDMBS）、非結(jié)構(gòu)化（例如音頻、視頻和圖像）或半結(jié)構(gòu)化。這些層提供了一種方法來組織執(zhí)行特定功能的組件。l 數(shù)據(jù)源的位置— 數(shù)據(jù)源可能位于企業(yè)內(nèi)或外部。必須制定如何管理以下任務(wù)的決策：l 生成想要的分析l 從數(shù)據(jù)中獲取洞察l 找到所需的實(shí)體l 定位可提供這些實(shí)體的數(shù)據(jù)的數(shù)據(jù)源l 理解執(zhí)行分析需要哪些算法和工具。 電子表格n Microsoft Word 文檔n 這些文檔可以轉(zhuǎn)換為可用于分析的結(jié)構(gòu)化數(shù)據(jù)。絕大多數(shù)智慧設(shè)備都會(huì)執(zhí)行實(shí)時(shí)分析，但從智慧設(shè)備傳來的信息也可批量分析。分析引擎將會(huì)確定所需的特定的數(shù)據(jù)格式。l 分析引擎— 使用其他組件（具體來講，包括實(shí)體鑒別、模型管理和分析算法）來處理和執(zhí)行分析。該洞察可用于檢測(cè)欺詐，實(shí)時(shí)攔截交易，并將它們與使用已存儲(chǔ)在企業(yè)中的數(shù)據(jù)構(gòu)建的視圖進(jìn)行關(guān)聯(lián)。為了提高操作有效性，可以從數(shù)據(jù)中生成實(shí)時(shí)業(yè)務(wù)警告，而且可以監(jiān)視操作性的關(guān)鍵績效指標(biāo)：l 交易攔截器— 此組件可實(shí)