【正文】 ...................................7. HADOOP 血緣關系 .................................................................................................8. 行業(yè)大數據應用場景對比分析 ..........................................................................126. 大數據處理參考架構 ...................................................................................................13. 參考架構 ..............................................................................................................13. 與 JAVAEE 體系對比 ...........................................................................................14. 參考架構運行狀態(tài) ..............................................................................................157. 總結與思考 ...................................................................................................................16附錄：名詞解釋 ........................................................................................................................18精選資料可修改編輯1. 背景隨著大數據時代的到來，數據由海量拓展為多樣，在注重計算速度的同時更加關注挖掘有價值的數據。在數據的處理分析上， 對原有的宏觀審慎分析框架及其有效性、準確性提出了挑戰(zhàn)。統(tǒng)計系統(tǒng)業(yè)務量以每月增量 40 億筆進行估算（以每筆 1KB 估算，約 4TB/月增量數據；每筆數據平均包含 20 個字段），現有存量數據大約在 20TB。Spark 技術擴容無需停機、服務不中斷；數據無需重新分布，新數據自動被分配到新的 節(jié)點中，性能沒有影響。數據訪問接口，MPP 技術支持 JDBC、ODBC，Hadoopamp。應用運算邏輯，支持 Java、R 語言、Scala 、SQL2022 等。整體架構如下圖所示：精選資料可修改編輯天云趨勢科技 Hadoop 解決方案主要基于 Hortonworks 發(fā)行版，同時也提供了對 Cloudera Hadoop 發(fā)行版的支持。分布式遷移引擎 Sqoop 主要作用是在結構化數據存儲與 Hadoop 之間進行數據交換。大數據應用的核心是挖掘數據價 值，而挖掘數據價 值的前提是數據來源的準確性。結合統(tǒng)計分析類業(yè)務在數據處理和數據展現環(huán)節(jié)的特點進行分析以及對原型系統(tǒng)的測試情況，數據處 理環(huán)節(jié)采用 Hadoopamp。P2P 借貸：peer to peer 網絡借貸的一種模式，包括個體網絡借貸（即 P2P 網絡借貸）和網絡小額貸款。Sqoop 可以將一個關系型數據庫（如：MySQL、Oracle 等）中的數據導入 Hadoop 的 HDFS、Hive 中，也可以將 HDFS、Hive 中的數據導入關系型數據庫中。Hive：建立在 Hadoop 基礎上的數據倉庫架構，它 為 數據倉庫的管理提供的主要功能包括：數據 ETL 工具、數據存 儲管理和大型數據集的 查詢和分析能力。 2022 年 8 月國務院在《促進大數據發(fā)展行動綱要》中指出，大數據是以容量大、類 型多、存取速度快、 應用價值高為主要特征的數據集合，正快速發(fā)展為對數量巨大、來源分散、格式多 樣的數據進行采集、存儲和關聯分析，從中發(fā)現新知識、創(chuàng) 造新價值、提升新能力的新一代信息技術和服務業(yè)態(tài)。在大數據時代中業(yè)務系統(tǒng)已經 逐漸由功能是價值轉變?yōu)閿祿莾r值，對大數據價 值的挖掘是探索性的。Spark 引擎中的進程分為 Master 和Worker，當節(jié)點故障時，由 協作服務 ZooKeeper 進 行 Master 切換，保障 Spark 的精選資料可修改編輯持續(xù)可用。Hadoop 的 MapReduce 與Common、HDFS 一起，構成了 Hadoop 發(fā)展初期的三個 組件。它將極大的擴大了 Hadoop 的使用范圍和方式。低成本運算能力，使用低成本的存儲和服務器構建，僅花費 40%左右價格，便可以達到甚至超越 IOE 架構的性能。數據存儲對象，MPP 技術支持結構化數據，Hadoopamp。Hadoopamp。? 在報表數據生成或信息發(fā)布環(huán)節(jié)，能夠提供逐筆數據、指標數據、 匯總數據和報表數據的實時查詢，并能夠通過 BI 工具訪問以上數據。傳統(tǒng) 金融機構的發(fā)展方向主要為傳統(tǒng)金融業(yè)務的互聯網創(chuàng)新以及電商化創(chuàng)新、手機 APP 服務等；非金融機構的發(fā)展方向則主要是指利用互聯網技術進行金融運作的電子商務企業(yè)、P2P 模式的網絡借貸平臺，眾籌模式的網絡投資平臺或掌上理財服務，以及第三方支付平臺等。同 時，充分的利用開源產品透明公開的關鍵信息，做到對技術細節(jié)的掌控和驗證，開源產品的特點也更能夠激發(fā)開發(fā)者的熱情并推進技術的快速變革。精選資料可修改編輯4. 大數據處理業(yè)務場景以統(tǒng)計分析類的業(yè)務場景為例，針對大數據的處理主要經過采集、存儲、校驗、審核、匯總 、計算、分析挖掘等過程，在數據粒度上，既要包逐筆的 標準化源數據，還 要包括不同層次的 總量指標數據，從而 實現對統(tǒng)計體系業(yè)務的全覆蓋、無遺漏。近些年在眾多行業(yè)都得到廣泛應用。Spark 技術存放中 間結果，出錯時只需要重新運行出 錯的子任務并發(fā)能力上，MPP 技術多用于分析型應用場景，數據裝載時建立索引較慢；通常不超過數百個并發(fā)。數據存儲對象結構化數據 結構化、半結構化、非結構化數據應用運算邏輯實現方式SQL 語言 SQL202部分 PL/SQL、 R、Java、S