大數(shù)據(jù)處理技術(shù)參考架構(gòu)-免費(fèi)閱讀
【正文】 Ambari 還提供了集群狀況儀表盤，以及查 看 MapReduce、Hive 應(yīng) 用程序的能力，以友好的用戶界面對它們的性能進(jìn)行診斷。MapReduce：Hadoop 的計(jì) 算框架，用以進(jìn)行大數(shù)據(jù)量的計(jì)算。眾籌：股權(quán)眾籌融資，主要是指通過互聯(lián)網(wǎng)形式進(jìn)行公開小額股權(quán)融資的活動。全球最具權(quán)威的 IT 研究與顧問咨詢機(jī)構(gòu) Gartner 將大數(shù)據(jù)定義為，需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。數(shù)據(jù)展現(xiàn)環(huán)節(jié)采用關(guān)系型數(shù)據(jù)庫集群技術(shù)較為適宜，主要包括：報(bào)表、綜合查詢（具有實(shí)時(shí)、多表關(guān)聯(lián)、自定義條件或表樣的特點(diǎn)）、多維分析（如：維度表、事實(shí)表）。業(yè)務(wù)系統(tǒng)在規(guī)劃階段，必須充分使用人民 銀行公共代碼規(guī)范，將業(yè)務(wù)數(shù)據(jù)的公共維度與規(guī)范統(tǒng)一，并遵循人民銀 行信息技術(shù)標(biāo)準(zhǔn)體系。2. 數(shù)據(jù)質(zhì)量的持久。. 與 JavaEE 體系對比通過下圖的對比不難看出，大數(shù)據(jù)處理參考架構(gòu)中的各類引擎主要是拓展JavaEE 體系中 業(yè)務(wù)邏輯層 與數(shù)據(jù)持久層對大數(shù)據(jù)的支撐。內(nèi)存計(jì)算引擎 Spark 是與 Hadoop相似的開源集群計(jì)算環(huán)境， Spark 啟用了內(nèi)存分布數(shù)據(jù)集，基于內(nèi)存進(jìn)行分布式計(jì)算，除了能夠提供交互式 查詢外， 還可以優(yōu)化迭代工作負(fù)載。 資源調(diào)度引擎 YARN，是通用資 源管理系統(tǒng)，可以 為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。整體架構(gòu)如下圖所示：浪潮 Hadoop 解決方案基于 Intel Hadoop 發(fā)行版。還包括 Hardware Virtual Extensions（HVE）組件，它可以讓Hadoop 集群知道自己是建立在虛擬機(jī)還是物理服務(wù)器上。通過添加專有代碼實(shí)現(xiàn)的 Cloudera Manager 完成集群的部署和管理，并對集群的節(jié)點(diǎn)及服務(wù)進(jìn)行實(shí)時(shí)監(jiān)控。Spark數(shù)據(jù)訪問接口JDBC、ODBC JDBC、ODBC、R 語言接口等索引 支持 支持（rowkey 索引、二維索引、全文關(guān)鍵字索引）. Hadoopamp。MPP Hadoopamp。 Hadoopamp。Hadoopamp。. MPP 與 Hadoopamp。實(shí)時(shí)查詢業(yè)務(wù)為用戶隨機(jī)進(jìn)行。 統(tǒng)計(jì)分析類大數(shù)據(jù) 處理、 報(bào)表展現(xiàn)和信息發(fā) 布的典型流程如下圖所示：統(tǒng)計(jì)分析類業(yè)務(wù)的特點(diǎn)主要包括：? 在每個(gè)處理環(huán)節(jié)中，均能夠?yàn)闃I(yè)務(wù)操作員提供實(shí)時(shí)的業(yè)務(wù)處理情況或處理結(jié)果的查詢。? 充分利用開源產(chǎn)品，做到對技術(shù)細(xì)節(jié)的掌控和驗(yàn)證 ，以保障大數(shù)據(jù)技 術(shù)達(dá)到靈活可用。在“互聯(lián)網(wǎng)+”的戰(zhàn)略布局下，當(dāng)利用信息通信技 術(shù)把互聯(lián)網(wǎng)和包括金融行業(yè)在內(nèi)的相關(guān)行業(yè)結(jié)合起來時(shí)，能夠更加合理和充分的利用大數(shù)據(jù)技術(shù)促進(jìn)互聯(lián)網(wǎng)金融的健康發(fā)展。精選資料可修改編輯大數(shù)據(jù)處理技術(shù)參考架構(gòu)二〇一五年十二月精選資料可修改編輯目 錄1. 背景 .................................................................................................................................12. 技術(shù)目標(biāo) .........................................................................................................................23. 技術(shù)要求 .........................................................................................................................24. 大數(shù)據(jù)處理業(yè)務(wù)場景 .....................................................................................................35. 大數(shù)據(jù)處理技術(shù)對比 .....................................................................................................4. MPP 與 HADOOPamp。當(dāng)前互 聯(lián)網(wǎng)金融的格局中，由 傳統(tǒng) 金融機(jī)構(gòu)和非金融機(jī)構(gòu)組成。? 增強(qiáng)自主創(chuàng)新能力，滿足人民銀行對信息技術(shù)安全可控的要求。? 校驗(yàn)、匯總、計(jì)算等環(huán)節(jié)中，所涉及到的運(yùn)算 規(guī)則 均定義在數(shù)據(jù)庫或配置文件中，在執(zhí)行處理之前，需要獲取運(yùn)算規(guī)則。在使用數(shù)據(jù)進(jìn)行分布式計(jì)算時(shí)，一般情況當(dāng)月 4TB 的數(shù)據(jù)全部參與計(jì)算。Spark 技術(shù)對比集群規(guī)模上，MPP 技術(shù)支持近百個(gè)節(jié)點(diǎn)（中國大陸很少有 100+節(jié)點(diǎn)的案例）。Spark 技術(shù)中，數(shù)據(jù)按預(yù)配置的塊大小自動 均勻分布，通 過 blockmap 映射表查詢數(shù)據(jù)位置；數(shù)據(jù)分布均勻、擴(kuò)容無需停機(jī)。Spark 技術(shù)數(shù)據(jù)裝 載快，采用公平調(diào)度/配額調(diào)度；可支持上億用戶并發(fā)數(shù)據(jù)插入、查詢、 檢索。Spark集群規(guī)模 近百個(gè)節(jié)點(diǎn)（中國大陸很少有 100+節(jié)點(diǎn)的案例）幾千個(gè)節(jié)點(diǎn)動態(tài)擴(kuò)展運(yùn)算能力擴(kuò)容通常導(dǎo)致停機(jī)、服務(wù)中斷；數(shù)據(jù)需要重新分布，性能嚴(yán)重下降。Spark 技術(shù)優(yōu)勢存儲、處理、分析 PB 級別的結(jié)構(gòu)化、半 結(jié)構(gòu)化、非 結(jié)構(gòu)化數(shù)據(jù)。所有解決方案都通過 Apache Software Foundation以項(xiàng)目形式開發(fā)，HDP 內(nèi)無需專用擴(kuò)展。整體架構(gòu)如下圖所示：MapR Hadoop 是 MapR Technologies 公司于 2022 年正式發(fā)布的產(chǎn)品，目 標(biāo)是使 Hadoop 變?yōu)橐粋€(gè)速度更快、可靠性更高、更易于管理、使用更加方便的分布式計(jì)算服務(wù)和存儲平臺，同 時(shí)性能也不斷提高。整體架構(gòu)如下圖所示：精選資料可修改編輯華為 FusionInsight Hadoop 是完全基于 Apache Hadoop 組件構(gòu)建的 Hadoop產(chǎn)品，在 Apache Hadoop 版本的基礎(chǔ)上對 HBase、HDFS 和 MapReduce 等組件增加了 HA、查詢 和分析功能，進(jìn)行了性能優(yōu)化，并及時(shí)回饋 Hadoop 社區(qū)，保持版本同步，接口與社區(qū)版本完全一致。計(jì)算引擎 MapReduce，用以 進(jìn)行大數(shù)據(jù)量的計(jì) 算。配置管理 監(jiān)控服務(wù) Ambari 是基于 Web 的工具，用于配置、管理和監(jiān)視 Hadoop 集群，并支
物理相關(guān)推薦
鄂ICP備17016276號-1