大數(shù)據(jù)處理技術(shù)參考架構(gòu)-展示頁(yè)
2024-07-28 22:22本頁(yè)面
【正文】 技 術(shù)大多用于數(shù)據(jù) 倉(cāng)庫(kù)領(lǐng)域，是將任務(wù)并行的分散到多個(gè)服務(wù)器節(jié)點(diǎn)上，在每個(gè)節(jié)點(diǎn)上計(jì)算完成后，將各自部分的結(jié)果匯總 在一起得到最終的結(jié)果的一項(xiàng)技術(shù)，典型的代表例如： Teradata，HP Vertica，EMC Greenplum，GBase，Oracle Exadata 等。在使用數(shù)據(jù)進(jìn)行分布式計(jì)算時(shí)，一般情況當(dāng)月 4TB 的數(shù)據(jù)全部參與計(jì)算。 增量數(shù)據(jù)在當(dāng)月 58 日進(jìn)行校驗(yàn)、 審核等處理，數(shù)據(jù) 處理過(guò) 程希望在 T+0 完成。? 能夠靈活的使用數(shù)據(jù)可視化技術(shù)對(duì)數(shù)據(jù)進(jìn)行互動(dòng)展現(xiàn)，例如：EChars 。? 統(tǒng)計(jì)類的數(shù)據(jù)查詢多為綜合查詢，條件通?？捎捎脩粼诓樵兦岸ㄖ?，有查詢響應(yīng)實(shí)時(shí)性、查詢條件多樣性、 查詢多表關(guān)聯(lián)性的特點(diǎn)。? 校驗(yàn)、匯總、計(jì)算等環(huán)節(jié)中，所涉及到的運(yùn)算 規(guī)則 均定義在數(shù)據(jù)庫(kù)或配置文件中，在執(zhí)行處理之前，需要獲取運(yùn)算規(guī)則。精選資料可修改編輯4. 大數(shù)據(jù)處理業(yè)務(wù)場(chǎng)景以統(tǒng)計(jì)分析類的業(yè)務(wù)場(chǎng)景為例，針對(duì)大數(shù)據(jù)的處理主要經(jīng)過(guò)采集、存儲(chǔ)、校驗(yàn)、審核、匯總 、計(jì)算、分析挖掘等過(guò)程，在數(shù)據(jù)粒度上，既要包逐筆的 標(biāo)準(zhǔn)化源數(shù)據(jù)，還 要包括不同層次的 總量指標(biāo)數(shù)據(jù)，從而 實(shí)現(xiàn)對(duì)統(tǒng)計(jì)體系業(yè)務(wù)的全覆蓋、無(wú)遺漏。采用的大數(shù)據(jù)技術(shù)架構(gòu)能夠支持故障的檢測(cè)和自動(dòng)快速恢復(fù)，確保系統(tǒng)的高可用性。 3. 技術(shù)要求在滿足海量數(shù)據(jù)高效處理的同時(shí)，對(duì)用戶的訪問(wèn)能夠保持較高的實(shí)時(shí)性，快速響應(yīng)用戶的請(qǐng)求。? 增強(qiáng)自主創(chuàng)新能力，滿足人民銀行對(duì)信息技術(shù)安全可控的要求。精選資料可修改編輯2. 技術(shù)目標(biāo)? 獲得最優(yōu)系統(tǒng)價(jià)值，滿足大數(shù)據(jù)的處理性能， 節(jié)約系統(tǒng)建設(shè)成本。金融業(yè)的快速發(fā)展和創(chuàng)新，使貨幣政策操作環(huán)境、傳導(dǎo)渠道 發(fā)生重大變化。在金融行業(yè) 新興業(yè)態(tài)下， 為促進(jìn)互聯(lián)網(wǎng)金融的健康發(fā)展，為全面提升互聯(lián)網(wǎng)金融服務(wù)能力和普惠水平，為有效防范互聯(lián)網(wǎng)金融風(fēng)險(xiǎn)及其外溢效應(yīng)而提供技術(shù)支撐。當(dāng)前互 聯(lián)網(wǎng)金融的格局中，由 傳統(tǒng) 金融機(jī)構(gòu)和非金融機(jī)構(gòu)組成。同 時(shí)，充分的利用開源產(chǎn)品透明公開的關(guān)鍵信息，做到對(duì)技術(shù)細(xì)節(jié)的掌控和驗(yàn)證，開源產(chǎn)品的特點(diǎn)也更能夠激發(fā)開發(fā)者的熱情并推進(jìn)技術(shù)的快速變革。為適應(yīng)對(duì)大數(shù)據(jù)處理的要求，眾多的分布式計(jì)算平臺(tái)隨之興起，在 對(duì)眾多分布式 計(jì)算平臺(tái)進(jìn)行權(quán)衡的同時(shí)，增強(qiáng)自主創(chuàng)新能力，以滿足人民銀行對(duì)信息技術(shù)安全可控的要求。SPARK 技術(shù)優(yōu)勢(shì) ...................................................................................6. HADOOP 框架對(duì)比 .................................................................................................6. HADOOP 使用情況 .................................................................................................7. HADOOP 血緣關(guān)系 .................................................................................................8. 行業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景對(duì)比分析 ..........................................................................126. 大數(shù)據(jù)處理參考架構(gòu) ...................................................................................................13. 參考架構(gòu) ..............................................................................................................13. 與 JAVAEE 體系對(duì)比 ...........................................................................................14. 參考架構(gòu)運(yùn)行狀態(tài) ..............................................................................................157. 總結(jié)與思考 ...................................................................................................................16附錄：名詞解釋 ........................................................................................................................18精選資料可修改編輯1. 背景隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)由海量拓展為多樣，在注重計(jì)算速度的同時(shí)更加關(guān)注挖掘有價(jià)值的數(shù)據(jù)。精選資料可修改編輯大數(shù)據(jù)處理技術(shù)參考架構(gòu)二〇一五年十二月精選資料可修改編輯目 錄1. 背景 .................................................................................................................................12. 技術(shù)目標(biāo) .........................................................................................................................23. 技術(shù)要求 .........................................................................................................................24. 大數(shù)據(jù)處理業(yè)務(wù)場(chǎng)景 .......................................................
物理相關(guān)推薦
鄂ICP備17016276號(hào)-1