【正文】 2. 技術(shù)目標? 獲得最優(yōu)系統(tǒng)價值，滿足大數(shù)據(jù)的處理性能， 節(jié)約系統(tǒng)建設(shè)成本。? 充分利用開源產(chǎn)品，做到對技術(shù)細節(jié)的掌控和驗證 ，以保障大數(shù)據(jù)技 術(shù)達到靈活可用。? 增強自主創(chuàng)新能力，滿足人民銀行對信息技術(shù)安全可控的要求。? 有效提供技術(shù)支撐，適應(yīng)金融行業(yè)新興業(yè)態(tài)下對 大數(shù)據(jù)技術(shù)的需要。 3. 技術(shù)要求在滿足海量數(shù)據(jù)高效處理的同時，對用戶的訪問能夠保持較高的實時性，快速響應(yīng)用戶的請求。采用的大數(shù)據(jù)技術(shù)架構(gòu)能夠支持水平擴展（Scaleout），適應(yīng)未來五年對大數(shù)據(jù)存儲和處理的需要。采用的大數(shù)據(jù)技術(shù)架構(gòu)能夠支持故障的檢測和自動快速恢復(fù)，確保系統(tǒng)的高可用性。在滿足大數(shù)據(jù)業(yè)務(wù)場景性能要求的同時，采用更加經(jīng)濟的大數(shù)據(jù)技術(shù)解決方案。精選資料可修改編輯4. 大數(shù)據(jù)處理業(yè)務(wù)場景以統(tǒng)計分析類的業(yè)務(wù)場景為例，針對大數(shù)據(jù)的處理主要經(jīng)過采集、存儲、校驗、審核、匯總 、計算、分析挖掘等過程，在數(shù)據(jù)粒度上，既要包逐筆的 標準化源數(shù)據(jù)，還 要包括不同層次的 總量指標數(shù)據(jù)，從而 實現(xiàn)對統(tǒng)計體系業(yè)務(wù)的全覆蓋、無遺漏。 統(tǒng)計分析類大數(shù)據(jù) 處理、 報表展現(xiàn)和信息發(fā) 布的典型流程如下圖所示：統(tǒng)計分析類業(yè)務(wù)的特點主要包括：? 在每個處理環(huán)節(jié)中，均能夠為業(yè)務(wù)操作員提供實時的業(yè)務(wù)處理情況或處理結(jié)果的查詢。? 校驗、匯總、計算等環(huán)節(jié)中，所涉及到的運算 規(guī)則 均定義在數(shù)據(jù)庫或配置文件中，在執(zhí)行處理之前，需要獲取運算規(guī)則。? 在報表數(shù)據(jù)生成或信息發(fā)布環(huán)節(jié)，能夠提供逐筆數(shù)據(jù)、指標數(shù)據(jù)、 匯總數(shù)據(jù)和報表數(shù)據(jù)的實時查詢，并能夠通過 BI 工具訪問以上數(shù)據(jù)。? 統(tǒng)計類的數(shù)據(jù)查詢多為綜合查詢，條件通常可由用戶在查詢前定制，有查詢響應(yīng)實時性、查詢條件多樣性、 查詢多表關(guān)聯(lián)性的特點。? 能夠靈活的通過數(shù)據(jù)挖掘技術(shù)對數(shù)據(jù)進行價值分析，例如：R 語言。? 能夠靈活的使用數(shù)據(jù)可視化技術(shù)對數(shù)據(jù)進行互動展現(xiàn)，例如：EChars 。統(tǒng)計系統(tǒng)業(yè)務(wù)量以每月增量 40 億筆進行估算（以每筆 1KB 估算，約 4TB/月增量數(shù)據(jù)；每筆數(shù)據(jù)平均包含 20 個字段），現(xiàn)有存量數(shù)據(jù)大約在 20TB。 增量數(shù)據(jù)在當月 58 日進行校驗、 審核等處理，數(shù)據(jù) 處理過 程希望在 T+0 完成。實時查詢業(yè)務(wù)為用戶隨機進行。在使用數(shù)據(jù)進行分布式計算時，一般情況當月 4TB 的數(shù)據(jù)全部參與計算。比較復(fù)雜場 景之一是邏輯校驗部分的算法，按不同的規(guī)則，有的規(guī)則會使用到當月的全部增量數(shù)據(jù)參與校驗，有的規(guī)則會按金融機構(gòu)維度使用當前機構(gòu)的歷史數(shù)據(jù)參與校驗。精選資料可修改編輯5. 大數(shù)據(jù)處理技術(shù)對比目前對海量數(shù)據(jù)進行分布式處理的技術(shù)主要分為兩類：? MPP（Massively Parallel Processing）大規(guī)模并行處 理技術(shù)；MPP 技 術(shù)大多用于數(shù)據(jù) 倉庫領(lǐng)域，是將任務(wù)并行的分散到多個服務(wù)器節(jié)點上，在每個節(jié)點上計算完成后，將各自部分的結(jié)果匯總 在一起得到最終的結(jié)果的一項技術(shù)，典型的代表例如： Teradata，HP Vertica，EMC Greenplum，GBase，Oracle Exadata 等。? Apache Hadoop、Spark 技術(shù)。Hadoopamp。Spark 是由 Apache 基金會所開發(fā)的分布式系 統(tǒng)基礎(chǔ)架構(gòu)，它所解決的核心問題是，通過部署在低廉的硬件上的、可以協(xié)同工作的軟件組件，來完成分布式數(shù)據(jù)存儲、高吞吐量數(shù)據(jù)訪問、以及高 負載 的分布式計算。近些年在眾多行業(yè)都得到廣泛應(yīng)用。. MPP 與 Hadoopamp。Spark 技術(shù)對比集群規(guī)模上，MPP 技術(shù)支持近百個節(jié)點（中國大陸很少有 100+節(jié)點的案例）。Hadoopamp。Spark 技術(shù)支持幾千個 節(jié)點。擴容影響上，MPP 技術(shù)擴容通常導(dǎo)致停機、服務(wù)中斷；數(shù)據(jù)需要重新分布，性能嚴重下降。Hadoopamp。Spark 技術(shù)擴容無需停機、服務(wù)不中斷；數(shù)據(jù)無需重新分布，新數(shù)據(jù)自動被分配到新的 節(jié)點中，性能沒有影響。數(shù)據(jù)分布方式上，MPP 技術(shù)以預(yù)定義數(shù)據(jù)分布策略，按列進行散列或輪詢分布；真實數(shù)據(jù)通常有傾斜，將 導(dǎo)致數(shù)據(jù)不均勻分布，對計算效率影響較大。Hadoopamp。Spark 技術(shù)中，數(shù)據(jù)按預(yù)配置的塊大小自動 均勻分布，通 過 blockmap 映射表查詢數(shù)據(jù)位置；數(shù)據(jù)分布均勻、擴容無需停機。處理數(shù)據(jù)量上，MPP 技術(shù)在數(shù)十 TB 級別。Hadoopamp。Spark 技術(shù)在 PB 級別。容錯能力上，MPP 技術(shù)不存放中間結(jié)果，出錯時需要重新執(zhí)行整個任務(wù)。Hadoopamp。Spark 技術(shù)存放中 間結(jié)果，出錯時只需要重新運行出 錯的子任務(wù)并發(fā)能力上，MPP 技術(shù)多用于分析型應(yīng)用場景，數(shù)據(jù)裝載時建立索引較慢；通常不超過數(shù)百個并發(fā)。 Hadoopamp。Spark 技術(shù)數(shù)據(jù)裝 載快，采用公平調(diào)度/配額調(diào)度；可支持上億用戶并發(fā)數(shù)據(jù)插入、查詢、 檢索。數(shù)據(jù)存儲對象，MPP 技術(shù)支持結(jié)構(gòu)化數(shù)據(jù)，Hadoopamp。Spark 技術(shù)支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。精選資料可修改編輯應(yīng)用運算邏輯實現(xiàn)方式上，MPP 技術(shù) SQL 語言， Hadoopamp。Spark 技術(shù)支持SQL202部分 PL/SQL、R、Java、Scala 等。數(shù)據(jù)訪問接口，MPP 技術(shù)支持 JDBC、ODBC，Hadoopamp。Spark 技術(shù)支持JDBC、ODBC、R 語言接口等。MPP Hadoopamp。Spark集群規(guī)模 近百個節(jié)點（中國大陸很少有 100+節(jié)點的案例）幾千個節(jié)點動態(tài)擴展運算能力擴容通常導(dǎo)致停機、服務(wù)中斷；數(shù)據(jù)需要重新分布，性能嚴重下降。擴容無需停機、服務(wù)不中斷；擴容時數(shù)據(jù)無需重新分布，新數(shù)據(jù)自動被分配到新的節(jié)點中，性能沒有影響。數(shù)據(jù)分布方式數(shù)據(jù)以預(yù)定義的分布策略，按列進行散列或輪詢分布；真實數(shù)據(jù)通常有傾斜，將導(dǎo)致數(shù)據(jù)不均勻分布，對計算效率影響較大。數(shù)據(jù)以預(yù)定義的塊大小自動均勻分布，通過 blockmap 映射表查詢數(shù)據(jù)位置；數(shù)據(jù)分布均勻、擴容無需停機。處理數(shù)據(jù)量數(shù)十 TB PB容錯能力 不存放中間結(jié)果，出錯時需要重新執(zhí)行整個任務(wù)存放中間結(jié)果，出錯時只需要重新運行出錯的子任務(wù)并發(fā)能力 用于分析型應(yīng)用場景，數(shù)據(jù)裝載時建立索引較慢；通常不超過數(shù)百個并發(fā)。數(shù)據(jù)裝載快，采用公平調(diào)度/配額調(diào)度；可支持上億用戶并發(fā)數(shù)據(jù)插入、查詢、檢索。數(shù)據(jù)存儲對象結(jié)構(gòu)化數(shù)據(jù) 結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)