【正文】 照WMS的上架策略、批次策略和貨物管理要求，在相應(yīng)的貨物進(jìn)行堆放；商品揀貨區(qū)按照WMS的上架策略，將一部分商品放入到揀選區(qū)各個(gè)貨位上；商品打包區(qū)按照OMS系統(tǒng)的打包指令，倉(cāng)儲(chǔ)工人打印訂單，按訂單在揀貨區(qū)分訂單揀選商品，拉到打包區(qū)，工人按照WMS的操作指示，選擇不同規(guī)格的包材，打包商品，打印物流電子面單（需通過OMS系統(tǒng)與相關(guān)快遞公司的電子面單系統(tǒng)對(duì)接），黏貼物流電子面單；打包區(qū)內(nèi)可以細(xì)分為打包區(qū)、復(fù)核區(qū)，并將上述步驟進(jìn)行分解處理：打包區(qū)負(fù)責(zé)按訂單將商品裝入適合的包材中；復(fù)核區(qū)按照訂單單面信息與包裹內(nèi)商品核對(duì)，封膠帶，貼面單，并稱重（用于與商家計(jì)費(fèi)），并反饋打包完成狀態(tài)；商品待放行堆放區(qū)打包完成的商品，放入到圍網(wǎng)內(nèi)的待放行堆放區(qū)；如果在打包區(qū)未進(jìn)行包裹稱重，倉(cāng)庫(kù)也可以在此區(qū)域設(shè)置電子秤，對(duì)每件包裹秤重，便于后續(xù)與商家計(jì)費(fèi)；商品待查驗(yàn)堆放區(qū)海關(guān)、檢驗(yàn)檢疫可以對(duì)待放行區(qū)域內(nèi)的打包商品進(jìn)行抽檢，抽檢方式包括：一是按照海關(guān)、檢驗(yàn)檢疫的系統(tǒng)指令，將查驗(yàn)包裹找出來，放到待查驗(yàn)區(qū)；二是按照海關(guān)、檢驗(yàn)檢疫的人工隨機(jī)查驗(yàn)指令，隨機(jī)抽取一些包裹，放到待查驗(yàn)區(qū)；X光機(jī)分揀查驗(yàn)區(qū)在倉(cāng)儲(chǔ)出口，或者保稅區(qū)域內(nèi)的公共查驗(yàn)區(qū)域，建設(shè)X光機(jī)和傳送帶，為海關(guān)、檢驗(yàn)檢疫建立兩個(gè)獨(dú)立的監(jiān)管房間，X光機(jī)檢查屏幕在兩個(gè)房間均可以看到，并能夠做到通過傳送帶上的條碼閱讀器讀取待查驗(yàn)包裹的運(yùn)單號(hào)，通過運(yùn)單號(hào)調(diào)出該運(yùn)單對(duì)應(yīng)的跨境申報(bào)清單數(shù)據(jù)，X光機(jī)屏幕及清單數(shù)據(jù)在海關(guān)、檢驗(yàn)檢疫可以同時(shí)查看，便于監(jiān)管人員進(jìn)行實(shí)物與清單的對(duì)比；快速放行通道對(duì)于未被抽檢的包裹，可以直接從快速放行通道出監(jiān)管圍網(wǎng)，放到待發(fā)貨堆放區(qū)；待發(fā)貨堆放區(qū)該區(qū)域由倉(cāng)儲(chǔ)企業(yè)和快遞企業(yè)進(jìn)行貨物交接，兩方在交接過程中分別用各自的碼槍掃描包裹上的運(yùn)單號(hào)，倉(cāng)儲(chǔ)企業(yè)通過運(yùn)單號(hào)關(guān)聯(lián)訂單號(hào)，在WMS和OMS中分別回寫包裹出庫(kù)狀態(tài)；快遞企業(yè)在掃描運(yùn)單的同時(shí)，可以在此區(qū)域放置電子秤，逐票記錄每個(gè)包裹的實(shí)際重量，用于與商家結(jié)算。貨物按照發(fā)貨波次出庫(kù)，一般一日兩個(gè)波次，包裹裝滿一輛快遞車，WMS系統(tǒng)將掃描的包裹訂單號(hào)，匯總為一張出區(qū)核放單，并傳輸?shù)奖６悈^(qū)域輔助管理系統(tǒng)做出區(qū)申報(bào)。 監(jiān)控中心按照海關(guān)和檢驗(yàn)檢疫對(duì)跨境監(jiān)管倉(cāng)庫(kù)的管理要求，倉(cāng)庫(kù)要設(shè)置監(jiān)控?cái)z像頭，目前的監(jiān)管倉(cāng)庫(kù)已經(jīng)有CCTV監(jiān)控系統(tǒng)了，需要增加集中監(jiān)控設(shè)備，部署在海關(guān)和檢驗(yàn)檢疫的監(jiān)控房間中，供集中監(jiān)控使用。但隨著跨境倉(cāng)儲(chǔ)區(qū)的安裝部署，尤其的高貨架的安裝，會(huì)影響到CCTV系統(tǒng)的監(jiān)控訪問，產(chǎn)生監(jiān)控死角。因此需要按照?qǐng)龅氐膶?shí)際條件增加監(jiān)控?cái)z像頭，并將監(jiān)控信息集中到海關(guān)和檢驗(yàn)檢疫的監(jiān)控室內(nèi)。（2）信息化中心 數(shù)據(jù)交換中心數(shù)據(jù)交換中心主要功能是建立統(tǒng)一的標(biāo)準(zhǔn)，實(shí)現(xiàn)數(shù)據(jù)的傳輸和交換。其主要功能如下：（1）服務(wù)管理所有交換皆為服務(wù)，服務(wù)作為數(shù)據(jù)交換中心業(yè)務(wù)核心，其生命周期涵蓋服務(wù)注冊(cè)、發(fā)布、授權(quán)、調(diào)用、監(jiān)控和事后查詢、異常處理等。服務(wù)管理作為服務(wù)整個(gè)生命周期的基礎(chǔ)模塊，負(fù)責(zé)提供服務(wù)基礎(chǔ)信息，其主要包括服務(wù)管理、注冊(cè)、發(fā)布、授權(quán)、測(cè)試和編排等方面。（2）交換申請(qǐng)服務(wù)申請(qǐng)主要實(shí)現(xiàn)增強(qiáng)對(duì)參與“單一窗口”平臺(tái)數(shù)據(jù)交換的企業(yè)的接入和管理功能。企業(yè)用戶線上對(duì)所需要的交換服務(wù)進(jìn)行業(yè)務(wù)申請(qǐng)，同時(shí)可根據(jù)自身需要把企業(yè)服務(wù)器接入平臺(tái)作為交換節(jié)點(diǎn)使用。同時(shí)將對(duì)后續(xù)執(zhí)行情況進(jìn)行統(tǒng)計(jì)查看。（3）交換協(xié)議支持主流數(shù)據(jù)傳輸協(xié)議，包括MQ、JMS、FTP、DB、HTTP等，本次以REST、DB、RocketMQ為主,同時(shí)完善早期提供的MQ、FTP，WebService等協(xié)議。所有交換可在各個(gè)協(xié)議之間自如轉(zhuǎn)換。（4）報(bào)文標(biāo)準(zhǔn)及映射完善現(xiàn)有數(shù)據(jù)格式標(biāo)準(zhǔn)，并增加其他主流平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)。依此建立各平臺(tái)間數(shù)據(jù)映射機(jī)制。（5）報(bào)文傳輸模式增加主流傳輸模式支持，主要包括單向傳輸、請(qǐng)求應(yīng)答、發(fā)布訂閱、信息推送等模式。根據(jù)傳輸技術(shù)的異同，采用異步通訊方式，即交換中心先接收所有報(bào)文，再根據(jù)業(yè)務(wù)情況進(jìn)行后續(xù)業(yè)務(wù)處理，包括即時(shí)應(yīng)答、報(bào)文分發(fā)等。（6）報(bào)文格式轉(zhuǎn)換配合消息標(biāo)準(zhǔn)及映射，根據(jù)標(biāo)準(zhǔn)定制轉(zhuǎn)換適配器進(jìn)行報(bào)文格式轉(zhuǎn)換。發(fā)送報(bào)文格式由各接收方（包括職能部門和企業(yè)等）制定，交換中心將根據(jù)各方標(biāo)準(zhǔn)定制相應(yīng)適配器進(jìn)行格式轉(zhuǎn)換。（7）交換路由分發(fā)增強(qiáng)交換路由分發(fā)功能，報(bào)文一次接入后可分發(fā)到不同協(xié)議接收端。交換中心通過路由適配器進(jìn)行報(bào)文解析后根據(jù)預(yù)設(shè)規(guī)則尋址，明確接收方后報(bào)文同時(shí)發(fā)送給多個(gè)接收端。路由規(guī)則在系統(tǒng)中按照業(yè)務(wù)來源指定、路由判定來源存放在報(bào)文頭中。（8）交換請(qǐng)求調(diào)度引入分布式服務(wù)調(diào)度框架，作為服務(wù)執(zhí)行過程中進(jìn)行業(yè)務(wù)流轉(zhuǎn)和監(jiān)控核心，主要實(shí)現(xiàn)對(duì)來自各客戶端的服務(wù)請(qǐng)求進(jìn)行調(diào)度和回執(zhí)、日志、監(jiān)控等一系列操作。（9）交換異常處理新提供報(bào)文傳輸過程異常處理功能。報(bào)文交換中可能發(fā)生各類異常，包括報(bào)文不符合要求、接收端通訊異常、交換規(guī)則阻止等。交換中心根據(jù)監(jiān)控信息對(duì)所有異常進(jìn)行人工干預(yù)和自動(dòng)處理。（10）交換備份存儲(chǔ)所有通過交換中心的報(bào)文交換請(qǐng)求都會(huì)進(jìn)行報(bào)文存儲(chǔ)，以備后續(xù)交換審計(jì)和報(bào)文交換重啟。報(bào)文將通過分布式存儲(chǔ)系統(tǒng)進(jìn)行存儲(chǔ)，高可靠性的存取功能將有助于報(bào)文隨時(shí)隨地快速讀取。（11）交換負(fù)載均衡交換中心為保障報(bào)文交換請(qǐng)求穩(wěn)定可靠運(yùn)行，提供高容錯(cuò)的負(fù)載均衡體系，從接收端到處理端再到發(fā)送端。同時(shí)各端可根據(jù)實(shí)際業(yè)務(wù)負(fù)載情況進(jìn)行快速水平擴(kuò)展。（12）交換緩存處理交換過程中將會(huì)有大量標(biāo)準(zhǔn)信息和規(guī)則信息以及認(rèn)證信息被讀取，系統(tǒng)將以緩存方式存取該部分信息供交換中心處理模塊使用，同時(shí)提供相應(yīng)接口供管理人員按需刷新緩存信息，保證數(shù)據(jù)一致性，避免臟數(shù)據(jù)存在。（13）交換訪問控制訪問認(rèn)證作為服務(wù)數(shù)據(jù)交換的訪問入口，主要負(fù)責(zé)對(duì)所有服務(wù)請(qǐng)求進(jìn)行安全性訪問控制，認(rèn)證范圍包括客戶端包，服務(wù)調(diào)用權(quán)限控制、數(shù)據(jù)加解密、訪問頻率控制等。（14）服務(wù)查詢服務(wù)查詢主要提供服務(wù)交換相關(guān)業(yè)務(wù)和交換過程查詢。包括調(diào)用日志記錄、日志查詢、調(diào)用統(tǒng)計(jì)等。 大數(shù)據(jù)中心依托政府、電商、金融、物流等多方主體的海量數(shù)據(jù)，利用大數(shù)據(jù)技術(shù)，通過對(duì)結(jié)構(gòu)及非結(jié)構(gòu)化數(shù)據(jù)的采集、存儲(chǔ)及分析挖掘，匯聚企業(yè)備案數(shù)據(jù)、申報(bào)處理數(shù)據(jù)、交易數(shù)據(jù)、物流數(shù)據(jù)、金融數(shù)據(jù)、商品數(shù)據(jù)等數(shù)據(jù)，建立全球跨境貿(mào)易電子商務(wù)數(shù)據(jù)的交換匯聚樞紐，形成跨境貿(mào)易電子商務(wù)大數(shù)據(jù)中心，為跨境貿(mào)易電子商務(wù)大數(shù)據(jù)交換、整合、研究、發(fā)布提供數(shù)據(jù)基礎(chǔ)。大數(shù)據(jù)處理中心的應(yīng)用架構(gòu)圖如下：項(xiàng)目實(shí)施采集、存儲(chǔ)和集成三個(gè)子系統(tǒng)。（1）數(shù)據(jù)采集子系統(tǒng)數(shù)據(jù)采集子系統(tǒng)負(fù)責(zé)為數(shù)據(jù)中心提供有價(jià)值的數(shù)據(jù)，分三大塊功能：數(shù)據(jù)采集需要從不同來源獲取數(shù)據(jù)，其中包括“六中心，六平臺(tái)，一門戶”，獲取數(shù)據(jù)的來源還有各政府部門和相關(guān)企業(yè)的信息化數(shù)據(jù)。這些數(shù)據(jù)包含結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)的存儲(chǔ)形式也具有多樣性，有文件，數(shù)據(jù)庫(kù)，網(wǎng)頁(yè)等。同時(shí)數(shù)據(jù)的編碼也不一樣，需要進(jìn)行相應(yīng)的轉(zhuǎn)換。針對(duì)不同的數(shù)據(jù)，還需要建立增添和全量的獲取機(jī)制，確保數(shù)據(jù)的完整性。項(xiàng)目實(shí)現(xiàn)平臺(tái)電商交易數(shù)據(jù)、物流數(shù)據(jù)、支付數(shù)據(jù)、申報(bào)數(shù)據(jù)、備案數(shù)據(jù)、信息發(fā)布數(shù)據(jù)、信用數(shù)據(jù)、統(tǒng)計(jì)監(jiān)測(cè)數(shù)據(jù)、風(fēng)險(xiǎn)預(yù)警等數(shù)據(jù)的采集。大數(shù)據(jù)采集處理方案按照不同的階段，可以分為兩個(gè)部分，即數(shù)據(jù)采集與數(shù)據(jù)處理，數(shù)據(jù)采集為數(shù)據(jù)處理提供原始數(shù)據(jù)，數(shù)據(jù)處理對(duì)所采集的數(shù)據(jù)提供預(yù)處理，從而方便導(dǎo)入數(shù)據(jù)存儲(chǔ)系統(tǒng)。同時(shí)需要在數(shù)據(jù)采集與處理之間考慮數(shù)據(jù)的傳輸問題，即采集數(shù)據(jù)的編碼。具體建設(shè)內(nèi)容如下：大數(shù)據(jù)采集大數(shù)據(jù)采集是大數(shù)據(jù)平臺(tái)的數(shù)據(jù)入口，其適應(yīng)性與效率直接決定了大數(shù)據(jù)平臺(tái)的適用范圍和平臺(tái)性能，所以屬于非常重要的基礎(chǔ)性工作。大數(shù)據(jù)采集根據(jù)數(shù)據(jù)類型，主要分為結(jié)構(gòu)化數(shù)據(jù)采集與非結(jié)構(gòu)數(shù)據(jù)采集。結(jié)構(gòu)化數(shù)據(jù)采集結(jié)構(gòu)化數(shù)據(jù)和傳統(tǒng)技術(shù)關(guān)聯(lián)較大，需要借助于數(shù)據(jù)庫(kù)技術(shù)與設(shè)計(jì)完成，按照消息采集的同步或者異步特性，其主要可分為兩類：基于JDBC接口的庫(kù)表數(shù)據(jù)抽取，即同步的數(shù)據(jù)庫(kù)數(shù)據(jù)提取。基于數(shù)據(jù)日志的結(jié)構(gòu)化數(shù)據(jù)消息化，即異步的數(shù)據(jù)庫(kù)操作過程與數(shù)據(jù)同步。該過程可以將數(shù)據(jù)庫(kù)的每一個(gè)操作過程異步化為消息，從而不會(huì)錯(cuò)過任何一個(gè)數(shù)據(jù)操作，可以完整的重現(xiàn)數(shù)據(jù)庫(kù)的操作。需要研究針對(duì)MySQL、Oracle等多種數(shù)據(jù)庫(kù)的日志解析提取方式。如何將不同來源的結(jié)構(gòu)化數(shù)據(jù)集成到大數(shù)據(jù)平臺(tái)中是采集階段需要解決的一個(gè)問題。非結(jié)構(gòu)化數(shù)據(jù)采集相比較結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)的適用范圍更廣，并需要支持更多的數(shù)據(jù)格式，按照數(shù)據(jù)的類型，基本可以分為三類，即消息數(shù)據(jù)、日志數(shù)據(jù)與網(wǎng)站數(shù)據(jù)。主要對(duì)應(yīng)于分布式日志采集系統(tǒng)、消息處理系統(tǒng)、網(wǎng)站數(shù)據(jù)抓取系統(tǒng)：日志采集系統(tǒng)：日志采集系統(tǒng)主要指對(duì)各式系統(tǒng)與應(yīng)用日志的適配，其中包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、legacy以及自定義消息。網(wǎng)絡(luò)數(shù)據(jù)抓取系統(tǒng)：網(wǎng)絡(luò)數(shù)據(jù)抓取系統(tǒng)嚴(yán)格來講可以分為兩個(gè)部分，網(wǎng)站數(shù)據(jù)抓取系統(tǒng)與網(wǎng)絡(luò)包抓取系統(tǒng)。網(wǎng)絡(luò)包抓取系統(tǒng)即傳統(tǒng)的包嗅探技術(shù)，在WIFI數(shù)據(jù)采集等領(lǐng)域有比較成熟的應(yīng)用，但目前有一定的大數(shù)據(jù)隱私保護(hù)風(fēng)險(xiǎn)。消息處理系統(tǒng)：消息處理系統(tǒng)是大數(shù)據(jù)采集系統(tǒng)的核心組件，所有的消息都統(tǒng)一傳輸?shù)皆撓到y(tǒng)進(jìn)行集中處理，其中包括離散化后的日志數(shù)據(jù)、網(wǎng)站數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)。對(duì)于不同類型的非結(jié)構(gòu)化數(shù)據(jù)，其采集方式差異較大。本項(xiàng)目中需要針對(duì)數(shù)據(jù)的特性，基于相關(guān)開源技術(shù)，研究高效可行的采集方法。大數(shù)據(jù)來源本平臺(tái)數(shù)據(jù)來自三方面：跨境電商主體填報(bào)的信息：跨境電商主體填報(bào)的報(bào)關(guān)報(bào)檢、跨境物流、網(wǎng)上銷售訂單信息或倉(cāng)庫(kù)發(fā)貨清單信息等；第三方提供的信息：跨境電商物流服務(wù)商、支付機(jī)構(gòu)、第三方平臺(tái)等提供的貨物種類、數(shù)量、金額等信息；業(yè)務(wù)部門信息管理系統(tǒng)交互共享的信息：海關(guān)、檢驗(yàn)檢疫、外匯管理、國(guó)稅等部門信息管理系統(tǒng)交互共享的信息；大數(shù)據(jù)傳輸數(shù)據(jù)的傳輸系統(tǒng)，即數(shù)據(jù)傳輸格式與編碼。需要研究統(tǒng)一的數(shù)據(jù)傳輸編碼格式，提高消息系統(tǒng)的整體性和性能。例如：對(duì)網(wǎng)頁(yè)數(shù)據(jù)也通過編碼的方式，以方便利于后期解析，另一方面也提高了消息中間件的存取傳輸效率。該模塊應(yīng)該支持通過統(tǒng)一的入口，選擇不同的數(shù)據(jù)源配置，之后自動(dòng)部署相應(yīng)的采集工具到采集端，開始數(shù)據(jù)的采集過程，同時(shí)可以配置數(shù)據(jù)傳輸?shù)木幋a方式，與數(shù)據(jù)采集的消息中間件配置與地址，從而可以通過一個(gè)統(tǒng)一的接口，完整和便捷的實(shí)現(xiàn)數(shù)據(jù)的采集配置過程。另一方面，數(shù)據(jù)采集過程中的狀態(tài)數(shù)據(jù)，也通過該模塊進(jìn)行維護(hù)，可以以可視化的方式，方便的展現(xiàn)于系統(tǒng)中，比如消息的流動(dòng)情況和目前的系統(tǒng)消息采集吞吐率等。大數(shù)據(jù)處理數(shù)據(jù)處理即數(shù)據(jù)的Extraction、Transformation and Loading，即數(shù)據(jù)的抽取、轉(zhuǎn)化與加載。對(duì)結(jié)構(gòu)化數(shù)據(jù)，可以基于SQL進(jìn)行抽取，而對(duì)于非結(jié)構(gòu)數(shù)據(jù)，往往需要自己構(gòu)造解析器，完成有效信息的提取，并通過代碼或者配置完成后期的清洗或者預(yù)算。由于數(shù)據(jù)源復(fù)雜度高，需要進(jìn)行適配，設(shè)計(jì)出具備高擴(kuò)展性的方案。數(shù)據(jù)核算：對(duì)數(shù)據(jù)進(jìn)行歸整、匹配、校對(duì)和核算，便于數(shù)據(jù)的進(jìn)一步處理。數(shù)據(jù)互通本項(xiàng)目除數(shù)據(jù)中心架構(gòu)建設(shè)外，通過訂單、物流單、支付單的“三單比對(duì)”確認(rèn)跨境電商的交易行為，數(shù)據(jù)共享與湖北電子口岸、海關(guān)、商檢、國(guó)稅、外管等部門，為報(bào)關(guān)、退稅、結(jié)匯提供數(shù)據(jù)依據(jù)。我司有豐富的政府監(jiān)管部門、銀行、企業(yè)系統(tǒng)對(duì)接和互聯(lián)互通經(jīng)驗(yàn)，可快速?gòu)?fù)制到本項(xiàng)目。（2）數(shù)據(jù)存儲(chǔ)子系統(tǒng)跨境電子商務(wù)平臺(tái)的數(shù)據(jù)來源多樣，包括業(yè)務(wù)數(shù)據(jù)、日志數(shù)據(jù)、圖像數(shù)據(jù)和其他各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)的不斷增長(zhǎng)在超過單機(jī)可以承載的負(fù)荷時(shí)，即使不斷升級(jí)硬件配置也難以跟上數(shù)據(jù)的增長(zhǎng)速度，數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)可用性和拓展性上面臨挑戰(zhàn)。在大數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)領(lǐng)域，關(guān)鍵是從單機(jī)存儲(chǔ)逐漸轉(zhuǎn)向分布式存儲(chǔ)。分布式數(shù)據(jù)存儲(chǔ)的本質(zhì)也是利用存儲(chǔ)設(shè)備把采集到的數(shù)據(jù)存儲(chǔ)起來，建立相應(yīng)的數(shù)據(jù)庫(kù)，為上層應(yīng)用提供數(shù)據(jù)管理、查詢、分析的調(diào)用接口。大數(shù)據(jù)存儲(chǔ)重點(diǎn)在于解決復(fù)雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的大數(shù)據(jù)管理與處理。重點(diǎn)在于實(shí)現(xiàn)大數(shù)據(jù)的可存儲(chǔ)、可表示、可處理、可靠性及有效傳輸?shù)葞讉€(gè)關(guān)鍵指標(biāo)。分布式存儲(chǔ)和傳統(tǒng)的單機(jī)存儲(chǔ)一樣需要提供存儲(chǔ)需要的文件系統(tǒng)，緩存和數(shù)據(jù)庫(kù)。然而，目前開源的大數(shù)據(jù)存儲(chǔ)方案類型繁雜，沒有統(tǒng)一的管理操作接口，緩存、文件系統(tǒng)和數(shù)據(jù)庫(kù)不是一個(gè)有機(jī)的整體，這種狀況極大地增加了大數(shù)據(jù)應(yīng)用研發(fā)管理的難度。這就需要研發(fā)出一套包括文件系統(tǒng)、數(shù)據(jù)庫(kù)和緩存的完整的大數(shù)據(jù)存儲(chǔ)解決方案，旨在對(duì)外提供一個(gè)高校、簡(jiǎn)潔、一致的用戶體驗(yàn)。通過該數(shù)據(jù)存儲(chǔ)方案能夠?qū)崿F(xiàn)統(tǒng)一文件系統(tǒng)，統(tǒng)一命名空間，統(tǒng)一數(shù)據(jù)存取接口，靈活精簡(jiǎn)配置，精細(xì)化配額管理從而提高大數(shù)據(jù)應(yīng)用研發(fā)和數(shù)據(jù)存儲(chǔ)管理效率。大數(shù)據(jù)存儲(chǔ)子系統(tǒng)的具體建設(shè)內(nèi)容如下：分布式文件系統(tǒng)分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲(chǔ)資源是通過計(jì)算機(jī)網(wǎng)絡(luò)連接的。常見的分布式文件系統(tǒng)主要包括HDFS，Ceph，Lustre，MongileFS，F(xiàn)astDFS等。其中HDFS是一種通用的適合于運(yùn)行在廉價(jià)機(jī)器集群上的通用分布式文件系統(tǒng)。而且HDFS具有適合超大文件存儲(chǔ)，流失數(shù)據(jù)訪問和高容錯(cuò)性等特點(diǎn)是大數(shù)據(jù)存儲(chǔ)的分布式文件系統(tǒng)的理想選擇。大數(shù)據(jù)存儲(chǔ)平臺(tái)選擇HDFS作為存儲(chǔ)的基礎(chǔ)，HDFS作為存儲(chǔ)的基礎(chǔ)核心部分，提供分布式文件的管理任務(wù)。一方面它可以單獨(dú)作為文件的存儲(chǔ)平臺(tái)，應(yīng)用可以直接在HDFS上進(jìn)行文件的創(chuàng)建、復(fù)制、刪除等基本文件管理操作。另一方面HDFS作為HBase等數(shù)據(jù)庫(kù)系統(tǒng)的存儲(chǔ)層，提供了一個(gè)統(tǒng)一的數(shù)據(jù)存放管理方案。雖然HDFS擁有諸多的優(yōu)點(diǎn)，應(yīng)用場(chǎng)景廣泛，但是HDFS存在著兩個(gè)比較嚴(yán)重的問題：NameNode的單點(diǎn)失效問題和拓展性問題。針對(duì)這兩個(gè)問題將采用基于Paxos一致性算法的NameNode的失效問題解決方案和提出基于數(shù)據(jù)熱度自動(dòng)負(fù)載均衡的Federation優(yōu)化方案以期進(jìn)一步提高HDFS的綜合性能，為高可靠、高拓展性的大數(shù)據(jù)存儲(chǔ)平臺(tái)提供一個(gè)堅(jiān)實(shí)的基礎(chǔ)。NoSQL存儲(chǔ)系統(tǒng)NoSQL主要指非關(guān)系型、分布式、不提供ACID的數(shù)據(jù)庫(kù)系統(tǒng)。這種數(shù)據(jù)庫(kù)系統(tǒng)摒棄了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)思想，轉(zhuǎn)而采用性能優(yōu)先的，高可擴(kuò)展性的設(shè)計(jì)思路。目前，對(duì)NoSQL最普通的理解是“非關(guān)系型的”，強(qiáng)調(diào)鍵值存儲(chǔ)和文檔數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)，而不是單純地反對(duì)關(guān)系型數(shù)據(jù)庫(kù)，更多的認(rèn)