【正文】 照WMS的上架策略、批次策略和貨物管理要求，在相應的貨物進行堆放；商品揀貨區(qū)按照WMS的上架策略，將一部分商品放入到揀選區(qū)各個貨位上；商品打包區(qū)按照OMS系統(tǒng)的打包指令，倉儲工人打印訂單，按訂單在揀貨區(qū)分訂單揀選商品，拉到打包區(qū)，工人按照WMS的操作指示，選擇不同規(guī)格的包材，打包商品，打印物流電子面單（需通過OMS系統(tǒng)與相關快遞公司的電子面單系統(tǒng)對接），黏貼物流電子面單；打包區(qū)內可以細分為打包區(qū)、復核區(qū)，并將上述步驟進行分解處理：打包區(qū)負責按訂單將商品裝入適合的包材中；復核區(qū)按照訂單單面信息與包裹內商品核對，封膠帶，貼面單，并稱重（用于與商家計費），并反饋打包完成狀態(tài)；商品待放行堆放區(qū)打包完成的商品，放入到圍網(wǎng)內的待放行堆放區(qū)；如果在打包區(qū)未進行包裹稱重，倉庫也可以在此區(qū)域設置電子秤，對每件包裹秤重，便于后續(xù)與商家計費；商品待查驗堆放區(qū)海關、檢驗檢疫可以對待放行區(qū)域內的打包商品進行抽檢，抽檢方式包括：一是按照海關、檢驗檢疫的系統(tǒng)指令，將查驗包裹找出來，放到待查驗區(qū)；二是按照海關、檢驗檢疫的人工隨機查驗指令，隨機抽取一些包裹，放到待查驗區(qū)；X光機分揀查驗區(qū)在倉儲出口，或者保稅區(qū)域內的公共查驗區(qū)域，建設X光機和傳送帶，為海關、檢驗檢疫建立兩個獨立的監(jiān)管房間，X光機檢查屏幕在兩個房間均可以看到，并能夠做到通過傳送帶上的條碼閱讀器讀取待查驗包裹的運單號，通過運單號調出該運單對應的跨境申報清單數(shù)據(jù)，X光機屏幕及清單數(shù)據(jù)在海關、檢驗檢疫可以同時查看，便于監(jiān)管人員進行實物與清單的對比；快速放行通道對于未被抽檢的包裹，可以直接從快速放行通道出監(jiān)管圍網(wǎng)，放到待發(fā)貨堆放區(qū)；待發(fā)貨堆放區(qū)該區(qū)域由倉儲企業(yè)和快遞企業(yè)進行貨物交接，兩方在交接過程中分別用各自的碼槍掃描包裹上的運單號，倉儲企業(yè)通過運單號關聯(lián)訂單號，在WMS和OMS中分別回寫包裹出庫狀態(tài)；快遞企業(yè)在掃描運單的同時，可以在此區(qū)域放置電子秤，逐票記錄每個包裹的實際重量，用于與商家結算。貨物按照發(fā)貨波次出庫，一般一日兩個波次，包裹裝滿一輛快遞車，WMS系統(tǒng)將掃描的包裹訂單號，匯總為一張出區(qū)核放單，并傳輸?shù)奖６悈^(qū)域輔助管理系統(tǒng)做出區(qū)申報。 監(jiān)控中心按照海關和檢驗檢疫對跨境監(jiān)管倉庫的管理要求，倉庫要設置監(jiān)控攝像頭，目前的監(jiān)管倉庫已經有CCTV監(jiān)控系統(tǒng)了，需要增加集中監(jiān)控設備，部署在海關和檢驗檢疫的監(jiān)控房間中，供集中監(jiān)控使用。但隨著跨境倉儲區(qū)的安裝部署，尤其的高貨架的安裝，會影響到CCTV系統(tǒng)的監(jiān)控訪問，產生監(jiān)控死角。因此需要按照場地的實際條件增加監(jiān)控攝像頭，并將監(jiān)控信息集中到海關和檢驗檢疫的監(jiān)控室內。（2）信息化中心 數(shù)據(jù)交換中心數(shù)據(jù)交換中心主要功能是建立統(tǒng)一的標準，實現(xiàn)數(shù)據(jù)的傳輸和交換。其主要功能如下：（1）服務管理所有交換皆為服務，服務作為數(shù)據(jù)交換中心業(yè)務核心，其生命周期涵蓋服務注冊、發(fā)布、授權、調用、監(jiān)控和事后查詢、異常處理等。服務管理作為服務整個生命周期的基礎模塊，負責提供服務基礎信息，其主要包括服務管理、注冊、發(fā)布、授權、測試和編排等方面。（2）交換申請服務申請主要實現(xiàn)增強對參與“單一窗口”平臺數(shù)據(jù)交換的企業(yè)的接入和管理功能。企業(yè)用戶線上對所需要的交換服務進行業(yè)務申請，同時可根據(jù)自身需要把企業(yè)服務器接入平臺作為交換節(jié)點使用。同時將對后續(xù)執(zhí)行情況進行統(tǒng)計查看。（3）交換協(xié)議支持主流數(shù)據(jù)傳輸協(xié)議，包括MQ、JMS、FTP、DB、HTTP等，本次以REST、DB、RocketMQ為主,同時完善早期提供的MQ、FTP，WebService等協(xié)議。所有交換可在各個協(xié)議之間自如轉換。（4）報文標準及映射完善現(xiàn)有數(shù)據(jù)格式標準，并增加其他主流平臺數(shù)據(jù)標準。依此建立各平臺間數(shù)據(jù)映射機制。（5）報文傳輸模式增加主流傳輸模式支持，主要包括單向傳輸、請求應答、發(fā)布訂閱、信息推送等模式。根據(jù)傳輸技術的異同，采用異步通訊方式，即交換中心先接收所有報文，再根據(jù)業(yè)務情況進行后續(xù)業(yè)務處理，包括即時應答、報文分發(fā)等。（6）報文格式轉換配合消息標準及映射，根據(jù)標準定制轉換適配器進行報文格式轉換。發(fā)送報文格式由各接收方（包括職能部門和企業(yè)等）制定，交換中心將根據(jù)各方標準定制相應適配器進行格式轉換。（7）交換路由分發(fā)增強交換路由分發(fā)功能，報文一次接入后可分發(fā)到不同協(xié)議接收端。交換中心通過路由適配器進行報文解析后根據(jù)預設規(guī)則尋址，明確接收方后報文同時發(fā)送給多個接收端。路由規(guī)則在系統(tǒng)中按照業(yè)務來源指定、路由判定來源存放在報文頭中。（8）交換請求調度引入分布式服務調度框架，作為服務執(zhí)行過程中進行業(yè)務流轉和監(jiān)控核心，主要實現(xiàn)對來自各客戶端的服務請求進行調度和回執(zhí)、日志、監(jiān)控等一系列操作。（9）交換異常處理新提供報文傳輸過程異常處理功能。報文交換中可能發(fā)生各類異常，包括報文不符合要求、接收端通訊異常、交換規(guī)則阻止等。交換中心根據(jù)監(jiān)控信息對所有異常進行人工干預和自動處理。（10）交換備份存儲所有通過交換中心的報文交換請求都會進行報文存儲，以備后續(xù)交換審計和報文交換重啟。報文將通過分布式存儲系統(tǒng)進行存儲，高可靠性的存取功能將有助于報文隨時隨地快速讀取。（11）交換負載均衡交換中心為保障報文交換請求穩(wěn)定可靠運行，提供高容錯的負載均衡體系，從接收端到處理端再到發(fā)送端。同時各端可根據(jù)實際業(yè)務負載情況進行快速水平擴展。（12）交換緩存處理交換過程中將會有大量標準信息和規(guī)則信息以及認證信息被讀取，系統(tǒng)將以緩存方式存取該部分信息供交換中心處理模塊使用，同時提供相應接口供管理人員按需刷新緩存信息，保證數(shù)據(jù)一致性，避免臟數(shù)據(jù)存在。（13）交換訪問控制訪問認證作為服務數(shù)據(jù)交換的訪問入口，主要負責對所有服務請求進行安全性訪問控制，認證范圍包括客戶端包，服務調用權限控制、數(shù)據(jù)加解密、訪問頻率控制等。（14）服務查詢服務查詢主要提供服務交換相關業(yè)務和交換過程查詢。包括調用日志記錄、日志查詢、調用統(tǒng)計等。 大數(shù)據(jù)中心依托政府、電商、金融、物流等多方主體的海量數(shù)據(jù)，利用大數(shù)據(jù)技術，通過對結構及非結構化數(shù)據(jù)的采集、存儲及分析挖掘，匯聚企業(yè)備案數(shù)據(jù)、申報處理數(shù)據(jù)、交易數(shù)據(jù)、物流數(shù)據(jù)、金融數(shù)據(jù)、商品數(shù)據(jù)等數(shù)據(jù)，建立全球跨境貿易電子商務數(shù)據(jù)的交換匯聚樞紐，形成跨境貿易電子商務大數(shù)據(jù)中心，為跨境貿易電子商務大數(shù)據(jù)交換、整合、研究、發(fā)布提供數(shù)據(jù)基礎。大數(shù)據(jù)處理中心的應用架構圖如下：項目實施采集、存儲和集成三個子系統(tǒng)。（1）數(shù)據(jù)采集子系統(tǒng)數(shù)據(jù)采集子系統(tǒng)負責為數(shù)據(jù)中心提供有價值的數(shù)據(jù)，分三大塊功能：數(shù)據(jù)采集需要從不同來源獲取數(shù)據(jù)，其中包括“六中心，六平臺，一門戶”，獲取數(shù)據(jù)的來源還有各政府部門和相關企業(yè)的信息化數(shù)據(jù)。這些數(shù)據(jù)包含結構化和非結構化的數(shù)據(jù)，數(shù)據(jù)的存儲形式也具有多樣性，有文件，數(shù)據(jù)庫，網(wǎng)頁等。同時數(shù)據(jù)的編碼也不一樣，需要進行相應的轉換。針對不同的數(shù)據(jù)，還需要建立增添和全量的獲取機制，確保數(shù)據(jù)的完整性。項目實現(xiàn)平臺電商交易數(shù)據(jù)、物流數(shù)據(jù)、支付數(shù)據(jù)、申報數(shù)據(jù)、備案數(shù)據(jù)、信息發(fā)布數(shù)據(jù)、信用數(shù)據(jù)、統(tǒng)計監(jiān)測數(shù)據(jù)、風險預警等數(shù)據(jù)的采集。大數(shù)據(jù)采集處理方案按照不同的階段，可以分為兩個部分，即數(shù)據(jù)采集與數(shù)據(jù)處理，數(shù)據(jù)采集為數(shù)據(jù)處理提供原始數(shù)據(jù)，數(shù)據(jù)處理對所采集的數(shù)據(jù)提供預處理，從而方便導入數(shù)據(jù)存儲系統(tǒng)。同時需要在數(shù)據(jù)采集與處理之間考慮數(shù)據(jù)的傳輸問題，即采集數(shù)據(jù)的編碼。具體建設內容如下：大數(shù)據(jù)采集大數(shù)據(jù)采集是大數(shù)據(jù)平臺的數(shù)據(jù)入口，其適應性與效率直接決定了大數(shù)據(jù)平臺的適用范圍和平臺性能，所以屬于非常重要的基礎性工作。大數(shù)據(jù)采集根據(jù)數(shù)據(jù)類型，主要分為結構化數(shù)據(jù)采集與非結構數(shù)據(jù)采集。結構化數(shù)據(jù)采集結構化數(shù)據(jù)和傳統(tǒng)技術關聯(lián)較大，需要借助于數(shù)據(jù)庫技術與設計完成，按照消息采集的同步或者異步特性，其主要可分為兩類：基于JDBC接口的庫表數(shù)據(jù)抽取，即同步的數(shù)據(jù)庫數(shù)據(jù)提取?；跀?shù)據(jù)日志的結構化數(shù)據(jù)消息化，即異步的數(shù)據(jù)庫操作過程與數(shù)據(jù)同步。該過程可以將數(shù)據(jù)庫的每一個操作過程異步化為消息，從而不會錯過任何一個數(shù)據(jù)操作，可以完整的重現(xiàn)數(shù)據(jù)庫的操作。需要研究針對MySQL、Oracle等多種數(shù)據(jù)庫的日志解析提取方式。如何將不同來源的結構化數(shù)據(jù)集成到大數(shù)據(jù)平臺中是采集階段需要解決的一個問題。非結構化數(shù)據(jù)采集相比較結構化數(shù)據(jù)，非結構化數(shù)據(jù)的適用范圍更廣，并需要支持更多的數(shù)據(jù)格式，按照數(shù)據(jù)的類型，基本可以分為三類，即消息數(shù)據(jù)、日志數(shù)據(jù)與網(wǎng)站數(shù)據(jù)。主要對應于分布式日志采集系統(tǒng)、消息處理系統(tǒng)、網(wǎng)站數(shù)據(jù)抓取系統(tǒng)：日志采集系統(tǒng)：日志采集系統(tǒng)主要指對各式系統(tǒng)與應用日志的適配，其中包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、legacy以及自定義消息。網(wǎng)絡數(shù)據(jù)抓取系統(tǒng)：網(wǎng)絡數(shù)據(jù)抓取系統(tǒng)嚴格來講可以分為兩個部分，網(wǎng)站數(shù)據(jù)抓取系統(tǒng)與網(wǎng)絡包抓取系統(tǒng)。網(wǎng)絡包抓取系統(tǒng)即傳統(tǒng)的包嗅探技術，在WIFI數(shù)據(jù)采集等領域有比較成熟的應用，但目前有一定的大數(shù)據(jù)隱私保護風險。消息處理系統(tǒng)：消息處理系統(tǒng)是大數(shù)據(jù)采集系統(tǒng)的核心組件，所有的消息都統(tǒng)一傳輸?shù)皆撓到y(tǒng)進行集中處理，其中包括離散化后的日志數(shù)據(jù)、網(wǎng)站數(shù)據(jù)與結構化數(shù)據(jù)。對于不同類型的非結構化數(shù)據(jù)，其采集方式差異較大。本項目中需要針對數(shù)據(jù)的特性，基于相關開源技術，研究高效可行的采集方法。大數(shù)據(jù)來源本平臺數(shù)據(jù)來自三方面：跨境電商主體填報的信息：跨境電商主體填報的報關報檢、跨境物流、網(wǎng)上銷售訂單信息或倉庫發(fā)貨清單信息等；第三方提供的信息：跨境電商物流服務商、支付機構、第三方平臺等提供的貨物種類、數(shù)量、金額等信息；業(yè)務部門信息管理系統(tǒng)交互共享的信息：海關、檢驗檢疫、外匯管理、國稅等部門信息管理系統(tǒng)交互共享的信息；大數(shù)據(jù)傳輸數(shù)據(jù)的傳輸系統(tǒng)，即數(shù)據(jù)傳輸格式與編碼。需要研究統(tǒng)一的數(shù)據(jù)傳輸編碼格式，提高消息系統(tǒng)的整體性和性能。例如：對網(wǎng)頁數(shù)據(jù)也通過編碼的方式，以方便利于后期解析，另一方面也提高了消息中間件的存取傳輸效率。該模塊應該支持通過統(tǒng)一的入口，選擇不同的數(shù)據(jù)源配置，之后自動部署相應的采集工具到采集端，開始數(shù)據(jù)的采集過程，同時可以配置數(shù)據(jù)傳輸?shù)木幋a方式，與數(shù)據(jù)采集的消息中間件配置與地址，從而可以通過一個統(tǒng)一的接口，完整和便捷的實現(xiàn)數(shù)據(jù)的采集配置過程。另一方面，數(shù)據(jù)采集過程中的狀態(tài)數(shù)據(jù)，也通過該模塊進行維護，可以以可視化的方式，方便的展現(xiàn)于系統(tǒng)中，比如消息的流動情況和目前的系統(tǒng)消息采集吞吐率等。大數(shù)據(jù)處理數(shù)據(jù)處理即數(shù)據(jù)的Extraction、Transformation and Loading，即數(shù)據(jù)的抽取、轉化與加載。對結構化數(shù)據(jù)，可以基于SQL進行抽取，而對于非結構數(shù)據(jù)，往往需要自己構造解析器，完成有效信息的提取，并通過代碼或者配置完成后期的清洗或者預算。由于數(shù)據(jù)源復雜度高，需要進行適配，設計出具備高擴展性的方案。數(shù)據(jù)核算：對數(shù)據(jù)進行歸整、匹配、校對和核算，便于數(shù)據(jù)的進一步處理。數(shù)據(jù)互通本項目除數(shù)據(jù)中心架構建設外，通過訂單、物流單、支付單的“三單比對”確認跨境電商的交易行為，數(shù)據(jù)共享與湖北電子口岸、海關、商檢、國稅、外管等部門，為報關、退稅、結匯提供數(shù)據(jù)依據(jù)。我司有豐富的政府監(jiān)管部門、銀行、企業(yè)系統(tǒng)對接和互聯(lián)互通經驗，可快速復制到本項目。（2）數(shù)據(jù)存儲子系統(tǒng)跨境電子商務平臺的數(shù)據(jù)來源多樣，包括業(yè)務數(shù)據(jù)、日志數(shù)據(jù)、圖像數(shù)據(jù)和其他各種結構化、半結構化和非結構化數(shù)據(jù)。數(shù)據(jù)的不斷增長在超過單機可以承載的負荷時，即使不斷升級硬件配置也難以跟上數(shù)據(jù)的增長速度，數(shù)據(jù)存儲在數(shù)據(jù)可用性和拓展性上面臨挑戰(zhàn)。在大數(shù)據(jù)的數(shù)據(jù)存儲領域，關鍵是從單機存儲逐漸轉向分布式存儲。分布式數(shù)據(jù)存儲的本質也是利用存儲設備把采集到的數(shù)據(jù)存儲起來，建立相應的數(shù)據(jù)庫，為上層應用提供數(shù)據(jù)管理、查詢、分析的調用接口。大數(shù)據(jù)存儲重點在于解決復雜結構化、半結構化和非結構化的大數(shù)據(jù)管理與處理。重點在于實現(xiàn)大數(shù)據(jù)的可存儲、可表示、可處理、可靠性及有效傳輸?shù)葞讉€關鍵指標。分布式存儲和傳統(tǒng)的單機存儲一樣需要提供存儲需要的文件系統(tǒng)，緩存和數(shù)據(jù)庫。然而，目前開源的大數(shù)據(jù)存儲方案類型繁雜，沒有統(tǒng)一的管理操作接口，緩存、文件系統(tǒng)和數(shù)據(jù)庫不是一個有機的整體，這種狀況極大地增加了大數(shù)據(jù)應用研發(fā)管理的難度。這就需要研發(fā)出一套包括文件系統(tǒng)、數(shù)據(jù)庫和緩存的完整的大數(shù)據(jù)存儲解決方案，旨在對外提供一個高校、簡潔、一致的用戶體驗。通過該數(shù)據(jù)存儲方案能夠實現(xiàn)統(tǒng)一文件系統(tǒng)，統(tǒng)一命名空間，統(tǒng)一數(shù)據(jù)存取接口，靈活精簡配置，精細化配額管理從而提高大數(shù)據(jù)應用研發(fā)和數(shù)據(jù)存儲管理效率。大數(shù)據(jù)存儲子系統(tǒng)的具體建設內容如下：分布式文件系統(tǒng)分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲資源是通過計算機網(wǎng)絡連接的。常見的分布式文件系統(tǒng)主要包括HDFS，Ceph，Lustre，MongileFS，F(xiàn)astDFS等。其中HDFS是一種通用的適合于運行在廉價機器集群上的通用分布式文件系統(tǒng)。而且HDFS具有適合超大文件存儲，流失數(shù)據(jù)訪問和高容錯性等特點是大數(shù)據(jù)存儲的分布式文件系統(tǒng)的理想選擇。大數(shù)據(jù)存儲平臺選擇HDFS作為存儲的基礎，HDFS作為存儲的基礎核心部分，提供分布式文件的管理任務。一方面它可以單獨作為文件的存儲平臺，應用可以直接在HDFS上進行文件的創(chuàng)建、復制、刪除等基本文件管理操作。另一方面HDFS作為HBase等數(shù)據(jù)庫系統(tǒng)的存儲層，提供了一個統(tǒng)一的數(shù)據(jù)存放管理方案。雖然HDFS擁有諸多的優(yōu)點，應用場景廣泛，但是HDFS存在著兩個比較嚴重的問題：NameNode的單點失效問題和拓展性問題。針對這兩個問題將采用基于Paxos一致性算法的NameNode的失效問題解決方案和提出基于數(shù)據(jù)熱度自動負載均衡的Federation優(yōu)化方案以期進一步提高HDFS的綜合性能，為高可靠、高拓展性的大數(shù)據(jù)存儲平臺提供一個堅實的基礎。NoSQL存儲系統(tǒng)NoSQL主要指非關系型、分布式、不提供ACID的數(shù)據(jù)庫系統(tǒng)。這種數(shù)據(jù)庫系統(tǒng)摒棄了傳統(tǒng)關系型數(shù)據(jù)庫系統(tǒng)的設計思想，轉而采用性能優(yōu)先的，高可擴展性的設計思路。目前，對NoSQL最普通的理解是“非關系型的”，強調鍵值存儲和文檔數(shù)據(jù)庫的優(yōu)點，而不是單純地反對關系型數(shù)據(jù)庫，更多的認