【正文】 目前，對NoSQL最普通的理解是“非關(guān)系型的”，強調(diào)鍵值存儲和文檔數(shù)據(jù)庫的優(yōu)點，而不是單純地反對關(guān)系型數(shù)據(jù)庫，更多的認(rèn)為是對關(guān)。NoSQL存儲系統(tǒng)NoSQL主要指非關(guān)系型、分布式、不提供ACID的數(shù)據(jù)庫系統(tǒng)。雖然HDFS擁有諸多的優(yōu)點，應(yīng)用場景廣泛，但是HDFS存在著兩個比較嚴(yán)重的問題：NameNode的單點失效問題和拓展性問題。一方面它可以單獨作為文件的存儲平臺，應(yīng)用可以直接在HDFS上進行文件的創(chuàng)建、復(fù)制、刪除等基本文件管理操作。而且HDFS具有適合超大文件存儲，流失數(shù)據(jù)訪問和高容錯性等特點是大數(shù)據(jù)存儲的分布式文件系統(tǒng)的理想選擇。常見的分布式文件系統(tǒng)主要包括HDFS，Ceph，Lustre，MongileFS，F(xiàn)astDFS等。通過該數(shù)據(jù)存儲方案能夠?qū)崿F(xiàn)統(tǒng)一文件系統(tǒng)，統(tǒng)一命名空間，統(tǒng)一數(shù)據(jù)存取接口，靈活精簡配置，精細(xì)化配額管理從而提高大數(shù)據(jù)應(yīng)用研發(fā)和數(shù)據(jù)存儲管理效率。然而，目前開源的大數(shù)據(jù)存儲方案類型繁雜，沒有統(tǒng)一的管理操作接口，緩存、文件系統(tǒng)和數(shù)據(jù)庫不是一個有機的整體，這種狀況極大地增加了大數(shù)據(jù)應(yīng)用研發(fā)管理的難度。重點在于實現(xiàn)大數(shù)據(jù)的可存儲、可表示、可處理、可靠性及有效傳輸?shù)葞讉€關(guān)鍵指標(biāo)。分布式數(shù)據(jù)存儲的本質(zhì)也是利用存儲設(shè)備把采集到的數(shù)據(jù)存儲起來，建立相應(yīng)的數(shù)據(jù)庫，為上層應(yīng)用提供數(shù)據(jù)管理、查詢、分析的調(diào)用接口。數(shù)據(jù)的不斷增長在超過單機可以承載的負(fù)荷時，即使不斷升級硬件配置也難以跟上數(shù)據(jù)的增長速度，數(shù)據(jù)存儲在數(shù)據(jù)可用性和拓展性上面臨挑戰(zhàn)。我司有豐富的政府監(jiān)管部門、銀行、企業(yè)系統(tǒng)對接和互聯(lián)互通經(jīng)驗，可快速復(fù)制到本項目。數(shù)據(jù)核算：對數(shù)據(jù)進行歸整、匹配、校對和核算，便于數(shù)據(jù)的進一步處理。對結(jié)構(gòu)化數(shù)據(jù)，可以基于SQL進行抽取，而對于非結(jié)構(gòu)數(shù)據(jù)，往往需要自己構(gòu)造解析器，完成有效信息的提取，并通過代碼或者配置完成后期的清洗或者預(yù)算。另一方面，數(shù)據(jù)采集過程中的狀態(tài)數(shù)據(jù)，也通過該模塊進行維護，可以以可視化的方式，方便的展現(xiàn)于系統(tǒng)中，比如消息的流動情況和目前的系統(tǒng)消息采集吞吐率等。例如：對網(wǎng)頁數(shù)據(jù)也通過編碼的方式，以方便利于后期解析，另一方面也提高了消息中間件的存取傳輸效率。大數(shù)據(jù)來源本平臺數(shù)據(jù)來自三方面：跨境電商主體填報的信息：跨境電商主體填報的報關(guān)報檢、跨境物流、網(wǎng)上銷售訂單信息或倉庫發(fā)貨清單信息等；第三方提供的信息：跨境電商物流服務(wù)商、支付機構(gòu)、第三方平臺等提供的貨物種類、數(shù)量、金額等信息；業(yè)務(wù)部門信息管理系統(tǒng)交互共享的信息：海關(guān)、檢驗檢疫、外匯管理、國稅等部門信息管理系統(tǒng)交互共享的信息；大數(shù)據(jù)傳輸數(shù)據(jù)的傳輸系統(tǒng)，即數(shù)據(jù)傳輸格式與編碼。對于不同類型的非結(jié)構(gòu)化數(shù)據(jù)，其采集方式差異較大。網(wǎng)絡(luò)包抓取系統(tǒng)即傳統(tǒng)的包嗅探技術(shù)，在WIFI數(shù)據(jù)采集等領(lǐng)域有比較成熟的應(yīng)用，但目前有一定的大數(shù)據(jù)隱私保護風(fēng)險。主要對應(yīng)于分布式日志采集系統(tǒng)、消息處理系統(tǒng)、網(wǎng)站數(shù)據(jù)抓取系統(tǒng)：日志采集系統(tǒng)：日志采集系統(tǒng)主要指對各式系統(tǒng)與應(yīng)用日志的適配，其中包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、legacy以及自定義消息。如何將不同來源的結(jié)構(gòu)化數(shù)據(jù)集成到大數(shù)據(jù)平臺中是采集階段需要解決的一個問題。該過程可以將數(shù)據(jù)庫的每一個操作過程異步化為消息，從而不會錯過任何一個數(shù)據(jù)操作，可以完整的重現(xiàn)數(shù)據(jù)庫的操作。結(jié)構(gòu)化數(shù)據(jù)采集結(jié)構(gòu)化數(shù)據(jù)和傳統(tǒng)技術(shù)關(guān)聯(lián)較大，需要借助于數(shù)據(jù)庫技術(shù)與設(shè)計完成，按照消息采集的同步或者異步特性，其主要可分為兩類：基于JDBC接口的庫表數(shù)據(jù)抽取，即同步的數(shù)據(jù)庫數(shù)據(jù)提取。具體建設(shè)內(nèi)容如下：大數(shù)據(jù)采集大數(shù)據(jù)采集是大數(shù)據(jù)平臺的數(shù)據(jù)入口，其適應(yīng)性與效率直接決定了大數(shù)據(jù)平臺的適用范圍和平臺性能，所以屬于非常重要的基礎(chǔ)性工作。大數(shù)據(jù)采集處理方案按照不同的階段，可以分為兩個部分，即數(shù)據(jù)采集與數(shù)據(jù)處理，數(shù)據(jù)采集為數(shù)據(jù)處理提供原始數(shù)據(jù)，數(shù)據(jù)處理對所采集的數(shù)據(jù)提供預(yù)處理，從而方便導(dǎo)入數(shù)據(jù)存儲系統(tǒng)。針對不同的數(shù)據(jù)，還需要建立增添和全量的獲取機制，確保數(shù)據(jù)的完整性。這些數(shù)據(jù)包含結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)的存儲形式也具有多樣性，有文件，數(shù)據(jù)庫，網(wǎng)頁等。大數(shù)據(jù)處理中心的應(yīng)用架構(gòu)圖如下：項目實施采集、存儲和集成三個子系統(tǒng)。包括調(diào)用日志記錄、日志查詢、調(diào)用統(tǒng)計等。（13）交換訪問控制訪問認(rèn)證作為服務(wù)數(shù)據(jù)交換的訪問入口，主要負(fù)責(zé)對所有服務(wù)請求進行安全性訪問控制，認(rèn)證范圍包括客戶端包，服務(wù)調(diào)用權(quán)限控制、數(shù)據(jù)加解密、訪問頻率控制等。同時各端可根據(jù)實際業(yè)務(wù)負(fù)載情況進行快速水平擴展。報文將通過分布式存儲系統(tǒng)進行存儲，高可靠性的存取功能將有助于報文隨時隨地快速讀取。交換中心根據(jù)監(jiān)控信息對所有異常進行人工干預(yù)和自動處理。（9）交換異常處理新提供報文傳輸過程異常處理功能。路由規(guī)則在系統(tǒng)中按照業(yè)務(wù)來源指定、路由判定來源存放在報文頭中。（7）交換路由分發(fā)增強交換路由分發(fā)功能，報文一次接入后可分發(fā)到不同協(xié)議接收端。（6）報文格式轉(zhuǎn)換配合消息標(biāo)準(zhǔn)及映射，根據(jù)標(biāo)準(zhǔn)定制轉(zhuǎn)換適配器進行報文格式轉(zhuǎn)換。（5）報文傳輸模式增加主流傳輸模式支持，主要包括單向傳輸、請求應(yīng)答、發(fā)布訂閱、信息推送等模式。（4）報文標(biāo)準(zhǔn)及映射完善現(xiàn)有數(shù)據(jù)格式標(biāo)準(zhǔn)，并增加其他主流平臺數(shù)據(jù)標(biāo)準(zhǔn)。（3）交換協(xié)議支持主流數(shù)據(jù)傳輸協(xié)議，包括MQ、JMS、FTP、DB、HTTP等，本次以REST、DB、RocketMQ為主,同時完善早期提供的MQ、FTP，WebService等協(xié)議。企業(yè)用戶線上對所需要的交換服務(wù)進行業(yè)務(wù)申請，同時可根據(jù)自身需要把企業(yè)服務(wù)器接入平臺作為交換節(jié)點使用。服務(wù)管理作為服務(wù)整個生命周期的基礎(chǔ)模塊，負(fù)責(zé)提供服務(wù)基礎(chǔ)信息，其主要包括服務(wù)管理、注冊、發(fā)布、授權(quán)、測試和編排等方面。（2）信息化中心 數(shù)據(jù)交換中心數(shù)據(jù)交換中心主要功能是建立統(tǒng)一的標(biāo)準(zhǔn)，實現(xiàn)數(shù)據(jù)的傳輸和交換。但隨著跨境倉儲區(qū)的安裝部署，尤其的高貨架的安裝，會影響到CCTV系統(tǒng)的監(jiān)控訪問，產(chǎn)生監(jiān)控死角。貨物按照發(fā)貨波次出庫，一般一日兩個波次，包裹裝滿一輛快遞車，WMS系統(tǒng)將掃描的包裹訂單號，匯總為一張出區(qū)核放單，并傳輸?shù)奖６悈^(qū)域輔助管理系統(tǒng)做出區(qū)申報。而且跨境電商是按照商品銷售計量單位進行賬冊備案，與傳統(tǒng)進出口貿(mào)易也有較大差異。查驗中心采集的圖像中，對于有問題的包裹，需要保存相應(yīng)的圖像，對沒有問題的包裹，圖像不用保存。如相符，則放行；如不符，則從分揀設(shè)備上拿下該包裹，進行開包查驗。查驗中心為海關(guān)和進出口檢驗檢疫分別設(shè)立查驗監(jiān)控室；設(shè)立查詢X光機檢查設(shè)備和傳送帶分揀設(shè)備。真正做到用戶只需完成一次簡單數(shù)據(jù)輸入，即可通過系統(tǒng)輸出多種監(jiān)管部門要求的申報單據(jù)，完成后端多維申報的需求，包括海關(guān)快件申報單、海關(guān)快件申報艙單、檢驗檢疫申報單、檢驗檢疫申報艙單等。國際快件智能平臺為快件企業(yè)提供快件清單導(dǎo)入、快件清單導(dǎo)出、檢驗檢疫單據(jù)導(dǎo)出、部分參數(shù)自動填充、基礎(chǔ)格式/邏輯校驗、第一法定單位匹配、分運單頁面編輯、分運單查詢、XML報文導(dǎo)出、數(shù)據(jù)格式轉(zhuǎn)換等輔助報關(guān)功能。系統(tǒng)同時具備自動邏輯校驗?zāi)芰?，并定期按照監(jiān)管要求增加校驗條件。（6）國際快件智能平臺國際快件智能平臺可幫助快件企業(yè)快速適應(yīng)新快件系統(tǒng)，以輔助快件企業(yè)快速、順利地向新快件通關(guān)系統(tǒng)進行快件申報。通過對發(fā)貨記錄的查詢，即可確定該產(chǎn)品在倉庫中的庫存量。（4）保稅展示銷售平臺保稅品展銷系統(tǒng)是保稅直購中心的日常運營系統(tǒng)，在滿足海關(guān)監(jiān)管要求的前提下，同時滿足直購中心日常運營的各種管理需求。（3）跨境電子商務(wù)代理申報系統(tǒng)為了提高跨境電子商務(wù)出口申報量，將襄陽市郵政每年近千萬單郵政出口業(yè)務(wù)及其他可能外貿(mào)類業(yè)務(wù)納入跨境電子商務(wù)業(yè)務(wù)，實現(xiàn)外貿(mào)出口增長，由代理報關(guān)企業(yè)在該平臺進行“清單核放、匯總申報”操作。（2）跨境電子商務(wù)通關(guān)服務(wù)平臺（出口）通過湖北電子口岸連接跨境出口相關(guān)電商企業(yè)、物流企業(yè)、支付企業(yè)、報關(guān)企業(yè)與監(jiān)管部門之間的橋梁。跨境電子商務(wù)進口通關(guān)服務(wù)子系統(tǒng)，需實現(xiàn)與海關(guān)跨境通關(guān)管理系統(tǒng)無縫對接。實現(xiàn)訂單、運單、支付單、清單信息接入與初步校驗，并與海關(guān)跨境管理平臺對接，完成三單信息的傳輸、申報。后臺管理主要負(fù)責(zé)門戶網(wǎng)站的新聞、公告、政策、法規(guī)等內(nèi)容的管理和維護，通過所見即所得的編輯方式，對發(fā)布內(nèi)容進行實時操作，對重要內(nèi)容做到快速公布或下線，包括后臺管理系統(tǒng)搭建、權(quán)限管理分配、登錄、退出、改密、內(nèi)容新增、修改、刪除、預(yù)覽、審核、發(fā)布、靜態(tài)化、導(dǎo)出、日志管理、查詢、統(tǒng)計等。用戶首頁用戶登錄后首先進入的頁面，作為各業(yè)務(wù)系統(tǒng)的載體使用戶可在統(tǒng)一平臺進行操作，實現(xiàn)不同業(yè)務(wù)系統(tǒng)間的自由切換。在通知公告頁面資訊按發(fā)布時間降序排列，最新的四條通知將在首頁展示；公告詳情頁可進行公告的上下篇切換。綜合查詢綜合查詢匯聚各監(jiān)管部門的公共服務(wù)內(nèi)容，企業(yè)可通過綜合查詢服務(wù)功能，實現(xiàn)包括通關(guān)狀態(tài)查詢、HS編碼查詢、報關(guān)參數(shù)查詢、班輪作業(yè)查詢、每日外匯牌價查詢、船期表查詢、船舶跟蹤等功能。服務(wù)展示分兩個維度介紹平臺提供哪些服務(wù)和為哪些主體提供服務(wù)，為用戶提供簡潔的服務(wù)介紹和服務(wù)辦理流程等資訊內(nèi)容，并作為各項服務(wù)的快速入口。（3）服務(wù)功能介紹注冊登錄構(gòu)建襄陽跨境電子商務(wù)公共服務(wù)門戶會員體系架構(gòu)，功能包括注冊、登錄、修改密碼、找回郵箱等頁面。后臺管理通過所見即所得的編輯方式，對發(fā)布內(nèi)容進行實時操作，對重要內(nèi)容做到快速公布或下線，建立統(tǒng)一的用戶管理后臺，實現(xiàn)賬號管理、菜單管理、角色管理、權(quán)限配置、資源管理、賬號授權(quán)等功能。建立一個可以讓襄陽地區(qū)的跨境電子商務(wù)企業(yè)、物流企業(yè)、支付企業(yè)通過湖北電子口岸與襄陽海關(guān)、襄陽國檢等監(jiān)管執(zhí)法部門進行互動交流及實時進行信息發(fā)布的門戶。襄陽跨境電子商務(wù)公共服務(wù)門戶（1）服務(wù)概述襄陽跨境電子商務(wù)公共服務(wù)門戶主要分為門戶網(wǎng)站、管理后臺和后臺發(fā)布系統(tǒng)。六中心，包括三個實體中心以及三個信息化中心，其中三個實體中心包括查驗中心、倉儲中心、監(jiān)控中心，三個信息化中心包括數(shù)據(jù)交換中心、大數(shù)據(jù)中心、統(tǒng)一認(rèn)證中心。六平臺，是指部署在襄陽保稅物流中心機房，通過湖北電子口岸與海關(guān)、國檢等監(jiān)管部門、跨境相關(guān)企業(yè)對接的跨境電子商務(wù)公共服務(wù)平臺（也稱跨境電子商務(wù)通關(guān)服務(wù)平臺）。建立一個可以讓襄陽地區(qū)的跨境電子商務(wù)企業(yè)、物流企業(yè)、支付企業(yè)通過湖北電子口岸與襄陽海關(guān)、襄陽國檢等監(jiān)管執(zhí)法部門進行互動交流及實時進行信息發(fā)布的門戶。3. 技術(shù)解決方案 應(yīng)用架構(gòu)設(shè)計項目主體建設(shè)內(nèi)容包括“一門戶、六平臺、六中心、兩體系”的建設(shè)，架構(gòu)如下圖：一門戶，即襄陽跨境電子商務(wù)公共服務(wù)門戶。要求在信息訪問時要達到一定的安全性，因此，提供安全統(tǒng)一身份認(rèn)證管理。（5）系統(tǒng)安全需求在系統(tǒng)建設(shè)過程中，要注重應(yīng)用安全設(shè)計，系統(tǒng)必須充分考慮統(tǒng)一的安全管理機制，為應(yīng)用支撐環(huán)境和使用環(huán)境提供更為完善的安全管理。（4）界面要求平臺產(chǎn)品應(yīng)具有良好的簡體中文操作界面、詳細(xì)的幫助信息，系統(tǒng)參數(shù)的維護與管理通過操作界面完成。軟件版本易于升級，任何一個模塊的維護和更新以及新模塊的追加都不應(yīng)影響其它模塊，且在升級的過程中不影響系統(tǒng)的性能與運行。（2）擴展性要求所有各項平臺產(chǎn)品應(yīng)符合我國國家標(biāo)準(zhǔn)、工信部部頒標(biāo)準(zhǔn)、海關(guān)總署數(shù)據(jù)標(biāo)準(zhǔn)、行業(yè)相關(guān)技術(shù)規(guī)范和要求。軟件接口須開放，能夠與相關(guān)應(yīng)用軟件無縫連接，數(shù)據(jù)導(dǎo)入及導(dǎo)出，能夠與上級軟件相連接，能夠通過湖北電子口岸與海關(guān)等監(jiān)管部門實現(xiàn)橫向的數(shù)據(jù)交換。三、 深化技術(shù)方案1. 總體思路參考國家跨境電子商務(wù)綜合試驗區(qū)建設(shè)經(jīng)驗進行設(shè)計與建設(shè)，保障跨境電子商務(wù)業(yè)務(wù)順利開展，并根據(jù)指令進行查驗。項目測試完成后，必須嚴(yán)格執(zhí)行已定的三級審核制度，上一級的審核意見，下一級人員必須嚴(yán)格執(zhí)行，不得敷衍了事。聽取上級意見，不得擅自解決，更不得隱匿問題不報；2）工作底稿。1）工作小結(jié)。（4）接受委托后，及時制定詳細(xì)的、具體有效的工作方案計劃，在工作的各個階段和環(huán)節(jié)認(rèn)真貫徹執(zhí)行；（3）確保產(chǎn)品的性能，在惡劣環(huán)境下的運行可靠性主要參與的項目階段是：需求實現(xiàn)、系統(tǒng)測試。參與項目全過程。參與項目全過程。參與項目全過程。主要參與的項目階段是：需求調(diào)研、需求實現(xiàn)、系統(tǒng)測試、普通用戶培訓(xùn)、系統(tǒng)試運行、項目/系統(tǒng)推廣、項目驗收。參與項目的全過程。項目負(fù)責(zé)人由公司總部主管技術(shù)部門與主管業(yè)務(wù)部門的部門負(fù)責(zé)人共同組成提供項目實施場地、項目用機等相關(guān)資源；組建公司總部的需求負(fù)責(zé)小組與技術(shù)負(fù)責(zé)小組，協(xié)助項目工作開展；與項目經(jīng)理共同制定計劃，保證項目計劃符合客戶的要求與實際情況，并監(jiān)督執(zhí)行；作為公司總部的項目接口配合項目經(jīng)理組織、安排需求調(diào)研、用戶培訓(xùn)、系統(tǒng)試運行、系統(tǒng)推廣等項目協(xié)調(diào)事宜，協(xié)助項目各項工作的順利開展；對項目總體需求負(fù)責(zé)，在相關(guān)需求出現(xiàn)沖突時，審核、協(xié)調(diào)并確定最終需求。培訓(xùn)小組由我公司熟悉客戶日常業(yè)務(wù)、具有多年培訓(xùn)經(jīng)驗的培訓(xùn)講師組成編寫各類《培訓(xùn)手冊》，準(zhǔn)備培訓(xùn)教材、培訓(xùn)練習(xí)、考核數(shù)據(jù)；根據(jù)客戶安排提供培訓(xùn)授課，保證培訓(xùn)效果；輔導(dǎo)學(xué)員的日常使用，解決學(xué)員日常使用中出現(xiàn)的問題。UI小組由我公司軟件UI設(shè)計經(jīng)驗豐富的設(shè)計師組成對項目中使用的系統(tǒng)或者網(wǎng)站的主界面、功能界面等進行設(shè)計，提供多種美工方案供客戶選擇。開發(fā)小組由我公司相關(guān)技術(shù)水平高、具備開發(fā)經(jīng)驗的人員組成根據(jù)需求進行系統(tǒng)設(shè)計，形成《系統(tǒng)總體設(shè)計文檔》根據(jù)需求進行代碼編寫、功能實現(xiàn)，形成《功能模塊說明書》。實施小組由我公司客戶服務(wù)中心的項目工程師組成根據(jù)需求進行對系統(tǒng)原型進行服務(wù)端與客戶端的安裝部署、初始化、定制，包括表單定制、流程定制、協(xié)同功能定制等。需求分析小組由我公司熟悉客戶日常業(yè)務(wù)的項目工程師、專家組成在項目經(jīng)理的領(lǐng)導(dǎo)下進行需求調(diào)研、需求分析，編寫《客戶需求說明書》；通過需求分析，結(jié)合相關(guān)經(jīng)驗向客戶提出項目建設(shè)的合理化建議；監(jiān)督并檢查開發(fā)小組的需求實現(xiàn)。項目經(jīng)理由我公司具備豐富項目經(jīng)驗，熟悉客戶日常業(yè)務(wù)、掌握相關(guān)軟件技術(shù)的人員擔(dān)任根據(jù)項目要求組建項目團隊；根據(jù)項目情況、要求制定行之有效的項目計劃；領(lǐng)導(dǎo)項目組按計劃開展項