【文章內(nèi)容簡介】 傳服務(wù)主 運 行 數(shù) 據(jù) 庫中 心 M Q 無 紙 通 關(guān) 專 用H 2 0 0 0 E S BV SV S公 網(wǎng) （ 2 0 0 兆 ） 、 專網(wǎng) （ 千 兆 ） 接 入上 海 E D I加 密 機跨 機 房 訪 問 （ 千 兆 ）專網(wǎng)百兆專網(wǎng)百兆C A S 的 D N S 及負 載 均 衡客 戶 端上 傳 負 載 均 衡Q P S E R V E RQ P S E R V E RW E B 、 S P S E R V E Rq p 數(shù) 據(jù) 庫中 心 M Q 通 用V S V SQ P M QV S . 設(shè)備列表 硬件名稱 硬件配置 數(shù)量 軟件及版本 說明 上傳服務(wù)器 CPU： *4 內(nèi)存： 8G 硬盤： 80G 8 Os： linux64 位 中標(biāo)麒麟 內(nèi)核版本 Weblogic10 亦莊 4 臺、德勝 4 臺 . 網(wǎng)絡(luò) 目前數(shù)據(jù)中心為兩地三中心的網(wǎng)絡(luò)結(jié)構(gòu)，北京、上海為三個核心機房的所在地，其中北京為同城主備兩個機房，上海為異地容災(zāi)機房。各個分中心都是雙線上聯(lián)至數(shù)據(jù)中心，北方十省的分中心采用聯(lián)通、電信各一條線路的方式連接到北京同城主備兩個機房，南方的分中心使用雙電信線路，一條連接到北京，另一條連接到上海。絕大部分情況下每個分中心上聯(lián)數(shù)據(jù)中心的帶寬都是 2M，南方的分中心主用至主運行機房的電信線路，北方十省的分中心通常主用至同城備份機房的聯(lián)通線 路。為了確保無紙化通關(guān)項目的順利進行，數(shù)據(jù)中心計劃將南京、拱北、杭州、北京、天津、福州等 6 個試點分中心上聯(lián)至數(shù)據(jù)中心主用線路的帶寬擴容至 10M。 隨附單證 MQ服務(wù)器 IBM 750 平臺 CPU ： 8 個 內(nèi)存 16G 本地盤： 120G 2 Os： MQ： 部署在亦莊 NFS SERVER IBM 560 8CPU 32G 內(nèi)存 2 OS： 部署在亦莊，其 中 一臺 為冷備機 存儲 IBMDS8300, 存儲容量 10T 1 部署在亦莊 傳輸用加密機 Sjy36 2 OS: linux 部署在亦莊 分 中 心異 地 容 災(zāi) 機 房 同 城 備 份 機 房主 運 行 機 房分 中 心? ? 數(shù)據(jù)中心的同城主備機房與 H2021 系統(tǒng)的北京、廣東節(jié)點都有互聯(lián)，除今年 7 月將主運行機房與 H2021 系統(tǒng)北京節(jié)點（金寶街）的互聯(lián)線路升級到為 100M 裸光纖外，所有與H2021 互聯(lián)的線路都是 4M SDH 專線。 H 2 0 0 0 系 統(tǒng)數(shù) 據(jù) 中 心同 城 備 份 機 房主 運 行 機 房廣 東北 京2 M S D HN * 2 M S D H1 0 0 M 光 光 光 . NFS Server 設(shè)計 . SAN 結(jié)構(gòu) NFS 服務(wù) 器采用兩臺 IBM 小型機 P560,兩臺服務(wù)器互為主備關(guān)系，需要手工切換，存儲采用 IBM DS8300，可用空間 10TB，另外新采購 EMC 存儲一臺，裸容量為 80T，可在后期數(shù)據(jù)量上升時掛載到 NFS 服務(wù)器上。拓撲結(jié)構(gòu)如下： N F S 主D C X 4 SD S 8 3 0 021S y s t e m S t o r a g eD C X 4 SN F S 備 . 文件系統(tǒng)設(shè)計 NFS Server 文件系統(tǒng) 上傳服務(wù)器掛載點 備注 /shanghai(1TB) /shenzhen(1TB) /nanjing(1TB) /huangpu(1TB) /other(1TB) /edoc/2200 /edoc/5300 /edoc/2300 /edoc/5200 /edoc 先期每個文件系統(tǒng)預(yù)分配空間 1TB . 試運行情況 . 信息中心 存儲 截至到 12 月 7 日 24 時，通關(guān)無紙化項目自上線以來，系統(tǒng)運行基本正常。總共申報通關(guān)無紙化報關(guān)單 253840 份，隨附單據(jù)（ pdf 文件）共 518789 個，存儲占用約 47G（ 47417M），存儲相關(guān)的磁盤讀寫 I/O、文件服務(wù)器及 WEB 服務(wù)器 CPU、內(nèi)存資源空閑。 網(wǎng)絡(luò) 在無紙化通關(guān)項目試運行的 20 幾天中，全國海關(guān)骨干網(wǎng)運行情況較為良好。 取試點前一個普通工作日（ 2 月 28 日）的上午 10:00 至 11:00 業(yè)務(wù)高峰期一小時流量平均值，再取試點最近一個月（ 11 月 13 日日至 12 月 13 日）中每天上午 10:00 至 11:00 業(yè)務(wù)高峰期流量最大一天的一小時流量平均值，得到的對比表如下，從整體上看，試點海關(guān)的線路流量增長不明顯，骨干網(wǎng)目前帶寬現(xiàn)狀可以承載試點應(yīng)用的流量。 單次樣本具有隨機性，不可簡單直接相減計算差值，僅用于概要反映整體變化情況。 關(guān)區(qū)名稱 運行網(wǎng)帶寬 M 試點上線前流量 M 試點上線后流量 M 1 北京關(guān)區(qū) 期間由 2M 擴容至 8M 2 天津關(guān)區(qū) 期間由 4M 擴容至 8M 3 上海海關(guān) 20 11 4 南京海關(guān) 6 5 杭州關(guān)區(qū) 2 6 寧波關(guān)區(qū) 6 7 福州關(guān)區(qū) 2 8 青島海關(guān) 4 9 廣州海關(guān) 4 10 黃埔關(guān)區(qū) 6 11 深圳海關(guān) 期間由 8M 擴容至 30M 12 拱北關(guān)區(qū) 期間由 2M 擴容至 4M . 數(shù)據(jù)中心 存儲 截至到 12 月 5 日，無通關(guān)項目自上線以來，系統(tǒng)運行基本正 常。存儲占用 43630M，存儲相關(guān)的磁盤讀寫 I/O 及 NFS 服務(wù)器 CPU、內(nèi)存資源空閑。 網(wǎng)絡(luò) 在無紙化通關(guān)項目試運行的 19 周中，數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)運行非常穩(wěn)定，試點分中心的線路雖然還未完成擴容，但由于隨附單據(jù)的業(yè)務(wù)量不大，因此原帶寬目前還能夠滿足業(yè)務(wù)需求。 截至到 12 月 5 日，帶寬最大利用率在 50%以上， 80%以下的有南京、北京，其他分中心均在 50%以下。骨干網(wǎng)目前帶寬現(xiàn)狀可以承載試點應(yīng)用的流量。 截至到 12 月 5 日，累計申報的通關(guān)無紙化項目報關(guān)單數(shù)量 270899 份，累計隨附單據(jù)文件 511674 個（其中已發(fā)往海關(guān) 的隨附單據(jù)文件 484133 個）。 . 問題分析 . 信息中心面臨的問題 . 存儲 ? 信息中心所使用的存儲，是在現(xiàn)有設(shè)備中，通過與其他項目調(diào)劑出的 可用存儲，存儲設(shè)備為 EMC VMAXe。這些存儲與根據(jù)報關(guān)單量估計的每年 30TB 數(shù)據(jù)的所需存儲容量相距甚遠，現(xiàn)有存儲容量遠遠不能滿足實際需要。 ? 現(xiàn)有非結(jié)構(gòu)化數(shù)據(jù)，沒有專門的備份設(shè)備。當(dāng)數(shù)據(jù)量隨著業(yè)務(wù)試點的深入迅速膨脹時，無法對非結(jié)構(gòu)化數(shù)據(jù)進行備份，致使硬件故障后，可能引發(fā)數(shù)據(jù)丟失。 ? 現(xiàn)有非結(jié)構(gòu)化數(shù)據(jù)，只在總署信息中心部署，在廣東分中心沒有進行容災(zāi)備份。當(dāng)總署節(jié)點出現(xiàn)故 障無法使用時，將導(dǎo)致通關(guān)無紙化系統(tǒng)無法使用。 ? 通關(guān)無紙化改革試點期間，為保證項目進度，在 Windows 的 NTFS 文件管理系統(tǒng)基礎(chǔ)上，由信息中心自行開發(fā)了文件管理、元數(shù)據(jù)管理的功能。使用操作系統(tǒng)自身的文件系統(tǒng)，在文件存儲容量、數(shù)量方面都存在限制，無法滿足實際業(yè)務(wù)量的需要。 . 網(wǎng)絡(luò) 根據(jù)前期網(wǎng)絡(luò)測試和通關(guān)無紙化試運行的網(wǎng)絡(luò)監(jiān)控情況和對業(yè)務(wù)量的預(yù)測上，需要對部分直屬關(guān)與總署和信息中心與廣東分中心之間的網(wǎng)絡(luò)進行擴容。 . 運維管理 ? 現(xiàn)有對非結(jié)構(gòu)化數(shù)據(jù)的管理模塊，尚無遠程同步的功能，無法實現(xiàn)與分中心的容災(zāi)，在雙中心運行切換 、故障切換時，無法快速、無差異的完成非結(jié)構(gòu)化數(shù)據(jù)管理的無縫切換。 ? 現(xiàn)有對非結(jié)構(gòu)化數(shù)據(jù)的訪問，主要通過 WEB 站點對文件服務(wù)器的共享目錄進行訪問，沒有相應(yīng)的用戶管理和權(quán)限管理。 . 數(shù)據(jù)管理 ? 現(xiàn)有對非結(jié)構(gòu)化數(shù)據(jù)的管理模塊，尚無數(shù)據(jù)生命周期管理的功能，雖然在通關(guān)無紙化改革系統(tǒng)實施方案中有所設(shè)計，但是還沒有功能實現(xiàn)。 ? 非結(jié)構(gòu)化數(shù)據(jù)質(zhì)量沒有現(xiàn)成完善的保障方案。 ? 非結(jié)構(gòu)化數(shù)據(jù)的安全需要重新考慮，包括存取控制、訪問權(quán)限、防控數(shù)據(jù)泄露等。 . 數(shù)據(jù)中心面臨的問題 . 存儲 ? 現(xiàn)有存儲空間容量不能滿足業(yè)務(wù)增長的需要； ? 隨著數(shù)據(jù)量的增加，操 作系統(tǒng)自身文件系統(tǒng)管理海量數(shù)據(jù)文件能力較弱； ? 目前只有亦莊有隨附單證的存儲和傳輸服務(wù)器，德勝沒有，存在同城無備份的情況； ? 共享文件缺乏統(tǒng)一用戶管理； ? 分中心的網(wǎng)絡(luò)接入改造和同城網(wǎng)絡(luò)改造可能延期，如上線壓力大，可能影響目前系統(tǒng)運行； ? 現(xiàn)有存儲方案生命周期管理能力較弱，需要較多手工操作； ? NFS 服務(wù)器無法保證高可用性，發(fā)生故障時需手工切換； ? 利用小型機作 NFS 服務(wù)器， SAN 存儲作為非結(jié)構(gòu)化數(shù)據(jù)存儲成本較高，擴展性較差，應(yīng)對高并發(fā)訪問的能力弱； ? 常規(guī)的 NFS 文件系統(tǒng)的最大容量和最大文件數(shù)有限，可能無法滿足業(yè)務(wù)要求 。 . 網(wǎng)絡(luò) 目前除與 H2021 系統(tǒng)互聯(lián)的帶寬完成升級工作外，試點分中心及數(shù)據(jù)中心部分網(wǎng)絡(luò)的帶寬升級工作還在進行中，因此需要在業(yè)務(wù)量還未有明顯變化時盡快完成所有的帶寬升級工作。除此之外網(wǎng)絡(luò)的高可用、高可靠、可擴展等方面性能在 H2021 項目中已得到充分的完善。 . 直屬海關(guān)面臨的問題 目前集中模式下，地方海關(guān)在將非結(jié)構(gòu)化數(shù)據(jù)上傳的過程中，占用了較多的網(wǎng)絡(luò)信道資源。同時此類數(shù)據(jù)在總署數(shù)據(jù)中心和信息中心分為兩套存放，也占據(jù)了海量的存儲資源。 海關(guān)的現(xiàn)場關(guān)員在審單過程中均需調(diào)用總署端集中數(shù)據(jù)庫里的非結(jié)構(gòu)化數(shù)據(jù)，當(dāng)此類業(yè)務(wù)操 作被頻繁提交時，將會再次占用直屬海關(guān)到總署的網(wǎng)絡(luò)信道資源和總署端的硬件資源（包括主機的 CPU、內(nèi)存和磁盤）。 地方海關(guān)在非結(jié)構(gòu)數(shù)據(jù)文件不下發(fā)時，一些獨立于 H2021 之外的統(tǒng)計分析類項目無法直接訪問總署的非結(jié)構(gòu)化數(shù)據(jù)文件，造成一些具有地方特色的應(yīng)用需求無法得到滿足。 第三章 需求分析 . 業(yè)務(wù)需求 . 數(shù)據(jù)存留 信息中心基于如下考慮應(yīng)保存一份數(shù)據(jù)： 1. 如果只在數(shù)據(jù)中心存一份，則這個庫既要負擔(dān)外網(wǎng)的并發(fā)寫，又要負擔(dān)內(nèi)網(wǎng)的并發(fā)讀，壓力很大，不如分散壓力。 2. H2021 是一級運維項目，基于容災(zāi)的考慮，也應(yīng)該在內(nèi)網(wǎng)廣東分中心存一份數(shù)據(jù)。 3. 信息中心和數(shù)據(jù)中心目前網(wǎng)絡(luò)上只有 MQ 的通道，無法做到直接存取。 4. 在存儲設(shè)計時信息中心會將保障級別較高運行庫盡量做小，歷史數(shù)據(jù)將用廉價設(shè)備存儲，因此在投資商并不大，相比較分布式存儲反倒更便宜。 5. 關(guān)里除通關(guān)外其它系統(tǒng)也有調(diào)閱隨附單據(jù)的需求，都從數(shù)據(jù)中心取，在性能上、網(wǎng)絡(luò)上不一定滿足。 直屬海關(guān)在 隨附單證 非結(jié)構(gòu)數(shù)據(jù)文件下發(fā) 后 ， 為結(jié)構(gòu)性通關(guān)模式改革提供實現(xiàn)基礎(chǔ) ,為二次申報等改革奠定必要條件。分布存放模式可為結(jié)構(gòu)性的通關(guān)模式改革提供實現(xiàn)基礎(chǔ)，使報關(guān)單電子數(shù)據(jù)的傳輸、審核、放行與隨附單證的傳輸、審核分離成為可能 。實現(xiàn)“逐票電子放行，匯總計征稅費（量和時間上匯總、空間集中）、批量復(fù)核”模式，分離傳輸可改變以往海關(guān)需在狹小時空內(nèi)完成復(fù)雜任務(wù)的困境，拓寬時空，提高有效性。 目前海關(guān)已有的決策支持類系統(tǒng)如海關(guān)廉政預(yù)警系統(tǒng)（ HL2021）、批量復(fù)審系統(tǒng)、歸類綜合管理系統(tǒng)等，其分析的對象主要還是結(jié)構(gòu)化的通關(guān)類電子數(shù)據(jù)。而隨附單證電子化后的非結(jié)構(gòu)化數(shù)據(jù)如果下發(fā)到各直屬關(guān)，就可以滿足各業(yè)務(wù)部門在分析結(jié)構(gòu)化數(shù)據(jù)后對于相關(guān)原始紙質(zhì)單證的調(diào)閱和分析需求，從而加強執(zhí)法監(jiān)控。 此外，下一步隨著 OCR 軟件在海關(guān)隨附單證領(lǐng)域的應(yīng)用，也可以更加 充分挖掘紙質(zhì)單證資源的潛力?，F(xiàn)有問題主要是各關(guān)的隨附單證基本還是以紙質(zhì)方式存放，即占用大量場地資源又無法方便查詢調(diào)閱，且時間長了之后極易損壞 ，而采用了分布式存儲方案可以有效解決此次問題。 . 存儲容量 根據(jù)測試，按照目前對普通無紙化單證存檔時對于隨附單證的要求（即非高清 HD隨附單證），各分辨率下的文件大小如下。 目前，采用的是格式 2—— 200DPI 方式。 文件尺寸單位（字節(jié)） 掃描分辨率 23 頁文件 PDF 格式 BMP 圖像尺寸 文件 尺寸 壓縮 比 100DPI 2,797,674 375,016 ∶ 1 200DPI 11,186,418 964,867 ∶ 1 300DPI 25,174,834 1,856,414 ∶ 1 單票報關(guān)單隨附單證大小的估算方法如下： 根據(jù)試點數(shù)據(jù)，在滿足數(shù)據(jù)中心隨附單證規(guī)格要求的情況下，平均隨附單證尺寸 87K（ Byte, 最大 8M，最小 6K），單票報關(guān)單平均隨附單證數(shù)量 份（目前有部分隨附單證未列入試點）。為了簡化，數(shù)據(jù)量估算時考慮將單個隨附單證大小以 100K Byte 計 ，平均每份報關(guān)單隨附單證數(shù)量以 5份計 （試點量的 2倍） ，每日峰值工作時間為 2小時。相應(yīng)的，存儲計算中，單份報關(guān)單的隨附單證以 500KB 計；網(wǎng)絡(luò)計算中，單份報關(guān)單的隨附單證帶寬占用以 5Mb/s 計。 據(jù)統(tǒng)計， 2021 年的報關(guān)單數(shù)量約為 5900 萬份， 2021～ 2021 年報關(guān)單數(shù)量預(yù)計超過 6000萬份。以單份報關(guān)單包含 5 份隨附單據(jù)且單份隨附單據(jù)平均大小為 100KB