【文章內容簡介】 傳服務主 運 行 數(shù) 據(jù) 庫中 心 M Q 無 紙 通 關 專 用H 2 0 0 0 E S BV SV S公 網 （ 2 0 0 兆 ） 、 專網 （ 千 兆 ） 接 入上 海 E D I加 密 機跨 機 房 訪 問 （ 千 兆 ）專網百兆專網百兆C A S 的 D N S 及負 載 均 衡客 戶 端上 傳 負 載 均 衡Q P S E R V E RQ P S E R V E RW E B 、 S P S E R V E Rq p 數(shù) 據(jù) 庫中 心 M Q 通 用V S V SQ P M QV S . 設備列表 硬件名稱 硬件配置 數(shù)量 軟件及版本 說明 上傳服務器 CPU： *4 內存： 8G 硬盤： 80G 8 Os： linux64 位 中標麒麟 內核版本 Weblogic10 亦莊 4 臺、德勝 4 臺 . 網絡 目前數(shù)據(jù)中心為兩地三中心的網絡結構，北京、上海為三個核心機房的所在地，其中北京為同城主備兩個機房，上海為異地容災機房。各個分中心都是雙線上聯(lián)至數(shù)據(jù)中心，北方十省的分中心采用聯(lián)通、電信各一條線路的方式連接到北京同城主備兩個機房，南方的分中心使用雙電信線路，一條連接到北京，另一條連接到上海。絕大部分情況下每個分中心上聯(lián)數(shù)據(jù)中心的帶寬都是 2M，南方的分中心主用至主運行機房的電信線路，北方十省的分中心通常主用至同城備份機房的聯(lián)通線 路。為了確保無紙化通關項目的順利進行，數(shù)據(jù)中心計劃將南京、拱北、杭州、北京、天津、福州等 6 個試點分中心上聯(lián)至數(shù)據(jù)中心主用線路的帶寬擴容至 10M。 隨附單證 MQ服務器 IBM 750 平臺 CPU ： 8 個 內存 16G 本地盤： 120G 2 Os： MQ： 部署在亦莊 NFS SERVER IBM 560 8CPU 32G 內存 2 OS： 部署在亦莊，其 中 一臺 為冷備機 存儲 IBMDS8300, 存儲容量 10T 1 部署在亦莊 傳輸用加密機 Sjy36 2 OS: linux 部署在亦莊 分 中 心異 地 容 災 機 房 同 城 備 份 機 房主 運 行 機 房分 中 心? ? 數(shù)據(jù)中心的同城主備機房與 H2021 系統(tǒng)的北京、廣東節(jié)點都有互聯(lián)，除今年 7 月將主運行機房與 H2021 系統(tǒng)北京節(jié)點（金寶街）的互聯(lián)線路升級到為 100M 裸光纖外，所有與H2021 互聯(lián)的線路都是 4M SDH 專線。 H 2 0 0 0 系 統(tǒng)數(shù) 據(jù) 中 心同 城 備 份 機 房主 運 行 機 房廣 東北 京2 M S D HN * 2 M S D H1 0 0 M 光 光 光 . NFS Server 設計 . SAN 結構 NFS 服務 器采用兩臺 IBM 小型機 P560,兩臺服務器互為主備關系，需要手工切換，存儲采用 IBM DS8300，可用空間 10TB，另外新采購 EMC 存儲一臺，裸容量為 80T，可在后期數(shù)據(jù)量上升時掛載到 NFS 服務器上。拓撲結構如下： N F S 主D C X 4 SD S 8 3 0 021S y s t e m S t o r a g eD C X 4 SN F S 備 . 文件系統(tǒng)設計 NFS Server 文件系統(tǒng) 上傳服務器掛載點 備注 /shanghai(1TB) /shenzhen(1TB) /nanjing(1TB) /huangpu(1TB) /other(1TB) /edoc/2200 /edoc/5300 /edoc/2300 /edoc/5200 /edoc 先期每個文件系統(tǒng)預分配空間 1TB . 試運行情況 . 信息中心 存儲 截至到 12 月 7 日 24 時，通關無紙化項目自上線以來，系統(tǒng)運行基本正常。總共申報通關無紙化報關單 253840 份，隨附單據(jù)（ pdf 文件）共 518789 個，存儲占用約 47G（ 47417M），存儲相關的磁盤讀寫 I/O、文件服務器及 WEB 服務器 CPU、內存資源空閑。 網絡 在無紙化通關項目試運行的 20 幾天中，全國海關骨干網運行情況較為良好。 取試點前一個普通工作日（ 2 月 28 日）的上午 10:00 至 11:00 業(yè)務高峰期一小時流量平均值，再取試點最近一個月（ 11 月 13 日日至 12 月 13 日）中每天上午 10:00 至 11:00 業(yè)務高峰期流量最大一天的一小時流量平均值，得到的對比表如下，從整體上看，試點海關的線路流量增長不明顯，骨干網目前帶寬現(xiàn)狀可以承載試點應用的流量。 單次樣本具有隨機性，不可簡單直接相減計算差值，僅用于概要反映整體變化情況。 關區(qū)名稱 運行網帶寬 M 試點上線前流量 M 試點上線后流量 M 1 北京關區(qū) 期間由 2M 擴容至 8M 2 天津關區(qū) 期間由 4M 擴容至 8M 3 上海海關 20 11 4 南京海關 6 5 杭州關區(qū) 2 6 寧波關區(qū) 6 7 福州關區(qū) 2 8 青島海關 4 9 廣州海關 4 10 黃埔關區(qū) 6 11 深圳海關 期間由 8M 擴容至 30M 12 拱北關區(qū) 期間由 2M 擴容至 4M . 數(shù)據(jù)中心 存儲 截至到 12 月 5 日，無通關項目自上線以來，系統(tǒng)運行基本正 常。存儲占用 43630M，存儲相關的磁盤讀寫 I/O 及 NFS 服務器 CPU、內存資源空閑。 網絡 在無紙化通關項目試運行的 19 周中，數(shù)據(jù)中心網絡系統(tǒng)運行非常穩(wěn)定，試點分中心的線路雖然還未完成擴容，但由于隨附單據(jù)的業(yè)務量不大，因此原帶寬目前還能夠滿足業(yè)務需求。 截至到 12 月 5 日，帶寬最大利用率在 50%以上， 80%以下的有南京、北京，其他分中心均在 50%以下。骨干網目前帶寬現(xiàn)狀可以承載試點應用的流量。 截至到 12 月 5 日，累計申報的通關無紙化項目報關單數(shù)量 270899 份，累計隨附單據(jù)文件 511674 個（其中已發(fā)往海關 的隨附單據(jù)文件 484133 個）。 . 問題分析 . 信息中心面臨的問題 . 存儲 ? 信息中心所使用的存儲，是在現(xiàn)有設備中，通過與其他項目調劑出的 可用存儲，存儲設備為 EMC VMAXe。這些存儲與根據(jù)報關單量估計的每年 30TB 數(shù)據(jù)的所需存儲容量相距甚遠，現(xiàn)有存儲容量遠遠不能滿足實際需要。 ? 現(xiàn)有非結構化數(shù)據(jù)，沒有專門的備份設備。當數(shù)據(jù)量隨著業(yè)務試點的深入迅速膨脹時，無法對非結構化數(shù)據(jù)進行備份，致使硬件故障后，可能引發(fā)數(shù)據(jù)丟失。 ? 現(xiàn)有非結構化數(shù)據(jù)，只在總署信息中心部署，在廣東分中心沒有進行容災備份。當總署節(jié)點出現(xiàn)故 障無法使用時，將導致通關無紙化系統(tǒng)無法使用。 ? 通關無紙化改革試點期間，為保證項目進度，在 Windows 的 NTFS 文件管理系統(tǒng)基礎上，由信息中心自行開發(fā)了文件管理、元數(shù)據(jù)管理的功能。使用操作系統(tǒng)自身的文件系統(tǒng)，在文件存儲容量、數(shù)量方面都存在限制，無法滿足實際業(yè)務量的需要。 . 網絡 根據(jù)前期網絡測試和通關無紙化試運行的網絡監(jiān)控情況和對業(yè)務量的預測上，需要對部分直屬關與總署和信息中心與廣東分中心之間的網絡進行擴容。 . 運維管理 ? 現(xiàn)有對非結構化數(shù)據(jù)的管理模塊，尚無遠程同步的功能，無法實現(xiàn)與分中心的容災，在雙中心運行切換 、故障切換時，無法快速、無差異的完成非結構化數(shù)據(jù)管理的無縫切換。 ? 現(xiàn)有對非結構化數(shù)據(jù)的訪問，主要通過 WEB 站點對文件服務器的共享目錄進行訪問，沒有相應的用戶管理和權限管理。 . 數(shù)據(jù)管理 ? 現(xiàn)有對非結構化數(shù)據(jù)的管理模塊，尚無數(shù)據(jù)生命周期管理的功能，雖然在通關無紙化改革系統(tǒng)實施方案中有所設計，但是還沒有功能實現(xiàn)。 ? 非結構化數(shù)據(jù)質量沒有現(xiàn)成完善的保障方案。 ? 非結構化數(shù)據(jù)的安全需要重新考慮，包括存取控制、訪問權限、防控數(shù)據(jù)泄露等。 . 數(shù)據(jù)中心面臨的問題 . 存儲 ? 現(xiàn)有存儲空間容量不能滿足業(yè)務增長的需要； ? 隨著數(shù)據(jù)量的增加，操 作系統(tǒng)自身文件系統(tǒng)管理海量數(shù)據(jù)文件能力較弱； ? 目前只有亦莊有隨附單證的存儲和傳輸服務器，德勝沒有，存在同城無備份的情況； ? 共享文件缺乏統(tǒng)一用戶管理； ? 分中心的網絡接入改造和同城網絡改造可能延期，如上線壓力大，可能影響目前系統(tǒng)運行； ? 現(xiàn)有存儲方案生命周期管理能力較弱，需要較多手工操作； ? NFS 服務器無法保證高可用性，發(fā)生故障時需手工切換； ? 利用小型機作 NFS 服務器， SAN 存儲作為非結構化數(shù)據(jù)存儲成本較高，擴展性較差，應對高并發(fā)訪問的能力弱； ? 常規(guī)的 NFS 文件系統(tǒng)的最大容量和最大文件數(shù)有限，可能無法滿足業(yè)務要求 。 . 網絡 目前除與 H2021 系統(tǒng)互聯(lián)的帶寬完成升級工作外，試點分中心及數(shù)據(jù)中心部分網絡的帶寬升級工作還在進行中，因此需要在業(yè)務量還未有明顯變化時盡快完成所有的帶寬升級工作。除此之外網絡的高可用、高可靠、可擴展等方面性能在 H2021 項目中已得到充分的完善。 . 直屬海關面臨的問題 目前集中模式下，地方海關在將非結構化數(shù)據(jù)上傳的過程中，占用了較多的網絡信道資源。同時此類數(shù)據(jù)在總署數(shù)據(jù)中心和信息中心分為兩套存放，也占據(jù)了海量的存儲資源。 海關的現(xiàn)場關員在審單過程中均需調用總署端集中數(shù)據(jù)庫里的非結構化數(shù)據(jù)，當此類業(yè)務操 作被頻繁提交時，將會再次占用直屬海關到總署的網絡信道資源和總署端的硬件資源（包括主機的 CPU、內存和磁盤）。 地方海關在非結構數(shù)據(jù)文件不下發(fā)時，一些獨立于 H2021 之外的統(tǒng)計分析類項目無法直接訪問總署的非結構化數(shù)據(jù)文件，造成一些具有地方特色的應用需求無法得到滿足。 第三章 需求分析 . 業(yè)務需求 . 數(shù)據(jù)存留 信息中心基于如下考慮應保存一份數(shù)據(jù)： 1. 如果只在數(shù)據(jù)中心存一份，則這個庫既要負擔外網的并發(fā)寫，又要負擔內網的并發(fā)讀，壓力很大，不如分散壓力。 2. H2021 是一級運維項目，基于容災的考慮，也應該在內網廣東分中心存一份數(shù)據(jù)。 3. 信息中心和數(shù)據(jù)中心目前網絡上只有 MQ 的通道，無法做到直接存取。 4. 在存儲設計時信息中心會將保障級別較高運行庫盡量做小，歷史數(shù)據(jù)將用廉價設備存儲，因此在投資商并不大，相比較分布式存儲反倒更便宜。 5. 關里除通關外其它系統(tǒng)也有調閱隨附單據(jù)的需求，都從數(shù)據(jù)中心取，在性能上、網絡上不一定滿足。 直屬海關在 隨附單證 非結構數(shù)據(jù)文件下發(fā) 后 ， 為結構性通關模式改革提供實現(xiàn)基礎 ,為二次申報等改革奠定必要條件。分布存放模式可為結構性的通關模式改革提供實現(xiàn)基礎，使報關單電子數(shù)據(jù)的傳輸、審核、放行與隨附單證的傳輸、審核分離成為可能 。實現(xiàn)“逐票電子放行，匯總計征稅費（量和時間上匯總、空間集中）、批量復核”模式，分離傳輸可改變以往海關需在狹小時空內完成復雜任務的困境，拓寬時空，提高有效性。 目前海關已有的決策支持類系統(tǒng)如海關廉政預警系統(tǒng)（ HL2021）、批量復審系統(tǒng)、歸類綜合管理系統(tǒng)等，其分析的對象主要還是結構化的通關類電子數(shù)據(jù)。而隨附單證電子化后的非結構化數(shù)據(jù)如果下發(fā)到各直屬關，就可以滿足各業(yè)務部門在分析結構化數(shù)據(jù)后對于相關原始紙質單證的調閱和分析需求，從而加強執(zhí)法監(jiān)控。 此外，下一步隨著 OCR 軟件在海關隨附單證領域的應用，也可以更加 充分挖掘紙質單證資源的潛力?，F(xiàn)有問題主要是各關的隨附單證基本還是以紙質方式存放，即占用大量場地資源又無法方便查詢調閱，且時間長了之后極易損壞 ，而采用了分布式存儲方案可以有效解決此次問題。 . 存儲容量 根據(jù)測試，按照目前對普通無紙化單證存檔時對于隨附單證的要求（即非高清 HD隨附單證），各分辨率下的文件大小如下。 目前，采用的是格式 2—— 200DPI 方式。 文件尺寸單位（字節(jié)） 掃描分辨率 23 頁文件 PDF 格式 BMP 圖像尺寸 文件 尺寸 壓縮 比 100DPI 2,797,674 375,016 ∶ 1 200DPI 11,186,418 964,867 ∶ 1 300DPI 25,174,834 1,856,414 ∶ 1 單票報關單隨附單證大小的估算方法如下： 根據(jù)試點數(shù)據(jù)，在滿足數(shù)據(jù)中心隨附單證規(guī)格要求的情況下，平均隨附單證尺寸 87K（ Byte, 最大 8M，最小 6K），單票報關單平均隨附單證數(shù)量 份（目前有部分隨附單證未列入試點）。為了簡化，數(shù)據(jù)量估算時考慮將單個隨附單證大小以 100K Byte 計 ，平均每份報關單隨附單證數(shù)量以 5份計 （試點量的 2倍） ，每日峰值工作時間為 2小時。相應的，存儲計算中，單份報關單的隨附單證以 500KB 計；網絡計算中，單份報關單的隨附單證帶寬占用以 5Mb/s 計。 據(jù)統(tǒng)計， 2021 年的報關單數(shù)量約為 5900 萬份， 2021～ 2021 年報關單數(shù)量預計超過 6000萬份。以單份報關單包含 5 份隨附單據(jù)且單份隨附單據(jù)平均大小為 100KB