【文章內(nèi)容簡(jiǎn)介】 山東電子口岸基于 BizTalk 的調(diào)度平臺(tái) 技術(shù)解決方案 169。版權(quán)所有 中國(guó)電子口岸數(shù)據(jù)中心青島分中心 5 1 調(diào)度 平臺(tái) 框架 調(diào)度 平臺(tái) 總體介紹 BIZTALK SERVER 是山東電子口岸 的 信息處理中心， 通過(guò) 集成基礎(chǔ)、應(yīng)用、Web 等 內(nèi)部 系統(tǒng) 的服務(wù) 功能 產(chǎn)生 合力 ，通過(guò) 集成數(shù)據(jù)傳輸系統(tǒng)進(jìn)行 遠(yuǎn)程數(shù)據(jù)共享 。通過(guò) DB、 MSMQ 數(shù)據(jù)傳輸方式與其他系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)交換，使用 DLL 和 Web Service 兩種接口方式調(diào)用本地應(yīng)用服務(wù)。數(shù)據(jù)傳輸系統(tǒng) 是異地系統(tǒng)數(shù)據(jù)傳輸?shù)耐ǖ?，是 最重要數(shù)據(jù)集散 通道 。 系統(tǒng)調(diào)度采用 主要 異步工作模式 （也可以使用同步工作模式） ，由輸入數(shù)據(jù)啟動(dòng) BizTalk 流程，在流程控制下自動(dòng)調(diào)用映射、業(yè)務(wù)規(guī)則和應(yīng)用服務(wù)進(jìn)行數(shù)據(jù)處理。 示意圖如下： MSMQB iz T a lkDLLWebServiceDB異異異異異異異異異異異異異Biztalk異異異 異 異 異 異 異異 異 異 異異 異 異 異… …異 異 異 異異 異 異 異 異 異 異 異異 異 異 異 異 異 異 異異 異 E R P 異 異異 異 異 異 . . .W e b 異 異 圖表 1系統(tǒng) 調(diào)度關(guān)系示意圖 系統(tǒng) 調(diào)度 流程 與原理 消息 （即輸入數(shù)據(jù)） 通過(guò) MSMQ 或者物理文件方式 ， 由 BizTalk 系統(tǒng)通過(guò)端口適配器 （常用 MSMQ 和 File 方式） 自動(dòng)接入接收管道（ Receive Pipeline） ；在接收管道中會(huì)自動(dòng)被解密、 備份（注：消息備份由自行研發(fā)插件完成）、解析、山東電子口岸基于 BizTalk 的調(diào)度平臺(tái) 技術(shù)解決方案 169。版權(quán)所有 中國(guó)電子口岸數(shù)據(jù)中心青島分中心 6 拆包，形成標(biāo)準(zhǔn) XML 消息存儲(chǔ)到消息數(shù)據(jù)庫(kù)（ MessageBox） ； BizTalk 系統(tǒng)會(huì)自動(dòng)調(diào)用適當(dāng)?shù)臉I(yè)務(wù)流程去處理消息數(shù)據(jù)庫(kù)內(nèi)的“新”消息， 消息接入業(yè)務(wù)流程后，會(huì)根據(jù)業(yè)務(wù)流程的導(dǎo)向，進(jìn)行格式轉(zhuǎn)換、信息預(yù)定、異常處理等處理過(guò)程，或者會(huì)被送入應(yīng)用系統(tǒng)的模塊 （ DLL/WebService）進(jìn)行處理 ，完畢后得到需要輸出結(jié)果消息，同樣存儲(chǔ)到消息數(shù)據(jù)庫(kù)； BizTalk 系統(tǒng)自動(dòng)將處理過(guò)的結(jié)果消息導(dǎo)入發(fā)送管道（ Send Pipeline） ；結(jié)果消息在 SendPipeLine 內(nèi)被 序列化、加密（平文本需要 使用自行開(kāi)發(fā)的平文本分發(fā)插件 ） 發(fā)送到輸出端口；完成調(diào)度功能。 應(yīng)用系統(tǒng)端口端口M e s s a geM e s s a geB oxB ox端口端口B 2 B 集成R ecei v e P ipe li n e S end Pi pel in e業(yè)務(wù)流程Decr y p tt S er ial izeer ial izeS ig nigE n cr y p tcr y t異 異 異 異 異 異數(shù)據(jù)備份數(shù)據(jù)備份 P ar searR eso lv eeso lv eP ar t yar t y平文本分發(fā)平文本分發(fā)E x c e p t io n異 異 異 異 異 異異 異 異 異 異 異 圖表 2調(diào)度系統(tǒng)總體流程示意圖 主要功能 BizTalk 的主要功能就是通過(guò)消息傳遞的方式實(shí)現(xiàn) 服務(wù) 調(diào)度 。 BizTalk 接收 數(shù)據(jù)并將其轉(zhuǎn)換為 XML 消息 格式 ，依照應(yīng)用的業(yè)務(wù)流程按照一定的規(guī)則調(diào)用相應(yīng)的服務(wù)，同時(shí)根據(jù)不同服務(wù)的接口格式對(duì)消息進(jìn)行轉(zhuǎn)換，實(shí)現(xiàn)服務(wù)調(diào)用。 山東電子口岸應(yīng)用系統(tǒng)所涉及到的服務(wù)主要 包括 如下 環(huán)節(jié)： ? 報(bào)文解析 ， 是指對(duì)原始數(shù)據(jù)進(jìn)行解析，按照其內(nèi)在邏輯拆分、識(shí)別。 山東電子口岸基于 BizTalk 的調(diào)度平臺(tái) 技術(shù)解決方案 169。版權(quán)所有 中國(guó)電子口岸數(shù)據(jù)中心青島分中心 7 ? 自動(dòng) 計(jì)算，是指按照業(yè)務(wù)需求，對(duì)原始數(shù)據(jù)進(jìn)行二次加工，對(duì)原始數(shù)據(jù)進(jìn)行必要的補(bǔ)充和改進(jìn)，目的將原始數(shù)據(jù)再生。 ? 數(shù)據(jù) 驗(yàn)證，是指原始數(shù)據(jù)的對(duì)再生數(shù)據(jù)進(jìn)行業(yè)務(wù)邏輯、技術(shù)、完整性校驗(yàn)，保證再生數(shù)據(jù)質(zhì)量。 ? 格式 轉(zhuǎn)換，是指對(duì)驗(yàn)證通過(guò)的再生數(shù)據(jù)進(jìn)行必要的格式轉(zhuǎn)換，產(chǎn)生目的數(shù)據(jù)，輸出合格數(shù)據(jù)。 ? 信息 預(yù)訂，是指根據(jù)一定規(guī)則對(duì)信息進(jìn)行預(yù)訂 。 ? 信息發(fā)布， 是指 將信息處理結(jié)果發(fā)布給相應(yīng)的系統(tǒng)。 ? 計(jì)費(fèi)服務(wù)，是指對(duì)有償處理的數(shù)據(jù)進(jìn)行計(jì)費(fèi) 。 ? 日志服務(wù)， 是指以日志方式跟蹤信息處理過(guò)程，以實(shí)現(xiàn)有 效監(jiān)控的服務(wù)。 ? 異常處理，是指異常情況下的處理服務(wù)。 設(shè)計(jì) 原則 BizTalk 調(diào)度系統(tǒng)將起到山東電子口岸的核心作用， 其 數(shù)據(jù)處理能力 將直接決定山東電子口岸整體 性能 ，因此在開(kāi)發(fā)該系統(tǒng)過(guò)程中 應(yīng)該 考慮如下因素： 1） 設(shè)計(jì)簡(jiǎn)約，避免冗雜 核心調(diào)度層不宜過(guò)于冗雜，應(yīng)該以簡(jiǎn)約為主，分散風(fēng)險(xiǎn)點(diǎn)。 BizTalk 系統(tǒng)本身主要負(fù)責(zé)消息接收、架構(gòu)驗(yàn)證、消息映射轉(zhuǎn)換、調(diào)用服務(wù)、消息輸出功能，復(fù)雜業(yè)務(wù)邏輯原則上應(yīng)該封裝在應(yīng)用服務(wù)中，并注意合理劃分服務(wù) 。 BizTalk 流程設(shè)計(jì)明晰， 避免流程過(guò)于復(fù)雜，導(dǎo)致性能下降。 2） 穩(wěn)健 高效，并發(fā)控 制 要求能夠 穩(wěn)健、 高效運(yùn)行，避免成為整個(gè)系統(tǒng)的瓶頸。 在 不會(huì)對(duì)數(shù)據(jù)庫(kù)、計(jì)算機(jī)資源造成威脅的前提下， 采用并發(fā)運(yùn)行控制，充分利用計(jì)算機(jī)資源，發(fā)揮潛能。 山東電子口岸基于 BizTalk 的調(diào)度平臺(tái) 技術(shù)解決方案 169。版權(quán)所有 中國(guó)電子口岸數(shù)據(jù)中心青島分中心 8 2 技術(shù)規(guī)范 流程設(shè)計(jì)規(guī)范 適配器 目前 BizTalk2020 本 身已 經(jīng)支 持 FILE 、 HTTP 、 SMTP 、 SOAP 、MSMQ/MSMQT、 FTP、 SQL 和 EDI 協(xié)議消息 ，更多內(nèi)容請(qǐng)參考微軟幫助如下鏈接： ms 根據(jù)山東電子口岸建設(shè)需要，通常情況下，建議推薦使用 MSMQ 和文件適配器作為消息接收方式，原則上： （ 1） 接收適配器。采用 MSMQ 進(jìn)行消息接收，如果在 BizTalk 服務(wù)器本機(jī)允許使用文件適配器接收消息，否則不推薦使用。其他適配器原則上不鼓勵(lì)使用。 （ 2） 發(fā)送適配器。采用 XML 文本方式建議使用 MSMQ 適配器；平文本文件方式須使用自行開(kāi)發(fā)的組件輸出；另外，向企業(yè)數(shù)據(jù)傳輸系統(tǒng)發(fā)送的報(bào)文，根據(jù)約定由自行開(kāi)發(fā) 組件直接寫(xiě)入數(shù)據(jù)庫(kù)，具體請(qǐng)參考“開(kāi)發(fā)設(shè)計(jì) 指南 ”一節(jié)。 備份 與跟蹤 為保證數(shù)據(jù)的完整性和可恢復(fù)性，必須具備消息備份功能。消息備份能夠保存接入系統(tǒng)的消息，消息備份的目的在于提供技術(shù)分析和業(yè)務(wù)分析，為數(shù)據(jù)恢復(fù)和跟蹤提供底帳。 消息備份須使用自行開(kāi)發(fā)的組件 。 格式轉(zhuǎn)換 消息格式轉(zhuǎn)換使用架構(gòu)映射完成，源架構(gòu)與目的架構(gòu)通過(guò)一個(gè)映射完成字段級(jí)對(duì)應(yīng)，在映射界面使用連線直接關(guān)聯(lián)映射字段，支持字段計(jì)算和自定義函數(shù)處理等功能。 詳細(xì)資料請(qǐng)參考微軟幫助鏈接： 山東電子口岸基于 BizTalk 的調(diào)度平臺(tái) 技術(shù)解決方案 169。版權(quán)所有 中國(guó)電子口岸數(shù)據(jù)中心青島分中心 9 mshtm 業(yè)務(wù)規(guī)則 業(yè)務(wù)規(guī)則可以簡(jiǎn)化流程，主要實(shí)現(xiàn)會(huì)經(jīng)常變化的業(yè)務(wù)規(guī)則，由于業(yè)務(wù)規(guī)則和BizTalk 程序集分開(kāi)，業(yè)務(wù)規(guī)則需要從開(kāi)發(fā)環(huán)境導(dǎo)出、修改后單獨(dú)部署，建議不宜過(guò)度使用業(yè)務(wù)規(guī)則。建議在會(huì)臨時(shí)改變情況下使用業(yè)務(wù)規(guī)則，例如某個(gè)功能暫時(shí)有用，一定時(shí)間后即取消，則可以使用業(yè)務(wù)規(guī)則，待到期 后修改業(yè)務(wù)規(guī)則，停用某功能。 應(yīng)用服務(wù)調(diào)用 報(bào)文解析 報(bào)文解析是山東電子口岸的一項(xiàng)重要功能，通常情況下，一，可以采用 XML架構(gòu)文件直接能夠拆分字段數(shù)據(jù)，主要應(yīng)用于 XML 格式消息和簡(jiǎn)單平文本格式消息；二，使用代碼解析，對(duì)于定義架構(gòu)復(fù)雜、難度較大的平文本文件和適合于代碼解析的 XML 文件，使用代碼解析。 報(bào)文解析主要有三個(gè)步驟：（ 1）解析字段數(shù)據(jù)，由流數(shù)據(jù)解析為字段數(shù)據(jù)，程序可識(shí)別；（ 2）簡(jiǎn)單驗(yàn)證，驗(yàn)證字段主鍵必填項(xiàng)、必要的數(shù)據(jù)類型驗(yàn)證等，主要目的是為報(bào)文入庫(kù)或者進(jìn)一步處理做好基礎(chǔ)；（ 3）報(bào)文字段解析入庫(kù)，一般情況下報(bào)文解析后需要寫(xiě)入數(shù)據(jù)庫(kù)。 自動(dòng)計(jì)算 自動(dòng)計(jì)算主要是針對(duì)解析后數(shù)據(jù)不足，進(jìn)行必要補(bǔ)充、修正和優(yōu)化，改善數(shù)據(jù)質(zhì)量。自動(dòng)計(jì)算通常情況下是以單獨(dú)服務(wù)提供，或者簡(jiǎn)單情況下，使用架構(gòu)映射和映射本身的計(jì)算功能實(shí)現(xiàn)。多數(shù)情況下，自動(dòng)計(jì)算會(huì)涉及與數(shù)據(jù)庫(kù)中參數(shù)等相關(guān)，推薦使用代碼實(shí)現(xiàn)。 數(shù)據(jù)驗(yàn)證 數(shù)據(jù)驗(yàn)證范圍比較 廣，會(huì)在多個(gè)環(huán)節(jié)或多或少涉及到數(shù)據(jù)驗(yàn)證問(wèn)題，在此特指需要根據(jù)預(yù)先制定的大量業(yè)務(wù)、技術(shù)規(guī)則進(jìn)行的集中數(shù)據(jù)驗(yàn)證，對(duì)于簡(jiǎn)單的驗(yàn)山東電子口岸基于 BizTalk 的調(diào)度平臺(tái) 技術(shù)解決方案 169。版權(quán)所有 中國(guó)電子口岸數(shù)據(jù)中心青島分中心 10 證可以使用架構(gòu)或者是在其他功能中附帶驗(yàn)證。數(shù)據(jù)驗(yàn)證推薦使用代碼實(shí)現(xiàn)。 格式轉(zhuǎn)換 由于 各類業(yè)務(wù)系統(tǒng)間開(kāi)發(fā)技術(shù)、人員、時(shí)代限制等因素，并且缺乏業(yè)界統(tǒng)一標(biāo)準(zhǔn)，各類系統(tǒng)間數(shù)據(jù)接口的格式不盡相同。 通過(guò) 格式轉(zhuǎn)換 服務(wù)將消息轉(zhuǎn)換為接口規(guī)定的格式，從而實(shí)現(xiàn)對(duì)不同服務(wù)的調(diào)用。 信息預(yù)定 信息預(yù)定主要是為提供個(gè)性化信息服務(wù)的一種模式。信息預(yù)定過(guò)程分為三個(gè)接口，即：預(yù)定接口、事件接口、預(yù)定結(jié)果接口。 預(yù)定接口 ：預(yù) 定信息導(dǎo)入接口，通常指明要信息預(yù)定依據(jù)和相關(guān)附加信息。 事件接口 ：事件數(shù)據(jù)導(dǎo)入接口，是指被預(yù)定信息到來(lái)后的導(dǎo)入接口。 預(yù)定結(jié)果接口 ：預(yù)定成功后，產(chǎn)生預(yù)定結(jié)果，輸出結(jié)果接口。 文件分發(fā) 文件分發(fā)是根據(jù)對(duì)產(chǎn)生文件輸出，目前一般情況下有如下幾種分發(fā)方式： (1)適配器自動(dòng)分發(fā)，通常使用 MSMQ 適配器輸出 XML 文件（注：不能完成平文本輸出）；（ 2）使用自定義組件分發(fā)，自定義組件輸出到數(shù)據(jù)庫(kù)或者 MSMQ，多用于平文本輸出。 日志服務(wù) 日志服務(wù)是通常調(diào)用的服務(wù)方式，主要實(shí)現(xiàn)對(duì)操作的監(jiān)控，可以把后臺(tái)操作關(guān)鍵點(diǎn)以日志方式記錄 ，供相關(guān)人員監(jiān)控、跟蹤。具體日志服務(wù)功能請(qǐng)參考基礎(chǔ)系統(tǒng)相關(guān)文檔。 計(jì)費(fèi)服務(wù) 計(jì)費(fèi)服務(wù)是山東電子口岸通用的服務(wù)接口，是針對(duì)有償數(shù)據(jù)處理服務(wù)的計(jì)費(fèi)接口，又業(yè)務(wù)邏輯設(shè)定計(jì)費(fèi)規(guī)則，調(diào)用計(jì)費(fèi)服務(wù)自動(dòng)完成計(jì)費(fèi)。具體計(jì)費(fèi)服務(wù)功能請(qǐng)參考計(jì)費(fèi)系統(tǒng)相關(guān)文檔。 山東電子口岸基于 BizTalk 的調(diào)度平臺(tái) 技術(shù)解決方案 169。版權(quán)所有 中國(guó)電子口岸數(shù)據(jù)中心青島分中心 11 異常 處理 異常處理的主要功能是保障業(yè)務(wù)流程的順利執(zhí)行，避免因數(shù)據(jù)異?；驁?zhí)行過(guò)程異常造成系統(tǒng)癱瘓、堵塞以及數(shù)據(jù)丟失等情況。異常處理提供異常記錄功能，能夠記錄異常事件環(huán)節(jié)和異常