【文章內(nèi)容簡(jiǎn)介】 圖 1． 3 分布式：拓?fù)浣Y(jié)構(gòu)清息中間件 1． 2． 4 消息傳送模型 消息傳送模型分為點(diǎn)對(duì)點(diǎn)模型和發(fā)布／訂閱模型【 17】。 點(diǎn)對(duì)點(diǎn)模型：點(diǎn)對(duì)點(diǎn)消息傳送模型允許 JMS 客戶端通過(guò)隊(duì)列 (Quene)這個(gè) 虛擬通道同步和異步發(fā)送、接收消息。在點(diǎn)對(duì)點(diǎn)模型中，消息生產(chǎn)者成為發(fā)送者， 而消息消費(fèi)者則稱為接收者。傳統(tǒng)上，點(diǎn)對(duì)點(diǎn)模型是一個(gè)基于拉取或基于 輪詢的 消息傳送模型，這種模型從隊(duì)列中請(qǐng)求消息，而不是自動(dòng)地將消息推送到客戶端。 點(diǎn)對(duì)點(diǎn)消息傳送模型的一個(gè)突出特點(diǎn)就是，發(fā)送到隊(duì)列的消息被一個(gè)而且僅僅一 個(gè)接收者所接收，即使可能有多個(gè)接收者在一個(gè)隊(duì)列中偵聽(tīng)同一消息是，也是如 此。此模型見(jiàn)圖 1． 4。 圖 1． 4 消息隊(duì)列楨匿 發(fā)布問(wèn) ?閱模型：在發(fā)布／訂閱模型中，消息會(huì)被發(fā)布到一個(gè)名為主題 (Topic) 的虛擬通道中。消息生產(chǎn)者稱為發(fā)布者，消息消費(fèi)者則稱為訂閱者。與點(diǎn)對(duì)點(diǎn)模 型不同，使用發(fā)布／訂閱模型發(fā)布到一個(gè)主題的消息，能夠由多個(gè) 訂閱者所接受。 有時(shí)候，也稱這項(xiàng)技術(shù)為廣播消息。每個(gè)訂閱者都會(huì)接受到每條消息的一個(gè)副本。 總地來(lái)說(shuō)，發(fā)布／訂閱消息傳送模型基本上是一個(gè)基于推送的模型，其中消息自 動(dòng)地向消費(fèi)者廣播，它們無(wú)需請(qǐng)求或輪詢主題來(lái)獲得最新消息。此模型見(jiàn)圖 1． 5。 東華大學(xué)碩士研究生學(xué)位論文 1． 3研究的主要內(nèi)容 數(shù)據(jù)交換平臺(tái)的目標(biāo)是為企業(yè)內(nèi)外各種業(yè)務(wù)系統(tǒng)提供一個(gè)統(tǒng)一的、規(guī)范的、 遵循數(shù)據(jù)規(guī)范的數(shù)據(jù)交換平臺(tái)，解決因應(yīng)用系統(tǒng)不同、數(shù)據(jù)庫(kù)不同、數(shù)據(jù)定義不 同和運(yùn)行環(huán)境不同等導(dǎo)致的 “信息孤島 ”問(wèn)題。數(shù)據(jù)交換平臺(tái)具有分 布式系統(tǒng)的 特性，分布式系統(tǒng)節(jié)點(diǎn)之間具有指令通信和文件傳輸?shù)男枨螅菊n題針對(duì)分布式 系統(tǒng)之間指令通信和文件傳輸?shù)男枨?，研究了消息中間件。 本文的主要研究?jī)?nèi)容概述如下： 1)分析和總結(jié)當(dāng)前分布式系統(tǒng)的研究現(xiàn)狀，重點(diǎn)考察了消息中間件的研究 現(xiàn)狀。 2)深入分析異步事件驅(qū)動(dòng)型構(gòu)架風(fēng)格網(wǎng)絡(luò)應(yīng)用程序框架 Netty，對(duì)其工作機(jī) 制進(jìn)行深入的剖析。 3)設(shè)計(jì)和實(shí)現(xiàn)一個(gè)既適合短消息傳輸又適合大文件消息傳輸?shù)南⒅虚g件 軟件系統(tǒng)。 4)設(shè)計(jì)消息中間件的消息傳輸協(xié)議和文件傳輸協(xié)議。 5)基于 WebSoeket 協(xié)議的服務(wù)器推送技術(shù)設(shè)計(jì)一個(gè)消息中間件運(yùn)行監(jiān)控系 統(tǒng)。 1． 4課題的創(chuàng)新點(diǎn) 本文的主要?jiǎng)?chuàng)新點(diǎn)概述如下： 1)采用異步事件驅(qū)動(dòng)的軟件架構(gòu)風(fēng)格設(shè)計(jì)，整個(gè)消息中間件系統(tǒng)建立在異 步事件驅(qū)動(dòng)型構(gòu)架風(fēng)格網(wǎng)絡(luò)應(yīng)用程序框架 Netty之上。 2)消息中間件以組件的形式提供給應(yīng)用程序，消息消費(fèi)者與消息生產(chǎn)者的 操作都是本地操作。 3)文件消息的文件內(nèi)容采用獨(dú)立的文件傳輸通道傳輸，文件消息作為一個(gè) 文件傳輸己完成的通知。 4)對(duì)消息中間件的運(yùn)行時(shí)監(jiān)控采用了基于 WebSoeket 協(xié)議的服務(wù)器推送技 術(shù)。 1． 5論文組織結(jié)構(gòu) 論文公分 7 章，各章內(nèi)容概述如下： 第一章緒論。本章介紹了消息中間件研究的意義、課題來(lái)源等課題背景知 識(shí)，同時(shí)闡述了分布式系統(tǒng)的概念及其一些實(shí)現(xiàn)技術(shù)、然后闡述了中間件技術(shù)相 關(guān)知識(shí)、重點(diǎn)介紹了消息中間件。 6 東華大學(xué)碩士研究生學(xué)位論文 第二章 Netty 網(wǎng)絡(luò)應(yīng)用程序框架分析。這一章深入分析了構(gòu)建高性能網(wǎng)絡(luò)應(yīng) 用程序的網(wǎng)絡(luò)應(yīng)用程序框架 Netty，對(duì)其核心數(shù)據(jù)結(jié)構(gòu)及其軟件架構(gòu)進(jìn)行了深入 的剖析。 第三章消息中間件的總體設(shè)計(jì)與實(shí)現(xiàn)。這一章詳述了消息中間件的總體 設(shè) 計(jì)，包括消息格式、消息隊(duì)列、消息發(fā)送器、消息接收器、消息傳輸協(xié)議及服務(wù) 器端和客戶端實(shí)現(xiàn)。 第四章消息中間件文件傳輸組件設(shè)計(jì)與實(shí)現(xiàn)。這一章詳述了消息中間件中 文件傳輸組件的設(shè)計(jì)，包括文件傳輸協(xié)議、斷點(diǎn)續(xù)傳機(jī)制及服務(wù)器端和客戶端實(shí) 現(xiàn)。 第五章消息中間件監(jiān)控組件設(shè)計(jì)與實(shí)現(xiàn)。這一章詳述了消息中間件運(yùn)行監(jiān) 控系統(tǒng)的設(shè)計(jì)，闡述了基于 WebSocket 協(xié)議的服務(wù)器推送技術(shù)在監(jiān)控系統(tǒng)中的 應(yīng)用。 第六章消息中間件的部署與測(cè)試。這一章介紹了消息中間件在數(shù)據(jù)交換平 臺(tái)中的實(shí)際應(yīng)用。 第七章總結(jié)與展 望。這一章總結(jié)了本文的主要內(nèi)容，對(duì)未來(lái)研究工作做出 了一些展望。 東華大學(xué)碩士研究生學(xué)位論文 第二章 NetI)，網(wǎng)絡(luò)應(yīng)用程序框架分析 N 嘶【 18】是一個(gè)用于開(kāi)發(fā)可維護(hù)性、可擴(kuò)展性、高可用性協(xié)議服務(wù)器和客戶 端的異步事件驅(qū)動(dòng)型網(wǎng)絡(luò)應(yīng)用程序框架，采用了異步事件驅(qū)動(dòng)型構(gòu)架風(fēng)格【 19。 2 叭。 Nctty 框架為阻塞型套接字和非阻塞型套接字【 2lJ 提供了一個(gè)統(tǒng)一的應(yīng)用程序編程 接口 (Application Programming Interface， API)，對(duì)底層套接進(jìn)行了一個(gè)統(tǒng)一的 抽象，方便上層應(yīng)用程序的開(kāi)發(fā)。 Netty 框架提供了一個(gè)可伸縮性、可擴(kuò)展性的 事件驅(qū)動(dòng)模型，這一點(diǎn)對(duì)于開(kāi)發(fā)高性能、不同協(xié)議的服務(wù)器非常重要。 圖 2． 1 顯示了 Netty 的架構(gòu)圖， Nctty 框架實(shí)現(xiàn)了 Reactor[22]模式。網(wǎng)絡(luò)請(qǐng)求 接收器接受網(wǎng)絡(luò)請(qǐng)求，接受網(wǎng)絡(luò)請(qǐng)求后，將其交給反應(yīng)器，反應(yīng)器負(fù)責(zé)監(jiān)聽(tīng)每個(gè) 連接的所有事件，并將事件委托給事件分發(fā)器，事件分發(fā)器根據(jù)事件的類型對(duì)事 件做出反應(yīng)，即將事件分發(fā)到正確的事件處理器處理，如讀數(shù)據(jù)、對(duì)數(shù)據(jù)解碼、 進(jìn)行運(yùn)算、對(duì)數(shù)據(jù)編碼、寫(xiě)數(shù)據(jù)。 2． 1緩沖區(qū) 緩沖區(qū)是一個(gè)可以隨機(jī)和順序存取的字節(jié)序列，是整個(gè)框架中最基本的數(shù)據(jù) 載體。從網(wǎng)絡(luò)套接字收到的數(shù)據(jù)最先進(jìn)入緩沖區(qū)，隨后程序其它組件從緩沖區(qū)獲 東華大學(xué)碩士研究生學(xué)位論文 取數(shù)據(jù)進(jìn)行后續(xù)處理；發(fā)送到網(wǎng)絡(luò)套接字的數(shù)據(jù)在發(fā)給網(wǎng)絡(luò)套接字之前最終被寫(xiě) 入緩沖區(qū)，然后程序?qū)⒕彌_區(qū)數(shù)據(jù)寫(xiě)入套接字。 2． 1． 1 緩沖區(qū)接口 此框架為緩沖區(qū)設(shè)計(jì)了一個(gè)緩沖區(qū)接 13，即 ChannelBuffer 接 13，該接 El為 一個(gè)或多個(gè)原始字節(jié)數(shù)組 (byte【】 )和 JDKl． 5“23】中的 ByteBuffer 提供了一個(gè)抽 象的視圖，框架的其他組件可以通過(guò)該接 13 存取緩沖區(qū)中的數(shù)據(jù)。 2． 1． 2 緩沖區(qū)的創(chuàng)建 緩沖區(qū)的創(chuàng)建由緩沖區(qū)工廠【 24】負(fù)責(zé)創(chuàng)建。緩沖區(qū)工廠不僅負(fù)責(zé)創(chuàng)建具體的 緩沖區(qū)，而且負(fù)責(zé)緩沖區(qū)的預(yù)先分配、緩沖區(qū)的緩存和重用，盡可能減少分配資 源的開(kāi)銷。 圖 2． 2 顯示了緩沖區(qū)工廠類的接口、類層次圖，根部是一個(gè)緩沖區(qū)工廠接口， 定義了緩沖區(qū)工廠具有的行為，其實(shí)現(xiàn)者實(shí)現(xiàn)該接口，根據(jù)實(shí)現(xiàn)的不同給緩沖區(qū) 的創(chuàng)建提供不同的機(jī)制。 2． 1． 3 緩沖區(qū)的存取 緩沖區(qū)提供了兩種存取方法，分別為隨機(jī)存取和順序存取。 (a)隨機(jī)存?。壕拖褡止?jié)數(shù)組一樣， ChannelBuffer 提供從 0 開(kāi)始到容量減 l 結(jié)束的索引存取每個(gè)字節(jié)，這樣，我們可以快速地存取 ChannelBuffer 緩沖區(qū) 的任意一個(gè)字節(jié)或者迭代訪問(wèn)一部分字節(jié)。 (b)順序存?。?ChannelBuffer 緩沖區(qū)提供了兩個(gè)變量支持順序讀入和寫(xiě)出 操作，分別為讀者索引和寫(xiě)者索引。圖 2． 3 給出了支持順序存取的 ChannelBuffer 緩沖區(qū)視圖結(jié)構(gòu)。讀者索引和寫(xiě)者索引將 ChannelBuffer 緩沖區(qū)分解成三塊，分 別為可丟棄字節(jié)區(qū)，可讀出字節(jié)區(qū)，可寫(xiě)入字節(jié)區(qū)?？蓙G棄字節(jié)區(qū)是讀者已經(jīng)讀 過(guò)的字節(jié)區(qū)，可以丟棄來(lái)增加可寫(xiě)空間， ChannelBuffer 緩沖區(qū)提供了相應(yīng)的方 q 東華大學(xué)碩士研究生學(xué)位論文 法?？勺x出字節(jié)區(qū)代表 ChanneIBuffer 緩沖區(qū)當(dāng)前具有的實(shí)際內(nèi)容，讀操作可以 從這一個(gè)可讀出字節(jié)區(qū)讀出一些數(shù)據(jù)，同時(shí)修改讀者索引指示新的可讀出字節(jié)區(qū)。 可寫(xiě)入字節(jié)區(qū)代表緩沖區(qū)的空閑空間，寫(xiě)入操作可以往這一個(gè)可寫(xiě)入字節(jié)區(qū)寫(xiě)入 相應(yīng)的數(shù)據(jù)，同時(shí)修改寫(xiě)者 索引指示新的寫(xiě)者索引。 2． 1． 4 緩沖區(qū)的具體實(shí)現(xiàn) 圖 2． 4 為緩沖區(qū)的接口、類層次圖。 interface)) ChsnnelBuffer △ Abst,ractCImm， e]Buf強(qiáng) er △傘傘△ l ByteBafferBackedChannelBuffer 腩印凸鋤聃如物 DynmicChannelBuffer CcapositeChannelBuffer ． ． 0 △ I Bt 邱 ndtanHeapChannelButfer LittleEndianHeapChannelBuffer 圖 2． 4 buffer 類層次圖 一個(gè)抽象基類 AbstractChannclBuffcr 提供了緩沖區(qū)的框架實(shí)現(xiàn)，各種緩沖區(qū) 的具體實(shí)現(xiàn)由這個(gè)抽象類的具體子類完成。為了給已經(jīng)存在的緩沖區(qū)提供另一種 視圖或添加額外的功能， WrappcdChannelBuffcr 接口為包裝類提供了一個(gè)統(tǒng)一 的包裝接口， 便于對(duì)已經(jīng)存在的緩沖區(qū)進(jìn)行包裝。 ByteBuffcrBackcdChannclBuffcr 類提供了一種基于 JDK 中 ByteBuffer 的緩沖 區(qū)類。 HeapChannelBuffer 提供了基于 Java 堆的緩沖區(qū)的框架實(shí)現(xiàn)，其具體子類 BigEndianHeapChannelBuffer 和 LittleEndianHeapChannelBuffer 分別提供了大端 1f1 堆緩沖區(qū)和小端堆緩沖區(qū)。 DynarnicChannelBuffcr 提供了一種能夠根據(jù)實(shí)際需要 動(dòng)態(tài)增長(zhǎng)的緩沖區(qū)實(shí)現(xiàn)。 CompositeChannelBuffer 為多個(gè)緩沖區(qū)合并為一個(gè)緩沖 區(qū)，提供單一緩沖區(qū)視圖。 2． 2通道及通道狀態(tài) 通道是一個(gè)網(wǎng)絡(luò)套接字或者具備讀 入、寫(xiě)出、連接、綁定等 I／ O 操作的組件 的樞紐。通道從使用功能角度可以分為服務(wù)器監(jiān)聽(tīng)通道和數(shù)據(jù)傳輸通道兩種，前 者只工作在服務(wù)器端，此通道建立成功后隨后被打開(kāi)、綁定到一個(gè)本地 P 地址， 監(jiān)聽(tīng)遠(yuǎn)程網(wǎng)絡(luò)連接，一旦接受到一個(gè)網(wǎng)絡(luò)連接，此通道創(chuàng)建一個(gè)數(shù)據(jù)傳輸通道與 遠(yuǎn)程的主機(jī)進(jìn)行通信。數(shù)據(jù)傳輸通道或者是由服務(wù)器通道接受到連接請(qǐng)求后創(chuàng)建 出來(lái)或者是由客戶端主動(dòng)創(chuàng)建。 2． 2． 1 通道的狀態(tài) 一個(gè)通道從創(chuàng)建到銷毀會(huì)經(jīng)歷一系列狀態(tài)轉(zhuǎn)換。服務(wù)器通道有 4 種狀態(tài)，分 別為通道己關(guān)閉、通道已打開(kāi)但未綁定、通道已綁定但 未連接、通道己連接。客 戶端通道有 3 中狀態(tài)，分別為通道已關(guān)閉、通道己打開(kāi)、通道已連接。圖 2． 5 顯 示了服務(wù)器通道狀態(tài)之間的轉(zhuǎn)換。圖 2． 6 顯示了客戶端通道狀態(tài)之間的轉(zhuǎn)換。 圖 2． 5 服務(wù)霉酒囝讎昀翻掀圖 在圖 2． 5 中，通道創(chuàng)建后的初始狀態(tài)為通道已關(guān)閉，即未打開(kāi)狀態(tài)，隨后通 道被打開(kāi)，狀態(tài)變?yōu)橥ǖ酪汛蜷_(kāi)狀態(tài)，但此時(shí)通道還未綁定一個(gè)口地址，接下 來(lái)將通道綁定到一個(gè)口地址，綁定成功后，通道就變成已綁定但未連接狀態(tài)， 準(zhǔn)備接受網(wǎng)絡(luò)連接，接收到連接后，通道就變成己連接狀態(tài)。 11 在圖 2． 6 中，新建的通道處于通道已關(guān)閉狀態(tài)，隨后通過(guò)打開(kāi)進(jìn)入通道已打 開(kāi)狀態(tài)，與服務(wù)器端建立連接后就進(jìn)入通道己連接狀態(tài)。 2． 2． 2 通道的工作模式 所有的 I／ O 操作都是異步的。這意味著任何 I／ O 調(diào)用在不保證請(qǐng)求的 I／ O操 作完成就立即返回，返回一個(gè)延遲結(jié)果對(duì)象，調(diào)用者可以通過(guò)查看這個(gè)延遲結(jié)果 對(duì)象獲知 I／ O 請(qǐng)求是否已成功、失敗或取消。 2． 2． 3 通道的興趣選項(xiàng) OP READ ．是否立即讀，如果置位，則立即讀，否則，懸掛讀操作。 OP WRITE 一．是否立即寫(xiě) ，如果置位，則懸掛寫(xiě)操作，否則，立即寫(xiě)。 OP READ WRITE ． OP READ 和 OP WRITE 的組合，只懸掛寫(xiě)請(qǐng)求。 OP_NONE 非 OP—READ 和非 OP—WRITE 的組合，只懸掛讀操作。 2． 2． 4 通道配置 通道具有多個(gè)配置選項(xiàng)可以配置，表 2． 1 顯示了 Netty 框架提供的一些配置 選項(xiàng)及其含義。 表 2． 1 通道配置選頊 配置選項(xiàng) 作用 適用通道類型 timeout 連接超時(shí)時(shí)間 套接字通道 keepAlive 是否保持長(zhǎng)連接 套接字通道 reuseAddress 是否重用口地址 套接字通道和服務(wù)器套接字 通道 soLing