【文章內(nèi)容簡介】 圖 1． 3 分布式：拓撲結構清息中間件 1． 2． 4 消息傳送模型 消息傳送模型分為點對點模型和發(fā)布／訂閱模型【 17】。 點對點模型：點對點消息傳送模型允許 JMS 客戶端通過隊列 (Quene)這個 虛擬通道同步和異步發(fā)送、接收消息。在點對點模型中，消息生產(chǎn)者成為發(fā)送者， 而消息消費者則稱為接收者。傳統(tǒng)上，點對點模型是一個基于拉取或基于 輪詢的 消息傳送模型，這種模型從隊列中請求消息，而不是自動地將消息推送到客戶端。 點對點消息傳送模型的一個突出特點就是，發(fā)送到隊列的消息被一個而且僅僅一 個接收者所接收，即使可能有多個接收者在一個隊列中偵聽同一消息是，也是如 此。此模型見圖 1． 4。 圖 1． 4 消息隊列楨匿 發(fā)布問 ?閱模型：在發(fā)布／訂閱模型中，消息會被發(fā)布到一個名為主題 (Topic) 的虛擬通道中。消息生產(chǎn)者稱為發(fā)布者，消息消費者則稱為訂閱者。與點對點模 型不同，使用發(fā)布／訂閱模型發(fā)布到一個主題的消息，能夠由多個 訂閱者所接受。 有時候，也稱這項技術為廣播消息。每個訂閱者都會接受到每條消息的一個副本。 總地來說，發(fā)布／訂閱消息傳送模型基本上是一個基于推送的模型，其中消息自 動地向消費者廣播，它們無需請求或輪詢主題來獲得最新消息。此模型見圖 1． 5。 東華大學碩士研究生學位論文 1． 3研究的主要內(nèi)容 數(shù)據(jù)交換平臺的目標是為企業(yè)內(nèi)外各種業(yè)務系統(tǒng)提供一個統(tǒng)一的、規(guī)范的、 遵循數(shù)據(jù)規(guī)范的數(shù)據(jù)交換平臺，解決因應用系統(tǒng)不同、數(shù)據(jù)庫不同、數(shù)據(jù)定義不 同和運行環(huán)境不同等導致的 “信息孤島 ”問題。數(shù)據(jù)交換平臺具有分 布式系統(tǒng)的 特性，分布式系統(tǒng)節(jié)點之間具有指令通信和文件傳輸?shù)男枨?，本課題針對分布式 系統(tǒng)之間指令通信和文件傳輸?shù)男枨?，研究了消息中間件。 本文的主要研究內(nèi)容概述如下： 1)分析和總結當前分布式系統(tǒng)的研究現(xiàn)狀，重點考察了消息中間件的研究 現(xiàn)狀。 2)深入分析異步事件驅動型構架風格網(wǎng)絡應用程序框架 Netty，對其工作機 制進行深入的剖析。 3)設計和實現(xiàn)一個既適合短消息傳輸又適合大文件消息傳輸?shù)南⒅虚g件 軟件系統(tǒng)。 4)設計消息中間件的消息傳輸協(xié)議和文件傳輸協(xié)議。 5)基于 WebSoeket 協(xié)議的服務器推送技術設計一個消息中間件運行監(jiān)控系 統(tǒng)。 1． 4課題的創(chuàng)新點 本文的主要創(chuàng)新點概述如下： 1)采用異步事件驅動的軟件架構風格設計，整個消息中間件系統(tǒng)建立在異 步事件驅動型構架風格網(wǎng)絡應用程序框架 Netty之上。 2)消息中間件以組件的形式提供給應用程序，消息消費者與消息生產(chǎn)者的 操作都是本地操作。 3)文件消息的文件內(nèi)容采用獨立的文件傳輸通道傳輸，文件消息作為一個 文件傳輸己完成的通知。 4)對消息中間件的運行時監(jiān)控采用了基于 WebSoeket 協(xié)議的服務器推送技 術。 1． 5論文組織結構 論文公分 7 章，各章內(nèi)容概述如下： 第一章緒論。本章介紹了消息中間件研究的意義、課題來源等課題背景知 識，同時闡述了分布式系統(tǒng)的概念及其一些實現(xiàn)技術、然后闡述了中間件技術相 關知識、重點介紹了消息中間件。 6 東華大學碩士研究生學位論文 第二章 Netty 網(wǎng)絡應用程序框架分析。這一章深入分析了構建高性能網(wǎng)絡應 用程序的網(wǎng)絡應用程序框架 Netty，對其核心數(shù)據(jù)結構及其軟件架構進行了深入 的剖析。 第三章消息中間件的總體設計與實現(xiàn)。這一章詳述了消息中間件的總體 設 計，包括消息格式、消息隊列、消息發(fā)送器、消息接收器、消息傳輸協(xié)議及服務 器端和客戶端實現(xiàn)。 第四章消息中間件文件傳輸組件設計與實現(xiàn)。這一章詳述了消息中間件中 文件傳輸組件的設計，包括文件傳輸協(xié)議、斷點續(xù)傳機制及服務器端和客戶端實 現(xiàn)。 第五章消息中間件監(jiān)控組件設計與實現(xiàn)。這一章詳述了消息中間件運行監(jiān) 控系統(tǒng)的設計，闡述了基于 WebSocket 協(xié)議的服務器推送技術在監(jiān)控系統(tǒng)中的 應用。 第六章消息中間件的部署與測試。這一章介紹了消息中間件在數(shù)據(jù)交換平 臺中的實際應用。 第七章總結與展 望。這一章總結了本文的主要內(nèi)容，對未來研究工作做出 了一些展望。 東華大學碩士研究生學位論文 第二章 NetI)，網(wǎng)絡應用程序框架分析 N 嘶【 18】是一個用于開發(fā)可維護性、可擴展性、高可用性協(xié)議服務器和客戶 端的異步事件驅動型網(wǎng)絡應用程序框架，采用了異步事件驅動型構架風格【 19。 2 叭。 Nctty 框架為阻塞型套接字和非阻塞型套接字【 2lJ 提供了一個統(tǒng)一的應用程序編程 接口 (Application Programming Interface， API)，對底層套接進行了一個統(tǒng)一的 抽象，方便上層應用程序的開發(fā)。 Netty 框架提供了一個可伸縮性、可擴展性的 事件驅動模型，這一點對于開發(fā)高性能、不同協(xié)議的服務器非常重要。 圖 2． 1 顯示了 Netty 的架構圖， Nctty 框架實現(xiàn)了 Reactor[22]模式。網(wǎng)絡請求 接收器接受網(wǎng)絡請求，接受網(wǎng)絡請求后，將其交給反應器，反應器負責監(jiān)聽每個 連接的所有事件，并將事件委托給事件分發(fā)器，事件分發(fā)器根據(jù)事件的類型對事 件做出反應，即將事件分發(fā)到正確的事件處理器處理，如讀數(shù)據(jù)、對數(shù)據(jù)解碼、 進行運算、對數(shù)據(jù)編碼、寫數(shù)據(jù)。 2． 1緩沖區(qū) 緩沖區(qū)是一個可以隨機和順序存取的字節(jié)序列，是整個框架中最基本的數(shù)據(jù) 載體。從網(wǎng)絡套接字收到的數(shù)據(jù)最先進入緩沖區(qū)，隨后程序其它組件從緩沖區(qū)獲 東華大學碩士研究生學位論文 取數(shù)據(jù)進行后續(xù)處理；發(fā)送到網(wǎng)絡套接字的數(shù)據(jù)在發(fā)給網(wǎng)絡套接字之前最終被寫 入緩沖區(qū)，然后程序將緩沖區(qū)數(shù)據(jù)寫入套接字。 2． 1． 1 緩沖區(qū)接口 此框架為緩沖區(qū)設計了一個緩沖區(qū)接 13，即 ChannelBuffer 接 13，該接 El為 一個或多個原始字節(jié)數(shù)組 (byte【】 )和 JDKl． 5“23】中的 ByteBuffer 提供了一個抽 象的視圖，框架的其他組件可以通過該接 13 存取緩沖區(qū)中的數(shù)據(jù)。 2． 1． 2 緩沖區(qū)的創(chuàng)建 緩沖區(qū)的創(chuàng)建由緩沖區(qū)工廠【 24】負責創(chuàng)建。緩沖區(qū)工廠不僅負責創(chuàng)建具體的 緩沖區(qū)，而且負責緩沖區(qū)的預先分配、緩沖區(qū)的緩存和重用，盡可能減少分配資 源的開銷。 圖 2． 2 顯示了緩沖區(qū)工廠類的接口、類層次圖，根部是一個緩沖區(qū)工廠接口， 定義了緩沖區(qū)工廠具有的行為，其實現(xiàn)者實現(xiàn)該接口，根據(jù)實現(xiàn)的不同給緩沖區(qū) 的創(chuàng)建提供不同的機制。 2． 1． 3 緩沖區(qū)的存取 緩沖區(qū)提供了兩種存取方法，分別為隨機存取和順序存取。 (a)隨機存取：就像字節(jié)數(shù)組一樣， ChannelBuffer 提供從 0 開始到容量減 l 結束的索引存取每個字節(jié)，這樣，我們可以快速地存取 ChannelBuffer 緩沖區(qū) 的任意一個字節(jié)或者迭代訪問一部分字節(jié)。 (b)順序存?。?ChannelBuffer 緩沖區(qū)提供了兩個變量支持順序讀入和寫出 操作，分別為讀者索引和寫者索引。圖 2． 3 給出了支持順序存取的 ChannelBuffer 緩沖區(qū)視圖結構。讀者索引和寫者索引將 ChannelBuffer 緩沖區(qū)分解成三塊，分 別為可丟棄字節(jié)區(qū)，可讀出字節(jié)區(qū)，可寫入字節(jié)區(qū)?？蓙G棄字節(jié)區(qū)是讀者已經(jīng)讀 過的字節(jié)區(qū)，可以丟棄來增加可寫空間， ChannelBuffer 緩沖區(qū)提供了相應的方 q 東華大學碩士研究生學位論文 法。可讀出字節(jié)區(qū)代表 ChanneIBuffer 緩沖區(qū)當前具有的實際內(nèi)容，讀操作可以 從這一個可讀出字節(jié)區(qū)讀出一些數(shù)據(jù)，同時修改讀者索引指示新的可讀出字節(jié)區(qū)。 可寫入字節(jié)區(qū)代表緩沖區(qū)的空閑空間，寫入操作可以往這一個可寫入字節(jié)區(qū)寫入 相應的數(shù)據(jù)，同時修改寫者 索引指示新的寫者索引。 2． 1． 4 緩沖區(qū)的具體實現(xiàn) 圖 2． 4 為緩沖區(qū)的接口、類層次圖。 interface)) ChsnnelBuffer △ Abst,ractCImm， e]Buf強 er △傘傘△ l ByteBafferBackedChannelBuffer 腩印凸鋤聃如物 DynmicChannelBuffer CcapositeChannelBuffer ． ． 0 △ I Bt 邱 ndtanHeapChannelButfer LittleEndianHeapChannelBuffer 圖 2． 4 buffer 類層次圖 一個抽象基類 AbstractChannclBuffcr 提供了緩沖區(qū)的框架實現(xiàn)，各種緩沖區(qū) 的具體實現(xiàn)由這個抽象類的具體子類完成。為了給已經(jīng)存在的緩沖區(qū)提供另一種 視圖或添加額外的功能， WrappcdChannelBuffcr 接口為包裝類提供了一個統(tǒng)一 的包裝接口， 便于對已經(jīng)存在的緩沖區(qū)進行包裝。 ByteBuffcrBackcdChannclBuffcr 類提供了一種基于 JDK 中 ByteBuffer 的緩沖 區(qū)類。 HeapChannelBuffer 提供了基于 Java 堆的緩沖區(qū)的框架實現(xiàn)，其具體子類 BigEndianHeapChannelBuffer 和 LittleEndianHeapChannelBuffer 分別提供了大端 1f1 堆緩沖區(qū)和小端堆緩沖區(qū)。 DynarnicChannelBuffcr 提供了一種能夠根據(jù)實際需要 動態(tài)增長的緩沖區(qū)實現(xiàn)。 CompositeChannelBuffer 為多個緩沖區(qū)合并為一個緩沖 區(qū)，提供單一緩沖區(qū)視圖。 2． 2通道及通道狀態(tài) 通道是一個網(wǎng)絡套接字或者具備讀 入、寫出、連接、綁定等 I／ O 操作的組件 的樞紐。通道從使用功能角度可以分為服務器監(jiān)聽通道和數(shù)據(jù)傳輸通道兩種，前 者只工作在服務器端，此通道建立成功后隨后被打開、綁定到一個本地 P 地址， 監(jiān)聽遠程網(wǎng)絡連接，一旦接受到一個網(wǎng)絡連接，此通道創(chuàng)建一個數(shù)據(jù)傳輸通道與 遠程的主機進行通信。數(shù)據(jù)傳輸通道或者是由服務器通道接受到連接請求后創(chuàng)建 出來或者是由客戶端主動創(chuàng)建。 2． 2． 1 通道的狀態(tài) 一個通道從創(chuàng)建到銷毀會經(jīng)歷一系列狀態(tài)轉換。服務器通道有 4 種狀態(tài)，分 別為通道己關閉、通道已打開但未綁定、通道已綁定但 未連接、通道己連接?？? 戶端通道有 3 中狀態(tài)，分別為通道已關閉、通道己打開、通道已連接。圖 2． 5 顯 示了服務器通道狀態(tài)之間的轉換。圖 2． 6 顯示了客戶端通道狀態(tài)之間的轉換。 圖 2． 5 服務霉酒囝讎昀翻掀圖 在圖 2． 5 中，通道創(chuàng)建后的初始狀態(tài)為通道已關閉，即未打開狀態(tài)，隨后通 道被打開，狀態(tài)變?yōu)橥ǖ酪汛蜷_狀態(tài)，但此時通道還未綁定一個口地址，接下 來將通道綁定到一個口地址，綁定成功后，通道就變成已綁定但未連接狀態(tài)， 準備接受網(wǎng)絡連接，接收到連接后，通道就變成己連接狀態(tài)。 11 在圖 2． 6 中，新建的通道處于通道已關閉狀態(tài)，隨后通過打開進入通道已打 開狀態(tài)，與服務器端建立連接后就進入通道己連接狀態(tài)。 2． 2． 2 通道的工作模式 所有的 I／ O 操作都是異步的。這意味著任何 I／ O 調(diào)用在不保證請求的 I／ O操 作完成就立即返回，返回一個延遲結果對象，調(diào)用者可以通過查看這個延遲結果 對象獲知 I／ O 請求是否已成功、失敗或取消。 2． 2． 3 通道的興趣選項 OP READ ．是否立即讀，如果置位，則立即讀，否則，懸掛讀操作。 OP WRITE 一．是否立即寫 ，如果置位，則懸掛寫操作，否則，立即寫。 OP READ WRITE ． OP READ 和 OP WRITE 的組合，只懸掛寫請求。 OP_NONE 非 OP—READ 和非 OP—WRITE 的組合，只懸掛讀操作。 2． 2． 4 通道配置 通道具有多個配置選項可以配置，表 2． 1 顯示了 Netty 框架提供的一些配置 選項及其含義。 表 2． 1 通道配置選頊 配置選項 作用 適用通道類型 timeout 連接超時時間 套接字通道 keepAlive 是否保持長連接 套接字通道 reuseAddress 是否重用口地址 套接字通道和服務器套接字 通道 soLing