【正文】 略（ NTP 和 RTP 時(shí)間戳，發(fā)送者的包和字節(jié)計(jì)數(shù)）其它字段均相同。 DirectShow 為多媒體流的捕捉和回放提供了強(qiáng)有力的支持。它廣泛地支持各種媒體格式，包括 Asf、 Mpeg、 Avi、 Dv、 Mp Wave 等等，使得多媒體數(shù)據(jù)的回放變得輕而易舉。更值得一提的是， DirectShow 提供的是一種開(kāi)放式的開(kāi)發(fā)環(huán)境，我們可以根據(jù)自己的需要定制自己的組件。 。 ，包括：本地磁盤(pán)文件，計(jì)算機(jī)網(wǎng)絡(luò)，電視廣播和攝像機(jī)。 。它的主要設(shè)計(jì)目標(biāo)是把數(shù)字媒體應(yīng)用程序與復(fù)雜的數(shù)據(jù)傳輸，多樣的硬件設(shè)備和同步隔離開(kāi)，從而簡(jiǎn)化在 Windows 平臺(tái)上創(chuàng)建程序的工作。這些技術(shù)將多媒體數(shù)據(jù)通過(guò)用戶(hù)的顯卡和聲卡有效的表現(xiàn)出來(lái)。為了適應(yīng)數(shù)據(jù)來(lái)源、格式和硬件設(shè)備的多變， DirectShow 采用模塊化的系統(tǒng)結(jié)構(gòu)，其中由應(yīng)用程序?qū)⒉煌?的軟件組件 —— 過(guò)濾器組合并匹配起來(lái)。 方案二 . 在嵌入式平臺(tái)下實(shí)現(xiàn)流媒體實(shí)時(shí)傳輸 在幾種嵌入式操作系統(tǒng)中，幾款商業(yè)操作系統(tǒng)像 WindowCE 和 VxW6kr，不僅具有較高的性能和良好的移植性，而且也提供了良好的開(kāi)發(fā)環(huán)境和技術(shù)服務(wù)。另外，商業(yè)操作系統(tǒng)一般都不提供源碼，這使對(duì)嵌入式操作系統(tǒng)的研究無(wú)法深入。它的源碼是完全公開(kāi)的和免費(fèi)的。目前在很多的嵌入式處理器上都己經(jīng)成功的移植了嵌入式 Linux 操作系統(tǒng)。隨著 版本的推出，對(duì)實(shí) 時(shí)性的支持有了很大的提高。 GNU工具鏈支持嵌入式開(kāi)發(fā)的整個(gè)過(guò)程。許多 UNIX 應(yīng)用程序無(wú)需任何改動(dòng)，就可以直接在 Linux 系統(tǒng)中編譯運(yùn)行。 按照是否經(jīng)過(guò)了廠商的優(yōu)化，可以將嵌入式 Linux 操作系統(tǒng)分成兩類(lèi) :商業(yè)化的嵌入式 Linux 操作系統(tǒng)以及非商業(yè)化的嵌入式 Linux 內(nèi)核。而商業(yè)化的嵌入式 Linux 操作系統(tǒng)，除了完成上述的工作以外，還對(duì)嵌入式 Linux操作系統(tǒng)做了一些改進(jìn)，包括實(shí)時(shí)性擴(kuò)展以及技術(shù)支持培訓(xùn)服務(wù)等。 本設(shè)計(jì)中，選擇商業(yè)化的 MiziLinux 操作系統(tǒng)在嵌入式平臺(tái)運(yùn)行。交叉環(huán)境使用XXXX汽車(chē)工業(yè)學(xué)院畢業(yè)設(shè)計(jì)（論文） 16 。 所以在基于ARMS3C2440 的嵌入式平臺(tái)下的 linux 操作系統(tǒng)下系統(tǒng)設(shè)計(jì)如下： 客戶(hù)端模塊W in d o w sPC 機(jī)網(wǎng)絡(luò)鏈路網(wǎng)絡(luò)服務(wù)模塊L in u x 操作系統(tǒng)嵌入式平臺(tái)編碼模塊 圖 網(wǎng)絡(luò)媒體流實(shí)時(shí)傳輸系統(tǒng)設(shè)計(jì) 總的設(shè)計(jì)方案可以見(jiàn)圖 計(jì) [8,9]。然后編寫(xiě)客戶(hù)端子系統(tǒng)。它支持大多數(shù)標(biāo)準(zhǔn)的媒體類(lèi)型，如 AIFF,AU,AVI,GSM,MIDI,MPEG,QuickTime,RMF 以及 WAV。在 JMF 的高層結(jié)構(gòu)中 RTP API 位于 JMF API 和插件結(jié)構(gòu) Plugin API 之間。同處理其他媒體內(nèi)容一樣， Player 和 Processor 對(duì)象用來(lái)回放 RTP 媒體流。 第一種方案是 Windows 平臺(tái)上進(jìn)行流媒體處理，沒(méi)有可移植性。難度太大，所以選擇了第三種方 案，這種方案是基于 Java 的，能夠?qū)崿F(xiàn)基于 RTP 協(xié)議的流媒體實(shí)時(shí)傳輸，而且Java 具有跨平臺(tái)的優(yōu)點(diǎn)，基于 Java 開(kāi)發(fā)的流媒體實(shí)時(shí)傳輸系統(tǒng)有望移植到嵌入式平臺(tái)XXXX汽車(chē)工業(yè)學(xué)院畢業(yè)設(shè)計(jì)（論文） 17 上。所以我先擇了第三種方案。 在流媒體實(shí)時(shí)傳輸應(yīng)用中，視頻傳輸是很重要的一部分。為了保證流媒體 傳輸?shù)男Ч?，人們提出?多種流媒體 傳輸控制的方法，希望改進(jìn)服務(wù)質(zhì)量。 服 務(wù) 器I n t e r n e t客 戶(hù) 端攝 像 頭 圖 連接示意圖 系統(tǒng)處理流程圖 系統(tǒng)采用客戶(hù) /服務(wù)器結(jié)構(gòu)，流媒體 信息發(fā)送端為服務(wù)器端， 流媒體 信息接收端為 客戶(hù)端。 流媒體 發(fā)送端 的系統(tǒng) 流程圖如圖 所示。 I n t e r n e t R T P 包 重 組屏 幕解 包 獲 得 數(shù) 據(jù)播 放 流 媒 體 數(shù) 據(jù)H . 2 6 3 解 壓 縮 圖 流媒體 接收端的系統(tǒng)流程圖 系統(tǒng)模塊的劃分及功能描述 基于以上系統(tǒng)流程的分析，可以分為以下幾個(gè)模塊： 流 媒體 捕獲模塊：該模塊從攝像頭采集流媒體 數(shù)據(jù)，經(jīng)其內(nèi)部的硬件初步壓縮后輸入計(jì)算機(jī)，等待下一步的處理。 RTP 傳輸模塊：該模塊得到流媒體 數(shù)據(jù)后，將其用 RTP 協(xié)議打包，媒體類(lèi)型采用。 RTP 分析模塊：該模塊從網(wǎng)絡(luò)上接收 RTP 包，重組后分析出媒體數(shù)據(jù)供下面的模塊解壓縮。 流媒體播放模塊：該模塊將解壓縮的流媒體 數(shù)據(jù)顯示在屏幕上。 Java 最顯而易見(jiàn)的優(yōu)點(diǎn)是其平臺(tái)無(wú)關(guān)性 ,可以 “ 編譯一次 ,到處運(yùn)行 ” ,而且 Java 幾乎從一開(kāi)始就和網(wǎng)絡(luò)聯(lián)系在一起 ,是一種比較理想的網(wǎng)絡(luò)編程語(yǔ)言。 JMF 可以分為兩部分 :JMF API 和 JMF RTP API。 Processor 和 Plugin 用于處理媒體數(shù)字信號(hào) ,Data Sink 可用于存儲(chǔ)和顯示媒體內(nèi)容。后者 JMF RTP API 是 JMF 提供的實(shí) 時(shí)傳輸多媒體數(shù)據(jù)流的 API,即 RTP(包含 RTCP)包。除了上面提到的四個(gè)管理器之外 , Session Manager 用于與 RTP 會(huì)話(huà)一同 工作。 JMF 提供的模型可大致分為七類(lèi)：數(shù)據(jù)（ data source） ,截取設(shè)備（ Capture Device,包括視頻和音頻截取設(shè)備），播放器（ Player），處理器（ Processor） ,數(shù)據(jù)池（ DataSink） ,數(shù) 據(jù)格式（ Format） ,管理器（ Manager）。 攝像頭，麥克風(fēng)等。右鍵點(diǎn)擊 Windows 桌面我的電腦 屬性 ,在彈出 系統(tǒng)特性 對(duì)話(huà)框中選擇 高級(jí) 選項(xiàng)卡 ,點(diǎn)擊 環(huán)境變量 按鈕 ,彈出 環(huán)境變量 對(duì)話(huà)框 ,單擊 新建 (W)? 按鈕 ,彈出 新建系統(tǒng)變量 對(duì)話(huà)框 ,在該對(duì)話(huà)框中輸入 變量名 為 JAVA_HOME 和 變量值 為 d:\Program Files\Java\jdk1_5_0_17。 %JAVA_HOME%\lib\ 和 PATH=%JAVA_HOME%\bin。 3）安裝 J3D： 。 一種流媒體 傳輸控制方法的提出 流媒體 傳輸控制的特點(diǎn) 目前，網(wǎng)絡(luò)多媒體技術(shù)的應(yīng)用和發(fā)展正在迅速的增長(zhǎng)。 流媒體 信息的傳輸控制作為其中一個(gè)重要的組成部分，有其不同于普通數(shù)據(jù)傳輸控制的特點(diǎn)。此外，大多數(shù)網(wǎng)絡(luò)多媒體應(yīng)用為了提供有效的服務(wù) ，滿(mǎn)足基本的視 /音頻效果，還需要有最小的吞吐量保證。 二、為支持交互性的對(duì)話(huà)，確保屬于不同媒體流或在同一媒體流的數(shù)據(jù)同步，端到端的延遲和延遲的最大變化量應(yīng)該有上界的限制。 四、普通數(shù)據(jù)傳輸?shù)姆?wù)對(duì)差錯(cuò)控制有很高的要求，一段數(shù)據(jù)的丟失可能引起大批數(shù)據(jù)失效，因而過(guò)分地依賴(lài)于數(shù)據(jù)重發(fā)，進(jìn)行差錯(cuò)恢復(fù)。 五、為保證傳輸質(zhì)量，普通數(shù)據(jù)傳輸使用 TCP 傳輸協(xié)議，但 TCP 協(xié)議不適合實(shí)時(shí)傳輸多媒體數(shù)據(jù)，因特網(wǎng)中多媒體應(yīng)用程序通常使用 UDP 作為傳輸協(xié)議。這些要求可以用服務(wù)質(zhì)量（ QOS）參數(shù)來(lái)說(shuō)明，比如流量，丟失分組數(shù)，延遲和抖動(dòng)。由 于這些參量受到整個(gè)網(wǎng)絡(luò) 中其他連接行為的影響，因而是很難提前知道的，在這樣的網(wǎng)絡(luò)中為流媒體 傳輸?shù)葢?yīng)用提供可以預(yù)測(cè)的服務(wù)相當(dāng)困難。為解決以上問(wèn)題，人們提出了不同的方法 [20,21]： 1．在盡力而為的服務(wù)的基礎(chǔ)上增加其它的提供不同程度行為保證的服務(wù)?；蛘咄ㄟ^(guò)在交換機(jī)上提供有差別的 ，分優(yōu)先級(jí)的服務(wù)實(shí)現(xiàn)一定程度的 QOS 支持。相對(duì)于前一種方法，這種方法可以最大限度的利用隨時(shí)間變化的網(wǎng)絡(luò)資源。而且，即使在有資源分配和預(yù)留的網(wǎng)絡(luò)中，這樣的方法仍然具有實(shí)用價(jià)值。 3．將以上的兩種方法結(jié)合起來(lái)使用。 下面主要研究第二種方法 ，探討如何根據(jù)網(wǎng) 絡(luò)狀態(tài)對(duì)多媒體應(yīng)用程序進(jìn)行可適應(yīng)的調(diào)整。從高效的端到端時(shí)延控制機(jī)制來(lái)考慮，應(yīng)該采用更為細(xì)致的路由器內(nèi)數(shù)據(jù)包排隊(duì)方式，而不是傳統(tǒng)的先進(jìn)先出機(jī)制。在端系統(tǒng)中主要采用緩沖調(diào)整的方式來(lái)解決時(shí)延抖動(dòng)。 速率控制 可適應(yīng)的速率控制機(jī)制試圖使一個(gè)流媒體 連接的需求與整個(gè)連接鏈路的可用帶寬XXXX汽車(chē)工業(yè)學(xué)院畢業(yè)設(shè)計(jì)（論文） 22 相匹配。速率控制機(jī)制可以是基于源端的，也可以是基于目的端的，還可以是基于轉(zhuǎn)換編碼器的。這種方法在因特網(wǎng)中被率先采用。 基于目的端的控制機(jī)制則主要根據(jù)所接收的媒體 流的狀況向上層反映相應(yīng)的統(tǒng)計(jì)信息，實(shí)時(shí)調(diào)整緩沖及播放內(nèi)容，并力圖使節(jié)奏均勻。 基于轉(zhuǎn)換編碼器的控制機(jī)制是指在網(wǎng)絡(luò)中的合適地方放置 多媒體 網(wǎng)關(guān)，由它向具有不同的連接類(lèi)型或擁塞級(jí)別的網(wǎng)絡(luò) 區(qū)域分別傳遞不同質(zhì)量的信息。對(duì)于在分組交換網(wǎng)絡(luò)中的流媒體 信號(hào)傳輸，分組的丟失必定是影響效果的重要因素，而在源端采用的編碼方法的影響也是相當(dāng)大的。然而，在有一定程度擁塞或低速的網(wǎng)絡(luò)當(dāng)中，接收到兩個(gè)幀內(nèi)編碼的幀的時(shí)間間隔也許會(huì)相當(dāng)長(zhǎng)。 ②使用簡(jiǎn)單的分組丟失恢復(fù)技術(shù)，如利用空域或時(shí)域的內(nèi)插在目的端進(jìn)行丟包的恢復(fù)和視頻的平滑。 ③使用基于前向糾錯(cuò)的差錯(cuò)控制機(jī)制，這是一種既適于幀內(nèi)編碼又適于幀間編碼的方法。它的不足是增加了編碼時(shí)延和傳輸帶寬。還可以使用簡(jiǎn)單的包丟失恢復(fù)技術(shù)，如利用空域或時(shí)域的內(nèi)插在目的端進(jìn)行丟包的恢復(fù)和視頻的平滑。 XXXX汽車(chē)工業(yè)學(xué)院畢業(yè)設(shè)計(jì)（論文） 23 還有一種既適于幀內(nèi)編碼又適于幀間編碼的方法，這就是使用基于前向糾錯(cuò)的差錯(cuò)控制機(jī)制。它的不足是增加了編碼時(shí)延和傳輸帶寬。為了控制方便 ,對(duì)分層組播做如下的幾點(diǎn)規(guī)定 : (層 )使用同一個(gè)組播 IP 地址 ,各組之間以 RTP 端口號(hào)區(qū)分。并假設(shè)客戶(hù)可以通過(guò)其它途徑得到最小的端口號(hào)。 APP 數(shù)據(jù)包中 Applicationdependent data 部分的格式如下 表 定義 : 表 Applicationdependent data 格式 Count of Layers 32bits Port1 16 bits Flow rate 16 bits Portn 16 bits Flow rate 16 bits (Count of Layers:32 位整數(shù)，表示在會(huì)話(huà)中的層數(shù) 。Flow Rate:16 位，表示該層每秒發(fā)送的字節(jié)數(shù)。當(dāng)客戶(hù)端接收到 APP RTCP 數(shù)據(jù)報(bào)文后 ,將各層的流量進(jìn)行組合并排序后保存在一數(shù)組中。 當(dāng)在接收數(shù)據(jù)過(guò)程中 ,RTP 數(shù)據(jù)報(bào)文丟失率增高時(shí)表明 ,網(wǎng)絡(luò)上的可用帶寬在減少 ,則客戶(hù)端嘗試通過(guò)數(shù)據(jù)流量低的組合接收數(shù)據(jù) ,直到得到一個(gè)合適的流量為止。 XXXX汽車(chē)工業(yè)學(xué)院畢業(yè)設(shè)計(jì)（論文） 24 第三章 用 Java 實(shí)現(xiàn)流媒體實(shí)時(shí)傳輸 服務(wù)器端媒體處理程序 主要包括視頻的采集，壓縮和傳輸?shù)取?下 面程序流程圖是整個(gè)發(fā)送端的程序流程圖。 發(fā)送端程序流程圖 XXXX汽車(chē)工業(yè)學(xué)院畢業(yè)設(shè)計(jì)（論文） 25 獲 取 從 用 戶(hù) 界 面 輸 入 的 數(shù) 據(jù)構(gòu) 造 媒 體 定 位 器 M e d i a L o c a t o r實(shí) 例 化 數(shù) 據(jù) 源 D a t a S o u r c e產(chǎn) 生 一 個(gè) J M F 處 理 器 P r o c e s s o r退 出 發(fā) 送 端 程 序利 用 處 理 器 處 理 多 媒 體 數(shù) 據(jù)產(chǎn) 生 R T P 會(huì) 話(huà)產(chǎn) 生 數(shù) 據(jù) 源 的 R T P 發(fā) 送 流發(fā) 送 R T P 數(shù) 據(jù) 流傳 輸 結(jié) 束 或 人 為 中 止 傳 輸整個(gè)會(huì)話(huà)過(guò)程是通過(guò)實(shí)現(xiàn)監(jiān)聽(tīng)事件來(lái)同步控制的 圖 發(fā)送端程序流程圖 流媒體 的捕獲 確 定 攝 像 頭的 位 置創(chuàng) 建 設(shè) 備 管理 器從 設(shè) 備 管 理 器得 到 數(shù) 據(jù) 源 圖 捕獲圖像的流程圖 視頻的捕獲通過(guò)硬件及驅(qū)動(dòng)實(shí)現(xiàn)，是將監(jiān)控對(duì)象通過(guò)攝像頭采集信息，經(jīng)過(guò)量化、XXXX汽車(chē)工業(yè)學(xué)院畢業(yè)設(shè)計(jì)（論文） 26 編碼形成數(shù)字信息，這一過(guò)程由相應(yīng)硬件及驅(qū)動(dòng)程序完成。通過(guò)調(diào)用 JMF 中與 相應(yīng)的 VideoFormat 來(lái)實(shí)現(xiàn)。 //注冊(cè)攝像頭設(shè)備名稱(chēng)用來(lái)確定設(shè)備的位置 device = (str2)。 //從設(shè)備管理器得到媒體源 用到 JMF 提供的模型 截取設(shè)備（ Capture Device,包括視頻和音頻截取設(shè)備） 。 通過(guò)調(diào)用 CaptureDeviceManager 的getDeviceList 方 法獲取可用的捕獲設(shè)備列表。然后調(diào)用 getLocator 產(chǎn)生一個(gè)媒體定位器 （媒體源） 。 流媒體 的壓縮 獲 得 的 數(shù) 據(jù) 源 進(jìn) 行 壓縮 產(chǎn) 生 R T P 編 碼 的 數(shù)據(jù) 源從 數(shù) 據(jù) 源 中 匹 配 到H . 2 6 3 編 碼 格 式轉(zhuǎn) 換 成 適 合 R T P 傳 輸?shù)?特 定 尺 寸 的 圖 像 圖 流媒體 壓縮的流程圖 采集設(shè)備輸出的數(shù)字信息是原始信息，數(shù)據(jù)量大，不適于網(wǎng)絡(luò)傳輸，需要先采用適當(dāng)?shù)膲嚎s算法進(jìn)行處理，這是適用于低帶寬 網(wǎng)絡(luò)的關(guān)鍵。用硬件速度快、不占用 CPU，但需要相應(yīng)的壓縮卡。視頻的壓縮直接通過(guò)調(diào)用 中的 算法實(shí)現(xiàn) [19]。 XXXX汽車(chē)工業(yè)學(xué)院畢業(yè)設(shè)計(jì)（論文） 27 Format h263Fmt = new Format(