【文章內容簡介】 。圖 流式傳輸基本原理南京郵電大學通達學院 2022 屆本科生畢業(yè)設計（論文）6當傳輸流數據時，需要使用合適的傳輸協(xié)議。TCP 雖然是一種可靠的傳輸協(xié)議，但由于需要的開銷較多，并不適合傳輸實時性要求很高的流數據。因此，在實際的流式傳輸方案中， TCP 協(xié)議一般用來傳輸控制信息，而實時的音視頻數據則是用效率更高的 RTP/UDP 等協(xié)議來傳輸。流媒體傳輸的基本原理如圖 所示。在圖 中，Web 服務器只是為用戶提供了使用流媒體的操作界面?？蛻魴C上的用戶在瀏覽器中選中播放某一流媒體資源后，Web 服務器把有關這一資源的流媒體服務器地址、資源路徑及編碼類型等信息提供給客戶端，于是客戶端就啟動了流媒體播放器，與流媒體服務器進行連接?？蛻舳说牧髅襟w播放器與流媒體服務器之間交換控制信息時使用的是 RTSP協(xié)議，它是基于 TCP 協(xié)議的一種應用層協(xié)議，默認使用的是 554 端口。RTSP 協(xié)議提供了有關流媒體播放、快進、快倒、暫停及錄制等操作的命令和方法。通過RTSP 協(xié)議，客戶端向服務器提出了播放某一流媒體資源的請求，服務器響應了這個請求后，就可以把流媒體數據傳輸給客戶端了。需要注意的是，RTSP 協(xié)議并不具備傳輸流媒體數據的功能，承擔流媒體數據傳輸任務的是另一種基于 UDP 的 RTP 協(xié)議，但在 RTP 協(xié)議傳輸流媒體數據的過程中，RTSP 連接是一直存在的，并且控制著流媒體數據的傳輸。一旦流媒體數據到達了客戶端，流媒體播放器就可以播放輸出了。流媒體的數據和控制信息使用不同的協(xié)議和連接時，還可以帶來一個好處，就是播放流媒體的客戶機和控制流媒體播放的客戶機可以是不同的計算機。 流媒體的傳輸模式流式傳輸的定義很廣泛,現(xiàn)主要指通過網絡傳送媒體(如視頻、音頻)的技術的總稱。以下將會從流媒體的傳輸模式、流媒體的播放方式以及流媒體的傳輸主要協(xié)議三個方面對流媒體的傳輸進行介紹。 流媒體的傳輸模式實現(xiàn)流式傳輸有兩種方法,分別為順序流式傳輸（Progressive Streaming）和實時流式傳輸（Realtime Streaming） 。(1)順序流式傳輸流媒體順序流式傳輸采用 Web 服務器，支持一邊下載一邊播放。但在給定時刻，用戶只能播放已下載部分，而不能跳到還未下載的后繼部分。順序流式傳輸只支持勻速傳輸，不支持變速傳輸。順序流式傳輸能保證較好的傳輸質量，但延遲較大，適合需要高質量的短片段。(2)實時流式傳輸流媒體實時流式傳輸,需要在服務器端安裝專用的媒體服務器，采用RTP、RTCP、RTSP 等實時傳輸協(xié)議，它不僅支持一邊下載一邊播放，而且支持南京郵電大學通達學院 2022 屆本科生畢業(yè)設計（論文）7任意順序的播放。由于實時流式傳輸的時延很短，所以特別適合實時性要求高的場合，如：視頻會議、網絡直播等現(xiàn)場事件。實時流式傳輸支持變速傳輸，這就意味著不同帶寬的網絡都可以用實時流式傳輸技術。在傳輸質量上，實時流式傳輸一般不如順序流式傳輸穩(wěn)定，尤其在低帶寬時，圖像質量較差，現(xiàn)在的主流做法是以帶寬換質量，寬帶網的普及將為實時流式技術的應用提供更加廣闊的天地。 流媒體的播放方式流媒體服務器可以提供多種播放方式，它可以根據用戶的要求，為每個用戶獨立地傳送流數據，實現(xiàn) VOD（Video On Demand）的功能；也可以為多個用戶同時傳送流數據，實現(xiàn)在線電視或現(xiàn)場直播的功能。下面介紹一下這些播放方式的特點。流媒體的網絡發(fā)布主要有兩種形式：點播、廣播和組播。（1）點播：當采用單播方式時，每個客戶端都與流媒體服務器建立了一個單獨的數據通道，從服務器發(fā)送的每個數據包都只能傳給一臺客戶機。對用戶來說，單播方式可以滿足自己的個性化要求，可以根據需要隨時使用停止、暫停、快進等控制功能。但對服務器還說，單播方式無疑會帶來沉重的負擔，因為它必須為每個用戶提供單獨的查詢，向每個用戶發(fā)送所申請的數據包復制。當用戶數很多時，對網絡速度、服務器性能的要求都很高。如果這些性能不能滿足要求，就會造成播放停頓，甚至停止播放。（2）廣播：又可分為實時廣播和非實時廣播兩種。承載流數據的網絡報文還可以使用廣播方式發(fā)送給子網上所有的用戶，此時，所有的用戶同時接受一樣的流數據，因此，服務器只需要發(fā)送一份數據復制就可以為子網上所有的用戶服務，大大減輕了服務器的負擔。但此時，客戶機只能被動地接受流數據，而不能控制流。也就是說，用戶不能暫停、快進或后退所播放的內容，而且，用戶也不能對節(jié)目進行選擇，廣播示意圖如下圖 所示。南京郵電大學通達學院 2022 屆本科生畢業(yè)設計（論文）8圖 廣播示意圖（3）組播方式單播方式雖然用戶提供了最大的靈活性，但網絡和服務器的負擔很重。廣播方式雖然可以減輕服務器的負擔，但用戶不能選擇播放內容，只能被動地接受流數據。組播吸取了上述兩種傳輸方式的長處，可以將數據包復制發(fā)送給需要的多個客戶，而不是像單播方式那樣復制數據包的多個文件到網絡上，也不是像廣播方式那樣將數據包發(fā)送給那些不需要的客戶，保證數據包占用最小的網絡帶寬。當然，組播方式需要在具有組播能力的網絡上使用。 流媒體傳輸協(xié)議流媒體在因特網上的傳輸必然涉及到網絡傳輸協(xié)議,其中包括 Inter 本身的多媒體傳輸協(xié)議,以及一些實時流式傳輸協(xié)議等,只有采用合適的協(xié)議才能更好的發(fā)揮流媒體的作用,保證傳輸質量 QOS。IETF(Inter 工程任務組 )是 Inter 規(guī)劃與發(fā)展的主要標準化組織,已經設計出幾種支持流媒體傳輸的協(xié)議。主要有用于 Inter 上針對多媒體數據流的實時傳輸協(xié)議 RTP(Realtime Trans port Protocol)、與 RTP 一起提供流量控制和擁塞控制服務的實時傳輸控制協(xié)議 RTCP(Realtime Transport Control Protocol)、定義了一對多的應用程序如何有效地通過 IP 網絡傳送多媒體數據的實時流協(xié)議 RTSP(Realtime Streaming Protocol)。除上述協(xié)議之外 ,流媒體技術還包括對于流媒體類型的識別。1)RTP/RTCP:RTP(Realtime Trans port Protocol)國交互式音頻、 視頻等具有實時特征的數據提供端到端的傳送服務。如果底層網絡支持多播,RTP 還可使用多播向多個目的端點發(fā)送數據 RTP 協(xié)議包含兩個密切相關的部分,即負責傳送具有實時特征的多媒體數據的 RTP 和負責反饋控制、監(jiān)測 QOS 和傳遞相關信息的南京郵電大學通達學院 2022 屆本科生畢業(yè)設計（論文）9RTCP(Realtime Transport Control Protocol)。在 RTP 數據包的頭部中包含了一些重要的字段使接收端能夠對收到的數據包恢復發(fā)送時的定時關系和進行正確的排序以及統(tǒng)計包丟失率等。RTCP 是 RTP 的控制協(xié)議,它周期性地與所有會話的參與者進行通信 ,并采用和傳送數據包相同的機制來發(fā)送控制包。值得注意的是,RTP協(xié)議本身并不提供任何 QOS,必須由下層網絡來保證。但是通過 RTCP 控制包可以為應用程序動態(tài)提供網絡的當前信息 ,據此可對 RTP 的數據收發(fā)作相應調整使之最大限度地利用網絡資源。2) RSVP:IETF 的資源預留協(xié)議 RSVP(Resource Reservati on Protocol)是網絡中預留所需資源的傳送通道建立和控制的信令協(xié)議,它能根據業(yè)務數據的 QOS 要求和帶寬資源管理策略進行帶寬資源分配 ,在 IP 網上提供一條完整的路徑。通過預留網絡資源建立從發(fā)送端到接收端的路徑,使得 IP 網絡能提供接近于電路交換質量的業(yè)務。即在面向無連接的網絡上,增加了面向連接的網絡。它既利用了面向無連接網絡的多種業(yè)務承載能力,又提供了接近面向連接網絡的質量保證。但是RSVP 沒有提供多媒體數據的傳輸能力,它必須配合其它實時傳輸協(xié)議來完成多媒體通信服務。3) RTSP:實時流協(xié)議 (RTSP)是用于控制具有實時特征數據傳輸的應用層協(xié)議。它提供了一個可擴展的框架以控制、按需傳送實時數據,如音頻、視頻等,數據源既可以是實況數據產生裝置,也可以是預先保存的媒體文件。該協(xié)議致力于控制多個數據傳送會話,提供了一種在 UDP、組播 UDP 和 TCP 等傳輸通道之間進行選擇的方法,也為選擇基于 RTP 的傳輸機制提供了方法。RTSP 可建立和控制一個或多個音頻和視頻連續(xù)媒體的時間同步流。雖然在可能的情況下,它會將控制流插入連續(xù)媒體流 但它本身并不發(fā)送連續(xù)媒體流。因此, RTSP 用于通過網絡對媒體服務器進行遠程控制。盡管 RTSP 和 HTTP 有很多類似之處,但不同于HTTP, RTSP 服務器維護會話的狀態(tài)信息,從而通過 RTSP 的狀態(tài)參數可對連續(xù)媒體流的回放進行控制(如暫停等)。4 ) MIME: MIME(Multi purpose Inter Mail Extensions)是因特網郵件 SMTP的擴展,用于電子郵件,不能用來標記在 Inter 上傳輸的任何文件類型。通過它,Web 服務器和 Web 瀏覽器才可以識別流媒體并進行相應的處理。 Web 服務器和Web 瀏覽器都是基于 HTTP 協(xié)議，而 HTTP 內建有 MIME, HTTP 正是通過MIME 標記 Web 上繁多的多媒體文件格式。為了能處理一種特定文件格式,需對Web 服務器和 Web 瀏覽器都進行 MIME 類型設置。對于標準的 MIME 類型,如文本和 JPEG 圖像,Web 服務器瀏覽器提供內建支持。但對 Real 等非標準的流媒體文件格式,則需設置 audio/xpnreal audio 等 MIME 類型。瀏覽器通過 MIME 來識別流媒體的類型 ,并調用相應的程序或 Plugin (插件)來處理。在 IE 和Netscape 這兩個最常用的瀏覽器中 ,都提供了很多的內建流媒體支持。南京郵電大學通達學院 2022 屆本科生畢業(yè)設計（論文）10 流媒體文件的壓縮格式數據壓縮技術也是流媒體技術的一項重要內容，由于視頻數據的容量往往都非常大，如果不經過壓縮或壓縮得不夠，則不僅會增加服務器的負擔，更重要的是會占用大量的網絡帶寬，影響播放效果。因此如何在保證不影響觀看效果或對觀看效果影響很小的前提下，最大限度地對流數據進行壓縮，是流媒體技術研究的一項重要內容。下面介紹一下幾種主流的音視頻數據壓縮格式。 AVI 格式AVI（Audio Video Interleave，音頻視頻交錯）是符合 RIFF 文件規(guī)范的數字音頻與視頻文件格式，由 Microsoft 公司開發(fā)，目前得到了廣泛的支持。AVI 格式支持 256 色和 RLE 壓縮，并允許視頻和音頻交錯在一起同步播放。但 AVI 文件并未限定壓縮算法，只是提供了作為控制界面的標準，用不同壓縮算法生成的AVI 文件，必須要使用相同的解壓縮算法才能解壓播放。AVI 文件主要應用在多媒體光盤上，用來保存電影、電視等各種影像信息。 MPEG 格式MPEG（Moving Picture Experts Group，動態(tài)圖像專家組）是運動圖像壓縮算法的國際標準，已被幾乎所有的計算機平臺共同支持，它采用有損壓縮算法減少運動圖像中的冗余信息，同時保證每秒 30 幀的圖像刷新率。MPEG 標準包括視頻壓縮、音頻壓縮和音視頻同步 3 個部分，MPEG 音頻最典型的應用就是 MP3音頻文件，廣泛使用的消費類視頻產品如 VCD、DVD 其壓縮算法采用的也是MPEG 標準。MPEG 壓縮算法是針對運動圖像而設計的，其基本思路是把視頻圖像按時間分段，然后采集并保存每一段的第一幀數據，其余各幀只存儲相對第一幀發(fā)生變化的部分，從而達到了數據壓縮的目的。MPEG 采用了兩個基本的壓縮技術：運動補償技術（預測編碼和插補碼）實現(xiàn)了時間上的壓縮，變換域（離散余弦變換DCT）技術實現(xiàn)了空間上的壓縮。MPEG 在保證圖像和聲音質量的前提下，壓縮效率非常高，平均壓縮比為 50∶1，最高可達 200∶1。 RealVideo 格式RealVideo 格式是由 Real Networks 公司開發(fā)的一種流式視頻文件格式，包含在 Real Media 音頻視頻壓縮規(guī)范中，其設計目標是在低速率的廣域網上實時傳輸視頻影像。RealVideo 可以根據網絡的傳輸速度來決定視頻數據的壓縮比率，從而提高適應能力，充分利用帶寬。后面介紹的 Real Server 軟件就是由 Real Networks 公司提供的，使用的就是 Real Video 格式的視頻文件。RealVideo 格式文件的擴展名有 3 種，RA 是音頻文件、RM 和 RMVB 是視頻文件。RMVB 格式文件具有可變比特率的特性，它在處理較復雜的動態(tài)影像時使用較高的采樣率，而在處理一般靜止畫面時則靈活地轉換至較低的采樣率，從而在不增加文件大小的前提下提高了圖像質量。南京郵電大學通達學院 2022 屆本科生畢業(yè)設計（論文）11 QuickTime 格式QuickTime 是由 Apple 公司開發(fā)的一種音視頻數據壓縮格式，得到了 Mac OS、Microsoft Windows 等主流操作系統(tǒng)平臺的支持。QuickTime 文件格式提供了150 多種視頻效果，支持 25 位彩色，支持 RLE、JPEG 等領先的集成壓縮技術。此外，QuickTime 還強化了對 Inter 應用的支持，并采用一種虛擬現(xiàn)實技術，使用戶可以通過鼠標或鍵盤的交互式控制，觀察某一地點周圍 360 度的景像，或者從空間的任何角度觀察某一物體。QuickTime 以其領先的多媒體技術和跨平臺特性、較小的存儲空間要求、技術細節(jié)的獨立性以及系