【文章內(nèi)容簡介】 ...........................................................................................................................51 研究展望 ................................................................................................................................................................52致謝 ..............................................................................................................................................................................53參考文獻 ......................................................................................................................................................................54攻讀碩士學(xué)位期間發(fā)表的論文 ..................................................................................................................................56南京郵電大學(xué)碩士研究生學(xué)位論文 第一章 緒論1第一章 緒論 項目研究背景如今，電子通信，計算機技術(shù)高速發(fā)展，新技術(shù)不斷涌現(xiàn)，互聯(lián)網(wǎng)得到了前所未有的普及，無線移動通信也迅速在各個領(lǐng)域廣泛應(yīng)用，成為人們生活工作中不可或缺的一部分。兩者的網(wǎng)絡(luò)覆蓋面積越來越大，骨干網(wǎng)、接入網(wǎng)的傳輸速率也越來越快，核心網(wǎng)設(shè)備及終端功能越來越強，同時終端的體積越來越小，功耗日益降低，價格大幅下降。在其飛速發(fā)展的同時，兩者也開始迅速地融合。移動 IP 也逐漸走進人們的視野。其實，從GSM 蜂窩通訊系統(tǒng)起，移動通信系統(tǒng)就具有一定的數(shù)據(jù)通信能力，其主要是基于電路型數(shù)據(jù)業(yè)務(wù)，如短信服務(wù)。但是，在數(shù)據(jù)通信的發(fā)展過程中，人們不僅希望得到簡單的文字信息，更希望能夠提供包括語音、圖像內(nèi)容的多媒體信息，也即多媒體通信。這就給移動運營商們提出了一個新課題，即增加傳輸帶寬，進一步發(fā)展數(shù)據(jù)業(yè)務(wù)及各種增值業(yè)務(wù)，尤其是與互聯(lián)網(wǎng)相結(jié)合的數(shù)據(jù)業(yè)務(wù)。移動多媒體通信正是在這種環(huán)境下開始成為移動通信的主要發(fā)展趨勢之一。通過無線通信系統(tǒng)接入互聯(lián)網(wǎng)的方式分為兩大類：一是基于蜂窩移動通信的接入技術(shù)，如 CDMA，GPRS 等；二是基于無線局域網(wǎng)的技術(shù)，如 WLAN，Bluetooth 等。總的來說，可以采用的主要有：Modem，WLAN，GPRS，Bluetooth，移動 IP 以及 WAP 等等。盡管它們解決問題的層面和側(cè)重點不盡相同，但出發(fā)點都是相似的：例如計算機設(shè)備(PC、Console 等) 如何實現(xiàn)移動性；便攜式終端如何接入互聯(lián)網(wǎng)并獲取和顯示信息等。實際上，這兩者也是相輔相成的，并且部分已經(jīng)進入實用階段。另一方面，網(wǎng)絡(luò)應(yīng)用中多媒體通信是重要的組成部分之一。多媒體信息主要是指包括圖像、聲音和文本三大類的信息類型，其中視頻、音頻等信號的信息量非常大，且這些信息的表現(xiàn)形式、輸入、輸出的要求也各不相同，因此，對這些數(shù)據(jù)進行有效的表示和處理顯得非常重要。為了滿足多媒體通信對帶寬的需求，無線網(wǎng)絡(luò)都將網(wǎng)絡(luò)傳輸速率作為其規(guī)格參數(shù)中的關(guān)鍵指標(biāo)。例如 GPRS 網(wǎng)絡(luò)的理論最大數(shù)據(jù)傳輸速率達 ，CDMA 1X 的理論值最大可達，3G 標(biāo)準(zhǔn)則規(guī)定不管何種無線技術(shù)均須提供 2Mbps 以上的傳輸速率，以滿足業(yè)務(wù)需求，而基于 的無線局域網(wǎng)目前則可以提供高達 300Mbps 的傳輸速率，這一南京郵電大學(xué)碩士研究生學(xué)位論文 第一章 緒論2速率還將在日后得到進一步提高。此外，多媒體信息的壓縮技術(shù)的日臻進步也為移動多媒體通信的實現(xiàn)提供了技術(shù)保證。目前的手持移動設(shè)備的有許多鐘，如 PDA(個人數(shù)字助理) 、MID（移動互聯(lián)網(wǎng)設(shè)備） 、手提電腦、WAP 手機、智能手機、導(dǎo)航儀等。這些手持設(shè)備的功能日益強大，已經(jīng)出現(xiàn)了融合的趨勢，市場上表現(xiàn)為互相滲透。結(jié)合了 PDA 和行動電話關(guān)鍵功能的智能手機正是這種趨勢的必然產(chǎn)物?，F(xiàn)在全球智能手機的出貨量逐年大幅度攀升，其自身也在日趨完善，使得智能手機市場蘊藏著巨大的商機。智能手機（Smart Phone）至少有四個標(biāo)準(zhǔn)：可以語音和數(shù)據(jù)通信，這是手機的基本功能；基本的 PDA 功能；通信功能與 PDA 功能無縫融合，而非簡單的“1+1” ；開放式操作系統(tǒng)，第三方可根據(jù)操作系統(tǒng)提供的 API 為智能手機開發(fā)各種擴展應(yīng)用和提供各種擴展硬件，這是智能手機的根本特性。通俗的說，智能手機是一種在手機內(nèi)安裝了相應(yīng)開放式操作系統(tǒng)的手機。通常使用的操作系統(tǒng)有：Symbian、Windows Mobile、iPhone OS、Linux（含 Android、Maemo 和 WebOS） 、Palm OS 和 BlackBerry OS。他們之間的應(yīng)用軟件互不兼容。因為可以安裝第三方軟件，所以智能手機有豐富的功能。智能手機這個說法主要是針對功能手機（Feature Phone）而來的，本身并不意味著這個手機有多智能（Smart ） ；從另一個角度來講，所謂的智能手機就是一臺可以隨意安裝和卸載應(yīng)用軟件的手機。功能手機是不能隨意安裝卸載軟件的，Java 的出現(xiàn)使后來的功能手機具備了安裝 Java 應(yīng)用程序的功能，但是 Java 程序的操作友好性，運行效率及對系統(tǒng)資源的占用都比智能手機差很多。由于智能手機自身的特點，許多原本基于 PC 互聯(lián)網(wǎng)應(yīng)用開始逐漸向智能手機等手持平臺延伸。 主要的研究工作及內(nèi)容安排長期以來，人們對流媒體技術(shù)的研究主要集中在固定終端及個人電腦平臺，而對以手持平臺為基礎(chǔ)的高碼率流媒體系統(tǒng)研究較少。本文針對智能手機平臺的特點，在充分利用手機操作系統(tǒng)自身的特點的基礎(chǔ)上，同時考慮到軟件可移植性，對移動流媒體客戶進行了研究與實現(xiàn)。具體內(nèi)容安排如下：第一章首先介紹了本課題的研究背景，具體介紹了多媒體通信及智能手機概念，現(xiàn)有主流手機操作系統(tǒng)以及發(fā)展現(xiàn)狀。南京郵電大學(xué)碩士研究生學(xué)位論文 第一章 緒論3第二章介紹了流媒體技術(shù)的基礎(chǔ)知識，重點闡述了流媒體相關(guān)標(biāo)準(zhǔn)。第三章介紹了用于移動手持設(shè)備的相關(guān)音視頻編碼技術(shù)，重點闡述了相關(guān)標(biāo)準(zhǔn)。第四章分析了 Windows Mobile 平臺的基本結(jié)構(gòu)及模塊組成，研究了 FFmpeg 及 SDL等關(guān)鍵函數(shù)庫在 Window Mobile 平臺上的移植和集成，在此函數(shù)庫基礎(chǔ)之上，設(shè)計并開發(fā)了客戶端所用的媒體播放引擎。并且在本章介紹了移動流媒體系統(tǒng)的整體部署及工作原理，詳細討論了客戶端與服務(wù)器之間的會話過程。第五章分析了客戶端軟件設(shè)計的整體架構(gòu)，詳細設(shè)計了各個模塊的功能、接口及執(zhí)行流程等。最后在 TDSCDMA 實驗網(wǎng)絡(luò)中完成了軟件測試，結(jié)果表明了該客戶端具有良好的健壯性及容錯能力，并且視頻點播具有較好的回放質(zhì)量及流暢度，帶給用戶較好的體驗。第六章對全文進行了總結(jié)，討論了在音頻，視頻回放效率及質(zhì)量等若干問題及對移動 P2P 進一步研究的展望。南京郵電大學(xué)碩士研究生學(xué)位論文 第二章 流媒體技術(shù)概述4第二章 移動流媒體簡介 流媒體技術(shù)概述流媒體(Streaming Media)技術(shù)是為了在網(wǎng)絡(luò)上傳播多媒體文件(包括音視頻、所開發(fā)的一整套技術(shù)架構(gòu)，包括流媒體壓縮技術(shù)、時基編碼技術(shù)、傳輸控制協(xié)議等?；驹硎歉鶕?jù)網(wǎng)絡(luò)的傳輸能力進行相應(yīng)比例的有損壓縮，確?；拘畔⒌膶崟r傳輸。在編碼時插入時基標(biāo)志，便于同步、緩存和拖動瀏覽。以客戶端/服務(wù)器的架構(gòu)提供文件服務(wù)，并使用實時傳輸協(xié)議在網(wǎng)絡(luò)上傳輸，以確保傳輸質(zhì)量。流媒體的出現(xiàn)為 Inter 上的多媒體信息發(fā)布特別是連續(xù)的流媒體信息的發(fā)布提供了全新的手段。通過移動網(wǎng)絡(luò)在移動手持終端上采用流媒體技術(shù)實現(xiàn)的應(yīng)用簡稱移動流媒體應(yīng)用，典型的應(yīng)用實例包括移動視頻點播、移動視頻聊天等。而通過互聯(lián)網(wǎng)、有線電視網(wǎng)在 PC、電視機等設(shè)備上采用流媒體技術(shù)實現(xiàn)的應(yīng)用稱為寬帶流媒體應(yīng)用，典型應(yīng)用包括在線影院和視頻聊天等。目前在網(wǎng)絡(luò)上獲取音視頻等多媒體資源主要有下載播放和流式播放兩種。對于下載播放而言，由于音視頻文件往往很大，需要大量的存儲空間。這一要求對于具備大容量硬盤的 PC 可能并不是問題，但對于存儲容量很有限的手機而言卻是一個難以克服的問題。于是人們很自然地想到了將流媒體技術(shù)應(yīng)用到移動網(wǎng)絡(luò)和終端上，并稱之為移動流媒體。所謂移動流媒體就是把連續(xù)的影像和聲音信息經(jīng)過壓縮處理后放到網(wǎng)絡(luò)媒體服務(wù)器上，讓移動終端能夠一邊下載一邊觀看、收聽，而不需要等到整個多媒體文件下載完成就可以即時觀看的技術(shù)。實際上移動流媒體技術(shù)是網(wǎng)絡(luò)音視頻技術(shù)和移動通訊技術(shù)發(fā)展到一定階段的產(chǎn)物，它是融合很多網(wǎng)絡(luò)技術(shù)之后所產(chǎn)生的技術(shù)，它會涉及到流媒體數(shù)據(jù)的采集、壓縮、存儲以及網(wǎng)絡(luò)通信等多項技術(shù)。其主要有三大特點：1，能夠?qū)崟r播放視頻和音頻等多媒體內(nèi)容。視頻、音頻等文件邊下載邊播放，當(dāng)多媒體文件在客戶機上播放的同時，文件的剩余部分在后臺繼續(xù)從服務(wù)器上下載，這樣可以大大縮短啟動延時。2，流媒體文件不需要在客戶端保存，節(jié)省了客戶端的存儲空間，而且也不需要較大的緩存。3，由于流媒體文件不需要在客戶端保存，從而簡化了媒體內(nèi)容的版權(quán)保護。這些特點決定了移動流媒體業(yè)務(wù)具有良好的應(yīng)用前景，尤其在增值業(yè)務(wù)成為主要盈利點的 3G 時代。移動流媒體業(yè)務(wù)就是指流媒體技術(shù)在移動無線網(wǎng)絡(luò)及其終端上的應(yīng)用，主要是利用現(xiàn)南京郵電大學(xué)碩士研究生學(xué)位論文 第二章 流媒體技術(shù)概述5有的 或 3G 的移動網(wǎng)絡(luò)，為手機終端提供音視頻的流媒體服務(wù)。移動流媒體業(yè)務(wù)的內(nèi)容包括新聞資訊、影視、娛樂、體育、教育、行業(yè)應(yīng)用等。移動流媒體業(yè)務(wù)根據(jù)數(shù)據(jù)內(nèi)容的播放方式可以分為三種業(yè)務(wù)類型，分別是點播，直播和下載。隨著 3G 技術(shù)的逐步成熟，將移動流媒體技術(shù)引入移動增值業(yè)務(wù)，已經(jīng)成為目前全球范圍內(nèi)移動業(yè)務(wù)研究的熱點之一。3GPP、3GPP2 等標(biāo)準(zhǔn)化組織早已開展了移動流媒體的應(yīng)用研究工作，并已經(jīng)制定了相應(yīng)的標(biāo)準(zhǔn)。 移動流媒體系統(tǒng)相關(guān)標(biāo)準(zhǔn)在實現(xiàn)移動流媒體業(yè)務(wù)的協(xié)議中，音頻、視頻等流媒體數(shù)據(jù)主要通過 RTP、UDP 協(xié)議傳輸，而如靜態(tài)圖像、文本信息則一般使用 HTTP 協(xié)議進行傳輸。RTSP 及 SDP 協(xié)議用于會話的建立與控制，MIME 用于描述媒體類型， RTP 是媒體負載的單元。 RTPRTP(Realtime Transport Protocol)是針對互聯(lián)網(wǎng)上多媒體數(shù)據(jù)流的一個傳輸協(xié)議, 國際電信聯(lián)盟 ITUT 也發(fā)布了自己的 RTP 文檔，作為 ，但是后來當(dāng) IETF 發(fā)布了關(guān)于它的穩(wěn)定的標(biāo)準(zhǔn) RFC1889 后就被取消了。它作為因特網(wǎng)標(biāo)準(zhǔn)在 RFC 3550（該文檔的舊版本是 RFC 1889）有詳細說明。 RFC 3551（STD 65，舊版本是 RFC 1890）詳細描述了使用最小控制的音頻和視頻會議。RTP 被定義為在一對一或一對多的傳輸情況下工作，其目的是提供時間信息和實現(xiàn)流同步。RTP 的典型應(yīng)用建立在 UDP 上，但也可以在 TCP或 ATM 等其他協(xié)議之上工作。RTP 本身只保證實時數(shù)據(jù)的傳輸，并不能為按順序傳送數(shù)據(jù)包提供可靠的傳送機制，也不提供流量控制或擁塞控制，它依靠 RTCP 提供這些服務(wù)。流媒體數(shù)據(jù)傳輸中一個關(guān)鍵的問題就是到達時間不可預(yù)料。但是流媒體的傳輸是需要數(shù)據(jù)按時到達用以正確回放。RTP 協(xié)議提供了時間戳，序列號以及其它的結(jié)構(gòu)字段用于控制數(shù)據(jù)的流式回放。在流的概念中“時間戳”是最重要的信息，發(fā)送端依照即時采樣信息在數(shù)據(jù)包里填入時間戳字段。在接收端收到數(shù)據(jù)包后，就按照時間戳按將流數(shù)據(jù)恢復(fù)成原始的采樣數(shù)據(jù)。不同的媒體格式有著不同的時間戳屬性。但是 RTP 協(xié)議本身并不負責(zé)同步，它只是傳輸層協(xié)議，主要為簡化運輸層處理，提高該層的效率。部分運輸層協(xié)議功能（比如流量控制）在應(yīng)用層得到實南京郵電大學(xué)碩士研究生學(xué)位論文 第二章 流媒體技術(shù)概述6現(xiàn)。同步的功能就是在應(yīng)用層協(xié)議中完成的。RTP 沒有運輸層協(xié)議的完整功能，不提供任何機制來保證數(shù)據(jù)的實時傳輸，不支持資源預(yù)留，也不保證服務(wù)質(zhì)量。RTP 報文不包括長度和報文邊界的描述。同時 RTP 協(xié)議的數(shù)據(jù)報文和控制報文使用相鄰的不同端口，因此 RTP 協(xié)議擁有很高的靈活性和簡單性。RTP 協(xié)議和 UDP 協(xié)議兩者合作完成運輸層協(xié)議功能。UDP 協(xié)議只負責(zé)傳輸數(shù)據(jù)報，不管數(shù)據(jù)