【正文】 ............. 23 播放器主界面工作流程 ................................................................. 23 播放解碼處理 ............................................................................... 24 5 播放器主界面設(shè)計 ........................................................................ 24 6 系統(tǒng)的集成與調(diào)試 ............................................................................................. 30 ................................................................................................. 30 系統(tǒng)播放 ................................................................................................ 30 7總結(jié) ................................................................................................................... 32 致謝 ..................................................................................................................... 33 參考文獻(xiàn) .............................................................................................................. 34 1 1 緒論 嵌入式 Linux 流媒體點(diǎn)播的應(yīng)用背景 隨著 多媒體計算機(jī)技術(shù)、 移動通信技術(shù)的快速發(fā)展以及 便攜式移動 終端設(shè)備的普及 ， 使 嵌入式開發(fā)得到了 快速 發(fā)展。 在現(xiàn)代 計算機(jī) 網(wǎng)絡(luò)技術(shù)快速發(fā)展的基礎(chǔ)上， 多媒體計算機(jī)技術(shù)和多媒體網(wǎng)絡(luò)技術(shù) 越 來越廣泛地應(yīng)用到 視頻點(diǎn)播系統(tǒng)。 在遠(yuǎn)程醫(yī)療，酒店 VOD，遠(yuǎn)程實時視頻會議 上 得到了越來越廣泛的應(yīng)用 ，并且智能化成為其發(fā)展一大趨勢。 研究意義 在 這個信息化的時代， 嵌入 視頻 VOD系 統(tǒng)正在融入人們的生活，比如 KTV點(diǎn)播系統(tǒng)、智能電視等等， 這些都 使人們 能 更加高效便捷的享受信息資源 ，極大地方便了人們的生活， 這使得嵌入式 VOD 系統(tǒng)開發(fā) 成為一個熱點(diǎn)。 嵌入式開發(fā) 不同于傳統(tǒng)的 有著豐富資源的 PC 開發(fā)，嵌入式開發(fā) 往往是基于受限的硬件資源 ， 這在技術(shù) 和實施難度 上對嵌 入式流媒體點(diǎn)播提出了更高的要求，成為研究嵌入式多媒體點(diǎn)播的難點(diǎn)。同時嵌入式技術(shù)發(fā)展迅速， 隨著嵌入式產(chǎn)品 快速 地 更新?lián)Q代 ，系統(tǒng)還要有 良好的 擴(kuò)展性。 2 2 流媒體 相關(guān) 技術(shù) 介紹 VOD介紹 VOD 是 Video On Demand 的縮寫 。視頻點(diǎn)播是計算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、多媒體技術(shù)發(fā)展的產(chǎn)物 [01]。 現(xiàn)代社會中，高端嵌入式移動終端成為人們接受信息 資源 的便捷方式。 視頻點(diǎn)播系統(tǒng)不僅可以為用戶提供豐富的網(wǎng)絡(luò)信息資源而且在遠(yuǎn)程教育、智能家電等領(lǐng)域得到越來越廣泛的應(yīng)用。 用戶 可以按照自己的需求點(diǎn)播視頻，即播即放，并且可以實現(xiàn)暫停、快進(jìn)、后退等操作，這種系統(tǒng) 播放等待時間小 并且支持多種流媒體視頻格式。 隨著 智能家電 、 智能汽車 的快速發(fā)展，嵌入式 VOD 必將得到越來越廣泛的 應(yīng)用 。 進(jìn)入信息時代，數(shù)字化后的視頻文件具有海量性， 由于目前的網(wǎng)絡(luò)帶寬 有限 ，在網(wǎng)絡(luò)傳輸高清大視頻文件是一件 很不容易 的事 ，因為傳輸速度和 視頻 質(zhì)量很難滿足用戶的需求。 所以 要實現(xiàn)視頻點(diǎn)播的功能必須對這些要傳輸?shù)囊曨l數(shù)據(jù)進(jìn)行壓縮和解壓縮 。 隨著多媒體技術(shù)的不斷發(fā)展，多媒體數(shù)據(jù)的存儲與壓縮技術(shù)已經(jīng)相對 比較成熟 ，例如 ,MPEG4 等，其中 MPEG 標(biāo)準(zhǔn)已經(jīng)從 MPEG MPEG2 發(fā)展到了目前應(yīng)用比較廣泛的 MPEG4 標(biāo)準(zhǔn) [02]。 AVI AVI 是將語音和影像同步組合在一起的文件格式， 是微軟公司 1992 年推出的視頻格式 ，可以將視頻和音頻交織在一起進(jìn)行同步播放 。 這種 播放方式不僅可以提高系統(tǒng)的工作效率，同時也可以迅速地加載和啟動播放程序，減少播放 AVI視頻數(shù)據(jù)時的用戶等待時間。 AVI 格式文件結(jié)構(gòu)由文件頭、索引塊和數(shù)據(jù)塊組成。AVI 文件主要參數(shù)有影像參數(shù)、伴音參數(shù)和壓縮參數(shù)。影像參數(shù)的視窗大小和幀率可以根據(jù)播放環(huán)境的硬件能力和處理速度進(jìn)行調(diào)整，窗口越大視頻文件越大。WAV 文件時 AVI 文件中伴音信號來源，包括影像與伴音的交織參數(shù)和同步控制參 3 數(shù)。 AVI 支持 256 色和 RLE 壓縮， AVI 對視頻文件采用有損壓縮方式。 這種視頻格式的優(yōu)點(diǎn)是可以跨多個平臺使用，其缺點(diǎn)是視頻文件太大 ， 目前 是一種常用的視頻文件格式。 MPEG4 MPEG4是一種包含音頻和圖像的壓縮技術(shù)，對圖像的壓縮算法提供的壓縮比可達(dá)到 200:1。 MPEG4 在較高的壓縮比下也能獲得較高的圖像質(zhì)量， 最大的特點(diǎn)是基于對象的編碼方式以及對合成對象的編碼能力。它支持固定和可變速率視頻編碼，具有高效的壓縮性， 其編碼系統(tǒng)是開放的，隨時可以加入新的有效的算法模塊。 MPEG4標(biāo)準(zhǔn)具有通用的訪問性，適用于無線和有線網(wǎng)絡(luò)以及固態(tài)存儲，支持各種帶寬的傳輸信道和接收端?？梢岳煤苷膸捦ㄟ^幀的重建技術(shù)壓縮和傳輸數(shù)據(jù)，從 而能以最少的數(shù)據(jù)獲得最佳的圖像質(zhì)量。 MPEG4 的可視信息的碼率范圍可從 5～ 64kbit/s 直至 64kbit/s4Mbit/s，并且可以 兼容 MPEG1 和 MPEG2 已經(jīng)提供的大多數(shù)功能 [03]。 因此在 MPEG4數(shù)字電視、動態(tài)圖像和移動通信等領(lǐng)域得到了普遍應(yīng)用。 流傳輸技術(shù) 流媒體技術(shù) 和流式傳輸方式 流媒體是指使用流式傳輸?shù)姆绞皆诰W(wǎng)絡(luò)上傳輸?shù)拿襟w格式。流是對在網(wǎng)絡(luò)上所傳輸?shù)慕?jīng)過一定編碼的多媒體信息的一種描述 [04]。 在進(jìn)行網(wǎng)絡(luò)播放時，等待時間和視頻質(zhì)量是用戶主要的考慮因 素 。傳統(tǒng)視頻播放時必須整個視頻文件必須全部下載下來才能觀看，這會使得播放延時非常大。而現(xiàn)在很流行的嵌入式視頻點(diǎn)播系統(tǒng)可以實現(xiàn)即播即放，極大地減少了等待時間，并且在播放時用戶還可以進(jìn)行相關(guān)的交互式操作。 這種觀看方式 大大地滿足了用戶的需求。 流式傳輸有兩種方式 ：實時 流式傳輸和順序流式傳輸。 傳統(tǒng)的視頻播放中主要采用順序傳輸方式，使用這種方式用戶一般只能觀看自己已經(jīng)下載的視頻，缺乏靈活性。實時流傳輸允許用戶在進(jìn)行視頻觀看時進(jìn)行相關(guān)的交互式操作， 支持 4 隨機(jī)訪問， 比如前進(jìn)、后退等?，F(xiàn) 對于傳統(tǒng)的 順序傳輸方式 視頻播放，實時流 傳輸更能滿足用戶需求，逐漸成為視頻點(diǎn)播 的主流 方式 。 實時流媒體傳輸 協(xié)議 介紹 實時流媒體播放協(xié)議簇 主要 由 RTSP、 RTP和 TRCP 構(gòu)成 ， 整個 RTSP 協(xié)議棧是建立 在 TCP/IP 協(xié)議棧之上的 。其中 RTSP 提供控制功能， 如 播放器 客戶端播放、暫停、前進(jìn)等功能， RTP 協(xié)議負(fù)責(zé)流媒體 數(shù)據(jù)的 實時 傳輸， RTCP 負(fù)責(zé)檢查 反饋 網(wǎng)絡(luò)狀況 以進(jìn)行相應(yīng)的調(diào)整 。 協(xié)議 簇 的層次結(jié)構(gòu)如圖 21 所示。 圖 21 RTSP協(xié)議棧 RTSP RTSP 協(xié)議 屬于應(yīng)用層協(xié)議 ， 是一個多媒體播放控制協(xié)議， 以 C/S 方式工作 。在用戶進(jìn)行視頻點(diǎn)播時， 通過 rtsp 協(xié)議 內(nèi)部 定義的方法 可以實現(xiàn)交互式操作，比如暫停 、后退、前進(jìn)等。 要 實現(xiàn) RTSP 的 視頻播放 控 制功能，不但要有協(xié)議還要有專門的客戶端播放程序和視頻服務(wù)器 [05]。 RTSP 在進(jìn)行控制信息交互式是保證交付質(zhì)量的 TCP 連接， 但 在進(jìn)行數(shù)據(jù)流傳輸時 和反饋調(diào)整 使用 UDP 連接，會導(dǎo)致分組丟失。 如圖 22所示 。 RTSP 層 RTP /TRCP 層 UDP/TCP 層 IP 層 應(yīng)用層 網(wǎng)絡(luò)層 傳輸層 5 圖 22 基于 C/S模式的 RTSP RTP 協(xié)議（ Real Time Protocol）提供 實時的數(shù)據(jù)流傳輸 。 在數(shù)據(jù)包中封裝了發(fā)送數(shù)據(jù)的 序列計數(shù) 、 標(biāo)識符 和時間戳等信息。 RTP協(xié)議 通常 是用 UDP協(xié)議來封裝 的， 所以只提供實時的數(shù)據(jù)傳輸，但是不保證傳輸?shù)目煽啃浴?所以視頻播放時會出現(xiàn)視頻模糊，視頻質(zhì)量不佳的現(xiàn)象。隨著視頻解壓縮技術(shù)和網(wǎng)絡(luò)帶寬的不斷提高，客戶端的視頻質(zhì)量會越來越好。 RTCP 是 RTP 的 實時傳輸 控制協(xié)議，它用于監(jiān)視網(wǎng)絡(luò)的服務(wù)質(zhì)量和在正在進(jìn)行的與會者會話中傳遞信息。 通過質(zhì)量反饋來進(jìn)行流量的擁塞控制，利 用這些反饋信息進(jìn)行傳輸速度的 相應(yīng) 調(diào)整。 RTCP 是 通過 周期性地向會話的所有參加者進(jìn)行通信 來實現(xiàn)這樣的功能的 ， 根據(jù)會話者的數(shù)量來調(diào)整發(fā)包率 。 交叉編譯 嵌入式開發(fā)一般是基于一 個資源受限的系統(tǒng)， 直接在目標(biāo)板上進(jìn) 行相關(guān)軟件的編寫不僅困難而且調(diào)試麻煩 ， 一般的解決方案 是 利用 交叉開發(fā)模型。 即 先在計算機(jī)上編寫 源 程序，然后 通過 編譯工具 交叉編譯，生成 可以 在 目標(biāo)平臺上 運(yùn)行的二進(jìn)制代碼文件，下載到目標(biāo)平臺上的相應(yīng) 位置 [06]。 典型的 嵌入式 Linux 開發(fā)使用 如圖所示的宿主機(jī) /目標(biāo)板開發(fā)模式。開發(fā)模型如圖 24 所示 。 Server Client RTSP 流控（ TCP） RTP 數(shù)據(jù)流（ UDP） RTCP 分組 (UDP) 6 圖 23交叉開發(fā)模型 交叉編譯就是在一個平臺上生成在另一個平臺上執(zhí)行的代碼。 本文的目標(biāo)就是在 X86 平臺上交叉編譯，產(chǎn)生可以在 ARM 開發(fā)板上運(yùn)行的二進(jìn)制文件。 這 需要在 PC 機(jī)上建立一個用于 ARM 目標(biāo)板的交叉編譯環(huán)境 ，本機(jī)使用 交叉編譯器 配置如下： 名 稱 嵌入式 linux 點(diǎn)播系統(tǒng)開發(fā) CPU AMD 2445 內(nèi) 存 2G 虛擬機(jī) Server2021 下 VMWEAR Linux 系統(tǒng) Fedora 交叉編譯器 表 21 x86 主機(jī)配置 宿主機(jī) 目標(biāo)板 網(wǎng)絡(luò) /串口 /JTAG 7 3 系統(tǒng) 的需求說明 功能 需求 首先系統(tǒng)是基于 mini2440 開發(fā)板進(jìn)行設(shè)計的， 所以 在 uboot、 kerne 移植時要進(jìn)行定制， 包括 mini2440 板級的定制和和針對 VOD 需求的定制。所以在 移植時 系統(tǒng)需要加入 對網(wǎng)卡、觸摸屏等的支持。 其次點(diǎn)播 系統(tǒng)是通過客戶端 /服務(wù)器模式實現(xiàn)的，所以系統(tǒng)的功能需求可以客戶端和服務(wù)器兩大部分來劃分。 客戶端主要實現(xiàn)視頻播放功能， 用戶啟動系統(tǒng)后進(jìn)入視頻點(diǎn)播系統(tǒng)主界面，為用戶提供 網(wǎng)絡(luò)點(diǎn)播和本地點(diǎn)播服務(wù)，播放時用戶可以進(jìn)行相關(guān)的交互式操作。 服務(wù)器主要實現(xiàn)數(shù)據(jù)流的發(fā)送 ，使用戶可以觀看自己點(diǎn)播的視頻文件。 嵌入式流媒體客戶端 需要具備的基本功能如下 : 1) 提供有好的 播放界面和交互式界面； 1) 能讀取視頻文件，實現(xiàn)實時解碼及音視頻同步實時 播放 ； 2) 可以播放 U盤中 本地視頻文件； 3) 可以撥號連接服務(wù)器，讀取服務(wù)器視頻文件 ； 4) 能夠 實現(xiàn)交互操作 ，實現(xiàn)對流媒體 播放 的 暫停、快進(jìn) 、快退 等功能 ； 嵌入式流媒體 服務(wù)器端 需要具備的基本功能如下 [07]： 1)能夠提供種類豐富的視頻文件 ：如 AVI， RMVB 等； 2)以流式協(xié)議將視頻文件發(fā)送給客戶端，使用戶可以觀看其點(diǎn)播的視頻文件 ； 3)實現(xiàn)和客戶端的同步交互式操作，比如實現(xiàn)同步的暫停、快進(jìn)等操作 。 8 4 系統(tǒng)的總體設(shè)計 該部分主要進(jìn)行系統(tǒng)的整體設(shè)計， 需要對系統(tǒng)進(jìn)行總體劃分，一般 將嵌入式流 媒體播放器的系統(tǒng)體系結(jié)構(gòu)劃分為三層，包括硬件層、內(nèi)核層和應(yīng)用層。 本文是以 mini2440 為開發(fā)板，論文的主要工作集中于系統(tǒng)的移植和應(yīng)用程序的開發(fā)。 系統(tǒng)總體劃分 通常 嵌入式 Linux 視頻點(diǎn)播 系統(tǒng)從軟件的角度看通常可以分為四個層次，即引導(dǎo)加載程 序，嵌入式 LinuX 內(nèi)核，文件系統(tǒng)以及用戶應(yīng)用程序 [08]。 經(jīng)過 嵌入式 uboot 的移植、 armlinux 內(nèi)核的配置與編譯以及嵌入式根文件系統(tǒng)的創(chuàng)建，基于 ARM 處理器平臺的最小 嵌入式 系統(tǒng) 就完