【正文】 of Video Capturing and Encoding and Transiting Module Based on Embedded Linux 碩士研究生 指導(dǎo)教師 學(xué)科專業(yè) 電子與通信工程 論文提交日期 年 月 日 論文答辯日期 年 月 日 論文評(píng)閱人 答辯委員會(huì)主席 年 月 日 獨(dú) 創(chuàng) 性 聲 明 本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究成果。 論文首先 研究 了 應(yīng)用在 無線視頻監(jiān)控系統(tǒng)中的 關(guān)鍵的技術(shù)， 包括 DaVinci 技術(shù)、 V4L2 視頻采集驅(qū)動(dòng)規(guī)范、 編碼算法以及 RTP 流媒體 實(shí)時(shí) 傳輸協(xié)議 和WCDMA 技術(shù) 等 。 In video coding module, the design and implementation based on the Codec Engine mechanism of h. 264 coding, the main work including h. 264 encoder the implementation of the construction and coding applications. In construction of h. 264 encoder mainly pleted in the process of x. 264 encoding algorithm of xDM encapsulation, Codec Server generate, Codec Engine Engine configuration, etc., in coding the application by calling the h. 264 encoder VISA API interface, realize the acquisition of video data real time coding。I Abstract 1 視頻監(jiān)控系統(tǒng)行業(yè)背景 6 模塊相關(guān)的關(guān)鍵技術(shù)研究 9 視頻監(jiān)控系統(tǒng)構(gòu)架 9 模塊的需求分析 13 第三章 搭建嵌入式開發(fā)環(huán)境平臺(tái) 14 采集譯碼器 TVP5158 功能概述 34 編碼器的實(shí)現(xiàn) 48 視頻傳輸模塊設(shè)計(jì) 57 測(cè)試結(jié)果及分析 近年來個(gè)人化、智能化和網(wǎng)絡(luò)化將是未來視頻監(jiān)控市場(chǎng)主要的發(fā)展趨勢(shì) [1]，視頻監(jiān)控應(yīng)用的發(fā)展過程如圖 所示。 由于系統(tǒng)各部分獨(dú)立運(yùn)行，相互之間的協(xié)議不能發(fā)生通信，造成聯(lián)動(dòng)只能在很小的范圍內(nèi)進(jìn)行，不便對(duì)系統(tǒng)進(jìn)行有效的掌控。但是市場(chǎng)對(duì)視頻監(jiān)控的更高的需求不斷的推動(dòng)著視頻編解碼技術(shù)、流媒體技術(shù)以及網(wǎng)絡(luò)技術(shù)的發(fā)展，從而也把網(wǎng)絡(luò)視頻監(jiān)控推向了發(fā)展的必然。 課題研究背景及意義 隨著 近年來 社會(huì)的不斷 的快 速 發(fā)展，各國 各行業(yè)對(duì) 安防越來越重視，視頻監(jiān)控 行業(yè) 取得了長足的發(fā)展。 在編碼方面， 因其低碼率（高壓縮比）、高質(zhì)量畫面、容錯(cuò)能力強(qiáng) 、 網(wǎng)絡(luò)適應(yīng)性強(qiáng) ，逐漸得到學(xué)術(shù)界和工業(yè)界的廣泛認(rèn)可， 成為當(dāng)前 無線 視頻編碼領(lǐng)域最為熱門技術(shù) 之一。 從視頻監(jiān)控從 模擬到數(shù)字、網(wǎng)絡(luò)的發(fā)展歷史講起，介紹了視頻監(jiān)控的發(fā)展 ，本課選題背景、意義及主要研究?jī)?nèi)容。 （ 2） .視頻編碼子模塊：設(shè)計(jì)實(shí)現(xiàn)視頻數(shù)據(jù)的 。 然后分析了視頻監(jiān)控系統(tǒng)的總體架構(gòu) ， 在此基礎(chǔ)上分析了模塊的功能需求，根據(jù)需求分析設(shè)計(jì)了模塊的整體 架構(gòu)。 在應(yīng)用程序?qū)崿F(xiàn)視頻采集的過程中，通常用到的兩個(gè) V4L2 系統(tǒng)調(diào)用是 ioctl()和 mmap()，其中 ioctl()系統(tǒng) 調(diào)用負(fù)責(zé) 控制設(shè)備的 I/O 通道 ， mmap()系統(tǒng)調(diào)用使得進(jìn)程之間通過映射同一個(gè)普通文件實(shí)現(xiàn)共享內(nèi)存 。VCL 主要完成對(duì)塊、宏塊、片等語法級(jí)別的定義和核心壓縮引擎，壓縮單元主要完成運(yùn)動(dòng)補(bǔ)償、變換編碼、熵編碼等。RTP 協(xié)議 是用來傳輸具有實(shí)時(shí)特性 的數(shù)據(jù)， 它 提供端到端的實(shí)時(shí)數(shù)據(jù)傳輸服務(wù) 。 PPP 協(xié)議主要由下面四 個(gè)部分組成： ?封裝：一種封裝多協(xié)議數(shù)據(jù)報(bào)（ IP 數(shù)據(jù)報(bào)）的方法，實(shí)現(xiàn)了在同一鏈路上 傳輸不同網(wǎng)絡(luò)協(xié)議的復(fù)用技術(shù) 。 WCDMA 是一個(gè) ITU(國際電信聯(lián)盟 )標(biāo)準(zhǔn)，它是從 CDMA（ 碼分多址 ） 演變來的，在官方上被認(rèn)為是 IMT20xx 的直接擴(kuò)展 。 在項(xiàng)目中，為了方 便系統(tǒng)設(shè)計(jì)、分工和開發(fā)實(shí)現(xiàn)，系統(tǒng)中采用模塊化的思想指導(dǎo)設(shè)計(jì) 無線實(shí)時(shí)視頻監(jiān)控系統(tǒng)。在本模塊 中，視頻傳輸信道為 聯(lián)通經(jīng)營的 WCDMA的 3G制式 ，信道實(shí)際帶寬窄、誤碼率高 ?；? 節(jié)敘述 DaVinci 技術(shù)的優(yōu)點(diǎn)， 本模塊 中應(yīng)用的 DVS（數(shù)字視頻服務(wù)器）采用 合眾達(dá)公司專為數(shù)字視頻處理推出的 基于 DaVinci技術(shù)的 SEEDDVS6467 嵌入式開發(fā)平臺(tái)，它 是以 TI 公司 的 TMS320DM6467（簡(jiǎn)稱 DM6467） 作為核心處理器 ，在其外圍 集成了 2 片譯碼器 TVP5158。系統(tǒng)各線程間的交互示意圖如圖 所示。這一節(jié)中將會(huì)詳細(xì)介紹DM6467 處理器和 TVP5158 采集譯碼器 。 ARM 處理器 上 運(yùn)行 Linux 系統(tǒng)， 實(shí)現(xiàn) DM6467 的控制功能，主要負(fù)責(zé)控制以及初始化 DSP 子系統(tǒng)、視頻端口 VPIF0/VPIF高清視頻協(xié)處理器 VICP、內(nèi)部存儲(chǔ)器以及外設(shè) TVP5158 等。 1 0 b i t 模 / 數(shù)轉(zhuǎn) 換 器Y / C 分 離降 噪 處 理 /自 動(dòng) 對(duì) 比縮 放 引 擎1 0 b i t 模 / 數(shù)轉(zhuǎn) 換 器Y / C 分 離降 噪 處 理 /自 動(dòng) 對(duì) 比縮 放 引 擎1 0 b i t 模 / 數(shù)轉(zhuǎn) 換 器Y / C 分 離降 噪 處 理 /自 動(dòng) 對(duì) 比縮 放 引 擎1 0 b i t 模 / 數(shù)轉(zhuǎn) 換 器Y / C 分 離降 噪 處 理 /自 動(dòng) 對(duì) 比縮 放 引 擎A R M 寄 存 器 I 2 C 主 機(jī) 端 口延 遲 檢 測(cè) /重 新 同 步D V O _ A _ [ 7 : 0 ]D V O _ B _ [ 7 : 0 ]D V O _ C _ [ 7 : 0 ]D V O _ D _ [ 7 : 0 ]輸 出 格 式轉(zhuǎn) 換 器級(jí) 聯(lián) 模 式 輸 入 圖 TVP5158 功能框圖 每個(gè) 譯碼 通道包含 1 個(gè) 10bit 27MSPS 的模數(shù)轉(zhuǎn)換器， 復(fù)合輸入信號(hào)按照 2 ITUR 的時(shí)鐘頻率 進(jìn)行抽樣 。 xDM 標(biāo)準(zhǔn)基于 TI 公司 的算法協(xié)同標(biāo)準(zhǔn) xDAIS（ eXpressDSP Algorithm Interoperability Standard） [14]， 并在 xDAIS 標(biāo)準(zhǔn)之上 擴(kuò)展了 視頻、圖像、語音以及音頻四類編解碼接口，同時(shí)為了實(shí)現(xiàn) ARM 與 DSP 雙核間的通信，也添加了一些通信協(xié)議。與 此同時(shí)，由于不同的算法之間內(nèi)存管理細(xì)節(jié)等存在的差異較大，應(yīng)用程序是都重慶郵電大學(xué)碩士論文 第三章 搭建嵌入式開發(fā)環(huán)境平臺(tái) 19 是根據(jù)特定的算法而設(shè)計(jì)實(shí)現(xiàn)，所以應(yīng)用程序的通用性差。 而在基于 Davinci 技術(shù)嵌入式平臺(tái)的應(yīng)用程序開發(fā)中， TI 提供的 Codec Engine機(jī)制 將 多媒體系統(tǒng)開發(fā)架構(gòu)由以前的 兩層拓?fù)浣Y(jié)構(gòu)變?yōu)槿龑樱鐖D 所示： 應(yīng) 用 層C o d e c E n g in e編 解 碼 算 法 圖 三層拓?fù)浣Y(jié)構(gòu)圖 DaVinci 構(gòu)架中在應(yīng)用層和算法庫之間添加了一個(gè)編解碼器引擎層（ Codec Engine），它使得開發(fā)人員不再與算法庫發(fā)生直接聯(lián)系，而是通過 Codec Engine 的API 遠(yuǎn)程調(diào)用符合 xDM 封裝的算法。 采用 xDM 標(biāo) 準(zhǔn) 封裝算法庫有很多優(yōu)越性 [15]： （ 1） 可移植性 強(qiáng) 由于各個(gè)算法的封裝都采用統(tǒng)一的編程接口，如圖像算法接口、音頻算法接口以及語音算法接口和視頻算法接口，所以開發(fā)人員只需通過簡(jiǎn)單修改配置文件，就可以移植遵循 xDM 標(biāo)準(zhǔn)的第三方算法到自己的 DaVinci平臺(tái)使用， 同時(shí)無需修改應(yīng)用程序框架， 避免了重復(fù)開發(fā)工作，加快了 OEM 的產(chǎn)品開發(fā)速度。 4 個(gè)譯碼 通道可獨(dú)立 運(yùn)行， 用戶可以通 過 I2C 主機(jī)接口來控制 各通道的對(duì) 比度 、 亮度 、 飽和度和色度視頻特征 ，以得到最好的圖像質(zhì)量 。處理器基于 VLIW 超長指令架構(gòu)，集成了 64個(gè) 32 字長的通用寄存器和 8 個(gè)獨(dú)立的功能單元（ 6 個(gè) ALU 算術(shù)邏輯單元，兩個(gè)32 位的乘法器） ， 處理器上運(yùn)行 DSP/BOIS 操作系統(tǒng)，主要完成多媒體數(shù)據(jù)（音頻、視頻）的編解碼以及圖像分析等。 其結(jié)構(gòu)框圖如圖 所示。采集線程從采集設(shè)備中獲取原始數(shù)據(jù)，并將數(shù)據(jù)寫入線程共享的 buffer 中，然后觸發(fā)視頻線程，視 頻線程收到原始數(shù)據(jù) buffer后，先將多路行交叉模式輸出的復(fù)合視頻數(shù)據(jù)解復(fù)用，并對(duì)解復(fù)用后的單路視頻標(biāo)記通道 ID，然后把空 buffer 返回給采集線程，再按照通道 ID 分別進(jìn)行編碼處理，重慶郵電大學(xué)碩士論文 第二章 視頻采集編碼發(fā)送模塊設(shè)計(jì) 13 將編碼后的數(shù)據(jù) buffer 送給發(fā)送線程，發(fā)送線程受 SIP 信令控制線程條件阻塞，當(dāng)客戶端有請(qǐng)求時(shí)，就觸發(fā)發(fā)送線程進(jìn)行數(shù)據(jù)流的發(fā)送。 重慶郵電大學(xué)碩士論文 第二章 視頻采集編碼發(fā)送模塊設(shè)計(jì) 12 T V P 5 1 5 8T V P 5 1 5 8V 4 L 2U A R T E A M CU S B 2 . 0E M I FD D R 2S D R A MF L A S HM F 2 1 0 無 線發(fā) 送 模 塊P H Y 8 0 2 . 3以 太 網(wǎng) 接 口R S 4 8 5R S 2 3 2T M S 3 2 0 D M 6 4 6 7I 2 CD S PA T A 圖 SEEDDVS6467 系統(tǒng)硬件功能框圖 本課題中 ARM 端控制采集譯碼器 TVP5158 完成 視頻采 集， 遠(yuǎn)程調(diào)用 DSP 端 編碼器完成實(shí)時(shí)視頻編碼，最后利用 RTP 協(xié)議封裝視頻數(shù)據(jù)，并通過 MF210無線模塊實(shí)現(xiàn)視頻數(shù)據(jù)的 WCDMA 傳輸 。 需要實(shí)現(xiàn)的功能包括： （ 1） 在視頻采集方面： 實(shí)現(xiàn)視頻的采集，且可以支持對(duì)視頻 多種 屬性的控制，如視頻分辨率、制式、亮度色度等。 PU端可劃分為三個(gè)部分：視頻服務(wù)器外設(shè)設(shè)備（攝像頭、云臺(tái)、各類傳感器重慶郵電大學(xué)碩士論文 第二章 視頻采集編碼發(fā)送模塊設(shè)計(jì) 10 等）、 DVS（數(shù)字視頻服務(wù)器）和無線接入設(shè)備。 其中 R99/R4 可以提供 384kbps 上行最高傳輸速度和下行 2Mbps 最高速度，在隨后的 R5（ HSDPA）和 R6（ HSUPA）分別強(qiáng)化了 R99/R4 版本的下行與上行最大速度，分別達(dá)到 和 ， R5 與 R6 合稱為 WCDMA 的 HSPA 版本。 ?鏈路 控制協(xié)議（ LinkControl Protocol， LCP）：用于建立、配置、測(cè)試和管理數(shù)據(jù)鏈路連接。 2． PPP 協(xié)議 PPP（ Point