【正文】 達芬奇處理器 TMS320DM6446 的 Monta Vista Linux 內核為視頻硬件接入提供了專門的視頻驅動接口，視頻輸入驅動 V4L2(Video for Linux Two)。用來同步線程初始化的 Rendezvous 目標打開，然后根據(jù)命令行所傳遞的參數(shù)建立處理線程，最后是調用控制線程的主函數(shù) ctrlThrFxn()轉入控制線程。首先清除線程環(huán)境是調用 Dmai_clear()函數(shù)完成，再解析命令行的參數(shù)，根據(jù)命令行參數(shù)設置現(xiàn)成的環(huán)境變量。圖 所示為整體流程圖。 系統(tǒng)整體框架終端圖像采集與處理軟件的設計主要有主線程、控制線程、視頻線程和音頻線程幾個主要模塊。幸而 Linux 作為一個開源系統(tǒng)，不僅內核支持眾多設備驅動，而且許多程序愛好者也提供驅動支持，這樣就避免了編寫驅動的大量繁瑣工作。本系統(tǒng)設計了兩個USB接口（主口和從口），但是主口和從口不能同時工作（TMS320DM6446處理器只設計了一個 USB控制器），所以需要有選擇設備——ID信號。一個線性控制器（LDO）能提供 300mA 電流，輸出電壓也具有可調節(jié)性（），它的這種特性很適合給低功率系統(tǒng)供電 ????。 AIC33I2C 從設備地址與MPF0 ，MPF1的對應關系MPF0 MPF1 AIC33設備地址24 / 480 0 00110000 1 00110011 0 00110101 1 0011011 其他模塊 電源管理整個系統(tǒng)所需要的電源有以下四種：（1）外部輸入的系統(tǒng)電壓 5V，此電壓還需要轉換為其他電壓供其他設備用電；（2）TMS320DM6446 處理器的內核電壓 （電流消耗最多為 875mA）；（3）外設 I/0 接口電壓和 DDR2 內存電壓 （電流需求最多為 600mA）；（4）其他外設電壓 ????。由于設計之中大多數(shù)模塊都是基于 I2C 總線的，所以本音頻處理模塊的用于寄存器配置的串行總線控制也采用 I2C（支持 100KHz 的標準速率和 400KHz 的高速速率）總線控制并支持 12C 協(xié)議，表 為 ASP 接口的管腳定義。另外它的數(shù)?？刂破鳎―AC）和模數(shù)控制器（ADC）支持8KHz96KHz 的多頻率采樣，AIC33 芯片不止于使用一種電壓，有各種各樣的電壓，包括 到 的模擬電壓， 和 的數(shù)字內核電壓以及 和 的數(shù)字 I/O 電壓。23 / 48 音頻模塊音頻模塊可以說是嵌入式視頻系統(tǒng)必須要具備的組件塊，采用由 TI 生產的立體聲編解碼芯片 TLV320AIC33 來完成音頻信號的采集及播放功能，該芯片具有多個輸入和可編程輸出端口，TLV320AIC33 的功耗也比較低，特別適合在嵌入式系統(tǒng)中應用。由于多個模塊的共用特性， NAND Flash 的命令鎖存使能信號(CLE)和地址鎖存使能信號(ALE)由 EMIFA 口選用的未復用的地址信號（EMIFA 的 A2 和 A1）來充當，這樣就可以避免系統(tǒng)從 NAND Flash 啟動時 Boot loader 影響到其他模塊。NAND Flash 主要用于存儲系統(tǒng)中數(shù)據(jù)和啟動代碼的存儲，TMS320DM6446 的 ARM 內核在 ARM ROM 的支持下從 NAND Flash 的片選 2 啟動。DDR2 高速的外部存儲器可以完成以下功能：（1）對輸入的視頻圖像數(shù)據(jù)進行存放（2）對視頻處理前端（VPFE）中數(shù)據(jù)的過程存儲進行處理和恢復（3）對視頻編解碼算法執(zhí)行過程中的中間數(shù)據(jù)起緩沖作用（4）對 ARM 和 DSP 兩邊的可執(zhí)行代碼進行存儲。DDR2 DARAM 內的每一個時鐘都具有 4 倍于外部總線的讀/寫數(shù)據(jù)的速度，DDR2 可以支持 400MHz，533MHz，667MHz 的數(shù)據(jù)傳輸率，能夠實現(xiàn)更高的運行頻率與系統(tǒng)帶寬。選擇芯片需要經過綜合考慮，例如所選 DDR2 芯片最起碼需要有能夠與DM6446 的 DDR2 控制實現(xiàn)引腳間的完全兼容的 16 位字長的數(shù)據(jù)總線接口，經過各方面的評價考慮，Micron 的 MT47H64M16BT 型號的 DDR2 芯片為設計所用，并且采用 2 片（一片作為數(shù)據(jù)總線的低 16 位，一片作為高 16 位）MT47H64M16BT 型號的 DDR2 芯片來實現(xiàn) 32 位字長、256MByte 的 DDR2 設計，此芯片能夠與TMS320DM6446 的地址信號線、控制信號線、數(shù)據(jù)信號線等全部相連，連接示意圖如圖 所示 ????。DDR2 控制器的引腳及其功能描述如表 所示。大小為 64MB，這部分空間主要存儲嵌入式 Linux 操作系統(tǒng)內核和內核引導程序 UBoot，用于系統(tǒng)的引導。TMS320DM6446 處理器不僅集成了 DDR2 存儲器控制器，而且還支持 NOR Flash、NAND Flash 以及 SRAM 外部存儲器接口的擴展。當所有數(shù)據(jù)讀取完成之后，I2C 總線的主設備 TMS320DM6446 對最后數(shù)據(jù)的接收不產生應答。D M 6 4 4 6 起始條件D M 6 4 4 6 起始條件發(fā)出 s l a v e s 地址發(fā)出 s l a v e s 地址寄存器地址寄存器地址發(fā)送數(shù)據(jù)發(fā)送數(shù)據(jù)停止位停止位T V P 5 1 4 6 應答T V P 5 1 4 6 應答T V P 5 1 4 6 應答T V P 5 1 4 6 應答T V P 5 1 4 6 應答T V P 5 1 4 6 應答T V P 5 1 4 6 應答T V P 5 1 4 6 應答有有有有無無無無開始開始結束結束 TVP5146初始化寫作TVP5146 寫數(shù)據(jù)流程20 / 48如 流程圖顯示了 I2C 總線的主設備 TMS320DM6446 初始化視頻解碼芯片TVP5146 設備的寫操作過程。視頻解碼芯片 TVP5146 寄存器配置如表 所示。基于以上，需要做出一些外部的改變，設計則是在 I2C 總線上分別接入上拉電阻。 TVP5146 與 DM6446 的數(shù)據(jù)通信在 I2C 總線上 TMS320DM6446 是主設備， TVP5146 則是從設備，主設備TMS320DM6446 需要對從設備 TVP5146 進行初始化配置，解碼芯片 TVP5146 的地19 / 48址為 0x5D。圖 像 采 集 模 塊V I _ 2 _ CV I _ 1 _ C低通濾波器視輸入頻圖 TVP5146 與 DM6446 硬件連接圖系統(tǒng)的視頻模擬信號經過 TVP5146 解碼器轉換成數(shù)字視頻信號后，以YCbCr4:2:2 視頻輸入格式傳入 DM6446 的 CCDC， CCD 控制器根據(jù)輸入的PCLK、HS、VS 同步信號及視頻流提取視頻的具體信息，并且將得到的視頻信息存儲到視頻處理前端（VPFE ）的緩沖區(qū)進行緩沖。輸入的模擬視頻信號利用配置好的 TVP5146 解碼器轉換為格式為 YCbCr4:2:2 的數(shù)字視頻信號輸18 / 48出。CCD 攝像頭和 TVP5146 視頻解碼芯片之間的輸入方式、操作模式及輸出格式等是通過 I2C 總線配置的。系統(tǒng)選用 TVP5146 視頻解碼芯片完成視頻的模數(shù)（ A/D）轉換，且 TVP5146 一邊接 CCD 攝像頭，一邊連接至 TMS320DM6446 開發(fā)板的 CCDC 接口處，TVP5146 輸出電壓均為 的 l0 位數(shù)字視頻信號、獨立的垂直同步信號（VS）、水平同步信號（HS）和像素同步時鐘（DATACLK）。設計采用 TI 公司的 TVP5146 解碼器芯片將視頻信號制式為 PAL、NTSC 和 SECAM模擬視頻信號轉換成格式為 的 YUV 數(shù)字視頻信號。N A N DF L A S HD D R 2S D R A MU S B 2 . 0+ 5 VI N P U TE M I FD D R 2U S BP O W E RU A T 0U A R T 1V i d e o i nV i d e o o u tP L L SW i r e l e s s M o d e lR S 2 3 2C C DC V B S / VG AC R Y S T AL / O S CW i r e l e s s I n t e r f a c e 系統(tǒng)接口圖設計是將 CCD 攝像機采集到的模擬視頻信號傳入到視頻解碼芯片 TVP5146 內，在 TVP5146 內進行模/數(shù)(A/D)轉換輸出符合 標準的 ITU 制式的數(shù)字視頻信號，然后經過 CCDC 接口傳到 TMS320DM6446 處理器的視頻處理子系統(tǒng)（VPSS ）17 / 48的進行預處理，經過 Codec Engine 調用 DSP 中視頻編碼算法進行處理后通過 總線端口送入 3G 傳輸芯片，進行網絡傳輸。R S 2 3 2串口D D R 2 S D R A MD A N D F L A S HD M 6 4 4 6C C D 攝像機視頻處理芯片音頻輸入 / 出音頻處理芯片電源模塊時鐘模塊U S B接口3 G 網卡J T A G 系統(tǒng)硬件結構圖硬件主要包括以下幾個部分：1 視頻采集模塊、2 音頻處理模塊、3 數(shù)據(jù)存儲模塊、4 電源模塊、5 時鐘模塊、6 其他模塊。開始開始采集 N 幀背景采集 N 幀背景采集一幀采集一幀運算并分離前景運算并分離前景獲得區(qū)塊及坐標獲得區(qū)塊及坐標延時 t延時 t傳一幀到中心做背景傳一幀到中心做背景傳至中心傳至中心繼續(xù)繼續(xù)結束結束融合融合恢復場景原貌恢復場景原貌背景更新背景更新已延時 T（ T t ）已延時 T（ T t ）YNNY圖 圖像分割算法流程圖16 / 483 圖像終端硬件設計 系統(tǒng)框圖系統(tǒng)利用的是 TI 公司推出的 DaVinci 系列芯片 TMS320DM6446 的雙核架構特性，ARM 是 HOST 控制整個外圍部分,如：視頻編解碼、外圍器件的控制與操作、網絡通信的控制及 DSP 算法調用等，在 DSP 端進行視頻圖像處理算法的編解碼。因此傳輸?shù)倪^程中只需傳輸定點坐標和矩形區(qū)域的圖像即可，其中閾值的選取要通過具體的環(huán)境在實驗中得到確定。當 4 個邊都停止的時候，所圈定的矩形區(qū)域就是目標所在的區(qū)域。目標區(qū)域選取的策略采取腐蝕法，即：圖像的 4 個邊界為 K(其余部分記為 K’)，從圖像的四周向中心進行收縮，將與K 相鄰但屬于 K’的點都歸屬于 K，一次收縮記為 K(1)，n 次收縮記為 K(n)。 ()f目標區(qū)域選擇算法只需在目標提取的基礎上，依據(jù)處理過的像素點的某些信息15 / 48確定每一點是否為目標上的點。設 , ， 是序列圖像中相鄰的 3 幀，則1()fxy2()f3(,)fxy1,212323, 11,22,32,3(,)(,)x()01DfyfyDTBxy???????） =） ）其 他 (y）其 他 ， 分別為閾值，令1T2 1,22,3(x,)()()IyBxx??則只有 =1， =1 時，才有 =1。幀差法即從固定背景圖象中差分分離出運動對象，其基本思想是將當前每一幀圖像與事先存儲或者實時得到的背景圖像相減，若像素差值大于某一閾值，則判定此像素為出現(xiàn)在運動目標上的，且相減的閾值操作后得到的結果直接給出了目標的位置、大小、形狀等信息，表示方法如式 ?？紤]到遠程督導系統(tǒng)背景環(huán)境的相對穩(wěn)定性，以及要求視頻傳輸?shù)膶崟r性，設計采用幀差法用作圖像分割。 圖像分割算法視頻運動對象分割是將視頻序列中人們感興趣的運動物體從靜止的背景中分離出來,有著廣泛的應用前景。預測以后將預測值(P) 和原生值進行比較得到殘差值 Dn，對殘差值 Dn 進行變換（T） 、量化（Q） 、重排序、熵編碼，形成視頻碼流傳到網絡抽象層（NAL）進行傳輸或者保存解碼。13 / 48控制數(shù)據(jù)視頻編碼層 （ V A L ）數(shù)據(jù)劃分網絡抽象層 （ N A L ）H . 3 2 0M P 4 F F M P E G 2 . . .編碼后的宏塊編碼后的片 / 分區(qū)圖 的框架圖編碼器的視頻編碼層（VAL）使用的是混合（變換和預測）編碼方法，幀內預測就是利用周圍已經編碼的像素進行預測從而減少空間上的冗余，幀間預測則是利用上一時刻編碼的像素進行預測從而減少信息時間上的冗余。每個 NAL 單元包含原字節(jié)序列負載（RBSP ） ，接著一組數(shù)據(jù)對應的編碼視頻數(shù)據(jù)或 NAL 頭信息。視頻編碼層采用基于塊的混合編碼方法，通過幀間預測來減少運動圖像時域上的相關信息，通過對預測殘差進行正交變換來減少運動圖像空間上的相關信息。在網絡適應性方面， 標準增加了差錯回復能力，其碼流結構能夠很好的適應 IP 和無線網絡的應用，也給設計的實現(xiàn)帶來了方便 ???。但是它的簡潔設計“回歸基本” ，不僅對信道的適應能力加強，而且還使其壓縮性能比 好很多；為了方便處理誤碼和丟包，“網絡友好”的結構和語法為之所用；而且它能滿足不同解析度、速率和傳輸（存儲）方面的要求，所以擁有更廣泛的應用目標；另外，它還有一大優(yōu)勢是開放的基本系統(tǒng)，任何人都可以使用沒有版權。為了克服這些難題，國際標準化組織 ISO/IEC 和 ITU 聯(lián)手制定了視頻編解碼新標準——。從最初的 視頻編碼到 、 以及