【導(dǎo)讀】早期的可視電話(huà)基于公共電話(huà)交換網(wǎng)，但由于傳輸速率不能滿(mǎn)足高性。能視頻通信的要求，已經(jīng)逐步退出了歷史舞臺(tái)。成本；在軟件設(shè)計(jì)方面，充分使用了“自頂向下，逐步細(xì)化”的分層設(shè)計(jì)方法，將軟件分解為應(yīng)用層、中間件和底層，這使其具有了很強(qiáng)的可移植性和擴(kuò)展性，的多線(xiàn)程機(jī)制也為電話(huà)終端中音視頻相關(guān)的多個(gè)任務(wù)的并發(fā)執(zhí)行搭建了平臺(tái)?？梢曤娫?huà)從概念提出、技術(shù)發(fā)展到市場(chǎng)啟動(dòng)，經(jīng)歷了種種坎坷和曲折。在中國(guó)，可視電話(huà)市場(chǎng)長(zhǎng)期處于雷聲大、雨點(diǎn)小的境地，市場(chǎng)遲遲未能啟動(dòng)。用，而可視電話(huà)恰恰就處于這不幸的行列。1964年，美國(guó)貝爾實(shí)驗(yàn)室正式提出可視電話(huà)的相關(guān)。但是，由于傳統(tǒng)網(wǎng)絡(luò)和通信技術(shù)條件的限制，可視電話(huà)一直沒(méi)有取得實(shí)質(zhì)。直到80年代后期，隨著芯片技術(shù)、傳輸技術(shù)、數(shù)字通信、視頻編解碼。出水面，走向人們的視野。電話(huà)只能是無(wú)源之水、無(wú)本之木。語(yǔ)音和圖像在傳輸時(shí)，必須經(jīng)過(guò)壓縮編

　　

【正文】 N1 2R 802 1K1 2R 8058R ( 1% )1 2R 803 1K1 2R 8068R ( 1% )AVSS01nELCS2EECS3EESK4EEDATAOUT5EEDATAIN6nCHIPSEL7DVSS18DVDD19DVSS1A10DMARQ211nDMACK212DMARQ113nDMACK114DMARQ015nDMACK016nCSOUT17SD1518SD1419SD1320SD1221DVDD222DVSS223SD1124SD1025S D 926S D 827nM E M W28nM E M R29I N T R Q 230I N T R Q 131I N T R Q 032nI O C S 1633nM E M C S 1634I N T R Q 335nS B H E36S A 037S A 138S A 239S A 340S A 441S A 542S A 643S A 744S A 845S A 946S A 1047S A 1148nR E F R E S H49S A 1250SA1351SA1452SA1553SA1654DVSS355DVDD356DVSS3A57SA1758SA1859SA1960nIOR61nIOW62AEN63IOCHRDY64SD065SD166SD267SD368DVDD469DVSS470SD471SD572SD673SD774RESET75nT E S T76nS L E E P77nB S T A T / nH C 178D I +79D I 80C I +81C I 82DO+83DO84AVDD285A V S S 286T X D +87T X D 88A V S S 189AVDD190R X D +91R X D 92R E S93A V S S 394AVDD395A V S S 496X T A L 197X T A L 298nL I N K E D / nH C 099nL A N L E D100U 803C S 8900A C Q 3V D D 33V D D 33V D D 33V D D 33V D D 33V D D 33LINKLAN(10BT_RD)(10BT_RD+)(10BT_TD)(10BT_TD+)nW A I TnG C S 3R E S E TL nW B E 1E I N T 9L A D D R 0L A D D R 1L A D D R 2L A D D R 3L A D D R 4L A D D R 5L A D D R 6L A D D R 7L A D D R 8L A D D R 9L A D D R 10L A D D R 11L A D D R 12L A D D R 13L A D D R 14L A D D R 15L A D D R 16L A D D R 17L A D D R 18L A D D R 19LDATA0LDATA1LDATA2LDATA3LDATA4LDATA5LDATA6LDATA7L D A T A 8L D A T A 9LDATA10LDATA11LDATA12LDATA13LDATA14LDATA15T D +1T D 2C T T3C H S G N D4C H S G N D5C T R6R D +7R D 8C O N 801R J 45nM E M RnM E M WT D +T D R D +R D nI O R _PnI O W _PV e r s io n 1 .0 βE T H E R N E T9 / 1 4 圖 以太網(wǎng)接口 30 第四章 S3C2440 的 IP 可視電話(huà)軟件設(shè)計(jì) 第二章給出的軟件設(shè)計(jì)方案中將整個(gè)軟件自頂向下地設(shè)計(jì)成三個(gè)部分：應(yīng)用層、中間件和底層，使軟件結(jié)構(gòu)清晰、層次分明、易于理解。其中，應(yīng)用層實(shí)現(xiàn)了可視 IP 電話(huà)具體的視頻通信功能；中間件是特指一些函數(shù)庫(kù)和軟件模塊，它們通過(guò)調(diào)用底層硬件驅(qū)動(dòng)程序，為應(yīng)用層提供了一系列簡(jiǎn)潔的訪問(wèn)底層硬件的接口，使應(yīng)用層不需要了解驅(qū)動(dòng)層接口的細(xì)節(jié)就能快速實(shí)現(xiàn)特定的功能；底層軟件包括 Bootloader 和 Linux 內(nèi)核，內(nèi)核中的設(shè)備驅(qū)動(dòng)程序?yàn)橹虚g件 提供了訪問(wèn)硬件設(shè)備的接口，底層軟件一般通過(guò)移植的方式實(shí)現(xiàn)，在第三章的硬件測(cè)試中已經(jīng)詳細(xì)討論。本章主要闡述中間件和應(yīng)用層軟件的設(shè)計(jì)與實(shí)現(xiàn)。 軟件總體設(shè)計(jì) 軟件總體設(shè)計(jì)包括中間件和應(yīng)用層軟件的設(shè)計(jì)。前者包括四個(gè)軟件模塊：視頻采集和顯示模塊、視頻編解碼模塊、音頻采集和播放模塊和網(wǎng)絡(luò)實(shí)時(shí)傳輸模塊，它們?yōu)閼?yīng)用層軟件提供了音視頻處理和收發(fā)網(wǎng)絡(luò)數(shù)據(jù)包的函數(shù)接口；后者即為主程序設(shè)計(jì)，實(shí)現(xiàn)了視頻采集編碼后發(fā)送、視頻接收解碼后顯示、音頻采集和發(fā)送以及音頻接收和播放四個(gè)任務(wù)的并發(fā)執(zhí)行，滿(mǎn)足了可視 IP 電話(huà)終端一邊采集己方 音視頻從網(wǎng)絡(luò)發(fā)送，一邊從網(wǎng)絡(luò)接收對(duì)方音視頻播放和顯示的需求。下面幾節(jié)將詳細(xì)闡述了中間件和應(yīng)用層軟件的實(shí)現(xiàn)。 視頻采集和顯示模塊 視頻采集和顯示模塊基于 Linux 的 V4L2(Video 4 for Linux 2，一種 Linux 視頻編程接口 )架構(gòu)實(shí)現(xiàn)，包括采集和顯示兩個(gè)子模塊。 V4L2 架構(gòu) V4L2 是 Linux 提供的一個(gè)視頻處理編程接口，包括視頻的采集和顯示、大小調(diào)整、顏色空間的轉(zhuǎn)換等處理，針對(duì)開(kāi)發(fā)視頻應(yīng)用軟件的工程師來(lái)說(shuō)，只需使用這些接口就可快速的實(shí)現(xiàn)視頻采集和顯示等功能。整 體架構(gòu)如圖 所示， V4L2 通過(guò)調(diào)用 CSI、 I2C、預(yù)前處理器 PrP、后處理器 PP 和 LCDC 等硬件模塊驅(qū)動(dòng)，為上層應(yīng)用提供了視頻捕獲和視頻顯示的編程接口。 視頻采集和顯示模塊的實(shí)現(xiàn) 視頻采集模塊的流程如圖所示，整個(gè)過(guò)程通過(guò)調(diào)用 V4L2 編程接口實(shí)現(xiàn)，首先打開(kāi)采集設(shè)備并適當(dāng)?shù)脑O(shè)置采集格式和幀率以及需要采集的圖像數(shù)，然后分配 31 存放采集圖像的幀緩沖區(qū)并開(kāi)始采集，采集完一幀之后將結(jié)果移到幀緩沖區(qū)中，直至采集完所有的圖像幀之后再關(guān)閉視頻采集設(shè)備。顯示模塊的流程與之類(lèi)似，只是操作對(duì)象變成了視頻顯示設(shè)備，主要 有 2 處不同：首先，需要設(shè)置輸出圖像的裁剪范圍，因?yàn)檩敵?LCD 的大小可能和需要顯示的圖像的大小不一致，需要將待顯示的圖像裁剪成 LCD 的大??；其次，需要設(shè)置一幀圖像在 LCD 上顯示時(shí)間。 結(jié)合模塊封裝思想，筆者實(shí)現(xiàn)了視頻采集和顯示模塊，采集模塊包括頭文件mxc_v4 和實(shí)現(xiàn)文件 ，前者用于相關(guān)常量和結(jié)構(gòu)體的定義以及函數(shù)的聲明，后者定義了前者聲明的函數(shù)；顯示模塊也由頭文件 和實(shí)現(xiàn)文件 組成。 打 開(kāi) 視 頻 采 集 設(shè) 備設(shè) 置 視 頻 采 集 的 格 式在 內(nèi) 核 中 請(qǐng) 求 圖 像 緩 沖 區(qū) ， 并 通過(guò) 內(nèi) 存 機(jī) 制 將 其 映 射 到 用 戶(hù) 空 間將 申 請(qǐng) 的 內(nèi) 存 加 入 到視 頻 采 集 隊(duì) 列啟 動(dòng) 視 頻 采 集將 采 集 到 的 視 頻 圖 像 從 內(nèi) 核 轉(zhuǎn) 移到 閾 值 有 映 射 關(guān) 系 的 用 戶(hù) 空 間采 集 視 頻停 止 采 集 圖 視頻采集流程圖 usb 攝像頭驅(qū)動(dòng)，需要 usb 驅(qū)動(dòng)（ host 端的 usb 驅(qū)動(dòng)）的支持，也就是說(shuō)，要先安裝 usb 驅(qū)動(dòng)，然后安裝攝像頭驅(qū)動(dòng)，好在新版本的 linux 內(nèi)核都已經(jīng)支持usb 設(shè)備了，在 makemenu 的時(shí)候，選中進(jìn)行配置。 usb攝像頭通過(guò)傳感器獲取圖像數(shù)據(jù)信息，經(jīng)過(guò)編碼過(guò)程，最后到達(dá) usb 控制器，最后傳輸?shù)? pc host。在傳輸?shù)?pc host 中是要用到 urb（ usb請(qǐng)求塊）和 usb 設(shè)備進(jìn)行通信。 32 v4l 是 linux 中提供的一個(gè)音 視頻接口規(guī)范，所有的音視頻設(shè)備的驅(qū)動(dòng)編寫(xiě)要用的這些接口，例如： (1)程序中定義的數(shù)據(jù)結(jié)構(gòu) struct video_capability grab_cap。 struct video_picture grab_pic。 struct video_mmap grab_buf。 struct video_mbuf grab_vm。 這些數(shù)據(jù)結(jié)構(gòu)都是 Video4Linux 支持的，它們的用途 如下： ◆ video_capability 包含攝像頭的基本信息，例如設(shè)備名稱(chēng)、 支持的最大最小分辨率、信號(hào)源信息等，分別對(duì)應(yīng)著結(jié)構(gòu)體中成員變量 n a m e [ 3 2 ] 、 m a x w i d t h 、 maxheight、 minwidth、 minheight、 channels(信號(hào)源個(gè)數(shù) )、 type 等； ◆ video_picture 包含設(shè)備采集圖象的各種屬性，如 brightness(亮度 )、hue(色調(diào) )、 contrast(對(duì)比度 )、 whiteness(色度 )、 depth(深度 )等 。 ◆ video_mmap 用于內(nèi)存映射； ◆ video_mbuf 利用 mmap 進(jìn)行映 射的幀信息，實(shí)際上是輸入到攝像頭存儲(chǔ)緩沖中的幀信息，包括 size(幀的大小 )、 frames(最多支持的幀數(shù) )、 offsets(每幀相對(duì)基址的偏移 )。 在 Iinux 系統(tǒng)下開(kāi)發(fā)符合 VideoforLinux 標(biāo)準(zhǔn)的 USB 攝像頭驅(qū)動(dòng)的方法，并對(duì)該標(biāo)準(zhǔn)提出“不間斷采集”的改進(jìn)思路，配合雙 URB、雙幀緩沖等方法，提高采集速度。 Linux 設(shè)備驅(qū)動(dòng) USB 攝像頭 VideoforLinux 不間斷采集 USB攝像頭以其良好的性能和低廉的價(jià)格得到廣泛應(yīng)用。同時(shí)因其靈活、方便的特性，易于集成到嵌入式系統(tǒng)中。但是如果使用現(xiàn)有的符 合 VideoforLinux 標(biāo)準(zhǔn)的驅(qū)動(dòng)程序配合通用應(yīng)用程序，難以充分利用 USB 帶寬，幀速不高，不易滿(mǎn)足實(shí)時(shí)監(jiān)控等要求。本文首先介紹在 Linux 系統(tǒng)下 USB 攝像頭驅(qū)動(dòng)編制的一般方法，然后說(shuō)明在此基礎(chǔ)上如何提高幀速。 Linux系統(tǒng)中的 USB 攝像頭驅(qū)動(dòng)程序 USB 設(shè)備驅(qū)動(dòng)程序完全符合通用設(shè)備驅(qū)動(dòng)的準(zhǔn)則，不同的是內(nèi)核提供了一些特別的 API 函數(shù)，方便驅(qū)動(dòng)注冊(cè)、銷(xiāo)毀自己，例如 usb_reSister()和usb_dereSister()； 2． 4版的內(nèi)核還提供了對(duì)于 hotplug 的支持。 33 USB 攝像頭驅(qū)動(dòng)的 一般編寫(xiě)方法 攝像頭屬于視頻類(lèi)設(shè)備。在目前的 Linux 核心中，視頻部分的標(biāo)準(zhǔn)是VideoforLinux(簡(jiǎn)稱(chēng) V4L)。這個(gè)標(biāo)準(zhǔn)其實(shí)定義了一套接口，內(nèi)核、驅(qū)動(dòng)、應(yīng)用程序以這個(gè)接口為標(biāo)準(zhǔn)進(jìn)行交流。目前的 V4L 涵蓋了視、音頻流捕捉及處理等內(nèi)容， USB 攝像頭也屬于它支持的范疇。 因此， USB 攝像頭的驅(qū)動(dòng)應(yīng)當(dāng)與內(nèi)核提供的視頻驅(qū)動(dòng)掛鉤。即首先在驅(qū)動(dòng)中聲明一個(gè) video_device 結(jié)構(gòu)，并為其指定文件操作函數(shù)指針數(shù)組． fops，向系統(tǒng)注冊(cè)。在應(yīng)用程序發(fā)出文件操作的相關(guān)命令時(shí)，核心根據(jù)這些指針調(diào)用相應(yīng)函數(shù)，并將該結(jié)構(gòu)作 為參數(shù)傳遞給它們。這樣，就完成了驅(qū)動(dòng)和核心之間的通信。例如： staticstructvideo_devicevdev_template＝ {?? }； ／／聲明 video_device，指出掛接驅(qū)動(dòng) staticstructfile_operationsov511_fops＝ {?? }； ／／聲明本驅(qū)動(dòng)的文件操作函數(shù)指針 structvideo_device*vdev＝ video_devdata(file)； ／／從文件指針中提取出 video_device 結(jié)構(gòu) 在 video_device 結(jié)構(gòu)中，有一個(gè)私有指針 priv，可以將它指向一塊保留內(nèi)存。在這塊內(nèi)存中，保存著本驅(qū)動(dòng)、本設(shè)備的相關(guān)初始化信息。這塊內(nèi)存的申請(qǐng)、初始化、指針指向等工作都是在 USB 驅(qū)動(dòng)的枚舉函數(shù) .probe 中完成。這樣，在枚舉函數(shù)將控制權(quán)返還給系統(tǒng)后，因?yàn)閮?nèi)核不銷(xiāo)毀保留內(nèi)存，所以驅(qū)動(dòng)