【文章內(nèi)容簡介】 ，自帶 數(shù)字?jǐn)z像機(jī)單元，支持外接模擬攝像機(jī)，作為備用功能，此模式也支持有線網(wǎng)口接出，也支持無線報(bào)警。 第 8 頁 移動(dòng)視頻采集平臺(tái)采用高性能 DSP 芯片，并集成 GPRS/EDGE/CDMA/3G 芯片及周邊模塊，設(shè)計(jì)為一個(gè)一體化的產(chǎn)品板，在 DSP 中將數(shù)字化攝像機(jī)輸入的視頻通過 AVS算法編碼壓縮，通過 GPRS/EDGE/CDMA/3G 部分無線傳輸?shù)街行姆?wù)器，并且集成報(bào)警芯片，無線報(bào)警信息也通過 GPRS/EDGE/CDMA/3G 模塊無線傳輸?shù)街行姆?wù)器。 移動(dòng)視頻采集平臺(tái) 硬件設(shè)計(jì)框架圖如下： 采集平臺(tái)硬件結(jié)構(gòu)框架圖中 DSP 為平臺(tái) 核心，負(fù)責(zé)平臺(tái)程序調(diào)度、運(yùn)算和處理；CCD 數(shù)字?jǐn)z像頭負(fù)責(zé)采集視頻信息，并送往 DSP 處理； FLASH 存儲(chǔ)器中為應(yīng)用程序、驅(qū)動(dòng)程序等，在平臺(tái)加電后 DSP 就從 FLASH 存儲(chǔ)器中讀取應(yīng)用程序和驅(qū)動(dòng)程序進(jìn)行后續(xù)處理； SDRAM 中保存壓縮的視頻緩沖數(shù)據(jù)和未壓縮的視頻數(shù)據(jù)，并經(jīng) DSP 將壓縮后的視頻數(shù)據(jù)送往串口或網(wǎng)口；本平臺(tái)支持 RT45 網(wǎng)絡(luò)輸出，可以直接連接網(wǎng)線將數(shù)據(jù)送往中心服務(wù)器；本平臺(tái)支持兩個(gè)串口，串口一（ COM1）連接 PC 機(jī)以后，作為平臺(tái)系統(tǒng)參數(shù)設(shè)置通道，串口 2（ COM2）連接移動(dòng)通信模塊（ GPRS/EDGE/CDMA1X/3G），將數(shù)據(jù)送往中心服務(wù)器；復(fù)雜可編程邏輯器件（ CPLD）可以快速地配置其它外設(shè)應(yīng)用，和其它傳感設(shè)備的進(jìn)行輸入輸出（ I/O）信息交互，譬如電器控制、報(bào)警信息、溫度濕度等。 ● 服務(wù)器子系統(tǒng) 服務(wù)器子系統(tǒng)為采集前端和播放終端之間的橋梁，包括系統(tǒng)管理平臺(tái)、數(shù)據(jù)庫、直播服務(wù)器、流媒體服務(wù)器、應(yīng)用服務(wù)器等。 ● 播放終端子系統(tǒng) 播放終端子系統(tǒng)主要作為視頻觀看，觀看的內(nèi)容都是從服務(wù)器系統(tǒng)而來，所以觀看端如果用計(jì)算機(jī)，音視頻可以來源于有線網(wǎng)采集和無線網(wǎng)采集，觀看端如果用移動(dòng) 第 9 頁 終端（即手機(jī)），音視頻也可以來源于有 線網(wǎng)采集和無線網(wǎng)采集。 PC 播放端功能流程如下圖所示： 手機(jī)播放端功能流程如下圖所示： 第 10 頁 （ 2）項(xiàng)目 工藝的合理性 和成熟性 ● 目前公司具備的生產(chǎn)條件： ① 公司目前有軟硬件項(xiàng)目實(shí)施團(tuán)隊(duì) 26 人，開發(fā)設(shè)備 萬元；開發(fā)用主服務(wù)器 6 臺(tái)，配置為： SUN Fire V880， 4CPU+磁盤陣列， 900MHz UltraSPARC III 處理器、 4GByte 內(nèi)存；項(xiàng)目服務(wù)器 3 臺(tái)，配置為： SUN Blade 2020 工作站 900MHz 處理器、 1GByte 內(nèi)存； 開發(fā)用 PC機(jī) 65臺(tái)，基本配置為：單 CPU Intel 體系 PC機(jī)， Intel P4 處理器、 512MByte 內(nèi)存；開發(fā)辦公用筆記本電腦 32 臺(tái)，基本配置為：單CPU Intel 體系， Intel P4/Centrino 處理器、 512MByte 內(nèi)存、 60G 硬盤；數(shù)據(jù)通信設(shè)備： 10 部 100M 以太網(wǎng)交換機(jī)，路由器、同 /異步 DDN 或 MODEM 及各種轉(zhuǎn)換接口卡等；調(diào)式設(shè)備： 200M 通用示波器 6臺(tái)， 300M 示波器 2臺(tái)；還有部分開發(fā)用手機(jī)、攝像機(jī)等。 ② 生產(chǎn)場地及配套：公司目前有軟硬件開發(fā)的場地海口成都兩地 1000 平方米 ，配套設(shè)施齊全。本項(xiàng)目采用軟件自主開發(fā)、批量委托生產(chǎn)、公司負(fù)責(zé)檢測和品質(zhì)管理的方式進(jìn)行，現(xiàn)有場地完全能夠保證生產(chǎn)需要，無需新增基建設(shè)施。 第 11 頁 ③ 環(huán)境保護(hù)及勞動(dòng)防護(hù)：本項(xiàng)目生產(chǎn)過程安全環(huán)保，對(duì)環(huán)境不會(huì)造成污染。生產(chǎn)過程無需特殊防護(hù)。 ● 生產(chǎn)工藝流程 ： 本項(xiàng)目為軟件產(chǎn)品，無生產(chǎn)工藝流程。硬件產(chǎn)品，采用我公司研發(fā)，外協(xié)批量生產(chǎn)的方式。 本項(xiàng)目的生產(chǎn)方式是，公司進(jìn)行所有軟件開發(fā)，完成產(chǎn)品外觀設(shè)計(jì)，委托外協(xié)加工，公司負(fù)責(zé)測試和品質(zhì)管理。 硬件加工過程為我公司設(shè)計(jì) PCB 圖，委托外部加工，完成 的電路板在公司進(jìn)行軟硬件調(diào)試，調(diào)試正常并修改后定版，再委托外部合作方進(jìn)行批量生產(chǎn)，公司建立產(chǎn)品標(biāo)準(zhǔn)，負(fù)責(zé)檢測及品質(zhì)管理，批量生產(chǎn)后，嵌入式軟件在我公司灌注并進(jìn)行測試。 ● 成熟性 ① 嵌入式視頻采集端硬件開發(fā) 嵌入式視頻采集端涉及到的技術(shù)環(huán)節(jié)有視頻采集、視頻數(shù)字化采樣、視頻編碼、存儲(chǔ)器、視頻傳輸?shù)?，在各個(gè)環(huán)節(jié)中，都有成熟的技術(shù)和產(chǎn)品支撐，攝像機(jī)負(fù)責(zé)模擬視頻信號(hào)，經(jīng)過數(shù)字化芯片輸出數(shù)字信號(hào)，再由 DSP 完成視頻編碼，存儲(chǔ)器件存儲(chǔ)程序和視頻的中間及緩沖數(shù)據(jù)， DSP 支持串口和網(wǎng)口輸出，網(wǎng)口輸出可以直接連接到網(wǎng)線 上，串口可以連接到移動(dòng)通信模塊，移動(dòng)通信模塊完成視頻流的遠(yuǎn)程無線傳輸。 在整個(gè)流程中，每個(gè)環(huán)節(jié)的技術(shù)都是經(jīng)過多年市場考驗(yàn)的成熟技術(shù)，所以實(shí)現(xiàn)方式是可行的。 ② 嵌入式視頻編碼算法優(yōu)化移植 在 DSP上進(jìn)行視頻編碼算法有三個(gè)層次，即項(xiàng)目級(jí)優(yōu)化、 C程序級(jí)優(yōu)化、匯編程序級(jí)優(yōu)化。項(xiàng)目級(jí)優(yōu)化就是改變視頻編碼過程中的總體處理流程，譬如針對(duì)網(wǎng)絡(luò)狀況，如果網(wǎng)絡(luò)狀況最多只能每秒 10 幀，則在 DSP 中將每秒 25 幀時(shí)間抽樣為每秒10幀和在進(jìn)入 DSP之前數(shù)字化時(shí)間抽樣為每秒 10 幀的效果是一樣的，但是在進(jìn)入 DSP之 前數(shù)字化時(shí)間抽樣為每秒 10 幀可以大大減輕 DSP 的運(yùn)算負(fù)擔(dān)，這種情況就屬于項(xiàng)目級(jí)優(yōu)化； C 程序優(yōu)化進(jìn)一步，對(duì) C 代碼本身進(jìn)行優(yōu)化處理，譬如變量的重新定義、語言的精簡、循環(huán)方式的改變等；匯編程序級(jí)優(yōu)化更進(jìn)一步，是將編碼算法用結(jié)合DSP 的底層指令系統(tǒng)修改為匯編模式，這種優(yōu)化可以大大提高編碼效率和速度，但這種優(yōu)化算法完成后，如果移植到不同的 DSP 上，就要重新修改。 ③ 流媒體網(wǎng)絡(luò)傳輸技術(shù) 流媒體網(wǎng)絡(luò)傳輸技術(shù)的出現(xiàn)是基于 Inter 上多媒體數(shù)據(jù)的傳輸，初期視頻傳輸技術(shù)是文件下載的方式，要等全部文件下載完 才可以播放，如果下載期間網(wǎng)絡(luò)出現(xiàn)故障或者下載中斷，就沒有辦法觀看，一方面造成網(wǎng)絡(luò)資源浪費(fèi)，另一方面造成觀看人員時(shí)間耽誤，流媒體技術(shù)就是在網(wǎng)絡(luò)上的多媒體信息邊下載邊播放的技術(shù)，不 第 12 頁 用等待下載完畢就可以播放。流媒體技術(shù)在有線網(wǎng)絡(luò)上已經(jīng)獲得巨大的成功，譬如網(wǎng)絡(luò)電視、網(wǎng)絡(luò)視頻等，基于移動(dòng)通信網(wǎng)絡(luò)的視頻傳輸也采用流媒體技術(shù)，其技術(shù)原理是相同的。 ④ 動(dòng)態(tài)碼流控制技術(shù) AVS 的視頻編碼碼流是支持可變碼流的，即碼流帶寬是不固定的（而 MPEG1固定碼流 ），它能夠根據(jù)畫面的復(fù)雜程度和變化程度 來自動(dòng)調(diào)整碼流，在畫面比較復(fù)雜或變化比較劇烈的時(shí)候占用較多的帶寬，保證了畫面質(zhì)量，在畫面比較簡單或靜止的時(shí)候，占用較少的帶寬，節(jié)約了資源。 同時(shí)我們可以隨時(shí)獲取有線網(wǎng)絡(luò)和移動(dòng)通信網(wǎng)絡(luò)的帶寬變化情況，通過變化情況還可以調(diào)整傳輸幀率。 ⑤ 輸入視頻的圖像增強(qiáng) 計(jì)算機(jī)上真彩色數(shù)字圖像的結(jié)構(gòu)是，對(duì)應(yīng)于顯示器上每一個(gè)像素，有紅（ R）、綠（ G）、藍(lán)（ B）三個(gè)分量，每個(gè)分量的值分布在 0~255 之間，所以 24 位真彩色圖像共有 256*256*256 種顏色，但是真實(shí)的數(shù)字圖像如果很暗，有可能 RGB 三個(gè)值的 最大值度遠(yuǎn)遠(yuǎn)達(dá)不到 255，通過歸一化拉伸到 0~255 之間，就通過軟件方法實(shí)現(xiàn)了圖像的對(duì)比度和清晰度增強(qiáng)。 圖像增強(qiáng)有很多成熟的基本方法，在不同的應(yīng)用場合可以采取不同的方法或混合方法，技術(shù)原理成熟，但可以根據(jù)具體情況靈活運(yùn)用。 （ 3） 關(guān)鍵技術(shù)的先進(jìn)性 和效果論述 ① 嵌入式視頻采集端硬件開發(fā) 嵌入式視頻采集前端采取模塊化設(shè)計(jì)，設(shè)備包括三塊電路板，即主板、核心板和接口板。這樣設(shè)計(jì)的目的是為了在共同的核心技術(shù)框架下，針對(duì)不同的應(yīng)用環(huán)境、場合和行業(yè)，可以快速地改裝系統(tǒng)，這樣做一方面可以節(jié)約應(yīng)用開 發(fā)成本，另一方面也可以提高系統(tǒng)穩(wěn)定性。 在線升級(jí)功能，即在沒有采用操作系統(tǒng)的情況下，將采集端的引導(dǎo)程序和應(yīng)用程序分為相對(duì)獨(dú)立的兩個(gè)軟件模塊，引導(dǎo)程序可以保障應(yīng)用程序的遠(yuǎn)程或在線升級(jí)，即使應(yīng)用程序出現(xiàn)問題，也不會(huì)影響引導(dǎo)程序的正常啟動(dòng)和運(yùn)行。 ② 嵌入式視頻編碼算法優(yōu)化移植 AVS 在 DSP 上經(jīng)過三個(gè)層次即項(xiàng)目級(jí)優(yōu)化、 C 程序級(jí)優(yōu)化、匯編程序級(jí)優(yōu)化后， DSP 上 D1（ 704*576）、 CIF（ 352*288）、 QCIF（ 176*144）格式的視頻都可以達(dá)到每秒 25 幀以上的編碼速度。 ③ 流媒體網(wǎng)絡(luò)傳輸技術(shù) 流媒體的傳輸一般采用 RTP/RTSP/RTCP/RTVP 等協(xié)議和技術(shù)，這些傳輸技術(shù)與無線網(wǎng)絡(luò)結(jié)合，就會(huì)出現(xiàn)新的問題和難點(diǎn)，如無線網(wǎng)絡(luò)的帶寬穩(wěn)定性、數(shù)據(jù)丟包等。 第 13 頁 一般情況下， TCP 傳輸?shù)姆€(wěn)定性高于 UDP，但是 UDP 傳輸?shù)乃俣雀哂?TCP，在有線網(wǎng)絡(luò)情況下，因?yàn)閹挿€(wěn)定起伏較小，多媒體傳輸一般采用 UDP 方式，但是移動(dòng)通信網(wǎng)絡(luò)具有帶寬小起伏大的特點(diǎn)，盡管采用 TCP 可以保障傳輸數(shù)據(jù)，但是網(wǎng)絡(luò)的不穩(wěn)定性會(huì)使得傳輸速度大大降低，畫面有可能長時(shí)間不動(dòng)，權(quán)衡利弊，雖然采用 UDP 方式丟包率可達(dá) 10~20%，但是通過 AVS 算法的組包方式，可以在采用 UDP 的情況下，采取區(qū)域補(bǔ)償?shù)霓k法，在利用 UDP 傳輸速度優(yōu)勢(shì)的同時(shí)，提高解碼視頻質(zhì)量，同等視頻質(zhì)量情況下， UDP 和 TCP 相比，速度至少可以提高一倍。 ④ 動(dòng)態(tài)碼流控制技術(shù) 動(dòng)態(tài)碼流控制主要基于網(wǎng)絡(luò)和場景復(fù)雜度兩個(gè)方面進(jìn)行。一方面因?yàn)橐苿?dòng)通信網(wǎng)絡(luò)帶寬小起伏大，如果視頻編碼采用固定碼流傳輸，則網(wǎng)絡(luò)情況不好的時(shí)候會(huì)出現(xiàn)嚴(yán)重的畫面停滯，視頻傳輸?shù)乃俣仍谝欢ǚ秶目炻兓强梢越邮艿?，但長時(shí)間停頓會(huì)嚴(yán)重影響產(chǎn)品效果，為了達(dá)到視覺上視頻傳輸?shù)倪B續(xù)性，隨時(shí)跟蹤網(wǎng) 絡(luò)狀況和帶寬，網(wǎng)絡(luò)狀況好的時(shí)候，可以提高每秒傳輸幀數(shù)，網(wǎng)絡(luò)狀況不好的時(shí)候，適當(dāng)降低每秒傳輸幀數(shù)；另一方面是根據(jù)視頻圖像復(fù)雜度隨時(shí)調(diào)整傳輸幀率，一幀復(fù)雜度高的圖像碼流遠(yuǎn)大于一幀圖像復(fù)雜度低的碼流，在同樣的網(wǎng)絡(luò)狀況下，對(duì)于復(fù)雜度低的視頻段可以提高幀率，對(duì)于復(fù)雜高的視頻段可以降低幀率。在圖像復(fù)雜度和網(wǎng)絡(luò)都變化的情況下，需要權(quán)衡總體傳輸質(zhì)量，獲得較好的圖像復(fù)雜度幀率和網(wǎng)絡(luò)帶寬的折中。 ⑤ 輸入視頻的圖像增強(qiáng) 圖像增強(qiáng)的目的就是對(duì)于攝像機(jī)采集的原始視頻圖像，通過圖像處理的方法，人為處理為更容易判讀、更清 晰的視頻圖像。本項(xiàng)目采用的方法主要是基于直方圖校正，但是在校正的時(shí)候不能破壞圖像本身的顏色比例信息，這樣校正后的圖像更容易判讀、更清晰，并且恢復(fù)其自然色彩。 經(jīng)試驗(yàn)，對(duì)于本來就效果較好的視頻圖像，校正的效果并不明顯，但對(duì)于模糊、霧氣重或黑暗的圖像，圖像增強(qiáng)的效果非常明顯，采用圖像增強(qiáng)技術(shù)，大大地?cái)U(kuò)展了攝像頭的視頻采集能力。 產(chǎn)品技術(shù)性能水平與國內(nèi)外同類產(chǎn)品的比較 （ 1）移動(dòng)通信數(shù)據(jù)終端（ DTU）：國內(nèi)有很多公司在移動(dòng)通信數(shù)據(jù)傳輸模塊，譬如 GPRS/CDMA1X/EDGE 路由器和上網(wǎng)卡等方面已經(jīng)做 了多年的開發(fā)，積累了充足的經(jīng)驗(yàn)，這些產(chǎn)品廣泛地應(yīng)用在遠(yuǎn)程氣象、水文、污染等采集點(diǎn)分散不易布線的數(shù)據(jù)采集領(lǐng)域，通過移動(dòng)通信網(wǎng)絡(luò)將前端采集數(shù)據(jù)發(fā)送到中心服務(wù)器，這種基于移動(dòng)通信網(wǎng)絡(luò)的數(shù)據(jù)傳輸模塊式只是本項(xiàng)目要涉及的一個(gè)部分。 （ 2）視頻采集和壓縮卡：國內(nèi)也有很多公司利用國外公司提供的 DSP 芯片開發(fā)基于 MPEG1/2/4 和 的視頻壓縮卡，有些公司直接采用國外公司已經(jīng)封裝了 第 14 頁 視頻編解碼算法的 DSP 芯片開發(fā)視頻壓縮卡，也有些公司不采用 DSP進(jìn)行視頻壓縮，而是直接用視頻采集模塊開發(fā)視頻采集卡，然后進(jìn)行軟件 形式的 MPEG1/2/4 和 壓縮，這些視頻采集和壓縮卡廣泛地應(yīng)用在有線音視頻傳輸領(lǐng)域，一般通過插入 PC機(jī)的 PCI 接口，這種技術(shù)只是本項(xiàng)目的一個(gè)部分。 （ 3）手機(jī)電視：此處是指完全基于移動(dòng)通信網(wǎng)絡(luò)的流媒體播放技術(shù)，主要有兩大類 :一類是軟件開發(fā)公司自己開發(fā)搭建流媒體服務(wù)器，然后通過移動(dòng)通信網(wǎng)絡(luò)下行到移動(dòng)終端，通過移動(dòng)終端的一個(gè)應(yīng)用程序（譬如基于 Symbian、 BREW、 WinCE、SmartPhone、 PocketPC 等）接受服務(wù)器的流媒體數(shù)據(jù)解碼播放，這種技術(shù)嚴(yán)格講只是一種純軟件的開發(fā)，也是本項(xiàng)目的一 個(gè)部分；另一類是移動(dòng)終端已經(jīng)有一個(gè)現(xiàn)成的流媒體播放器，譬如 MediaPlayer（ Microsoft 公司）、 RealPlayer（ RealNetWorks公司）、 Quick Time Player（ Apple 公司）的手機(jī)版，但是用戶在購買移動(dòng)終端后，還是無法享受流媒體服務(wù)，因?yàn)橐苿?dòng)終端廠商和提供手機(jī)播放器 MediaPlayer、RealPlayer、 Quick Time Player 的公司都是不進(jìn)行終端流媒體內(nèi)容的運(yùn)營的。 （ 4） 和 AVS：本項(xiàng)目的視頻壓縮采用中國自主知識(shí)產(chǎn)權(quán)的標(biāo)準(zhǔn) AVS，一個(gè)標(biāo)準(zhǔn) 的落實(shí)需要產(chǎn)業(yè)化支撐，可以預(yù)計(jì)，在將來的國內(nèi)下一代視頻壓縮技術(shù)領(lǐng)域，將是國際標(biāo)準(zhǔn)和中國標(biāo)準(zhǔn)共存的局面。本項(xiàng)目采用 AVS，一方面可以促進(jìn) AVS 的產(chǎn)業(yè)化規(guī)模，另一方面可以制約 MPEG1/2/4 和 專利費(fèi)的漫天要價(jià)局面，對(duì)國內(nèi)基于MPEG1/2/4 和 視頻壓縮的其他領(lǐng)域的產(chǎn)品和應(yīng)用同樣具有積極的作用，我們的目標(biāo)就是盡可能在達(dá)到相關(guān)技術(shù)性能指標(biāo)的同時(shí)，盡量擴(kuò)大 AVS 在將來視頻壓縮產(chǎn)品和應(yīng)用中的份額