【文章內(nèi)容簡(jiǎn)介】 源碼的方式提供，也就是接受方有權(quán)在修改之后另向第三方提供，對(duì)非商業(yè)用途和商業(yè)用途都是免費(fèi)的。這個(gè)軟件運(yùn)行在使 Intel 架構(gòu)處理器的計(jì)算機(jī)，而操作系統(tǒng)可以是 widows9 202 xp 等。由于 OpenCV的在圖像處理方面的強(qiáng)大能力，本程序主要建立在 OpenCV圖像庫(kù)的基礎(chǔ)上的。 OpenCV 圖像處理庫(kù) OpenCV 是英特爾公司于 1999年在俄羅斯設(shè)立的軟件開(kāi)發(fā)中心“ Software Development Center”開(kāi)發(fā)的，該公司一直致力于基于個(gè)人電腦的計(jì)算機(jī)視覺(jué)應(yīng)用的開(kāi)發(fā)，可以實(shí)時(shí)追蹤的視覺(jué)用戶(hù)接口技術(shù)的普及為目標(biāo)。初步擬定應(yīng)用于 HumanComputer Interaction (HCI，人機(jī)互動(dòng) )、物體確定、面孔識(shí)別、表XXXX 大學(xué)畢業(yè)設(shè)計(jì) (論文 ) 9 情識(shí)別，移動(dòng)物體追蹤、自主運(yùn)動(dòng) (Egomotion)、移動(dòng)機(jī)器人等領(lǐng)域。因此，將 OpenCV 圖像處理庫(kù)提供給玩具制造商及機(jī)器人制造商等從事計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)的各類(lèi)企業(yè) /團(tuán)體 (英特爾公司 )。 OpenCV 是 Intel 公司開(kāi)發(fā)的圖像處理和計(jì)算機(jī)視覺(jué)函數(shù)庫(kù)，它有以下特點(diǎn) : 1)開(kāi)放 C 源碼 2)基于 Intel 處理器指令集開(kāi)發(fā)的優(yōu)化代碼 3)統(tǒng)一的結(jié)構(gòu)和功能定義 4)強(qiáng)大的圖像和矩陣運(yùn)算能力 5)方便靈活的用戶(hù)接口 6)同時(shí)支持 MSWINDOWS, LINUX 平臺(tái) 作為一個(gè)基本的計(jì)算機(jī)視覺(jué)、圖像處理和模式識(shí)別的開(kāi)源項(xiàng)目， OPENCV可以直接應(yīng)用于很多領(lǐng)域，作為第二次開(kāi)發(fā)的理想工具。速度更高的微處理器、廉價(jià)的數(shù)碼相機(jī)以及 USB 2 等技術(shù)使高速視頻捕獲 (Video Capture)成為可能，因此，基于普通個(gè)人電腦的實(shí)時(shí)計(jì)算機(jī)視覺(jué)將可以實(shí)現(xiàn)。而且 OpenCV 和 Matlab類(lèi)似，卻比 Matlab 快 n倍，并對(duì) Intel 處理器進(jìn)行優(yōu)化。 OpenCV 中的常用結(jié)構(gòu) 在 OpenCV 函數(shù)庫(kù) [4]的編程過(guò)程中，常常需要用到一些常用的結(jié)構(gòu)，了解這些結(jié)構(gòu)能夠很好地用 OpenCV 函數(shù)庫(kù)，下面分別對(duì) CvSize 和 IplImage 兩個(gè)結(jié)構(gòu)進(jìn)行介紹。 2． CvSize 結(jié)構(gòu) CvSize 結(jié)構(gòu)表示矩形尺寸的結(jié)構(gòu)，結(jié)構(gòu)體中分別定義了矩形的寬度和高度，具體定義如下 : typedef struct CvSize { int width。/*矩形寬度，單位為象素 */ int height。/*矩形高度，單位為象素 */ }CvSize。 與 CvSize 結(jié)構(gòu)相關(guān)的是其構(gòu)造函數(shù) :inline CvSize cvSize( int width, int height )。 XXXX 大學(xué)畢業(yè)設(shè)計(jì) (論文 ) 10 在定義 CvSize 結(jié)構(gòu)變量時(shí)，可以按照如下方式定義 : CvSize size=cvSize(400,300)。 /*定義寬為 400 象素，高為 300 象素的矩形 */ CvSize 結(jié)構(gòu)用來(lái)設(shè)置矩形區(qū)域大小 ，在一些復(fù)雜高級(jí)的結(jié)構(gòu)體常常能夠看到它，如下面將要介紹的 IplImage 結(jié)構(gòu)。 2． IplImage 結(jié)構(gòu) 由于 OpenCV 主要針對(duì)的是計(jì)算機(jī)視覺(jué)方面的處理，因此在函數(shù)庫(kù)中，最重要的結(jié)構(gòu)體是 IplImage 結(jié)構(gòu)。 IplImage 結(jié)構(gòu)來(lái)源于 Intel 的另外一個(gè)函數(shù)庫(kù)Image Processing Library (IPL)，該函數(shù)庫(kù)主要是針對(duì)圖像處理。 IplImage結(jié)構(gòu)具體定義如 下： typedef struct_ IplImage { int nSize。 /* IplImage 大小 */ int ID。/*版本 (=0)*/ int nChannels。/*大多數(shù) OPENCV 函數(shù)支持 1,2,3 或 4 個(gè)通道 */ int alphaChannel。/*被 OpenCV 忽略 */ int depth。/*像素的位深度，主要有以下支持格式 : IPL DEPTH 8U, IPL DEPTHse 8S, IPLee DEPTH 16U,IPL_ DEPTH16S, IPLes DEPTHee 32S,IPLee DEPTH 32F 和 IPL DEPTH 64F*/ char colorModel[4]。/*被 OpenCV 忽略 */ char channelSeq[4]。/*同上 */ int dataOrder。 /* 0 一交叉存取顏色通道， 1一分開(kāi)的顏色道 .只有cvCreatelmage 可以創(chuàng)建交叉存取圖像 */ int origin。/*圖像原點(diǎn)位置 :0表示頂一左結(jié)構(gòu)， ,1 表示底一左結(jié)構(gòu) */ int align。/*圖像行排列方式 (4 or 8)，在 OpenCV 被忽略 ， 使用widthStep 代替 */ int width。/*圖像寬像素?cái)?shù) */ int height。/*圖像高像素?cái)?shù) */ struct 一 p1ROI *roi。/*圖像感興趣區(qū)域，當(dāng)該值非空時(shí)， 只對(duì)該區(qū)域進(jìn)行處理 */ XXXX 大學(xué)畢業(yè)設(shè)計(jì) (論文 ) 11 struct 一 lImage *maskROI。 /*在 OpenCV 中必須為 NULL */ void *imageld。/*同上 */ structJplTileInfo/*tilelnfo。 /*同上 */ int imageSize。/*圖像數(shù)據(jù)大小 (在交叉存取格式下ImageSize=image height* imagewidthStep )，單位字節(jié) */ char *imageData。/*指向排列的圖像數(shù)據(jù) */ int widthStep。/*排 列的圖像行大小，以字節(jié)為單位 */ int BorderMode[4]。/*邊際結(jié)束模式，在 OpenCV 被忽略 */ int BorderConst[4]。 /*同上 */ char *imageDataOrigin。 /*指針指向一個(gè)不同的圖像數(shù)據(jù)結(jié)構(gòu) (不是必須排列的 )，是為了糾正圖像內(nèi)存分配準(zhǔn)備的 */ }IplImage。 IplImage 結(jié)構(gòu)體是整個(gè) OpenCV 函數(shù)庫(kù)的基礎(chǔ)，在定義該結(jié)構(gòu)變量時(shí)需要用到函數(shù) cvCreatImage，變量定義方法如下 : IplImage* src cvCreateImage(cvSize(400,300), IPL DEPTH 8U,3)。 上句定義了一個(gè) IplImage 指針變量 src，圖像的大小是 400 X 300，圖像顏色深度 8 位， 3通道圖像。 下面就算法的流程進(jìn)行討論 : 如流程圖 21所示，對(duì)每一幀圖像，圖像首先被轉(zhuǎn)化為 HSV 顏色空間來(lái)描述，然后根據(jù)要被跟蹤的目標(biāo)的直方圖模型求其色彩概率分布，目標(biāo)的質(zhì)心和大小通過(guò) CAMshift 算法對(duì)色彩概率分布進(jìn)行處理后被找到，虛線框?yàn)檫M(jìn)行Meanshift 的核心部分 。當(dāng)前的運(yùn)動(dòng)目標(biāo)的位置和大小求得去調(diào)整下一幀的位置和大小，這樣不停的重復(fù)達(dá)到對(duì)運(yùn)動(dòng)目標(biāo)的跟蹤。 XXXX 大學(xué)畢業(yè)設(shè)計(jì) (論文 ) 12 選 擇 初 始 搜 索 窗口 的 位 置 和 大 小在 搜 索 窗 口 中 設(shè) 置 計(jì)算 區(qū) 域 ， 但 要 比 搜 索窗 口 略 大利 用 收 斂 質(zhì) 心 ( x , y ) 去設(shè) 置 窗 口 中 心 ， 用 a r e a去 設(shè) 置 窗 口 大 小得 到 質(zhì)心 （ x ，y ）H S V 圖 像色 彩 直 方 圖色 彩 概 率 分 布在 搜 索 窗 口 中 找 區(qū) 域 質(zhì) 心把 窗 口 的 中 心 放 在 找 到 的 質(zhì) 心 處收 斂Y es no 圖 21 基于 OpenCV的自動(dòng)跟蹤算法流程圖 XXXX 大學(xué)畢業(yè)設(shè)計(jì) (論文 ) 13 第 3 章 快速人臉檢測(cè) Viola 提出了基于積分 圖像 與 AdaBoost 訓(xùn)練的快速人臉檢測(cè)方法 [5]，其中利用積分 圖像 計(jì)算矩形特征，再用 AdaBoost 方法訓(xùn)練這些矩形特征組成強(qiáng)分類(lèi)器，由于可以在積分 圖像 上快速的計(jì)算這些 矩形特征從而使分類(lèi)器的速度大大提高。此外，構(gòu)造層疊分類(lèi)器，首先簡(jiǎn)單的強(qiáng)分類(lèi)器排除大多數(shù)非人臉窗口，減輕復(fù)雜分類(lèi)器的負(fù)擔(dān)，進(jìn)而提高速度；另外，層疊分類(lèi)器訓(xùn)練時(shí)下一層分類(lèi)器的訓(xùn)練在上一層分類(lèi)器劃分的子空間中進(jìn)行。 Viola 的方法使在保留統(tǒng)計(jì)學(xué)習(xí)方法所具有的魯棒性情況下使人臉檢測(cè)的速度大大提高。該方法的分類(lèi)器基于簡(jiǎn)單的矩形特征（ Rectangle Feature），區(qū)別于傳統(tǒng)學(xué)習(xí)方法是基于象素的。如圖 31 就是Viola 采用的 4種矩形特征。 圖 31Viola使用的 4種矩形特征 特征值就是大矩形內(nèi)陰影部分的 灰度累加減去白色部分的灰度累加。這當(dāng)中每個(gè)小矩形都是相同大小的。對(duì)于 24 24 的 圖像 窗口，全部特征的數(shù)目超過(guò)180000 個(gè)。通過(guò)引入積分 圖像 ，這些矩形特征可以在常數(shù)時(shí)間內(nèi)快速計(jì)算。 積分圖像中對(duì)應(yīng)每個(gè)點(diǎn)計(jì)算其積分圖像值。在 (x,y)的積分圖像值就是在 (x,y)左上角所有灰度的和，即： ???? yyxx yxiyxii 39。,39。 )39。,39。(),( （ 31） 其中 ),( yxii 是 (x,y)點(diǎn)的積分圖像值， )39。,39。( yxi 是 (x,y)的原始圖像灰度值。 XXXX 大學(xué)畢業(yè)設(shè)計(jì) (論文 ) 14 矩形特征就是矩形區(qū)域象素灰度累加的差，而通過(guò)積分圖像，任何矩形的象素灰度累加可以通過(guò) 4 個(gè)點(diǎn)積分圖像值的加減計(jì)算完成 (如圖 32)，所以矩形特征可以用積分圖像在參數(shù)時(shí)間內(nèi)快速計(jì)算。 A B 1 2 4 C D 3 圖 32矩形 D的像素灰度累加為 4+1（ 2+3） Boosting 算法是近幾年中分類(lèi)算法的發(fā)展中最重要的成果之一。 Boosting 算法是一種現(xiàn) 代統(tǒng)計(jì)方法，理論上可以用來(lái)改進(jìn)任何學(xué)習(xí)算法的性能。 Schapire 在PAC 學(xué)習(xí)框架中開(kāi)發(fā)了第一個(gè)簡(jiǎn)單的 Boosting 算法。 Boosting 在很多的計(jì)算機(jī)學(xué)習(xí)理論文獻(xiàn)中都有所提及，并越來(lái)越受到關(guān)注。 AdaBoost 是一種自適應(yīng)的 boosting 算法，主要用途是將若干個(gè)弱分類(lèi)器整合為一個(gè)強(qiáng)分類(lèi)器，其中弱分類(lèi)器指的是那些性能比隨機(jī)分類(lèi)略好一點(diǎn)的分類(lèi)器。 Viola 通過(guò) AdaBoost 學(xué)習(xí)的方法選擇少量有效的矩形特征構(gòu)造強(qiáng)分類(lèi)器。對(duì)于 24 24 的圖像窗口有 180000 個(gè)矩形特征，現(xiàn)在的問(wèn)題就是通過(guò)訓(xùn)練找到少量有效 的特征構(gòu)成一個(gè)有效的分類(lèi)器。 AdaBoost 就是用于選擇有效的特征、并訓(xùn)練分類(lèi)器。 AdaBoost 通過(guò)組合弱分類(lèi)器構(gòu)成強(qiáng)分類(lèi)器。所謂弱分類(lèi)器，就是它不期望能很好的進(jìn)行分類(lèi)，只要達(dá)到大于 50%的正確率就可以了（而這總是可以保證的）。在這里每個(gè)特征對(duì)應(yīng)構(gòu)造一個(gè)弱分類(lèi)器。具體而言，特征 jf 對(duì)應(yīng)的弱分類(lèi)器 )(xhj 如下： XXXX 大學(xué)畢業(yè)設(shè)計(jì) (論文 ) 15 jjjj pfpifo t h e r w i s ej xh??? 10{)( （ 32） 其中 ，j?是在訓(xùn)練 樣本上最小錯(cuò)誤分類(lèi)的閾值，jp是表示不等式的方向。無(wú)論如何，總是可以保證正確分類(lèi)率大于 50%。 人臉檢測(cè) Viola 的方法 [6]的分類(lèi)器的構(gòu)造過(guò)程中的特征選取是自動(dòng)進(jìn)行的，在所有矩形特征中自動(dòng)選取最有效分類(lèi)的特征，不像基于特征的方法需要人為總結(jié)啟發(fā)式規(guī)則。其次，其類(lèi)似分階段設(shè)計(jì)的層疊分類(lèi)器構(gòu)造時(shí)，是通過(guò)目標(biāo)驅(qū)動(dòng)自動(dòng)構(gòu)造的，不像一般的分階段的分類(lèi)器設(shè)計(jì)方法每個(gè)階段（層次）的分類(lèi)器都得人工設(shè)計(jì)。基于上面的兩個(gè)優(yōu)勢(shì)， Viola 的方法對(duì)一般模式分類(lèi)問(wèn)題具有普遍意義，更 接近于人