【正文】 1 緒論 手勢(shì)識(shí)別交互的背景隨著整個(gè)社會(huì)逐步的信息化，帶給了我們一種新的交互方式——人機(jī)交互(humanputer interaction)。近幾年來(lái)，隨著計(jì)算機(jī)技術(shù)的逐漸發(fā)展，出現(xiàn)了一些符合人的習(xí)慣的人機(jī)交互技術(shù)，如頭部跟蹤、人臉識(shí)別、表情識(shí)別、唇讀、體勢(shì)識(shí)別以及手勢(shì)識(shí)別等等[1]，并逐步向以人為本的方向邁進(jìn)。手勢(shì)是一種有著自然性、簡(jiǎn)潔性和直接性的一種人機(jī)交互手段。而手勢(shì)是人的一種很常用的交流方式。近幾年來(lái)，已經(jīng)有相當(dāng)一部分的應(yīng)用采用了這種手勢(shì)識(shí)別的方式作為跟機(jī)器交互的手段。[2] 手勢(shì)識(shí)別應(yīng)用 手勢(shì)及識(shí)別方式的分類(lèi)手勢(shì)(gesture)本身具有多義性和多樣性，由于領(lǐng)域、文化背景等的不同，對(duì)手勢(shì)的定義也會(huì)不同。[1]手勢(shì)按時(shí)間關(guān)系可分為靜態(tài)手勢(shì)(指姿態(tài)，又稱(chēng)手形)和動(dòng)態(tài)手勢(shì)(指動(dòng)作，由一系列姿態(tài)組成)。動(dòng)態(tài)手勢(shì)具有豐富和直觀的表達(dá)能力，與靜態(tài)手勢(shì)結(jié)合在一起，能創(chuàng)造出更豐富的語(yǔ)義。在人機(jī)交互系統(tǒng)中，操控手勢(shì)的一種典型應(yīng)用就是在二維和三維的虛擬環(huán)境中來(lái)操控物體。手勢(shì)相對(duì)于語(yǔ)言來(lái)說(shuō)是一種表達(dá)人們想法的單獨(dú)的補(bǔ)充模式。手勢(shì)的識(shí)別方式可分為利用機(jī)械裝置的識(shí)別和基于計(jì)算機(jī)視覺(jué)的識(shí)別。然后可以重新呈現(xiàn)手部動(dòng)作。由于手部軟組織和計(jì)算復(fù)雜性，數(shù)據(jù)手套的計(jì)算速度總是存在延時(shí)，同時(shí)從人機(jī)交互的角度手套佩戴也十分不方便。近些年來(lái)，基于計(jì)算機(jī)視覺(jué)的識(shí)別方法提供了一種成本較低的能減少用戶限制的手勢(shì)識(shí)別的方法，這種方法也是本系統(tǒng)的主攻方向。在基于計(jì)算機(jī)視覺(jué)的識(shí)別方式中，通常的做法就是把手勢(shì)識(shí)別問(wèn)題看成模式識(shí)別問(wèn)題來(lái)對(duì)待。 基于計(jì)算機(jī)視覺(jué)的手勢(shì)識(shí)別技術(shù)需要解決的問(wèn)題無(wú)論是利用數(shù)據(jù)手套還是用手部粘貼高亮標(biāo)簽使作為輸入設(shè)備會(huì)給使用者帶來(lái)不舒適感如出汗等，且設(shè)備價(jià)格昂貴，難以推廣。首先是要做到的是從背景中將手分割出來(lái)，通常會(huì)用膚色分割的方法基于皮膚的色調(diào)將不同于周?chē)尘笆值膮^(qū)域分離出來(lái)．但是會(huì)受到光線等因素干擾，分離出手后需要用合適的模型對(duì)手的動(dòng)作建模。由于在數(shù)據(jù)采集時(shí)容易受到背景干擾，往往要求背景顏色和手的顏色有較好的區(qū)分度。再次，人手是彈性物體，同樣的手勢(shì)的表現(xiàn)效果可能差別很大[5]，并且同樣的用戶者要重復(fù)做出完全相同的手勢(shì)也是不可能的，如何降低甚至消除這個(gè)因素的影響對(duì)整個(gè)識(shí)別的準(zhǔn)確率也有一定影響。[6]針對(duì)上面提到的多種難題，不同的研究和開(kāi)發(fā)人員提出了許多種不一樣的方案。 本程序主要實(shí)現(xiàn)的功能（1）實(shí)現(xiàn)對(duì)攝像頭的發(fā)現(xiàn)和選取，與對(duì)每一幀圖像的采集和縮放。（3）實(shí)現(xiàn)對(duì)背景信息的剔除，包括對(duì)膚色的提取和分割，對(duì)陰影和高光區(qū)域的擴(kuò)散和對(duì)一些孤立點(diǎn)的剔除。（5）利用以上關(guān)鍵信息，實(shí)現(xiàn)一些應(yīng)用。2 攝像頭信息的采集和預(yù)處理 OpenCV關(guān)于攝像頭操作的API要進(jìn)行手勢(shì)信息的獲取，首先需要擁有一定的硬件，如數(shù)據(jù)手套、攝像頭等。幸好OpenCV提供了一系列通用而且簡(jiǎn)潔的外部接口以便于實(shí)現(xiàn)以上的工作，：m_Video=cvCreateCameraCapture(i)。//定義視頻指針m_Video。168。頻166。指?針?m_Video=cvCreateCameraCapture(1)。//獲取當(dāng)前攝像頭圖片，不能用cvReleaseImage手動(dòng)釋放圖片內(nèi)存。())。當(dāng)找不到該攝像頭時(shí)，可以自動(dòng)選擇成默認(rèn)的攝像頭，一般來(lái)說(shuō)是第0號(hào)攝像頭，仍未找到才進(jìn)行錯(cuò)誤退出。 HDC的獲取MFC的CDC（設(shè)備上下文）和它對(duì)應(yīng)的句柄HDC提供了一系列有關(guān)畫(huà)圖的方法，對(duì)于一個(gè)有一定ID（如IDC_STATIC1）的控件來(lái)說(shuō)，獲取的方法如下：CWnd *pwnd = GetDlgItem(IDC_STATIC1)。HDC hDC= pDCGetSafeHdc()。 return TRUE。如果已經(jīng)設(shè)置了控件的Control類(lèi)型的變量（如m_s1），則CDC和HDC可以通過(guò)這個(gè)變量直接獲取：CDC *pDC =()。 將IplImage*位圖渲染到控件當(dāng)中OpenCV的IplImage*類(lèi)型的圖片渲染到控件的HDC前需要得到它的頭部信息，這需要開(kāi)辟一段內(nèi)存并將它的結(jié)構(gòu)體提取出來(lái)，然后分別賦值：static uchar buffer[sizeof(BITMAPINFOHEADER) + 1024]。 BITMAPINFOHEADER* bmih = amp。 memset( bmih, 0, sizeof(*bmih))。 bmihbiWidth = imagewidth。 bmihbiPlanes = 1。 255)*imagenChannels)。其中image變量是IplImage*的實(shí)例。但其后不能執(zhí)行pDCInvalidate()操作，否則原先畫(huà)的結(jié)果會(huì)被清空。 圖片的縮放圖片需要縮放到一個(gè)合理的大小，如320x240，為了加強(qiáng)精確度有條件的可以加到640x480。如原IplImage*圖片是m_Captured,目標(biāo)圖片是m_Frame，則函數(shù)可寫(xiě)成：cvResize(m_Captured,m_Frame,(m_Capturedwidth)(m_Framewidth)?CV_INTER_LINEAR:CV_INTER_AREA)。 圖片的降噪噪聲可以理解為“妨礙人和傳感器對(duì)所接收的信源信息理解的因素”。噪聲被定義為“不可預(yù)測(cè)而只能用概率統(tǒng)計(jì)的方法，來(lái)認(rèn)識(shí)的隨機(jī)誤差”。外部噪聲是指由于系統(tǒng)外部干擾以電磁波或由電源串進(jìn)系統(tǒng)內(nèi)部而引起的噪聲。內(nèi)部噪聲主要是由光和電的基本性質(zhì)所引起的噪聲。為了消除這些隨機(jī)因素，可以通過(guò)中值濾波或均值濾波的方法法進(jìn)行濾波。其中smoothtype 是CV_GAUSSIAN時(shí)將對(duì)圖像進(jìn)行大小為 param1param2 的高斯卷積的均值濾波。不過(guò)這些降噪變換都會(huì)導(dǎo)致有效細(xì)節(jié)的丟失。因此，這兩種還原算法需要配合起來(lái)使用才能起到效果，以便于識(shí)別為目的，可以使用先還原相差小的部分，并用這個(gè)結(jié)果作為原圖，再還原相差大的部分。 原圖 雙重還原后的圖像 圖片的銳化經(jīng)過(guò)圖片的降噪處理后會(huì)顯得比較朦朧，有時(shí)候需要進(jìn)行USM銳化方可實(shí)現(xiàn)更好的邊緣提取。而通過(guò)原圖像與臨時(shí)圖像的色差的閾值的調(diào)整，可以減少一些不需要銳化的區(qū)域，但如上所述，會(huì)造成邊緣突兀和不連續(xù)，為此也可以將位于原圖像與臨時(shí)圖像的亮度差在閾值內(nèi)部分的銳化強(qiáng)度，按這個(gè)亮度差線性減弱。而這里將討論如何盡可能準(zhǔn)確地將手所在的區(qū)域從復(fù)雜的背景中提取出來(lái)。從上圖中還可以看出，手自身的顏色特別是亮度是有變化的，如果以手的平均顏色作為膚色的種子，將會(huì)導(dǎo)致可選擇的范圍的減少。 獲取鼠標(biāo)相對(duì)圖像位置的顏色要在單擊鼠標(biāo)時(shí)獲取鼠標(biāo)相對(duì)圖像位置的顏色，需要處理這個(gè)圖像所在控件的點(diǎn)擊事件。要獲取鼠標(biāo)相對(duì)于圖像的坐標(biāo)可以通過(guò)先獲取鼠標(biāo)的屏幕坐標(biāo)，再將該坐標(biāo)轉(zhuǎn)成相對(duì)于控件的坐標(biāo)來(lái)實(shí)現(xiàn)，如下圖。//定義點(diǎn)↓GetCursorPos(amp。//獲取鼠標(biāo)在屏幕上的坐標(biāo)↓GetDlgItem(IDC_STATIC1)ScreenToClient(amp。//獲取相對(duì)于控件上的坐標(biāo)圖31 獲取鼠標(biāo)相對(duì)于某個(gè)控件的坐標(biāo)要在單擊鼠標(biāo)時(shí)獲取鼠標(biāo)相對(duì)圖像位置的顏色，需要處理這個(gè)圖像所在控件的點(diǎn)擊事件。設(shè)m_Frame為IplImage*的圖片，src為它的imageData的開(kāi)頭，則鼠標(biāo)在圖像的坐標(biāo)（x0，y0）上的像素指針為mByte=src+x0*(m_FramenChannels)+y0*(m_FramewidthStep)。需要注意的是，圖像不一定充滿整個(gè)控件，如果在空間外將會(huì)出現(xiàn)一些越界的情況，為此需要判斷這個(gè)點(diǎn)是否在圖像上：if(x0=0 amp。 x0m_Framewidth || y0=0 amp。 y0m_Frameheight) 自定義膚色種子自定義種子顏色可以用CColorDialog——Windows自帶的調(diào)色對(duì)話框來(lái)實(shí)現(xiàn)，然后將其寫(xiě)入到控件中即可實(shí)現(xiàn)，它的構(gòu)造方法是：CColorDialog dlg(colour0,CC_FULLOPEN)。 基于手與背景在一定顏色模型上的區(qū)別的初步提取從上所述，膚色在顏色空間的分布相當(dāng)集中，但會(huì)受到光照強(qiáng)度和不同人之間的很大影響。在雙色差或色調(diào)飽和度平面上，不同人的膚色區(qū)別較小，膚色的不同更多在亮度上而不是色度上。比如當(dāng)code選用CV_BGR2HSV時(shí)，對(duì)于8位圖，需要將RGB值歸一化到01之間。由于顏色模型的不同，轉(zhuǎn)換以后的對(duì)手的范圍的提取方法也有所不同。 將手的范圍擴(kuò)展到其他區(qū)域在復(fù)雜光線條件下，比如圖所示的膚色在高光區(qū)或陰影區(qū)中導(dǎo)致亮度存在不同，有些部分并沒(méi)有被選上；還有如圖所示的情況，由于手在不同位置的代謝情況的不同和指紋關(guān)系，導(dǎo)致顏色也存在著不同，從而有些另外的部分也沒(méi)有被選上。(a)擴(kuò)散前(b)擴(kuò)散后 選取擴(kuò)散前后的對(duì)比 外部孤立點(diǎn)的消去經(jīng)過(guò)如上圖所示的處理中，可以發(fā)現(xiàn)圖片中存在一些比較小的一些孤立的區(qū)域被選中了，如人的頭部，書(shū)架、椅子、窗簾等，它們的顏色與手的顏色相近，但是其共同點(diǎn)是都在在手的后面，而且所占的面積比手的要小。(a)消去前(b)消去后 外部孤立點(diǎn)的消去目標(biāo)獲取最大的連通區(qū)域包括三步：獲取連通區(qū)域的面積并在每個(gè)像素標(biāo)記區(qū)域的id→找出面積的最大值和對(duì)應(yīng)的區(qū)域id→將面積信息非最大的區(qū)域置為未選中。這里由于棧的大小不會(huì)超過(guò)整個(gè)圖片面積的整數(shù)倍，因而提供的?？梢赃x擇一個(gè)中間的IplImage作為存儲(chǔ)，這就要求這個(gè)IplImage的通道數(shù)足夠。為此需要將位置的兩個(gè)值——x和y的坐標(biāo)通過(guò)移位運(yùn)算的方式壓縮在24位長(zhǎng)的變量中。 獲取連通區(qū)域的面積和標(biāo)記區(qū)域ID 當(dāng)一個(gè)點(diǎn)首次到達(dá)一個(gè)連通區(qū)域（未計(jì)算）時(shí)，即開(kāi)始計(jì)算這個(gè)區(qū)域的面積，算完該面積后再進(jìn)去這個(gè)區(qū)域（已計(jì)算）將不會(huì)再重新算。面積計(jì)數(shù)加一堆棧彈出一格上下左右