【正文】 .. 23 軟件的具體實(shí)現(xiàn) ..................................................................................................... 23 環(huán)境配置 ....................................................................................................... 23 整體界面設(shè)計(jì) ............................................................................................... 25 沈陽理工大學(xué)學(xué)士學(xué)位論文 IV 視頻讀取模塊的具體實(shí)現(xiàn) ........................................................................... 26 視頻處理模塊的具體實(shí)現(xiàn) ........................................................................... 27 畫曲線圖模塊的具體實(shí)現(xiàn) ........................................................................... 31 處理后的視頻查看模塊的具體實(shí)現(xiàn) ........................................................... 31 程序出現(xiàn)的異常及處理方法 ................................................................................. 32 測試 ......................................................................................................................... 32 結(jié) 論 ........................................................................................................................................ 34 致 謝 ........................................................................................................................................ 35 參考文獻(xiàn) .................................................................................................................................. 36 附錄 A 英文附錄 .................................................................................................................. 37 附錄 B 中 文附錄 .................................................................................................................. 42 附錄 C 程序附錄 .................................................................................................................. 46 附錄 D 本文中用到 OpenCV 函數(shù)的使用附錄 .................................................................. 71 沈陽理工大學(xué)學(xué)士學(xué)位論文 1 1 緒 論 課題研究背景及意義 眼睛是人類最重要的感覺器官，人體從外界接收的信息中，有一半的信息都是通過眼睛獲取的。同時可發(fā)現(xiàn)在檢查淺昏迷狀態(tài)的病人，則此現(xiàn)象表現(xiàn)遲鈍，而對于深昏迷者則該現(xiàn)象消失。由醫(yī)學(xué)理論可知， 瞳孔直徑的變化受交感和 副交感神經(jīng)的雙重支配，而且交感和副交感神經(jīng)均為自主神經(jīng)，不受人的主觀意愿影響 [1]。 瞳孔位于虹膜中央稍偏鼻下方，近似圓形。這種瞳孔對光線強(qiáng)弱變化的反應(yīng)稱為瞳孔對光反射。以前對吸毒人員的鑒別，依賴于尿液檢測。早期檢測瞳孔的方法是采用觀察法。再之后國外研究者發(fā)現(xiàn)紅外線攝錄技術(shù)對于檢查夜視狀況下的瞳孔大小具有較好重復(fù)性仁創(chuàng)， Colvard 紅外瞳孔單眼測量儀就是該項(xiàng)技術(shù)的產(chǎn)品，該儀器的像面上覆蓋了一把標(biāo)有刻度的直尺，度仍然偏低，且是單眼測量 [2]。另外， Morad Y 等連續(xù)測量 2 個月來 29 名軍隊(duì)司機(jī)的各項(xiàng)瞳孔參數(shù)，用來評估駕駛疲勞。 在瞳孔圖像中，瞳孔與虹膜邊界在幾何學(xué)上可以近似為圓形，故早期瞳孔檢測都是基于圓檢測，典型算法有 Wildes 提出的 Hough 算法，精確度較高，但是計(jì)算量大；Daugman 的圓周差分法，計(jì)算速度較 Hough 快，但是受眼睫毛等噪聲的影響。 OpenCV 誕生 Intel。 Gary Bradski 也是 OpenCV 開發(fā)者中的元老級人物，他曾出版《 Leaning OpenCV》一書，廣受 歡迎。 圖 OpenCV 結(jié)構(gòu)圖 沈陽理工大學(xué)學(xué)士學(xué)位論文 7 CV 模塊包含五部分，分別是圖像處理（如實(shí)現(xiàn) cvSobel， cvCanny 等算法）、結(jié)構(gòu)分析（如 ContourArea 等）、運(yùn)動分析與目標(biāo)跟蹤（如 cvMeanShift 等）、模式識別（如CvHaarFeature 等）、攝像頭定標(biāo)與三維重建（如 cvCalibrateCamer 等）。瞳孔的動態(tài)檢測系統(tǒng)分析硬件部分和軟件部分，硬件部分包括圖像采集裝置、光刺激器、圖像處理計(jì)算機(jī)；軟件部分包括光刺激器控制部分和視頻圖像處理部分。 左 眼右 眼光 電 系 統(tǒng) 攝 像 C C D光 電 系 統(tǒng) 攝 像 C C D圖 像 采 集 、轉(zhuǎn) 換 緩 存存 儲 設(shè) 備計(jì) 算 機(jī)圖 像 處 理數(shù) 據(jù) 管 理刺 激 光 源 控 制 電 路 單 片 機(jī)沈陽理工大學(xué)學(xué)士學(xué)位論文 9 圖像采集的硬件結(jié)構(gòu) 這部分包括 CCD 攝像頭、圖像采集卡、計(jì)算機(jī)等。由于可能需要在暗室環(huán)境下進(jìn)行檢測定位等操作，普通攝像頭感光范圍受到限制，不能采集到較理想的圖像，影響到后端圖像處理環(huán)節(jié)。本文選用的基本型 STM32F101RBT6 足以滿足要求，降低了系統(tǒng)成本；主要參數(shù)如下，內(nèi)置 128K 的閃存存儲器、 32 位 CortexM3 CPU、 6 個 16 位定時器、包括 SPI、 I2C 等 7 個通信接口，具有體積小、豐富的 GPIO 接口和較低的功耗，非常適合于刺激控制設(shè)備。 可將虹膜的內(nèi)外邊緣近似看作兩個不同心的圓，而內(nèi)圓就是瞳孔。結(jié)構(gòu)元素是指具有某種確定形狀圖 像 預(yù) 處 理選 定 閥 值 ， 二 值 化經(jīng) 垂 直 ， 水 平 投 影找 到 種 子 點(diǎn)進(jìn) 行 區(qū) 域 生 長 ， 確 定 瞳 孔 區(qū) 域計(jì) 算 瞳 孔 區(qū) 域 內(nèi) 的 像 素 點(diǎn) 數(shù)原 圖 像A?B={Z│(B)Z?A} 沈陽理工大學(xué)學(xué)士學(xué)位論文 13 的基本結(jié)構(gòu)元素，例如，一定大小的矩形、圓或菱形等。 （ 2） 用結(jié)構(gòu)元素與其覆蓋的二值圖像做“與”操作。（ 3）如果都為 0，結(jié)果圖像的該像素為 0。對象物、在纖細(xì)點(diǎn)處分離物體、平滑較大物體的邊界的同時并不明顯改變其面積。第二個性質(zhì)的主要應(yīng)用是根據(jù)事先制定的準(zhǔn)則將圖像分割為相似的區(qū)域 [6]。本實(shí)驗(yàn)以采用全局閾值分割，將一幅灰度圖像轉(zhuǎn)換成黑白二值圖像。除非圖像中的物體有陡峭的邊沿，否則灰度閾值的取值對所抽取物體的邊界的定位和整體的尺寸有很大的影響。通過分析瞳孔圖像的直方圖，可以發(fā)現(xiàn)瞳孔絕大部分的灰度值低于 50。圖像二值化也叫圖像黑白化，那么，彩色圖像黑白化處理通常有三種方法：最大值法、平均值法、加權(quán)平均值法，公式法 。 ?? = 1 , 2 , 3 , … ， ?? （ 3. 7 ） 而本文僅對灰度值為 0 的點(diǎn)進(jìn)行統(tǒng)計(jì)，在二值化后的瞳孔圖像中沿著水平和垂直兩沈陽理工大學(xué)學(xué)士學(xué)位論文 18 個方向進(jìn)行掃描。該方法利用的是圖像的空間性質(zhì)，認(rèn)為分割出來的屬于同一區(qū)域的像素應(yīng)具有相似的性質(zhì)，傳統(tǒng)的區(qū)域分割法有區(qū)域生長法和分裂合并法。 步驟二：以該像素為中心檢查它的鄰域像素，即將鄰域中的像素逐個與之比較，如果灰度差小于預(yù)先確定的閾值，將它們合并。 （ 3）基于區(qū)域形狀 決定區(qū)域的合并時可以利用對目標(biāo)形狀的檢測結(jié)果，常用兩種方法： 第一種：把圖像分割成灰度固定的區(qū)域，設(shè)兩相 鄰區(qū)域的周長為 p1 和 p2，把兩區(qū)域共同邊界線兩側(cè)的灰度差小于給定值的那部分設(shè)為 L，如果（ t1 位預(yù)定閾值） ?? / ?? ???? { ?? 1 , ?? 2 } ?? 1 （ 3. 8 ） 則合并兩區(qū)域。 圖 視頻讀取流程圖 視頻處理模塊 本模塊實(shí)現(xiàn)將視頻文件逐幀提取，并將提取到的圖片保存和處理，圖片處理的過程就是瞳孔檢測的過程，具體過如下： 第一：將視頻文件按指定幀的位置逐幀提取并保存； 第二：將每一幀進(jìn)行瞳孔檢測； 第三：將瞳孔檢測后的幀保存； 視頻處理流程圖如圖 所示 指 定 視 頻 文 件開 始打 開 視 頻 文 件逐 幀 播 放幀 是 否 結(jié) 束播 放 結(jié) 束否是沈陽理工大學(xué)學(xué)士學(xué)位論文 22 圖 視頻處理流程圖 畫曲線圖模塊 根據(jù)計(jì)算瞳孔的像素?cái)?shù)據(jù)來畫曲線圖，曲線圖的橫坐標(biāo)是幀的位置，縱坐標(biāo)是瞳孔的相對像素點(diǎn)數(shù)，流程圖如圖 所示。 圖 項(xiàng)目設(shè)置 （ 3）文件的添加 當(dāng)在 MFC 中那個文件中用到 OpenCV 中的類及操作函數(shù)時需要添加頭文件include” ”， include” ”。 //打開 FilePath 視頻文件，并設(shè)置好顯示區(qū)域等參數(shù) void CloseFile()。 //CvvImage 對象，用于顯示幀到控件 IplImage *m_pframe。 //幀總數(shù) 沈陽理工大學(xué)學(xué)士學(xué)位論文 27 int m_fps。 int *yp=ivector(0,pimgheight)。 } } 。 int xmax=0。mpimgheight。y++) { char *p=(char*)(inimageData+y*inwidthStep)。 沈陽理工大學(xué)學(xué)士學(xué)位論文 29 瞳孔預(yù)處理包括腐蝕，膨脹，二值化等操作。通過查看 OpenCV 使用手冊可知， OpenCV 中腐蝕與膨脹算法的 API 接口函數(shù)如下： CVAPI(void) cvErode( const CvArr* src, CvArr* dst,IplConvKernel* element CV_DEFAULT(NULL), int iterations CV_DEFAULT(1) )； CVAPI(void) cvDilate( const CvArr* src, CvArr* dst,IplConvKernel* element CV_DEFAULT(NULL),int iterations CV_DEFAULT(1) )； 腐蝕與膨脹算法中在需要創(chuàng)建自己的結(jié)構(gòu)元素來進(jìn)行腐蝕和膨脹，具體的腐蝕和膨沈陽理工大學(xué)學(xué)士學(xué)位論文 30 脹函數(shù)的用法在附錄 D 中。如上圖，盡在最后涂黑的兩個點(diǎn)與模板原點(diǎn)（標(biāo)十字 )的點(diǎn)對齊，然后卷積后才可以得到三個‘ 1’，所以與后是 1，其他的與運(yùn)算后都是 0。 } 由于用灰度公式實(shí)現(xiàn)的灰度化效果沒有 OpenCV 中 cvCvtColor()函數(shù)的效果好，故用本文用 cvCvtColor()函數(shù)實(shí)現(xiàn)圖片的灰度化。 } 圖片的灰度化實(shí)現(xiàn)如下： IplImage* AveGRAY(IplImage*in,IplImage*out) //灰度化函數(shù) { for (int y=0。xmax=l。j++) { if(a[k][j]==0) yp[k]++。jpimgheight。處理模塊中涉及到種子點(diǎn)的定位和瞳孔圖片的預(yù)處理以及區(qū)域生長算法。 //判斷是否播放中 int m_framepos。 virtual ~Video()。 自己封裝的類如下： class Video : public CDialog { public: Video()。菜單：ProjectSettings，然后將 Setting for