【文章內(nèi)容簡介】 ，在此基礎上對人的瞳孔進行標準圓形匹配檢測，完成了較好的效果。但由于人的瞳孔是橢圓形的，其利用標準圓的檢測方法對瞳孔中心點定位精確度不高； BeiYan 等利用動態(tài)二值化閾值的方法，對眼部的瞳孔進行自動定位，達到了精確的定位，但是由于其檢測過程中的眼部圖片眼睫毛較少，因此對于外部干擾較多（例如睫毛較多）的病人的圖片，其識別的效果不明顯，不能精確定位瞳孔中心 [3]； Rasoul Kheirolahy， Hossein Ebrahimmzhad 等利用眼部圖片中眼睛的不同部位的顏色差別對圖片中眼部的圖像進行瞳孔的檢測，但其檢測的算法復雜度大，不能對信息量大的視頻流進行實時的檢測。 而現(xiàn)代檢測手段主要以數(shù)字攝像技術為主，有手持數(shù)字瞳孔測量儀，以及類似文獻中使用的商業(yè)開發(fā)的儀器瞳孔參數(shù)測量儀器等，優(yōu)點在于有很高的精確度，能夠連續(xù)測量且有實時性，能夠持續(xù)測量，缺點是對儀器的要求較高，成本偏貴。 在瞳孔圖像中，瞳孔與虹膜邊界在幾何學上可以近似為圓形，故早期瞳孔檢測都是基于圓檢測，典型算法有 Wildes 提出的 Hough 算法，精確度較高，但是計算量大；Daugman 的圓周差分法，計算速度較 Hough 快，但是受眼睫毛等噪聲的影響。后來又當成橢圓來處理，使用最小二乘法擬合橢圓。現(xiàn)有的瞳孔檢測算法，將粗細定位相結(jié)合，二值化初定位，然后 Hough 精確定位 [7]。 本文瞳孔監(jiān)測的方法 本文側(cè)重于瞳孔動態(tài)檢測及應用，采用閾值化初定位，然后使用區(qū)域生長定位瞳孔，最后計算瞳孔參數(shù)。區(qū)域生長不用考慮瞳孔的形狀，對于規(guī)則和非規(guī)則瞳孔同樣使用，而在算法的運用中，使用了在開發(fā)動態(tài)的圖像處理、計算機視覺以及模式識別程序中廣泛運用的 OpenCV，達到了動態(tài)處理的要求。 OpenCV 的介紹 沈陽理工大學學士學位論文 6 OpenCV 的全稱是 Open Source Computer Vision Library，是一個開放源代碼的計算機視覺庫。 OpenCV 是最初由英特爾公司發(fā)起并開發(fā)，以 BSD 許可證授權(quán)發(fā)行，可以在商業(yè)和研究領域中免費使用，現(xiàn)在美國 Willow Garage 為 OpenCV 提供主要的支持。OpenCV 可用于開發(fā)實時的圖像處理、計算機視覺以及模式識別程序，目前在工業(yè)界以及科研領域廣泛采用。 OpenCV 誕生 Intel。 Intel 最初希望提供一個計算機視覺 庫，使之能充分發(fā)掘 CP 的計算能力，當然更希望以此促進 Intel 的產(chǎn)品的銷售。 OpenCV 最初的開發(fā)工作是由 Intel在俄羅斯的團隊實現(xiàn)。這里面有兩個關鍵人物，一個是 Intel 性能團隊（ Intel’ s Performance Library Team）的李信弘（ Shinn Lee）先生，他是團隊的經(jīng)理，負責 IPP 等庫，給予 OpenCV很大的支持。另一個關鍵人物是 Vadim Pisarevsky， Vadim 在 Intel 負責 OpenCV 的項目管理、代碼集成、代碼優(yōu)化等工作。在后期 Intel 支持漸少的時候，是 Vadim Pisarevsky 一直在維護著 OpenCV。 2022 年 6 月李信弘和 Vadim Pisarevsky 作為嘉賓參加了在北京舉行的“開放源代碼計算機視覺庫（ OpenCV）研討會”，并做了非常有價值的報告。在2022 年，一家美國公司， Willow Garage2，開始大力支持 OpenCV， Vadim Pisarevsky和 Gary Bradski 都加入了 Willow Garage。 Gary Bradski 也是 OpenCV 開發(fā)者中的元老級人物，他曾出版《 Leaning OpenCV》一書，廣受 歡迎。 Willow Garage 是一家機器人公司，致力于為個人機器人開發(fā)開放的硬件平臺和軟件?，F(xiàn)在已經(jīng)開發(fā)了 PR2 機器人，并支持 ROS、 OpenCV、 PCL 等軟件。 ROS（ Robot Operating System）是用于機器人的操作系統(tǒng)，是一個開放源代碼的軟件， OpenCV 作為 ROS 的視覺模塊嵌入。自從獲得 Willow Garage 支持后， OpenCV 的更新速度明顯加快。大量的新特性被加入 OpenCV 中，很多算法都是最近一兩年的新的科研成果。 OpenCV 正日益成為算法研究和產(chǎn)品開發(fā)不可缺少的工具。 版本的結(jié)構(gòu)圖如圖 所示，此版本包含五個模塊，分別是 CV 模塊、CXCORE 模塊、 CVCAM 模塊、 HighGUI 模塊、 ML 模塊。 圖 OpenCV 結(jié)構(gòu)圖 沈陽理工大學學士學位論文 7 CV 模塊包含五部分，分別是圖像處理（如實現(xiàn) cvSobel， cvCanny 等算法）、結(jié)構(gòu)分析（如 ContourArea 等）、運動分析與目標跟蹤（如 cvMeanShift 等）、模式識別（如CvHaarFeature 等）、攝像頭定標與三維重建（如 cvCalibrateCamer 等）。 CXCORE 模塊包含六個部分，分別是基礎結(jié)構(gòu)（如 CvPoint， CvSize， CvScalar 等結(jié)構(gòu)體類型的定義）、數(shù)組操作（如創(chuàng)建圖片的函數(shù)并將數(shù)據(jù)存放到數(shù)組中cvCreateImage， cvCreateMat 等函數(shù)實現(xiàn)數(shù)組的操作）、動態(tài)結(jié)構(gòu)（如開辟內(nèi)存等的結(jié)構(gòu)CvMemStorage， CvMemBlock 等）、繪圖函數(shù)（如畫線段函數(shù)和畫矩形區(qū)域函數(shù) cvLine，cvRectangle 等）數(shù)據(jù)保存和運行時類型信息（如存儲文件和打開文件函 CvFileStorage，cvOpenFileStorage 等）、錯誤處理和系統(tǒng) 函數(shù)（如狀態(tài)的錯誤和內(nèi)存釋放等函cvGetErrStatus， cvAlloc， cvFree 等）。 CVCAM 模塊包含攝像機接口等，在 以后的版本中已經(jīng)被移除。 HighGUI 模塊包含三部分，分別是圖像界面函數(shù)（如創(chuàng)建窗口函數(shù) cvNamedWindow等）、讀圖像和保存圖像（如加載圖片函數(shù) cvLoadImage，保存圖片函數(shù) cvSaveImage 等）、讀視頻和寫視頻（如創(chuàng)建視頻文件函數(shù) CvCreateFileCapture 等）。 ML 模塊包含許多聚類、分類和數(shù)據(jù)分析函數(shù)。如 Bayes 分類器， K 近鄰算法，支持向量機，決策樹，神經(jīng)網(wǎng)絡等等。 沈陽理工大學學士學位論文 8 2 瞳孔動態(tài)監(jiān)測系統(tǒng)的構(gòu)建 瞳孔的動態(tài)檢測需要獲取清晰、高質(zhì)量的眼睛圖像，并對圖像進行快速、準確的處理以提取特征指標。根據(jù)應用背景不同，需要檢測瞳孔對光線刺激器發(fā)出不同的光波的動態(tài)變化情況。瞳孔的動態(tài)檢測系統(tǒng)分析硬件部分和軟件部分，硬件部分包括圖像采集裝置、光刺激器、圖像處理計算機；軟件部分包括光刺激器控制部分和視頻圖像處理部分。本章主要簡單論述系統(tǒng)的總體設計方案和硬件部分設計方案。 系統(tǒng)的總體結(jié)構(gòu) 系統(tǒng)框圖如圖 所示。 圖 瞳孔動態(tài)檢測系統(tǒng)框圖 在預設定的條件下，光源照射眼睛，形成的圖像被 CCD 攝像頭接收，傳輸至圖像采集卡，經(jīng) A/D 轉(zhuǎn)換為數(shù)字信號送入計算機，計算機進行存儲、處理、分析和管理。 針對人眼面對不同光照刺激時的不同反應，本文設計專用的瞳孔對光反應檢測系統(tǒng)?？刂飘a(chǎn)生不同顏色、不同強度、不同頻率的特定光刺激條件下，動態(tài)采集人眼部圖像傳送至計算機，經(jīng)圖像處理模塊從視頻圖像中進行檢測識別并標定瞳孔位置，同時獲得瞳孔的各數(shù)值化參數(shù)及變化情況。 系統(tǒng)的硬件結(jié)構(gòu) 瞳孔動態(tài)檢測系統(tǒng)的硬件包括圖像采集、攝像光源系統(tǒng)、刺激光 源及控制 3 部分。圖像采集部分實現(xiàn)單路采集和雙路同步實時采集眼睛圖像，包括單幀、序列圖像采集和視頻圖像攝錄；攝像光源系統(tǒng)實現(xiàn)拍攝眼睛圖像的不同光照條件；刺激光源及控制部分是用于觀察分析眼睛對光反射的特點而設計的，可以調(diào)控刺激的強度和刺激時間。 左 眼右 眼光 電 系 統(tǒng) 攝 像 C C D光 電 系 統(tǒng) 攝 像 C C D圖 像 采 集 、轉(zhuǎn) 換 緩 存存 儲 設 備計 算 機圖 像 處 理數(shù) 據(jù) 管 理刺 激 光 源 控 制 電 路 單 片 機沈陽理工大學學士學位論文 9 圖像采集的硬件結(jié)構(gòu) 這部分包括 CCD 攝像頭、圖像采集卡、計算機等。光源照射被測對象形成的圖像被 CCD 攝像頭接收，再傳輸至圖像采集卡，輸入計算機進行處理。圖像采集數(shù)據(jù)傳輸圖如圖 所示。 圖 圖像采集數(shù)據(jù)傳輸 攝像頭光源結(jié)構(gòu) 攝像光源系統(tǒng)由可見光源、紅外光源、 穩(wěn)壓電源和控制電路等構(gòu)成?？梢姽庠床捎眉t色、綠色發(fā)射管，用作明視條件下檢測光源。紅外光源采用紅外二極管，用作暗視條件下檢測光源?？梢?、紅外發(fā)射管均勻分布在攝像頭周圍。合理的排列方式有利于圖像清晰采集，同時也讓它們造成的亮點能均勻分布在圖像預定的區(qū)域內(nèi)，為后續(xù)的圖像處理提供方便。由于可能需要在暗室環(huán)境下進行檢測定位等操作，普通攝像頭感光范圍受到限制，不能采集到較理想的圖像，影響到后端圖像處理環(huán)節(jié)。同時，考慮到 850~950nm 近紅外光光譜對人眼無刺激作用，故不會影響到本文所研究的瞳孔對光反應效果；且視網(wǎng)膜對 此紅外光能夠反射高達百分之八九十的入射光，人眼瞳孔與相鄰其他組織的反射差異性較強，在成像后將便于后端程序處理。因此，考慮到本文實際操作環(huán)境，采用具有紅外背光補償?shù)臄z像頭來采集瞳孔圖像。 刺激光源與控制部分 光刺激控制器和光源發(fā)光部分一起安置在刺激空間內(nèi)，顏色、光強和刺激時間可調(diào)的光源發(fā)光后均勻散射到整個刺激空間積分球的內(nèi)表面，實現(xiàn)均勻光照，進而實現(xiàn)構(gòu)建光刺激平臺。嵌入式系統(tǒng)中的主控制芯片選型，一般是選用具有較豐富外圍 GPIO、工沈陽理工大學學士學位論文 10 作主頻較高以及處理性能較強的嵌入式主控制芯片，本文控制系統(tǒng)中與單片機相連的部分 有定時器接口、與 PC 端軟件通信的 UART 通用串行總線接口以及與其他外設模塊相連的 GPIO 接口等。由于要使用較多的外設接口，且要求控制模塊能夠降低功耗，因此本系統(tǒng)采用的是基于 CortexM3 內(nèi)核的 STM32F101RBT6 ARM 芯片。 STM32 分為 STM32F103 系列和 STM32F101 系列兩種。其中 STM32F103 增強型系列時鐘頻率為 72MHz，在同類產(chǎn)品中性價比最高；而 STM32F101 基本型時鐘頻率為 36MHz，性價比非常高的 32 位產(chǎn)品。本文選用的基本型 STM32F101RBT6 足以滿足要求，降低了系統(tǒng)成本；主要參數(shù)如下，內(nèi)置 128K 的閃存存儲器、 32 位 CortexM3 CPU、 6 個 16 位定時器、包括 SPI、 I2C 等 7 個通信接口，具有體積小、豐富的 GPIO 接口和較低的功耗，非常適合于刺激控制設備。 系統(tǒng)需求的刺激為白色、紅色、藍色三種不同顏色刺激，考慮到顏色、光強參數(shù)及占用面積等因素，采用圓盤式對稱方式將白、紅、藍三種 LED 組成一個整體。為使的光源能在球體內(nèi)均勻散射，故此需三種顏色的 LED 都對稱、均勻分布；同時，每種色采用串并級聯(lián)以滿足電流、電壓 在電氣參數(shù)上的要求?？紤]到光源模塊的發(fā)光、集中發(fā)熱及快速上升、下降沿的大電流通過等問題， PCB 布局布線時將同種顏色的 LED 散列分開放置使得熱量可以盡快散去，同時按照圓弧對稱方式布局同種 LED，避免刺激光出現(xiàn)明顯的區(qū)域指向性；電流回路布線宜盡量寬，且在轉(zhuǎn)接處保持走線漸變而不會畸變。光源板卡同樣以圓形盤進行設計，如圖 所示。 圖 光源圖 沈陽理工大學學士學位論文 11 系統(tǒng)的軟件設計 本文用 Visual C+++OpenCV 軟件實現(xiàn)瞳孔的大小的計算，并且畫出瞳孔視頻文件中瞳孔大小的曲線圖。軟件設計整體框架 圖如圖 所示。 圖 軟件設計整體框架圖 視 頻 讀 取 模 塊 視 頻 處 理 模 塊 畫 曲 線 圖 模 塊處 理 后 的 視 頻 查 看模 塊沈陽理工大學學士學位論文 12 3 瞳孔動態(tài)監(jiān)測算法設計 眼睛的外觀圖由鞏膜、虹膜、瞳孔幾部分構(gòu)成。 可將虹膜的內(nèi)外邊緣近似看作兩個不同心的圓，而內(nèi)圓就是瞳孔。瞳孔檢測算法流程圖如圖 所示。 圖 瞳孔檢測過程 預處理 由于光斑、眼瞼以及濃密的睫毛等原因，使得紅外瞳孔圖像受到一定的噪聲干擾，所以需要進行圖像預處理和濾波。本文采用形態(tài)學中的基本的開運算，來對圖像進行預處理。開運算由腐蝕和膨脹兩個部分組成。 腐蝕 使用 B 對 A 進行腐蝕運算，定義為： （ ） 其中 A 是輸入圖像的集合，集合 B 是結(jié)構(gòu)元素。腐蝕處理的作用是將目標圖形收縮。運算效果取決于結(jié)構(gòu)元素大小內(nèi)容以及邏輯運算性質(zhì)。結(jié)構(gòu)元素是指具有某種確定形狀圖 像 預 處 理選 定 閥 值 ， 二 值 化經(jīng) 垂 直 ， 水 平 投 影找 到 種 子 點進 行 區(qū) 域 生 長 ， 確 定 瞳 孔 區(qū) 域計 算 瞳 孔 區(qū) 域 內(nèi) 的 像 素 點 數(shù)原 圖 像A?B={Z│(B)Z?A} 沈陽理工大學學士學位論文 13 的基本結(jié)構(gòu)元素，例如，一定大小的矩形、圓或菱形等。腐蝕處理可以表示成用