【導讀】隨著人機交互技術的不斷發(fā)展，除了傳統(tǒng)成熟的鼠標、鍵盤等輸入方式外，然成作為一種候選的輸入通道。目前對于人眼視線的人機交互技術研究漸漸受到人們的重視。線的人機交互技術，將當前比較成熟、完善的機器視覺技術與虛擬儀器相結合，VisionAssistant以及IMAQVision組成的虛擬儀器，對采集的圖像進行處理和識別。最終建立人機交互平臺，并完成人眼視覺對電腦鼠標控制的人眼追蹤系統(tǒng)。次新的嘗試，是一個較有價值的研究方向。

　　

【正文】 各個物體，給這些物體賦予特定的標記，它是機器視覺系統(tǒng)必須完成的一個任務。圖像識別主要可分為模板匹配和模式識別兩類。 模板匹配，要判定搜索圖像中是否存在某一目標物，可以事先將該目標物從標準圖像中分割提取出來，以矩陣形式表示該 目標物的樣板，該樣板就稱做模板。根據(jù)該模板與一幅圖像的各部分的相似度，判定其是否存在，并求得目標物在圖像中的位置，這一操作就叫模板匹配。 模式識別，模式識別是指在圖像處理，特征提取的基礎上，把待識別模式劃分到各自的模式中去的過程，即自動或半自動地檢測、度量、分類圖像中的目標物 [2728]。 本章小結 本章簡要介紹了 LabVIEW 虛擬儀器的概況及優(yōu)缺點，并介紹了數(shù)字圖像的基本概念以 及 數(shù)字圖像處理技術。數(shù)字圖像處理是機器視覺系統(tǒng)中不可缺少的一個部分，圖像處理的結果好壞直接影響系統(tǒng)的輸出。為后繼人眼追蹤 系統(tǒng)研究工作中的人眼眼球的識別檢測奠定了理論基礎 。 第四章 人眼跟蹤系統(tǒng)的設計 21 第四章 人眼跟蹤系統(tǒng)的設計 系統(tǒng)的設計思路 本 系統(tǒng)最終目的是即時測量出人眼眼球的位置，得到位置坐標，將位置坐標與人眼注視電腦屏幕坐標相對應，通過 C語言編程實現(xiàn)人眼眼球對電腦鼠標的移動控制。系統(tǒng)由圖像采集模塊、圖像處理模塊、人機交互平臺三大部分組成。 圖像采集模塊，圖像采集模塊用來完成對人眼眼球圖像的采集，并將圖像轉為數(shù)字圖像傳入圖像處理模塊。 圖像處理模塊，圖像處理模塊用來完成將由圖像采集模塊傳入的人眼圖像進行圖像增強，圖像平滑，人眼眼球的識別等 圖像處理操作，最終完成對人眼眼球的識別，并獲得人眼眼球中心的位置坐標，將處理結果傳入人機交互平臺。 人機交互平臺，人機交互平臺設計用于人與電腦的交互，需要設定圖像采集間隔時間，并預先定位人眼的初始位置，和最大移動位置 （ 人眼注視電腦邊緣眼球的位置 ） ，最后運行程序完成人眼對電腦鼠標的控制。 本 系統(tǒng) 的 設計 是 由攝像頭對人眼進行采集， 傳入電腦 NI Vision Assistant 件中進行圖片處理、識別，然后封裝成可用于 LabVIEW的 VI。再在 LabVIEW 中設計人機交互界面以及應用圖像處理后的結果 數(shù)據(jù)編程實現(xiàn)人眼對鼠標的移動。由于要 求 不斷的對人眼進行跟蹤，需要在 LabVIEW的循環(huán)程序中加入條件循環(huán)，以滿足連續(xù)不斷的自動采集、自動處理分析的需要。 硬件設計 本文機器視覺系統(tǒng)的硬件部分簡單實用、便于搭建，主要由三部分組成：光源，攝像頭，計算機 （ 圖像采集、圖像處理、交互平臺 ） 。 硬件系統(tǒng)結構圖如圖 。 22 基于機器視覺的人眼 跟蹤系統(tǒng)的設計和實現(xiàn) 光 源人 眼 攝 像 頭 計 算 機 圖 硬件系統(tǒng)結構圖 光源 在機器視覺系統(tǒng)中，光源和照明方案的好壞往往會決定整個系統(tǒng) 的成像質量。而且，隨著光 源光譜成分的變化，以及光源強度分布隨時 間 等的變化，圖像傳感器輸出的圖像信號也要發(fā)生變化。因此，恰當?shù)剡x擇光源是獲得理想圖像信號的關鍵，是圖像傳感器應用技術的重要環(huán)節(jié)。 光源的特征 是 用光通量、射線的色溫及發(fā)光體的形狀與規(guī)格表示的。光通量表示單位時間內通過某一面積的輻射能量。發(fā)光效率 (1m/w)指燈泡每瓦需用功率所輻射的光通量值。色溫 (K)等于輻射同樣光譜成分的黑體 （ 在輻射作用下，既不反射也不透射，并將輻射全部吸收的物體 ） 的溫度，即光色所顯示的溫度，表示燈泡輻射光譜成分特征 。 光源設備的選擇必須符合所需的幾何形狀 、照明亮度、均勻度，發(fā)光的光譜特性也必須符合實際的要求。同時還要考慮光源的發(fā)光效率和使用壽命。 除自然光源外，人工光源中鎢絲燈應用最普遍。標準鎢絲燈的發(fā)光光譜范圍涵蓋了整個可見光譜區(qū)，并延長至中紅外區(qū)。但其在可見光譜區(qū)的輻射功率只占全部輻射功率的一小部分。鹵素燈是一種改進的白熾燈。因鎢絲在高溫下蒸發(fā)使燈泡變黑，如果降低白熾燈的燈絲溫度，則發(fā)光效率降低。可以在燈泡中充入碘或溴等鹵族元素。使它們與蒸發(fā)在玻璃殼上的鎢形成鹵化物。當這些鹵化物回到燈絲附近時，遇到高溫便會分解，鎢又回到鎢絲上 。 這樣，燈絲的溫度可以大大提高，而玻璃殼不會發(fā)黑。因此，鹵素燈燈絲亮度高、發(fā)光效率高、形體小、成本低。 表 。 第四章 人眼跟蹤系統(tǒng)的設計 23 表 光源各類及特征 光源類別 功率 效能 品質 壽命 (小時 ) 穩(wěn)定性 價位 Halogen 150w 劣 (8%) 佳 50 最佳 中 /低 Flouresent 50w 佳 普通 3000 普通 低 Metal Halid 1501000w 佳 佳 10000 普通 高 Xenon 150500w 普通 最佳 普通 佳 最高 LED 15w 佳 佳 100000 普通 中 Laser 550mw 佳 普通 50000 普通 高 半導體發(fā)光二極管 (LED)光源由多個 LED以某一特定形狀綜合對被測 物進行照明，由于壽命長，波長可以根據(jù)用途選擇、形狀自由度大， 啟動 速度快、運行成本低等優(yōu)點目前在工業(yè)中得到普遍使用。另外 ， 用于圖像檢測系統(tǒng)的光源還有激光光源，它具有方向性強、單色性好，相干性好和光亮度高等獨特的優(yōu)點，適用于通過測量被檢測物體的空間頻譜分布來確定被檢測物體的某些特征參數(shù)。 視野大小、相機與被攝物體的距離以及光源與被攝物體的距離均影響光源的選擇 。 被攝物體表面條件 （ 光滑或凹凸不平 ） 和幾何形狀與光源種類選擇有關，被攝物體本身或被檢測區(qū)域的顏色與光源波長選擇有關。具體成像內容也在很大程度上影響光源的選擇。 本系統(tǒng)中，根據(jù)各類光源的特征與實際應用中的要求采用了自然光或是日光燈作為系統(tǒng)的光源。 照明方式 傳統(tǒng)光源基本上以接近垂直于桌面的方式安置。使得光源亮度集中于照明區(qū)域的中心。主要應用于字體的檢驗、電路板上零件的檢測等；低角度光源以接近水平于桌面的方式安置，以強化對象的邊緣及對象表面的缺陷，適合邊緣檢測、表面檢測等；條狀光源以 LED或雷射光源創(chuàng)造線狀光源投射于 物體表面，一般配合高分辨率的線掃描 CCD(Line Scan CCD)檢驗，它主要用于檢測條狀、筒狀產(chǎn)品，例如布匹、鋼板、紙張等；背光照明光源由對象的背面投射，使得物體成像于 CCD時呈現(xiàn)高對比的剪影效果，主要用于物體尺寸測量及輪廓識別；間接光源非直接投射于物體表面，而是經(jīng)由反射板將光源均勻擴散于物體表面，主要用于強調平滑且規(guī)律表面的特性；同軸光源由分光鏡 (Half Mirror)將光源以垂直方向投射于物體表面，主要用于檢測具有高反光特性的物體表面，例如半導體晶圓表面；平行24 基于機器視覺的人眼 跟蹤系統(tǒng)的設計和實現(xiàn) 光源 ， 如同太陽光般以平行方式照射，主 要針對反光表面的缺陷檢測，對于規(guī)律表面，反射光源的擴散量少，而對于缺陷表面反射光源的擴散量則會大量增加；結構式光源以點狀、線狀或格狀方式投影于物體，利用投射圖案的變化檢測物體的形狀。 由于人眼眼球反光性很強，根據(jù)上述選擇平行方式照射，即是光源從頭頂垂直向下照射，這樣既能使眼部光線更加明亮，采集的光線更清晰，而又讓眼球不至于反光造成識別的困難。 攝像頭 攝像頭是一種應用極其廣泛的圖像輸入裝置，縮寫為 CCD，它是一種半導體成像器件，因而具有靈敏度體積小、壽命長、抗震動等優(yōu)點。被攝物體的圖像經(jīng)過鏡頭聚 焦根據(jù)光的強弱積累相應比例的電荷，各個像素積累的電荷在視頻移，經(jīng)濾波、放大處理后，形成視頻信號輸出。視頻信號連接到輸入端便可以看到與原始圖像相同的視頻圖像。在選擇攝像頭時主要參數(shù)有 以 下方面： 1) 接口 市面上常見的攝像頭有以下幾種接口：模擬復合視頻接口、并行口、數(shù)字 PCI接口 以及 USB等，模擬復合視頻接口的攝像頭具有通用而數(shù)字接口的攝像頭則便于實際應用中的后續(xù)數(shù)字處理，但接口協(xié)議較多，較復雜。 2) 攝像頭的分辨率 攝像頭的分辨率是用電視線 (TVLINES)來表示的， 分辯率越高， 攝像頭的表現(xiàn)越好。 常用彩色 攝像頭的分辨率在 380~1024線之間。分辨率和鏡頭有關，還與攝像頭電路通道的頻帶寬度直接相關，頻帶越寬，圖像越清晰，線數(shù)值相對越大。 3) 攝像頭的像素 攝像頭的像素是攝像頭的主要性能指標，它決定了顯示圖像的好壞，像素越高，圖像細節(jié)的表現(xiàn)越好。攝像頭的像素是指電子影像傳感器的有效感光點，像素越多，獲得圖像的品質越高。 4) 最低照度 也稱靈敏度，是攝像頭對環(huán)境光線的敏感程度，或者說是攝像的最暗光線。照度的單位是勒克斯 (LUX)，數(shù)值越小，表示需要越靈敏。黑白攝像頭的靈敏度大約是 ~。 5) 信噪比 攝像頭信噪比在 50分貝時圖像有少量噪聲，當信噪比達到 60分貝后，圖像基本不會出現(xiàn)噪聲。 根據(jù)系統(tǒng)功能要求和實驗室現(xiàn) 有 設備條件，本系統(tǒng)采用的是 Logitech E1100攝 第四章 人眼跟蹤系統(tǒng)的設計 25 像頭，該攝像頭的具體參數(shù)如表 。 表 Logiteh E1100 攝像頭性能參數(shù) 接口 數(shù)字 USB 有效像素 130萬 分辨率 800? 600 dpi 信噪比 ? 50 dB 掃描速度 30 FPS 軟件設計 本系統(tǒng)的軟件基于 LabVIEW ，以 NI公司的視覺輔助軟件 MAX和 Vision Assistant為輔助。對所采集的人眼圖像，在 Vision Assistant平臺上，進行圖像色彩轉換、平滑濾波、圖像增強、圖像分割、模板匹配等預處理，然后封裝成 VI，在LabVIEW中調用，最后在 LabVIEW設置循環(huán)，在循環(huán)中的 CIN節(jié)點上引入 C語言代碼對數(shù)據(jù)進行編程實現(xiàn)對鼠標的控制。 主體部分 首先設計圖像采集模塊，然后根據(jù)人眼和眼球的特征的不同，在 Vision Assistant中 設計圖像處理模塊，最后在 LabVIEW中設計人機交互的模塊，創(chuàng)建模板、循環(huán)采集模塊以及對鼠標的控制程序。具體流程圖見 圖 。 26 基于機器視覺的人眼 跟蹤系統(tǒng)的設計和實現(xiàn) 模 式 識 別 成 功初 始 化圖 片 采 集讀 取 圖 片圖 像 處 理分 析調 入 L a b V I E W執(zhí) 行 控 制結 束是外 部 觸 發(fā)是否否 圖 軟件的主流程圖 第四章 人眼跟蹤系統(tǒng)的設計 27 圖片采集部分 采用 Logitech E1100攝像頭，該攝像頭功能參數(shù)合適，成本低，具有很高的實用價值。用該攝像頭獲取人眼的圖像以后，應用 LabVIEW中的幾個軟件模塊即IMAQ Create， IMAQ ， IMAQ Copy Acquired 完成連續(xù)的、可控 的、簡單可靠的圖像采集過程。在本設計中， Buffer是必須要有的， 因為 數(shù)據(jù)采集 速度較快 ， LabVIEW圖像處理的時間肯定跟不上，因此有必要加入 Buffer。對于觸發(fā)，本部分可以使用布爾面板控制去啟動和停止數(shù)據(jù)采集和處理 [30]。具體流程如圖 。 初 始 化存 入 B u f f e r外 部 觸 發(fā)是否調 入 L a b V I E W結 束 圖 圖像采集部分流程圖 圖片處理部分 這部分主要是針對單張的人眼圖片進行分析處理，創(chuàng)建模板，對人眼眼球進行識別并分析得出位置坐標，這部分主要在 Vision Assistant ，在對人眼眼球識別時，由于閉眼等因素可能導致識別失敗，此時需要在后面的 LabVIEW中加入返回圖像采集的循環(huán)，重新采集圖像。具體的圖像處理過程見第五章。 28 基于機器視覺的人眼 跟蹤系統(tǒng)的設計和實現(xiàn) 循環(huán)處理部分 以上實現(xiàn)了圖片的 攝 取 、 處理和分析，但是我們需要連續(xù)的對鼠標進行操作，就需要連續(xù)的采集圖片，由于對圖片的處理過程是一樣的，因此我們需要加入對圖像的循環(huán)采集控制。另一方面，當對眼球的識別失敗時，也需要重新采集圖片，也需要加入循環(huán)，這在 。 按此思路，需要在不同的地方加入兩個 不同 循環(huán)，但是本系統(tǒng)在 后面 對 算法進行了 改進，使兩個循環(huán)合并成為一個循環(huán)，簡化了流程。這在第 6章將具體介紹。加入循環(huán)的方法是在 LabVIEW的程序面板中適當?shù)牡胤郊尤胙h(huán)環(huán)節(jié)，當外部觸發(fā)器為開啟時循環(huán)，關閉時結果程序。 本章小結 本章闡述了人眼跟蹤系統(tǒng)的整體設計思路，并詳細介紹了硬件的組成和選擇方法 ，軟件各個模塊的設計思路及具體流程。從整體的高度對系統(tǒng)的設計進行把握，完成了系統(tǒng)設計的藍圖。 第五章 人眼跟蹤系統(tǒng)圖像處理模塊 29 第五章 人眼跟蹤系統(tǒng)圖像處理模塊 圖像處理是突出圖像中的有用信息、抑制無用信息和 改善 圖像質量的技術，便于計算 機對 圖像分析、處理、識別等 。 在圖像的生成、傳輸和