【正文】 ........................................................................ 27 結(jié) 論 .................................................................................................................................... 29 致 謝 .................................................................................................................................... 30 參考文獻(xiàn) .............................................................................................................................. 31 附錄 A 源代碼 ..................................................................................................................... 35 附錄 B 英文原文文獻(xiàn) ....................................................................................................... 38 附錄 B 中文翻譯 ............................................................................................................... 48 沈陽理工大學(xué)學(xué)士學(xué)位論文 1 1 引言 課題的背景和意義 人與計(jì)算機(jī)的交互活動(dòng)越來越成為人們口常生活的一個(gè)重要組成部分。特別是最近幾年，隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，研究符合人機(jī)交流習(xí)慣的新穎人機(jī) 交互技術(shù)變得異常活躍，也取得了可喜的進(jìn)步。這些研究包括手勢(shì)識(shí)別、面部表情識(shí)別、唇讀、頭部運(yùn)動(dòng)跟蹤、凝視跟蹤、人臉 識(shí)別、以及體勢(shì)識(shí)別等等?？偟膩碚f ，人機(jī)交互技術(shù)己經(jīng)從以計(jì)算機(jī)為中心逐步轉(zhuǎn)移到以人為中心，是多種媒體、多種模式的交互技術(shù)。 基于 MATLAB 的手勢(shì)識(shí)別研究正是順應(yīng)了這一潮流。手勢(shì)是一種自然、直觀、易于學(xué)習(xí)的人機(jī)交互手段。以人手直接作為計(jì)算機(jī)的輸入設(shè)備，人機(jī)之間的通訊將不再需要中間媒體，用戶可以簡單地定義一種適當(dāng)?shù)氖謩?shì)來對(duì)周圍的機(jī)器進(jìn)行控制。以人手直接作為輸入手段與其他輸入方法相比較，具有自然性、簡潔性，和豐富性、直接性的特點(diǎn)，因此用計(jì)算機(jī)來識(shí)別手勢(shì)提供了一個(gè)更自然的人機(jī)接口。但是由于手勢(shì)本身具有的多樣性、多義性以及時(shí)間和空間上的差異性 等特點(diǎn) ，加之人手是復(fù)雜變形體以及視覺本身的不適定性，因此基于 MATLAB 的手勢(shì)識(shí)別是一個(gè)多學(xué)科交叉的、富有挑戰(zhàn)性的研究課題。為了尋找突破口，必須研究人機(jī)交流中的手勢(shì)用法，從而確定合理的研究范圍。手勢(shì)識(shí)別的研究可以應(yīng)用于計(jì)算機(jī)輔助啞語教學(xué)、電視節(jié)目雙語播放、虛擬人的研究、電影制作中的特技處理、動(dòng)畫的制作、醫(yī)療研究、游戲娛樂等諸多方面，同時(shí)也有助于改善和提高聾啞人的生活學(xué)習(xí)和工作條件，為他們供更好的服務(wù) 。另外，手勢(shì)的研究涉及到教學(xué)、計(jì)算機(jī)圖形學(xué)、機(jī)器人運(yùn)動(dòng)學(xué)、醫(yī)學(xué)等多學(xué)科。因此，手勢(shì)識(shí)別的研究是一個(gè)非常有意義的課題。 手勢(shì)輸入在人機(jī)交互中應(yīng)用的精髓不在于用來獨(dú)立的用作空間指點(diǎn)，而是作為語言、視線、唇語等交互通道提供空間的或其它約束信息，以消除在單通道輸入時(shí)存在的歧義，這樣就可以以充分性取代精確性。 國內(nèi)外研究現(xiàn)狀 在新的人機(jī)交互領(lǐng)域，國際上己經(jīng)出現(xiàn)付諸應(yīng)用的人機(jī)交互系統(tǒng) ， 2020 年 12 月，美國密歇根州的 Cyber 系統(tǒng)公司開發(fā)出一套名為手勢(shì)風(fēng)暴的系統(tǒng)，是公司針對(duì)天氣預(yù)沈陽理工大學(xué)學(xué)士學(xué)位論文 2 報(bào)節(jié)目開發(fā)的，主持人可以通過簡單的手勢(shì)來控制預(yù)報(bào)的進(jìn)程 。美國加州圣何塞的Canesta 公司在 2020 年末推出一種新的設(shè)備，它可以使個(gè)人數(shù) 字助理 (PDA)具備手勢(shì)識(shí)別功能。該設(shè)備會(huì)通過 PDA 內(nèi)部透鏡在桌面等平面上投射出鍵盤的影像。與此同時(shí)，它還會(huì)向該 “鍵盤 ”的上方區(qū)域射出一束紅外光。通過檢測(cè)紅外光脈沖從離開發(fā)射器、經(jīng)用戶手指反彈后最終回到 PDA 內(nèi)傳感器的時(shí)間，該設(shè)備可以精確感知用戶手指在任一時(shí)刻的位置。光脈沖的來回程時(shí)間對(duì)應(yīng)于特定的距離，根據(jù)這些不同的距離可以得出手指在鍵盤上位置的三維圖像，這樣 PDA 就可以準(zhǔn)確地采集用戶在虛擬鍵盤上的操作信息 。美國佐治亞理工學(xué)院有一項(xiàng)用手勢(shì)識(shí)別減少汽車事故的研究課題，該校的研究小組開發(fā)了名為 “手勢(shì)面板 ”的設(shè)備 來取代汽車上通常使用的儀表板控制設(shè)備，司機(jī)只需要在指定區(qū)域做出某個(gè)手勢(shì)，即可調(diào)整車內(nèi)的溫度或音響的音量，而不需要轉(zhuǎn)移對(duì)路面的注意力。在基于視覺手勢(shì)識(shí)別方面，具有代表性的研究成果包括 :1991 年富士通實(shí)驗(yàn)室完成了對(duì) 46 個(gè)手語符號(hào)的識(shí)別工作 ； 和 將戴上尖具有高亮標(biāo)記的視覺手套的手勢(shì)作為系統(tǒng)的輸入，可識(shí)別 7 種手勢(shì) ； Starner 等在對(duì)美國手語中帶有詞性的 40 個(gè)詞匯隨機(jī)組成的短句子識(shí)別率達(dá)到 %； 和 ，采用 HMM 技術(shù)識(shí)別 262 個(gè)孤立詞，正 確率為 %； 此外， Vogler[6]與 Metaxas 將兩種方法結(jié)合用于美國手語識(shí)別，交互采用一個(gè)位置跟蹤器及三個(gè)互相垂直的攝像機(jī)作為手語輸入設(shè)備，完成了 53 個(gè)孤立詞的識(shí)別，識(shí)別率為 % 。 利用數(shù)據(jù)手套等典型傳感設(shè)備的方法中， CMU 的 Christopher Lee 和 Xu 在 1995 年完成了一個(gè)操縱機(jī)器人的手勢(shì)控制系統(tǒng) ； 用 PowerGloves 作為手語輸入設(shè)備，識(shí)別由 95 個(gè)孤立詞構(gòu)成的詞匯集，正確率為 80% 。 面對(duì)如此多的新型用戶接口，有分析家指出 ： 簡便性和直觀性是其是否成功的 關(guān)鍵標(biāo)準(zhǔn) 在我國，哈爾濱工業(yè)大學(xué)的吳江琴、高文等給出了 ANN 與 HMM 的混合方法作為手語的訓(xùn)練識(shí)別方法，以增加識(shí)別方法的分類特性和減少模型的估計(jì)參數(shù)的個(gè)數(shù)，將ANNHMM混合方法應(yīng)用于有 18 個(gè)傳感器的 CyberGlove 型號(hào)數(shù)據(jù)手套的中國手語識(shí)別系統(tǒng)中，孤立詞識(shí)別率為 90%，簡單語句級(jí)識(shí)別率為 92%。接下來高文等又選取Cyberglove 型號(hào)數(shù)據(jù)手套作為手語輸入設(shè)備，并采用了 DGMM（ ynamic Gaussian Mixture Mode） 為系統(tǒng)的識(shí)別技術(shù)，即利用一個(gè)隨時(shí)間變化的具有 M 個(gè)分量的混合 Gaussian N一元混合密度來模型化手語信號(hào)，可識(shí)別中國手語字典中 274 個(gè)詞條，識(shí)別率為 %。 與基于 HMM的識(shí)別系統(tǒng)比較，這種模型的識(shí)別精度與 HMM 模型的識(shí)別精度相當(dāng)，其訓(xùn)練和識(shí)別速度比 HMM 的訓(xùn)練與識(shí)別速度有明顯的改善。他們?yōu)榱诉M(jìn)一步提高識(shí)別沈陽理工大學(xué)學(xué)士學(xué)位論文 3 速度，識(shí)別模塊中選取了多層識(shí)別器，可識(shí)別中國手語字典中的 274 個(gè)詞條，識(shí)別率為%。與基于單個(gè) DGMM 的識(shí)別系統(tǒng)比較，這種模型的識(shí)別精度與單個(gè) DGMM 模型的識(shí)別精度基本相同，但其識(shí)別速度比單個(gè) DGMM 的識(shí)別速度有明顯的提高。 2020 年在國際上他們首次實(shí)現(xiàn)了 5000 詞以上的連續(xù)中國手語識(shí)別系統(tǒng)。 另外，清華大學(xué)祝遠(yuǎn)新、徐光裕等給出了一種基于視覺的動(dòng)態(tài)孤立手勢(shì)識(shí)別技術(shù)，借助于圖像運(yùn)動(dòng)的變階參數(shù)模型和魯棒回歸分析，提出一種基于運(yùn)動(dòng)分割的圖像運(yùn)動(dòng)估計(jì)方法，基于圖像運(yùn)動(dòng)參數(shù)，構(gòu)造了兩種表現(xiàn)變化模型分別作為手勢(shì)的表現(xiàn)特征，利用最大最小優(yōu)化算法來創(chuàng)建手勢(shì)參考模板，并利用基于模板的分類技術(shù)進(jìn)行識(shí)別，對(duì) 12種手勢(shì)的識(shí)別率超過 90%。在進(jìn)一步研究中，他們又給出了有關(guān)連續(xù)動(dòng)態(tài)手勢(shì)的識(shí)別，融合手勢(shì)運(yùn)動(dòng)信息和皮膚顏色信息，進(jìn)行復(fù)雜背景下的手勢(shì)分割，通過結(jié)合手勢(shì)的時(shí)序信息、運(yùn)動(dòng)表現(xiàn)及形狀表 現(xiàn)，提出動(dòng)態(tài)手勢(shì)的時(shí)空表現(xiàn)模型，并提出基于顏色、運(yùn)行以及形狀等多模式信息的分層融合策略抽取時(shí)空表觀模型的參數(shù)。最后，提出動(dòng)態(tài)時(shí)空規(guī)整算法用于手勢(shì)識(shí)別，對(duì) 12 種手勢(shì)，平均識(shí)別率高達(dá) 97%。 臺(tái)灣大學(xué)的 Liang 等人利用單個(gè) VPL 數(shù)據(jù)手套作為手語輸入設(shè)備，可識(shí)別臺(tái)灣手語課本中的 250 個(gè)基本詞條，識(shí)別率為 % 。 沈陽理工大學(xué)學(xué)士學(xué)位論文 4 2 手勢(shì) 識(shí)別 研究綜述 手勢(shì) 的定義 由于手勢(shì) （ gesture） 本身具有多樣性和多義性，具有在時(shí)間空間上的差異性加上不同文化背景的影響對(duì)手勢(shì)的定義是不同的。 這里把手勢(shì)定義為 :手勢(shì)是人手或者手和臂結(jié)合所產(chǎn)生的各種姿勢(shì)和動(dòng)作，它包括靜態(tài)手勢(shì) （ 指姿態(tài)，單個(gè)手形 ） 和動(dòng)態(tài)手勢(shì) （ 指動(dòng)作，由一系列姿態(tài)組成 ） 。靜態(tài)手勢(shì)對(duì)應(yīng)模型參數(shù)空間里的一個(gè)點(diǎn)，而動(dòng)態(tài)手勢(shì)對(duì)應(yīng)著模型參數(shù)空間里的一條軌跡，需要使用隨時(shí)間變化的空間特征來表述。手勢(shì)和姿勢(shì)（ posture） 的主要區(qū)別在于姿勢(shì)更為強(qiáng)調(diào)手和身體的形態(tài)和狀態(tài)而手勢(shì)更為強(qiáng)調(diào)手的運(yùn)動(dòng)。 手勢(shì) 識(shí)別的意義 目前，手勢(shì)識(shí)別技術(shù)的應(yīng)用在當(dāng)前是比較熱門的研究課題，已經(jīng)有了相當(dāng)豐富的手勢(shì)識(shí)別理論研究，并有不少的應(yīng)用實(shí)踐。由于人們的研究目 的需求不同，在具體的處理方面就產(chǎn)生了不同的處理技術(shù)。將計(jì)算機(jī)手勢(shì)識(shí)別技術(shù)應(yīng)用于圖書館虛擬現(xiàn)實(shí)導(dǎo)航系統(tǒng)之中，使用戶能夠身臨其境的以自然的方式，在虛擬的場景中獲得真實(shí)的感受成為一種可能。用手勢(shì)進(jìn)行人機(jī)交互十分自然、高效。以人手直接作為輸入手段與其它輸入方法相比較，具有自然性、簡潔性和豐富性、直接性的特點(diǎn)。因此，用計(jì)算機(jī)來識(shí)別手勢(shì)提供了一個(gè)更自然的人機(jī)接口。使用計(jì)算機(jī)手勢(shì)識(shí)別技術(shù)去識(shí)別用戶輸入的手勢(shì)動(dòng)作，并根據(jù)其識(shí)別的結(jié)果去驅(qū)動(dòng)圖書館虛擬現(xiàn)實(shí)導(dǎo)航系統(tǒng)，用戶將擺脫諸多外部硬件設(shè)備的限制，解放身體，自由的在空間中以簡 單的手勢(shì)動(dòng)作驅(qū)動(dòng)應(yīng)用。因此，研究手勢(shì)識(shí)別技術(shù)的實(shí)現(xiàn)，并使用計(jì)算機(jī)手勢(shì)去操作圖書館虛擬現(xiàn)實(shí)導(dǎo)航系統(tǒng)具有現(xiàn)實(shí)意義。 手勢(shì) 識(shí)別的主要內(nèi)容 (1) 針對(duì)手勢(shì)輸入技術(shù)和方法的研究，采用基于計(jì)算機(jī)視覺的手勢(shì)輸入方 法，識(shí)別自然手勢(shì)，使人機(jī)交互更加靈活、方便。 (2) 逐一分析手勢(shì)識(shí)別各環(huán)節(jié)的技術(shù)，對(duì)手勢(shì)圖像進(jìn)行處理、分割、特征 提取、匹配，選取合適技術(shù)，設(shè)計(jì)圖書館虛擬現(xiàn)實(shí)導(dǎo)航系統(tǒng)方案。 沈陽理工大學(xué)學(xué)士學(xué)位論文 5 (3) 結(jié)合以上各項(xiàng)研究成果，應(yīng)用 VC++開發(fā)工具，構(gòu)建圖書館虛擬現(xiàn)實(shí)導(dǎo)航 系統(tǒng)。實(shí)驗(yàn)以上研究的各項(xiàng)關(guān) 鍵技術(shù)，并進(jìn)行評(píng)測(cè)和驗(yàn)證。 手勢(shì) 識(shí)別 的 方法 在基于形狀特征的識(shí)別算法中，我們?cè)谶吔鐖D像的基礎(chǔ)上根據(jù)手勢(shì)區(qū)域的形狀特征對(duì)手勢(shì)圖像進(jìn)行粗分類，按照手勢(shì)圖像中手指的方向及數(shù)目把手勢(shì)圖像分成向上、向右、向下等類別，然后分別在邊界圖像和二值圖像的中提取手勢(shì)圖像面積、周長、重心距等特征，構(gòu)成 s 維特征向量，最后采用類似度進(jìn)行模板匹配，實(shí)現(xiàn)對(duì)字母手勢(shì)的細(xì)分類 。在基于傅立葉描述子的識(shí)別算法中。首先采用八鄰域搜索法對(duì)二值化的手勢(shì)圖像進(jìn)行邊緣檢測(cè)，得到連通的手勢(shì)外輪廓，然后計(jì)算邊界點(diǎn)序列的傅立葉系數(shù)得到傅立葉描述子 ，并將傅立葉描述子進(jìn)行歸一化，構(gòu)建手勢(shì)圖像的特征向量，最后通過計(jì)算輸入手勢(shì)的特征向量與樣本庫中每一圖像的特征向量的歐式距離，判定輸入圖像與樣本圖像間的匹配程度，我們把待識(shí)輸入圖像歸為距離最小的那一類。實(shí)驗(yàn)對(duì)中國手語中字母手勢(shì)進(jìn)行識(shí)別，取得了較好的效果。 本文采用的識(shí)別流程如圖 ： 圖 手勢(shì)識(shí)別流程圖 輸入圖片 圖片預(yù)處理 特征提取 手勢(shì)識(shí)別 沈陽理工大學(xué)學(xué)士學(xué)位論文 6 3 手勢(shì)圖像的格式及基本操作 為了使計(jì)算機(jī)能夠?qū)Ω鞣N現(xiàn)象進(jìn)行分類識(shí)別，要用計(jì)算機(jī)可以運(yùn)算的符號(hào)來表示所研究的對(duì)象。通常輸入對(duì)象的信息有三種類型 : （ 1） 二維圖像如文字、指紋、地圖、照 片這類對(duì)象。 （ 2） 一維波形如腦電圖、心電圖、機(jī)械振動(dòng)波形等。 （ 3） 物理參量和邏輯值前者如在疾病診斷中病人的體溫及各種化驗(yàn)數(shù) 據(jù)等 。后者如對(duì)某參量正常與否的判斷或?qū)ΠY狀有無的描述，如疼與不疼，可用邏輯值 0 和 1來表示。在引入模糊邏輯的系統(tǒng)中，這些值還可以包括模糊邏輯值，比如很大、大、比較大等。 在手勢(shì)識(shí)別中，處理的對(duì)象是手勢(shì)的照片，我們提取數(shù)據(jù)的目標(biāo)就是將手勢(shì)的圖像用一個(gè)特征向量來表示出來。在本文中所處理的圖片主要有 TIFF 與 BMP 兩種格式， TIFF格式相對(duì)來說要復(fù)雜一些，可以存儲(chǔ)的圖像也要豐富得多，它可以存儲(chǔ)多張圖片， 還可以存儲(chǔ)多種壓縮格式的圖片，而 BMP 格式的圖片簡單、通用，一般在應(yīng)用程序中可以方便的顯示。因此我們的工作除了熟悉多種格式的圖像文件以外，還包括實(shí)現(xiàn)多種格式圖像文件之間的相互轉(zhuǎn)換，并最終提取出表示圖像的特征向量。 手勢(shì)圖像格式 數(shù)字圖像的表示 數(shù)字圖像的表示方式可以分為兩類 :位圖方式和矢量方式。位圖方式該方式將一副圖像劃分為一張柵格，格中每一部分 （像素） 或色彩單獨(dú)記錄，位圖中的一個(gè)數(shù)據(jù)點(diǎn)的位置決定了該數(shù)據(jù)點(diǎn)所代表的像素，即數(shù)據(jù)點(diǎn)與圖像對(duì)應(yīng)，“