【文章內(nèi)容簡(jiǎn)介】 個(gè)順?biāo)浦鄣氖?。用手指的形態(tài)來(lái)進(jìn)行標(biāo)記和識(shí)別， 從而達(dá)到控制的目的。手勢(shì)的直觀性和強(qiáng)大的語(yǔ)義使得人機(jī)交互變得尤為輕松。但由于識(shí)別的性能有待提高，目前還未得到很廣泛的應(yīng)用。 11 2 現(xiàn)狀及作品介紹 現(xiàn)狀 根據(jù)設(shè)備采集數(shù)據(jù)資料的不同，目前的手勢(shì)識(shí)別可以大體分為兩種，基于數(shù)據(jù)手套的手勢(shì)識(shí)別和基于視覺的手勢(shì)識(shí)別。基于數(shù)據(jù)手套的識(shí)別系統(tǒng)優(yōu)點(diǎn)是識(shí)別效率高，但由于其要求使用者必須穿戴極不方便的設(shè)備，而且設(shè)備的造價(jià)不菲，所以此種識(shí)別方式不會(huì)是未來(lái)的主流。而基于視覺的手勢(shì)識(shí)別系統(tǒng)憑借良好的適用性以及不需要其他的硬件設(shè)備，只是通過普通的攝像頭，因而成了發(fā)展的主流 （本系統(tǒng)就是基于視覺的識(shí)別）。但基于是覺得手勢(shì)識(shí)別由于識(shí)別度一直不高，成為了其發(fā)展的瓶頸，國(guó)內(nèi)外一些相關(guān)人士一直都致力于其發(fā)展，目前效果顯著。 國(guó)外的發(fā)展是比較長(zhǎng)久的。 （ 1） 1991 年富士通實(shí)驗(yàn)室完成了對(duì) 46 個(gè)手勢(shì)符號(hào)的識(shí)別工作。 （ 2） Davis 和 Shah 將戴在指間具有高亮標(biāo)記的視覺手套的手勢(shì)作為系的輸入，完成了對(duì)七種手勢(shì)的識(shí)別。 （ 3） Grobel 和 Assam從視頻錄像中提取特征，采用 HMM 技術(shù)識(shí)別 262 個(gè)孤立詞，正確率達(dá)到 %。 （ 4） Stamert51 等人使用隱馬爾科夫模型（ HMM）對(duì)輸入 視頻序 12 列中的是美國(guó)手勢(shì)帶有詞性的 40 個(gè)詞匯隨機(jī)組成的句子進(jìn)行了識(shí)別，其中 HMM 參數(shù)的估計(jì)采用的是 EM 算法。系統(tǒng)對(duì)分離的單詞和 5 個(gè)單詞組成的句子進(jìn)行識(shí)別，正確率高達(dá) 90%。 我國(guó)對(duì)手勢(shì)識(shí)別的起步較晚，但近年來(lái)也取得了顯著的成果。 （ 1） 中科院的單彩峰提出了結(jié)合均值漂移的粒子濾波（ The Mean ShiftEmbedded Particle Filter,MSEPF),通過在時(shí)序模板中引入時(shí)空軌跡，提出了時(shí)序模板軌跡概念，將跟蹤得到的手勢(shì)運(yùn)動(dòng)軌跡壓縮到單幅圖像中，實(shí)現(xiàn)了對(duì)預(yù)先定義的動(dòng)態(tài)手勢(shì)的識(shí)別。 （ 2） 山東 大學(xué)的徐立群等提出了一種基于顏色概率模型并 融合 運(yùn)動(dòng)信息進(jìn)行手勢(shì)跟蹤的新方法，利用膚色概率查找表將圖像序列轉(zhuǎn)換為膚色概率分布圖，用運(yùn)動(dòng)信息和膚色概率分布對(duì)搜索窗口進(jìn)行初始化，然后對(duì)膚色概率分布圖進(jìn)行迭代運(yùn)算，得到手勢(shì)的位置和大小，從而實(shí)現(xiàn)了對(duì)六種孤立手勢(shì)的識(shí)別。 作品介紹 （核心） 本作品是一個(gè)基于移動(dòng)終端的人機(jī)交互技術(shù)，它通過識(shí)別人手的關(guān)鍵點(diǎn)，并跟蹤其軌跡，通過軌跡來(lái)識(shí)別人手勢(shì)的意圖，從而觸發(fā)事件，并在屏幕或其他顯示設(shè)備上做出反饋，達(dá)到交互目的。下面從作品的個(gè)特點(diǎn)做出分析： （ 1） 與現(xiàn)在的 pc 端手勢(shì)識(shí) 別技術(shù)相比，本作品注重的是手勢(shì)的關(guān)鍵點(diǎn)位置變化信息，并且將其應(yīng)用在了移動(dòng)終端。眾所周知，移動(dòng)終端的人機(jī)交互技術(shù)發(fā)展最為迅速，新的交互技術(shù)往往能改 13 變行業(yè)發(fā)展方向。 （ 2） 從應(yīng)用范圍分析，全鍵盤由于攜帶不方便或占據(jù)較大空間，在移動(dòng)終端很少使用了，觸摸屏雖然是現(xiàn)在的主流，但其只能用在有介質(zhì)的交互技術(shù)中，在未來(lái)的虛擬現(xiàn)實(shí)技術(shù)等一些無(wú)介質(zhì)交互技術(shù)中還是有很大限制的，而手勢(shì)操作，對(duì)介質(zhì)要求不大，是可以適用在各種終端的一種新型的交互技術(shù)，本作品的核心就是微手勢(shì)的應(yīng)用，不僅是現(xiàn)在的手機(jī)，更是站在未來(lái)的角度，打造未來(lái) 移動(dòng)終端 交互技術(shù)的雛形。 （ 3） 本作品強(qiáng)調(diào)的是微手勢(shì)，即手勢(shì)中的關(guān)鍵點(diǎn)及其運(yùn)動(dòng)軌跡組成的一套簡(jiǎn)化后的手勢(shì)，其能更好的應(yīng)用在移動(dòng)終端，是交互變得更加簡(jiǎn)約和自然。 （ 4） 本作品的完成完全由本 人獨(dú)立編碼設(shè)計(jì)，未借助其他任何輔助工具，從手勢(shì)的分割，邊緣檢測(cè)，質(zhì)心、指尖檢測(cè)，都是自己獨(dú)立通過代碼進(jìn)行試驗(yàn)分析，其中手勢(shì)的分割檢測(cè)等，更是原創(chuàng)了一套適合處理能力不強(qiáng)的移動(dòng)終端的方法。 （ 5）特色應(yīng)用。本作品靈感是來(lái)自谷歌眼睛。谷歌眼睛是應(yīng)用虛擬現(xiàn)實(shí)技術(shù)的一種未來(lái)移動(dòng)終端的雛形，其顯示是在一塊眼鏡鏡片上，操作主要靠右手邊鏡框上的一個(gè) 觸摸板。筆者正是感覺觸摸板式的人機(jī)交互已經(jīng)不太適合一些已經(jīng)到來(lái)的虛擬顯示終端設(shè)備，而手勢(shì)正好完美適用，所以才提出這種微手勢(shì)的移動(dòng)終端交互技術(shù) ，應(yīng)用了這種交互技術(shù)之后，許多科幻電影中的一幕不再是科幻，而且馬上就會(huì)到來(lái)。 14 3 Android 平臺(tái)及其 camera 框架 Android 系統(tǒng)是一個(gè)開放性的手機(jī)和平板的操作系統(tǒng)，目前的發(fā)展勢(shì)頭十分迅猛。雖然 android 面世的時(shí)間不長(zhǎng)，但目前已經(jīng)發(fā)展到了巔峰，取代了 symbian 等傳統(tǒng)手機(jī)平臺(tái)，成為了目前應(yīng)用 最廣泛的手機(jī)等移動(dòng)終端的操作系統(tǒng)。 android 平臺(tái)構(gòu)架分析 Android 系統(tǒng)的底層建立在 linux 系統(tǒng)之上，該平臺(tái)由操作系統(tǒng)、中間層、用戶界面和應(yīng)用軟甲四層構(gòu)成，它采用一種被稱為軟件疊層（ software stack）的方式進(jìn)行構(gòu)建。這種軟件疊層技術(shù)使得層與層之間相互分離，明確各自的分工。這種分工保證了層與 15 層之間的低耦合，當(dāng)下層的層內(nèi)或?qū)油獍l(fā)生變化時(shí)，上層的應(yīng)用程序無(wú)需任何改變。 應(yīng)用程序?qū)? Android 系統(tǒng)將會(huì)包含系列的核心應(yīng)用程序，這些程序包括電子郵件客戶端、 SMS 程序、日歷 、地圖、瀏覽器、聯(lián)系人等。這些應(yīng)用程序都由 java 編寫的。 應(yīng)用程序框架 開發(fā) Android 應(yīng)用程序，就是面向底層的應(yīng)用框架進(jìn)行的。在一定意義上， android 所有應(yīng)用都是平等的，不管是系統(tǒng)的還是開發(fā)者的。應(yīng)用程序框架除了作為開發(fā)的基礎(chǔ)外，也是軟 16 件復(fù)用的重要手段，任何一個(gè)應(yīng)用程序都可以發(fā)布他的功能模塊 — 只要遵循框架的約定，那么其他應(yīng)用就可以使用這個(gè)功能模塊。 Android 運(yùn)行時(shí) Android 運(yùn)行時(shí)由兩部分組成： android 核心庫(kù)集和 Dalvik虛擬機(jī)。其中核心庫(kù)提供了 java 語(yǔ)言核心 庫(kù)所包含的大部分功能，而虛擬機(jī)負(fù)責(zé)運(yùn)行 Android 程序。 Linux 內(nèi)核 Android 系統(tǒng)建立在 Linux 之上， Linux 內(nèi)核提供了安全性、內(nèi)存管理、進(jìn)程管理、網(wǎng)絡(luò)協(xié)議棧和驅(qū)動(dòng)模型等核心服務(wù)。除此之外， Linux 內(nèi)核也是系統(tǒng)硬件和軟件疊層之間的抽象層。 camera 框架 Android 的 SDK 中提供了底層硬件的接口，其中包括底層的頭文件、驅(qū)動(dòng)、庫(kù)文件，因此更方便系統(tǒng)的開發(fā)和移植。 Camera 工作流程： 17 Camera 的成像原 理可以簡(jiǎn)單概括如下： 景物 (SCENE)通過鏡頭（ LENS）生成的光學(xué)圖像投射到圖像傳感器(Sensor)表面上，然后轉(zhuǎn)為電信號(hào)，經(jīng)過 A/D（模數(shù)轉(zhuǎn)換）轉(zhuǎn)換后變?yōu)閿?shù)字圖像信號(hào)，再送到數(shù)字信號(hào)處理芯片（ DSP）中加工處理，再通過 IO 接口傳輸?shù)?CPU 中處理，通過 DISPLAY 就可以看到圖像了。 框架概況 Android 的 Camera 子系統(tǒng)提供一個(gè)拍照和錄制視頻的框架。 它將 Camera 的上層應(yīng)用與 Application Framework、用戶庫(kù)串接起來(lái)，而正是這個(gè)用戶庫(kù)來(lái)與 Camera 的硬件層通信，從而實(shí)現(xiàn)操作camera 硬件。 框架圖： 景物 Scene’ 傳感器 Sensor ADC DSP SD card 18 框架代碼結(jié)構(gòu) Android 的 Camera 代碼主要在以下的目錄中： （ 1） Camera 的 JAVA 部分 packages/apps/Camera/。其中 是主要實(shí)現(xiàn)的文件。這部分內(nèi)容編譯成為目標(biāo)是 這個(gè)包，幾個(gè)主要的類文件如下： PhotoViewer： （所有圖片集）（某個(gè) Folder 下圖片列表） 19 （看某張具體圖片） VideoPlayer： （所有視頻集） （看某一個(gè)視頻） Camera： （ Camera 取景及拍照） VideoCamera： （ VideoCamera 取景及攝像） （ 2） Camera 的 framework 供上層應(yīng)用調(diào)用的部分 base/core/java/android/hardware/ 這部分目標(biāo)是 （ 3） Camera 的 JNI 部分 frameworks/base/core/jni/ 這部分內(nèi)容編譯成為目標(biāo)是 。 （ 4） Camera UI 庫(kù)部分 frameworks/base/libs/ui/camera 這部分的內(nèi)容被編譯成庫(kù) 。 （ 5） Camera 服務(wù)部分 frameworks/base/camera/libcameraservice/ 這部分內(nèi)容被編譯成庫(kù) 。 （ 6） Camera HAL 層部分 hardware/msm7k/libcamera 或 vendor/q/androidopen/libcamera2 為了實(shí)現(xiàn)一個(gè)具體功能的 Camera，在 HAL 層需要一個(gè)硬件相關(guān)的 Camera 庫(kù)（例如通過調(diào)用 video for linux 驅(qū) 動(dòng)程序和 Jpeg 編 20 碼程序?qū)崿F(xiàn)或者直接用各個(gè) chip 廠商實(shí)現(xiàn)的私有庫(kù)來(lái)實(shí)現(xiàn)，比如Qualm 實(shí)現(xiàn)的 和 ），實(shí)現(xiàn)CameraHardwareInterface 規(guī)定的接口，來(lái)調(diào)用相關(guān)的庫(kù)，驅(qū)動(dòng)相關(guān)的 driver，實(shí)現(xiàn)對(duì) camera 硬件的操作。這個(gè)庫(kù)將被 Camera 的服務(wù)庫(kù) 調(diào)用。 4 手勢(shì)分割策略 所謂手勢(shì)分割，后就是將對(duì)識(shí)別有用的區(qū)域從攝像機(jī)得