【正文】
北京科技大學本科生畢業(yè)設計(論文)摘 要近年來,隨著用戶對人機交互的友好性和自然性的需求不斷增加,興起了一種新的人機交互技術——多點觸摸技術。多點觸摸技術超越了傳統(tǒng)人機交互技術中使用的鼠標和鍵盤,實現(xiàn)了用戶通過手指在傳統(tǒng)應用平臺上的動作直接與電腦進行對話。它的主要優(yōu)點是,能夠實現(xiàn)同一時間的多用戶交互,多觸點交互,并且能夠對交互的對象進行識別。多點觸摸技術較傳統(tǒng)的單一觸點交互技術更靈活,更友好,更具自然性。本文首先根據GUI Group提供的多點觸摸系統(tǒng)開源程序代碼完成了多點觸摸人機交互系統(tǒng)底層軟件的剖析。軟件功能主要分為四大部分:圖像預處理、觸摸點識別、運動跟蹤、觸點信息的傳輸。之后在圖像預處理步驟中的“圖像分割”部分,本文采用了一種基于大津法(OSTU)的自適應閾值分割方法,使系統(tǒng)能夠在一定程度上自動完成在變光照條件下由灰度圖像到二值圖像的轉化。其次,考慮到原有特征點跟蹤方法算法“KNN(K最近鄰分類算法)”的跟蹤滯后性這一不足,本文基于“最小距離優(yōu)先算法”改進出了一種適用于多點觸摸系統(tǒng)的更高效的特征點跟蹤方法“最小距離觸點跟蹤算法”,此方法能夠更快速的完成對特征點的識別和跟蹤。最后,手勢識別一直是多點觸摸技術研究的主要內容,本文定義了幾種基本的手勢,并參考相關資料利用ActionScript實驗證明,使用本論文設計的多點觸摸底層軟件能夠正確的檢測并跟蹤到觸點,完成手勢的識別和多點觸摸的簡單應用;并且利用本文改進的“最小距離觸點跟蹤算法”可以很好的提高觸點跟蹤速率,特征點跟蹤滯后時間縮短。關鍵詞:多點觸摸;特征點跟蹤;最小距離優(yōu)先算法;手勢定義 Study on Methods of Multitouch Humanputer Interaction Based on Optical Induction AbstractIn recent years, since users’ demands on nature and friend attributes of puters are increasing, a new humanputer interaction technology called multitouch humanputer interaction technology has been brought up.Multitouch humanputer interaction technology exceeds the mouse and the keyboard used in traditional ways, making it possible for users’ direct munication with puters through the movements and gestures of fingers on the traditional application interface. Its main advantages are that it supports multiconsumers’ and multipoints’ direct interaction at the same time. What’s more, multipoint touch is able to distinguish interactive object identification. Compared with traditional singlepoint touch, it is more flexible, friendlier and more natural for users to use.Firstly, this paper pletes the analysis of the ground software of multipoint touch system based on the open source code of multipoint touch system provided by GUI Group. The function of the software is mainly divided into four parts: image preprocessing, the recognition of blobs, movement tracking and the transmission of blob information. In the “image segmentation” step of “image preprocessing”, this paper uses a selfadaptive threshold method based on the universal OSTU algorithm and makes a contribution to improve the effect of the binary image transformed from the greyscale image in different light condition.Secondly, taking into consideration the disadvantage of track delay caused by original blob tracking algorithm “KNN”, this paper works out a more efficient tracking method named “Nearest Distance Blob Tracking” algorithm based on the universal “Nearest distance Foremost” algorithm. This improved algorithm is capable to plete the blob tracking process more quickly and cut down the delay time. Finally, as the gesture recognition has always been the main research content of multipoint touch technology, this paper gives definitions of several basic gesture models and acplishes the simple application of multipoint touch using ActionScript based on related material. The experiment proves that the ground software of the multipoint touch system designed by this paper can correctly detect and track points, realizing the identification of gestures and basic multipoint touch application. Meanwhile, the “Nearest Distance Blob Tracking” algorithm improved by this paper succeeds in enhancing the tracking efficiency and the delay time of tracking is obviously decreased. Key Words:Multitouch。 Blob tracking。 “Nearest Distance Foremost” algorithm。 Selfadaptive Threshold。 Gesture models VI 目 錄摘 要 IAbstract II引 言 31緒論 3 3 3 3 3 3 32多點觸摸系統(tǒng)底層軟件的架構分析 3 3 3 3 3 3 3 3 3 3 3 33自適應閾值 3 3 3 34最小距離觸點跟蹤法 3 3 KNN算法的核心程序 3 KNN算法的不足 3 最小距離觸點跟蹤法 3 thresh的意義與確定 3 3 3 3 最小距離觸點算法與KNN算法的比較 35簡單的手勢識別 3 3 移動動作 3 放大縮小動作 3 多點觸摸應用 3結 論 3參 考 文 獻 3附 錄 A 翻譯原文 3附 錄 B 翻譯的中文 3附 錄 C 最小距離觸點追蹤程序代碼 3附 錄 D 自適應閾值程序代碼 3在 學 取 得 成 果 3致 謝 3北京科技大學本科生畢業(yè)設計(論文)引 言隨著科技的發(fā)展,計算機已逐漸成為人們工作、生活和休閑娛樂中不可缺少的一部分。與此同時,怎樣使機器與人之間的交互更自然,更和諧也成為了當今研究的熱點。 多點觸摸技術作為近幾十年來一種新興的人機交互模式[1],完全拋棄了傳統(tǒng)的外部硬件交互設備(如鼠標鍵盤),而是通過人的手指與觸摸屏的接觸動作向計算機傳達特定的信息(如拖拽,點擊、放大縮小等)。它能夠允許多用戶、多點對同一虛擬界面的同時訪問,這種交互方式符合人的行為學特點,達到了自然和諧的境界,增強了用戶體驗,是一次人機交互技術的革命。隨著國內外研究工作者的不斷深入研究,多點觸摸技術已經廣為人們所知。并且已經有很多研究機構、企業(yè)等有了自己的多點觸摸商業(yè)產品,如三菱電子的Diamond Touch[2],微軟的Microsoft surface[3]等。鑒于多點觸摸技術的突出優(yōu)勢,本文基于GUI Group提供的開源多點觸摸程序代碼,完成了對一個多點觸摸系統(tǒng)底層軟件的分析與設計。程序能夠實現(xiàn)圖像濾波、圖像分割、目標跟蹤等功能從而獲取觸點信息,并通過TUIO協(xié)議將圖像信息傳遞給上層軟件,實現(xiàn)多點觸摸的應用。在圖像分割步驟中,本文使用了一種基于大津法的自適應閾值分割方法,使灰度圖像到二值圖像的變換效果有了一定的提高。此外,對觸點快速準確的跟蹤是手勢識別的先決條件,也是多點觸摸底層軟件中非常關鍵的一環(huán)。為了解決多點觸摸開源代碼(Community Core Vision)中所采用的“KNN”跟蹤算法產生的跟蹤滯后問題,本文基于“最小距離優(yōu)先法”的原理,編寫了適用于多點觸摸系統(tǒng)的“最小距離觸點跟蹤算法”程序進行觸點跟蹤,能夠在一定程度上提高跟蹤效率并減少跟蹤滯后時間。1緒論觸摸技術對人們并不陌生,例如日常生活中經常能接觸到的觸摸技術有銀行取款機的觸摸屏,醫(yī)院或圖書館大廳的觸控技術電腦,支出觸摸屏的手機、MP數(shù)碼相機等。但是這些生活中經常用到的觸摸屏大多是單點觸摸,也就是說只能識別和支持每次一個手指的觸孔、點擊。若果有兩個以上的點被觸碰,系統(tǒng)就不會做出正確的響應。而多點觸摸人機交互技術把任務分解成兩個部分,一是同時采集多點信號,二是對每路信號的意義進行判斷,也就是進行手勢的識別,從而實現(xiàn)對多用戶多手指在同一時刻的點擊碰觸動作做出正確的反應。最典型的多點觸摸應用便是時下蘋果公司成產的iPhone和iPod[4] 。多點觸摸技術作為近年來一項新興的技術,改變了人與信息間的交互方式,增強了用戶體驗,達到了自然和諧的境界,與人的認知特點和行為學特點相吻合。 人機交互技術(HumanComputer Interaction Techniques)[5]是指通過計算機輸入、輸出設備,以有效的方式實現(xiàn)人與計算機對話的技術。它是計算機用戶界面設計中的重要內容之一,并與認知學、心理學、人機工程學等學科領域有密切的聯(lián)系[6]。人機交互和計算機用戶界面剛剛走過基于字符方式的命令語言式界面,目前正處于圖形用戶界面時代。但是,計算機科學家并不滿足于這種現(xiàn)狀,他們正積極探索新型風格的人機交互技術。未來人機交互技術的發(fā)展趨勢是追求多維信息空間和“基于自然交互方式的”的人機交互風格[7]。,隨著社會信息化產業(yè)的不斷發(fā)展,人機交互的媒介物在不斷發(fā)生改變,從鼠標、鍵盤、游戲手柄、遙控器等與電腦交互到目前流行的多點觸控技術支持用戶使用手指、手勢等直接與電腦進行交互[8][9]。西方國家從上世紀八十年代就開始對多點觸摸技術進行研究了。1983年就曾有科學家將鍵盤和觸控板聯(lián)系在一起同時操作[10],而且在同年貝爾實驗室[11]第一篇關于多點觸摸技術的論文,為該技術的興起打下了基礎。1984年,人機交互界面科學家Bill Buxton從人類雙手本能的生理功能著手,研究界面操作的實際可行性,最終研發(fā)出了一套可以對圖像進行操作的多點觸摸系統(tǒng)。同年,微軟公司也正式開始對多點觸控技術進行研究。1991年,Pierre Wellner自主研發(fā)出了一張“數(shù)碼桌子”(Digital Desk)[12][13] 發(fā)表了相應的論文,詳細地介紹了如何采用多個手指和不同的姿勢進行交互。1992年,Sun Microsystems[14]一段假想12年后將出現(xiàn)的新科技的科幻片,其中就有類似多點觸摸的技術,這對于該技術的發(fā)展也具有高度的啟發(fā)性。1999年,Alias Wave front首先推出了一款叫做Portfolio Wall的產品。他采用了大尺寸的觸控屏幕,配合滑動與點選擇兩種手勢操作,就能夠及時瀏覽大量的圖像與影片。它的概念和操作都很簡單,但在當時已經是最接近商品化的研究方案之一了。2001年,多點觸摸技術有了巨大進展。在多點觸摸技術發(fā)展的歷程中,除了一些針對圖形界面開發(fā)的機構依托于高等教育機構開展研究之外,企業(yè)和組織等對其界面的交互設計的研究投入也是不容忽視的。其中比較有名的研究機構當屬由日本三菱