【導(dǎo)讀】翻譯原文：。Displays. UsingHandTracking. {kcd|dohse|derrick|jeremiah}@. Abstract. work.1.Introduction

　　

【正文】 多點觸摸桌面。利用這個 攝像頭， 在觸摸桌面表面或桌面以上的 手 指便可利用膚色分割 技術(shù) 進行跟蹤 。 在 手 指 坐標可用 的情況下 ， 為每個接觸點分配身份標識號 ，以支持 正確識別多個用戶和多個觸摸 事件 的組成。即使是有很多用戶與桌面進行交互并且觸摸點距離很近的情況下，這種技術(shù)的工作效果仍然很好，因為它并不需要在計算觸摸點距離的基礎(chǔ)上來判斷觸點的關(guān)系 。手 指和接觸點位置的融合也增加了在有紅外光干擾情況下接觸點檢測的精確度，因為增添了對接觸點位置信息的判斷。 此外，手指跟蹤允許用戶手指在觸摸桌面以上做出交互手勢，這樣不用接觸觸摸桌面表面就可以引發(fā)交互動作。這將創(chuàng)建兩個仍在探索階段的交互技術(shù)的融合。 圖 B1 這幾位用戶正在使用一個帶有懸掛攝像頭的背投式多點觸摸桌面，懸掛的攝像頭使觸摸桌面的手指跟蹤性能增強。 檢測技術(shù) 和用于多點觸摸桌面的交互技術(shù)正在迅速成熟，但許多研究人員仍然在尋求 捕捉 多個用戶之間自然的交互的更好的方法，來完成在 真實世界 中 的 交互 應(yīng)用 。跟蹤多個用戶與一個多點觸摸桌面的交互有許多方法 。一個成功的方法是使用布滿傳感器的表面材料，如市售 DiamondTouch系統(tǒng)傳感器 。該系統(tǒng)采用一種 基于電容電路的觸摸技術(shù)，當用戶的手指觸摸桌面時，該電路會自動關(guān)閉。像這樣的交互界面因為 傳感器 的要求，需要使用不透明的桌面，所以采用前投影方式 。其他 多點觸摸 系統(tǒng)如 metaDESK也使用傳感 器，但 將傳感器嵌入到可以可以被熟練操控的實體內(nèi)。 另一種常見的方法是使用攝像機來跟蹤交互過程 。例如， HoloWall使用的半透明散射 器， 它允許從屏幕后面投射過來的紅外光線 （ IR）能夠反射距離屏幕表面一定距離的物體。 使用兩個接口的 TouchLight 紅外攝像機，能夠 確定與屏幕 的接觸是何時 發(fā)生 的。其他基于投影的交互系統(tǒng) ， 例如 ViCat 使用 懸掛的攝相機進行 跟蹤手勢 。它并不使用表面物理接觸，而是利用懸掛的攝像機跟蹤手勢，以實現(xiàn)與觸摸桌面的互動 。 為增強多點觸摸人機交互自然性的研究工作也正在展開。這些研究領(lǐng)域與設(shè)計開發(fā)新的多點觸摸技術(shù)同樣至關(guān)重要。例如設(shè)計團隊合作的手勢，以使團隊工作更加有效。其他研究的課題還有 建立 一個 設(shè)計和評估多點觸摸 交互效果的標準框架。 我們開發(fā)了一個基于受抑內(nèi)全反射原理的背投式多點觸摸桌面（見圖片 B1），它具有感應(yīng)觸摸點的能力。 一個 尺寸為 439。 339。 的擴散亞克力板被 安裝在 整個裝置的中間 部 分，它通過反射來自于底部的一系列鏡子的光從而形成一個背投式的多點觸摸顯示屏。第二塊亞克力板被按放在第一塊亞克力板的正上方，經(jīng)過第二塊板子的紅外光線全部被板子邊緣的丙烯酸所反射 ， 避免了有任何紅外光從觸摸屏表面逸出 。觸摸時，紅外光能夠離開丙烯酸創(chuàng)造了以下各點與丙烯酸手指輕點接觸。 當手指接觸亞克力材料并且向下按壓時，紅外光線就會在這些手指區(qū)域逸出并形成一個和手指輪廓大小相匹配的紅外光點。然后這些紅外光點 可以 被使用相同投影光路的紅外攝像機拍攝跟蹤到。一個通過膚色檢測而進行手指跟蹤的可見光譜相機被安裝在顯示桌面上方 。 觸摸點檢測 由攝像機捕捉的每一幀圖像都有一個已知的基本圖像，這個基本圖像會被減去。減去基本圖像后的圖像會根據(jù)由用戶設(shè)置的閾值把每一個像素轉(zhuǎn)化成只有黑色或白色的二值圖像。提取二值圖像中的非連續(xù)區(qū)域的中心，將它作為觸摸點的位置。因為每一個觸摸點都是不可分割的，這和鼠標的點擊很類似，所以將一個有一定面積的光點縮減成單獨一個觸摸點來處理，不僅符合設(shè)計學的理論，而且也能夠極大的減少內(nèi)存容量和網(wǎng)絡(luò)通信的使用。這些新獲取的觸點的位置會拿來和以前檢測到的觸點位置進行比較，來決定它們究竟是代表一個新出現(xiàn)的觸點還是一個 手指的移動，這個手指已經(jīng)在之前被系統(tǒng)檢測到。每當一個新觸摸點出現(xiàn)，系統(tǒng)把這個觸摸點暫時保存一段時間，進行檢測判斷而并不像系統(tǒng)的其他部分匯報。這最大限度地減少了隨機環(huán)境噪音對 應(yīng)用程序 干擾 的風險。同樣， 對于 現(xiàn)有的追蹤點， 即使在 他們消失 后的一段時間內(nèi)也會繼續(xù)保留它們的信息，以便它在不可見的幾幀之后又再次出現(xiàn)時進行檢測。 每個觸摸 點在手指從屏幕上抬起之前都會 被分配一個標識號， 并保存下來。 當沒有手指與屏幕接觸時，系統(tǒng) 會將身份標識號的鏈表清零，下一次第一個出現(xiàn)的觸點的身份標識號設(shè)為 0。 手指檢測 膚色分割技術(shù)在很廣 泛的應(yīng)用領(lǐng)域中已被驗證是成功的。 Yang and Waibel 已經(jīng)提出了一個很成功的可用于實時跟蹤的膚色跟蹤算法。這種方法能夠?qū)崿F(xiàn)對于可用顏色空間內(nèi)膚色的降維跟蹤。這種膚色降維跟蹤是通過以聚集的被標準化的膚色為目標進行實現(xiàn)的。根據(jù) Yang and Waibel 的結(jié)論，人與人之間膚色的差異源自于在顏色強度方面而不是色度方面。這種以聚集的被標準化的膚色為目標的膚色跟蹤算法是一種很有效的方法。所以我們采用了他們提出的這種膚色空間降維的方法，有效地對空間中有可能是膚色的部分進行識別。 手指的檢測是通過創(chuàng)建一個二進制的像素圖像實現(xiàn)的，這些像素在 RGB（紅、綠、藍）的色彩范圍內(nèi)獲取一個相應(yīng)的值。每個二進制圖像輪廓的發(fā)現(xiàn)是通過OpenCV 函數(shù)庫提供的函數(shù) cvFindContours 完成的。在二進制圖像中非常小的圖像輪廓被認為是噪聲，它們之后會被過濾掉，與圖像中剩余的部分例如用戶的手指和手臂的輪廓分離。有三個數(shù)據(jù)信息，手指觸點，桌面邊緣的點，還有一個整數(shù)值代表桌子側(cè)面的點，都會被從輪廓信息中提取并傳遞到通信網(wǎng)絡(luò)中以完成后面的應(yīng)用。這些數(shù)據(jù)的獲得是通過對每個觸點輪廓的數(shù)據(jù)進行迭代以找到具有最大和最 小 Y軸值的觸點。為了簡化，我們研究桌面的主要兩個對立面，命名為面 1 和面 2。當用戶站在面 1 的時候會在手臂的一端生成一個具有很小 Y軸值坐標的輪廓，而在用戶手臂的輪廓的另一端處生成一個具有中等 Y 軸值大小的輪廓。在這種情況下，低 Y軸值的輪廓就被認為是桌面邊緣的點而高 Y 軸值的輪廓被認為是手指的觸點。相反的，如果用戶站在面 2，則會生成一個具有高 Y 軸值的桌面邊緣輪廓和一個具有低Y 軸值的手指輪廓。類似的，對桌面剩余的兩個面，系統(tǒng)也可以根據(jù) X軸值的大小很容易的識別出用戶手指的輪廓。 由于多點觸摸桌面經(jīng)常在低光照的條件下工作并 且每個應(yīng)用場合在屏幕上顯示的顏色和強度會有很大的差異，所以凡是關(guān)于顏色范圍和尺寸的手指跟蹤參數(shù)都要進行隨時的調(diào)整。值得注意的一個系統(tǒng)缺陷是，若想要提高手指檢測的精度，對于所有的應(yīng)用程序，顯示屏幕都需要保持一個合理穩(wěn)定的色彩值和強度值。 地 圖應(yīng)用程序，虛擬棋盤游戲和協(xié)作規(guī)劃 工作區(qū)域，指揮和控制不會 受到不利影響 的限制，并且也 構(gòu)成了我們研究的重點。 事件的觸發(fā) 觸摸屏界面 比標準鼠標和鍵盤界面 需要更復(fù)雜的事件處理 系統(tǒng) ，因為它必須允許應(yīng)用程序 能夠處理屬于同一 手勢事件 的多個觸摸點。為了使 相機 的 跟蹤數(shù)據(jù) 更精準，一種開發(fā)商 用戶 端 設(shè)計模式 被投入使用，這個模式把事件的觸發(fā)這項任務(wù)分解成多個功能，這樣使每個部分只有非常有限的功能范圍。每個用戶端檢查來自計算機視覺系統(tǒng) 組成部分 的 原始輸入 是否 滿 足其特定的標準，以生成一個事件。為了讓每一個應(yīng)用程序都能控制那些 系統(tǒng)可以識別 的事件 并 且使 應(yīng)用程序中有多種工作模式，用戶 端 可以 根據(jù)具體的用戶程序在系統(tǒng)運行時被 動態(tài) 的 添加 或刪除。用戶端應(yīng)用程序只需要處理事件。識別事件的功能可以被當成 一個黑盒子 來處理 。 來自間接膚色檢測的數(shù)據(jù)以及紅外觸摸點跟蹤的數(shù)據(jù)會同時被數(shù)據(jù)監(jiān)聽器處理，這樣對于每 一個觸發(fā)事件就可以把這兩個數(shù)據(jù)源都納入到事件檢測標準。 圖 B2 系統(tǒng)的工作流程 在校正階段中的紅色點表示被移除的錯誤的觸摸點信息 4 結(jié)果 手指的跟蹤創(chuàng)建了兩個重要的功能，第一個功能是將觸點與用戶關(guān)聯(lián)到了一起。多 點 觸摸界面本身接受來自多個用戶的交互， 然而由于保守的計算機視覺跟蹤的限制，區(qū)分每個用戶的身份至今是無法實現(xiàn)的。 用戶身份 確定仍然是根據(jù)懸掛在上方的攝像機中的跟蹤信息，而不是依靠每個用戶的膚色而定。如果讓每一個多點觸摸用戶對應(yīng)的站在觸摸桌面的每一邊，這樣每一次觸摸都可以正確的對應(yīng)用戶的身份，出錯的概率很小。隨著增加了某只手建立了某次觸摸的信息 ， 具體的用戶角色便可以分配給不同的用戶，這樣 增加 了協(xié)作效率 。 用戶應(yīng)盡量避免手的重疊，因為這樣會遮擋攝像機拍照的視線，可能對追蹤造成干擾。另一個顯著的優(yōu)點是，因為手指一直在被連續(xù)的跟蹤，所以屬于同一只手的多個觸點會被當作同一事件的一部分進行處理。這樣做以后，觸摸點就不再被需要當作單獨的觸摸事 件處理，而是與之前出現(xiàn)過的觸點的歷史信息聯(lián)系到一起。此外，用戶現(xiàn)在可以不用接觸到物體的表面就可以與物體產(chǎn)生互動。一個這樣的應(yīng)用例子 在一個模擬的跳棋棋盤游戲 中，在用戶的前面有一個檢測浮動的裝置，當用戶的手指觸摸到它時便會有相應(yīng)的顯示。 另外，手指檢測的信息會提高跟蹤的精度而會不增加系統(tǒng)出錯的概率?；叶葓D像通過把每個像素的灰度值與一個給定的閾值相比較從而轉(zhuǎn)化成了二值圖像。由于圖像噪聲的影響，較低的閾值會造成更多的錯誤。通過追蹤每個手指的位置，系統(tǒng)會自動將那些距離手指很遠的錯誤的觸點信息移除。 為了使系統(tǒng)能夠同時處理多只手，多個觸摸點并且快速運行密集的程序，我們采用了一種分布式的結(jié)構(gòu)，這樣每臺相機分別與一臺計算機相連，每臺計算機都通過標準的傳輸協(xié)議進行通信。 這使得該系 統(tǒng)能以最小的延遲響應(yīng)用戶操作，同時保持應(yīng)用程序中只使用平均值數(shù)量的高幀頻 硬件。 兩款相機都是一個低成本 640 480 分辨率的網(wǎng)絡(luò)攝像頭，在正常情況下拍攝手指跟蹤的攝像機的工作頻率約 25 幀每秒，架空使用的手指跟蹤攝像機工作頻率約為 16 幀每秒。像手指點和桌面邊緣點一樣，用觸點的中心坐標來代表觸摸點為動作提夠了足夠的精度，例如按鈕的按下，同 時這樣做也可以最小化內(nèi)存容量和網(wǎng)絡(luò)的使用。 圖 B3 紅色的點代表被判斷成噪聲的點；藍色的點代表用戶 A的觸摸；綠色點代表用戶 B的觸摸；白色區(qū)域代表檢測到的皮膚；黃色的圈代表可接受的觸點活動范圍 。 5 結(jié)論和未來展望 利用計算機視覺技術(shù)來改善 FTIR 多點觸摸桌面的性能提高了協(xié)作效率，擴大了互動方式，增強了觸點檢測的可靠性。頭頂懸掛的攝像機能夠間接跟蹤多個用戶并且為每個用戶建立了身份標識，這個身份標識可以用來識別用戶初始的手勢活動和繼續(xù)跟蹤這些手指后面的動作。 保存用戶的身份標識有兩個重要的意義：防止用戶之間無意的交疊并且為不同的用戶賦予了一個特定的角色。當有兩個或兩個以上的用戶使用 FTIR界面的時候，系統(tǒng)可能會發(fā)生識別的混亂導(dǎo)致一些無意義的手勢也會被執(zhí)行。但是如果系統(tǒng)可以區(qū)分不同的用戶，這個問題就會被解決。在許多合作項目中，每個用戶具有不同的任務(wù)和特點是很常見的。允許多個用戶同時與同一個物體或同一個區(qū)域用不同的動作進行交互，協(xié)作的效率就會提高。 該系統(tǒng)也能識別在桌面上方引發(fā)的手勢，因此這里所指的交互并不一定要與物理表面接觸。在觸摸桌面上的對象可以被拾起并以很自然 的方式進行移動，因為該對象跟隨 選擇它的手 而進行移動 。此外， 可以創(chuàng)建 一個全新的自然手勢集，降低了用戶需要學習 的繁瑣手勢的數(shù)量 。 該項技術(shù)最初的研發(fā)目的和應(yīng)用領(lǐng)域是在軍事指揮和動態(tài)環(huán)境的控制方面。但是在規(guī)劃和審查任務(wù)之后，增強的 FTIR 多點觸摸桌面可以從任何一種方式模擬傳統(tǒng)的沙箱界面，同時提供無法在現(xiàn)實世界中實現(xiàn)的功能。在快節(jié)奏和多面性的現(xiàn)場指揮和控制任務(wù)中，可以利用我們觸摸界面提供的所有優(yōu)勢 。例如，在 對 無人 駕駛飛 機 的管理中有許多決策需要士兵根據(jù)不同的物體進行判斷執(zhí)行，但士兵們都有一個共同的目標，并能極大地受益于本桌面提供的共享空間 。 用戶追蹤和 角色分配 有效的發(fā)揮了手勢乘法器的功能 ，并確保 在這次關(guān)鍵的目標任務(wù)中，沒有任何士兵干擾他人的 活動。 今后的工作包括為手指跟蹤添加音效，自動校正膚色參數(shù)，將實物和可用性測試結(jié)合到一起。再添加一個攝像機，這樣在觸摸桌面以上發(fā)生的手勢用計算兩幅圖像之間距離的方法也會在三維空間里被檢測到。為了增強膚色檢測的精度，系統(tǒng)會根據(jù)投影在屏幕上的皮膚顏色來校正膚色參數(shù)，而不是根據(jù)一個預(yù)先固定的參數(shù)。有形的物體可以被整合，因為膚色跟蹤算法可以實現(xiàn)對任何皮膚色度和強度的調(diào)整，這樣就可以區(qū)分放在桌面表面的物體和投影的圖像?，F(xiàn)階段的交互還十分基本，可用性研究將用來提高表面觸摸和表面以上觸摸的結(jié)合性。 我們的目標是通過盡可能消除用戶的意圖與界面輸入能力之間的障礙從而繼續(xù)改善多點觸摸技術(shù)。我們相信在這篇論文中提到的一些方法解決了一些現(xiàn)存的障礙并且提供了比單獨的多點觸摸或者手勢交互技術(shù)更直觀的體驗。 6 致謝 我們感謝 支持這項科學研究的空軍科研辦公室（ AFOSR）。