【正文】 有幾個優(yōu)勢，例如成本即低又可以進(jìn)行擴(kuò)展。其他基于計算機(jī)視覺的跟蹤技術(shù)對于距離很近的觸點(diǎn)檢測能力有限，而檢測近距離觸點(diǎn)的能力恰恰是多點(diǎn)觸摸人機(jī)交互中很重要的一部分。但是單獨(dú)使用基于受抑內(nèi)全反射的紅外跟蹤技術(shù)，較其他的觸摸跟蹤有兩個缺點(diǎn)。每一個觸摸點(diǎn)在紅外跟蹤技術(shù)中作為一個獨(dú)立的事件來處理。雖然可以通過對接觸點(diǎn)之間距離的計算來判斷哪些接觸點(diǎn)從屬于同一事件，但每個觸摸點(diǎn)最終仍然作為一個獨(dú)立的數(shù)據(jù)存在。隨著用戶數(shù)量和他們手勢復(fù)雜性的增加，所面臨的對于每個用戶的接觸點(diǎn)分組不正確的可能性也隨之增加。另一個問題是，該系統(tǒng)極易受到紅外光與雜散噪聲（如光線不足的條件或閃光燈攝影）的影響。為了解決照明和觸摸分化的問題，我們使用一個增帶有懸掛的紅外攝像頭的多點(diǎn)觸摸桌面。利用這個攝像頭，在觸摸桌面表面或桌面以上的手指便可利用膚色分割技術(shù)進(jìn)行跟蹤。在手指坐標(biāo)可用的情況下，為每個接觸點(diǎn)分配身份標(biāo)識號，以支持正確識別多個用戶和多個觸摸事件的組成。即使是有很多用戶與桌面進(jìn)行交互并且觸摸點(diǎn)距離很近的情況下，這種技術(shù)的工作效果仍然很好，因為它并不需要在計算觸摸點(diǎn)距離的基礎(chǔ)上來判斷觸點(diǎn)的關(guān)系。手指和接觸點(diǎn)位置的融合也增加了在有紅外光干擾情況下接觸點(diǎn)檢測的精確度，因為增添了對接觸點(diǎn)位置信息的判斷。 此外，手指跟蹤允許用戶手指在觸摸桌面以上做出交互手勢，這樣不用接觸觸摸桌面表面就可以引發(fā)交互動作。這將創(chuàng)建兩個仍在探索階段的交互技術(shù)的融合。圖B1 這幾位用戶正在使用一個帶有懸掛攝像頭的背投式多點(diǎn)觸摸桌面，懸掛的攝像頭使觸摸桌面的手指跟蹤性能增強(qiáng)。檢測技術(shù)和用于多點(diǎn)觸摸桌面的交互技術(shù)正在迅速成熟，但許多研究人員仍然在尋求捕捉多個用戶之間自然的交互的更好的方法，來完成在真實世界中的交互應(yīng)用。跟蹤多個用戶與一個多點(diǎn)觸摸桌面的交互有許多方法。一個成功的方法是使用布滿傳感器的表面材料，如市售DiamondTouch系統(tǒng)傳感器。該系統(tǒng)采用一種基于電容電路的觸摸技術(shù)，當(dāng)用戶的手指觸摸桌面時，該電路會自動關(guān)閉。像這樣的交互界面因為傳感器的要求，需要使用不透明的桌面，所以采用前投影方式。其他多點(diǎn)觸摸系統(tǒng)如metaDESK也使用傳感器，但將傳感器嵌入到可以可以被熟練操控的實體內(nèi)。另一種常見的方法是使用攝像機(jī)來跟蹤交互過程。例如，HoloWall使用的半透明散射器，它允許從屏幕后面投射過來的紅外光線（IR）能夠反射距離屏幕表面一定距離的物體。使用兩個接口的TouchLight紅外攝像機(jī)，能夠確定與屏幕的接觸是何時發(fā)生的。其他基于投影的交互系統(tǒng)，例如ViCat使用懸掛的攝相機(jī)進(jìn)行跟蹤手勢。它并不使用表面物理接觸，而是利用懸掛的攝像機(jī)跟蹤手勢，以實現(xiàn)與觸摸桌面的互動。為增強(qiáng)多點(diǎn)觸摸人機(jī)交互自然性的研究工作也正在展開。這些研究領(lǐng)域與設(shè)計開發(fā)新的多點(diǎn)觸摸技術(shù)同樣至關(guān)重要。例如設(shè)計團(tuán)隊合作的手勢，以使團(tuán)隊工作更加有效。其他研究的課題還有建立一個設(shè)計和評估多點(diǎn)觸摸交互效果的標(biāo)準(zhǔn)框架。我們開發(fā)了一個基于受抑內(nèi)全反射原理的背投式多點(diǎn)觸摸桌面（見圖片B1），它具有感應(yīng)觸摸點(diǎn)的能力。一個尺寸為439。339。 的擴(kuò)散亞克力板被安裝在整個裝置的中間部分，它通過反射來自于底部的一系列鏡子的光從而形成一個背投式的多點(diǎn)觸摸顯示屏。第二塊亞克力板被按放在第一塊亞克力板的正上方，經(jīng)過第二塊板子的紅外光線全部被板子邊緣的丙烯酸所反射，避免了有任何紅外光從觸摸屏表面逸出。觸摸時，紅外光能夠離開丙烯酸創(chuàng)造了以下各點(diǎn)與丙烯酸手指輕點(diǎn)接觸。當(dāng)手指接觸亞克力材料并且向下按壓時，紅外光線就會在這些手指區(qū)域逸出并形成一個和手指輪廓大小相匹配的紅外光點(diǎn)。然后這些紅外光點(diǎn)可以被使用相同投影光路的紅外攝像機(jī)拍攝跟蹤到。一個通過膚色檢測而進(jìn)行手指跟蹤的可見光譜相機(jī)被安裝在顯示桌面上方。由攝像機(jī)捕捉的每一幀圖像都有一個已知的基本圖像，這個基本圖像會被減去。減去基本圖像后的圖像會根據(jù)由用戶設(shè)置的閾值把每一個像素轉(zhuǎn)化成只有黑色或白色的二值圖像。提取二值圖像中的非連續(xù)區(qū)域的中心，將它作為觸摸點(diǎn)的位置。因為每一個觸摸點(diǎn)都是不可分割的，這和鼠標(biāo)的點(diǎn)擊很類似，所以將一個有一定面積的光點(diǎn)縮減成單獨(dú)一個觸摸點(diǎn)來處理，不僅符合設(shè)計學(xué)的理論，而且也能夠極大的減少內(nèi)存容量和網(wǎng)絡(luò)通信的使用。這些新獲取的觸點(diǎn)的位置會拿來和以前檢測到的觸點(diǎn)位置進(jìn)行比較，來決定它們究竟是代表一個新出現(xiàn)的觸點(diǎn)還是一個手指的移動，這個手指已經(jīng)在之前被系統(tǒng)檢測到。每當(dāng)一個新觸摸點(diǎn)出現(xiàn)，系統(tǒng)把這個觸摸點(diǎn)暫時保存一段時間，進(jìn)行檢測判斷而并不像系統(tǒng)的其他部分匯報。這最大限度地減少了隨機(jī)環(huán)境噪音對應(yīng)用程序干擾的風(fēng)險。同樣，對于現(xiàn)有的追蹤點(diǎn)，即使在他們消失后的一段時間內(nèi)也會繼續(xù)保留它們的信息，以便它在不可見的幾幀之后又再次出現(xiàn)時進(jìn)行檢測。每個觸摸點(diǎn)在手指從屏幕上抬起之前都會被分配一個標(biāo)識號，并保存下來。當(dāng)沒有手指與屏幕接觸時，系統(tǒng)會將身份標(biāo)識號的鏈表清零，下一次第一個出現(xiàn)的觸點(diǎn)的身份標(biāo)識號設(shè)為0。膚色分割技術(shù)在很廣泛的應(yīng)用領(lǐng)域中已被驗證是成功的。Yang and Waibel已經(jīng)提出了一個很成功的可用于實時跟蹤的膚色跟蹤算法。這種方法能夠?qū)崿F(xiàn)對于可用顏色空間內(nèi)膚色的降維跟蹤。這種膚色降維跟蹤是通過以聚集的被標(biāo)準(zhǔn)化的膚色為目標(biāo)進(jìn)行實現(xiàn)的。根據(jù)Yang and Waibel的結(jié)論，人與人之間膚色的差異源自于在顏色強(qiáng)度方面而不是色度方面。這種以聚集的被標(biāo)準(zhǔn)化的膚色為目標(biāo)的膚色跟蹤算法是一種很有效的方法。所以我們采用了他們提出的這種膚色空間降維的方法，有效地對空間中有可能是膚色的部分進(jìn)行識別。手指的檢測是通過創(chuàng)建一個二進(jìn)制的像素圖像實現(xiàn)的，這些像素在RGB（紅、綠、藍(lán)）的色彩范圍內(nèi)獲取一個相應(yīng)的值。每個二進(jìn)制圖像輪廓的發(fā)現(xiàn)是通過OpenCV函數(shù)庫提供的函數(shù)cvFindContours完成的。在二進(jìn)制圖像中非常小的圖像輪廓被認(rèn)為是噪聲，它們之后會被過濾掉，與圖像中剩余的部分例如用戶的手指和手臂的輪廓分離。有三個數(shù)據(jù)信息，手指觸點(diǎn)，桌面邊緣的點(diǎn)，還有一個整數(shù)值代表桌子側(cè)面的點(diǎn)，都會被從輪廓信息中提取并傳遞到通信網(wǎng)絡(luò)中以完成后面的應(yīng)用。這些數(shù)據(jù)的獲得是通過對每個觸點(diǎn)輪廓的數(shù)據(jù)進(jìn)行迭代以找到具有最大和最小Y軸值的觸點(diǎn)。為了簡化，我們研究桌面的主要兩個對立面，命名為面1和面2。當(dāng)用戶站在面1的時候會在手臂的一端生成一個具有很小Y軸值坐標(biāo)的輪廓，而在用戶手臂的輪廓的另一端處生成一個具有中等Y軸值大小的輪廓。在這種情況下，低Y軸值的輪廓就被認(rèn)為是桌面邊緣的點(diǎn)而高Y軸值的輪廓被認(rèn)為是手指的觸點(diǎn)。相反的，如果用戶站在面2，則會生成一個具有高Y軸值的桌面邊緣輪廓和一個具有低Y軸值的手指輪廓。類似的，對桌面剩余的兩個面，系統(tǒng)也可以根據(jù)X軸值的大小很容易的識別出用戶手指的輪廓。由于多點(diǎn)觸摸桌面經(jīng)常在低光照的條件下工作并且每個應(yīng)用場合在屏幕上顯示的顏色和強(qiáng)度會有很大的差異，所以凡是關(guān)于顏色范圍和尺寸的手指跟蹤參數(shù)都要進(jìn)行隨時的調(diào)整。值得注意的一個系統(tǒng)缺陷是，若想要提高手指檢測的精度，對于所有的應(yīng)用程序，顯示屏幕都需要保持一個合理穩(wěn)定的色彩值和強(qiáng)度值。地圖應(yīng)用程序，虛擬棋盤游戲和協(xié)作規(guī)劃工作區(qū)域，指揮和控制不會受到不利影響的限制，并且也構(gòu)成了我們研究的重點(diǎn)。觸摸屏界面比標(biāo)準(zhǔn)鼠標(biāo)和鍵盤界面需要更復(fù)雜的事件處理系統(tǒng)，因為它必須允許應(yīng)用程序能夠處理屬于同一手勢事件的多個觸摸點(diǎn)。為了使相機(jī)的跟蹤數(shù)據(jù)更精準(zhǔn)，一種開發(fā)商用戶端設(shè)計模式被投入使用，這個模式把事件的觸發(fā)這項任務(wù)分解成多個功能，這樣使每個部分只有非常有限的功能范圍。每個用戶端檢查來自計算機(jī)視覺系統(tǒng)組成部分的原始輸入是否滿足其特定的標(biāo)準(zhǔn)，以生成一個事件。為了讓每一個應(yīng)用程序都能控制那些系統(tǒng)可以識別的事件并且使應(yīng)用程序中有多種工作模式，用戶端可以根據(jù)具體的用戶程序在系統(tǒng)運(yùn)行時被動態(tài)的添加或刪除。用戶端應(yīng)用程序只需要處理事件。識別事件的功能可以被當(dāng)成一個黑盒子來處理。來自間接膚色檢測的數(shù)據(jù)以及紅外觸摸點(diǎn)跟蹤的數(shù)據(jù)會同時被數(shù)據(jù)監(jiān)聽器處理，這樣對于每一個觸發(fā)事件就可以把這兩個數(shù)據(jù)源都納入到事件檢測標(biāo)準(zhǔn)。 圖B2 系統(tǒng)的工作流程 在校正階段中的紅色點(diǎn)表示被移除的錯誤的觸摸點(diǎn)信息4 結(jié)果手指的跟蹤創(chuàng)建了兩個重要的功能，第一個功能是將觸點(diǎn)與用戶關(guān)聯(lián)到了一起。多點(diǎn)觸摸界面本身接受來自多個用戶的交互，然而由于保守的計算機(jī)視覺跟蹤的限制，區(qū)分每個用戶的身份至今是無法實現(xiàn)的。用戶身份確定仍然是根據(jù)懸掛在上方的攝像機(jī)中的跟蹤信息，而不是依靠每個用戶的膚色而定。如果讓每一個多點(diǎn)觸摸用戶對應(yīng)的站在觸摸桌面的每一邊，這樣每一次觸摸都可以正確的對應(yīng)用戶的身份，出錯的概率很小。隨著增加了某只手建立了某次觸摸的信息，具體的用戶角色便可以分配給不同的用戶，這樣增加了協(xié)作效率。用戶應(yīng)盡量避免手的重疊，因為這樣會遮擋攝像機(jī)拍照的視線，可能對追蹤造成干擾。另一個顯著的優(yōu)點(diǎn)是，因為手指一直在被連續(xù)的跟蹤，所以屬于同一只手的多個觸點(diǎn)會被當(dāng)作同一事件的一部分進(jìn)行處理。這樣做以后，觸摸點(diǎn)就不再被需要當(dāng)作單獨(dú)的觸摸事件處理，而是與之前出現(xiàn)過的觸點(diǎn)的歷史信息聯(lián)系到一起。此外，用戶現(xiàn)在可以不用接觸到物體的表面就可以與物體產(chǎn)生互動。一個這樣的應(yīng)用例子在一個模擬的跳棋棋盤游戲中，在用戶的前面有一個檢測浮動的裝置，當(dāng)用戶的手指觸摸到它時便會有相應(yīng)的顯示。另外，手指檢測的信息會提高跟蹤的精度而會不增加系統(tǒng)出錯的概率?；叶葓D像通過把每個像素的灰度值與一個給定的閾值相比較從而轉(zhuǎn)化成了二值圖像。由于圖像噪聲的影響，較低的閾值會造成更多的錯誤。通過追蹤每個手指的位置，系統(tǒng)會自動將那些距離手指很遠(yuǎn)的錯誤的觸點(diǎn)信息移除。為了使系統(tǒng)能夠同時處理多只手，多個觸摸點(diǎn)并且快速運(yùn)行密集的程序，我們采用了一種分布式的結(jié)構(gòu)，這樣每臺相機(jī)分別與一臺計算機(jī)相連，每臺計算機(jī)都通過標(biāo)準(zhǔn)的傳輸協(xié)議進(jìn)行通信。這使得該系統(tǒng)能以最小的延遲響應(yīng)用戶操作，同時保持應(yīng)用程序中只使用平均值數(shù)量的高幀頻硬件。兩款相機(jī)都是一個低成本640480分辨率的網(wǎng)絡(luò)攝像頭，在正常情況下拍攝手指跟蹤的攝像機(jī)的工作頻率約25幀每秒，架空使用的手指跟蹤攝像機(jī)工作頻率約為16幀每秒。像手指點(diǎn)和桌面邊緣點(diǎn)一樣，用觸點(diǎn)的中心坐標(biāo)來代表觸摸點(diǎn)為動作提夠了足夠的精度，例如按鈕的按下，同時這樣做也可以最小化內(nèi)存容量和網(wǎng)絡(luò)的使用。圖B3 紅色的點(diǎn)代表被判斷成噪聲的點(diǎn)；藍(lán)色的點(diǎn)代表用戶A的觸摸；綠色點(diǎn)代表用戶B的觸摸；白色區(qū)域代表檢測到的皮膚；黃色的圈代表可接受的觸點(diǎn)活動范圍。5 結(jié)論和未來展望利用計算機(jī)視覺技術(shù)來改善FTIR多點(diǎn)觸摸桌面的性能提高了協(xié)作效率，擴(kuò)大了互動方式，增強(qiáng)了觸點(diǎn)檢測的可靠性。頭頂懸掛的攝像機(jī)能夠間接跟蹤多個用戶并且為每個用戶建立了身份標(biāo)識，這個身份標(biāo)識可以用來識別用戶初始的手勢活動和繼續(xù)跟蹤這些手指后面的動作。保存用戶的身份標(biāo)識有兩個重要的意義：防止用戶之間無意的交疊并且為不同的用戶賦予了一個特定的角色。當(dāng)有兩個或兩個以上的用戶使用FTIR界面的時候，系統(tǒng)可能會發(fā)生識別的混亂導(dǎo)致一些無意義的手勢也會被執(zhí)行。但是如果系統(tǒng)可以區(qū)分不同的用戶，這個問題就會被解決。在許多合作項目中，每個用戶具有不同的任務(wù)和特點(diǎn)是很常見的。允許多個用戶同時與同一個物體或同一個區(qū)域用不同的動作進(jìn)行交互，協(xié)作的效率就會提高。該系統(tǒng)也能識別在桌面上方引發(fā)的手勢，因此這里所指的交互并不一定要與物理表面接觸。在觸摸桌面上的對象可以被拾起并以很自然的方式進(jìn)行移動，因為該對象跟隨選擇它的手而進(jìn)行移動。此外，可以創(chuàng)建一個全新的自然手勢集，降低了用戶需要學(xué)習(xí)的繁瑣手勢的數(shù)量。該項技術(shù)最初的研發(fā)目的和應(yīng)用領(lǐng)域是在軍事指揮和動態(tài)環(huán)境的控制方面。但是在規(guī)劃和審查任務(wù)之后，增強(qiáng)的FTIR多點(diǎn)觸摸桌面可以從任何一種方式模擬傳統(tǒng)的沙箱界面，同時提供無法在現(xiàn)實世界中實現(xiàn)的功能。在快節(jié)奏和多面性的現(xiàn)場指揮和控制任務(wù)中，可以利用我們觸摸界面提供的所有優(yōu)勢。例如，在對無人駕駛飛機(jī)的管理中有許多決策需要士兵根據(jù)不同的物體進(jìn)行判斷執(zhí)行，但士兵們都有一個共同的目標(biāo)，并能極大地受益于本桌面提供的共享空間。用戶追蹤和角色分配有效的發(fā)揮了手勢乘法器的功能，并確保在這次關(guān)鍵的目標(biāo)任務(wù)中，沒有任何士兵干擾他人的活動。今后的工作包括為手指跟蹤添加音效，自動校正膚色參數(shù)，將實物和可用性測試結(jié)合到一起。再添加一個攝像機(jī)，這樣在觸摸桌面以上發(fā)生的手勢用計算兩幅圖像之間距離的方法也會在三維空間里被檢測到。為了增強(qiáng)膚色檢測的精度，系統(tǒng)會根據(jù)投影在屏幕上的皮膚顏色來校正膚色參數(shù)，而不是根據(jù)一個預(yù)先固定的參數(shù)。有形的物體可以被整合，因為膚色跟蹤算法可以實現(xiàn)對任何皮膚色度和強(qiáng)度的調(diào)整，這樣就可以區(qū)分放在桌面表面的物體和投影的圖像?，F(xiàn)階段的交互還十分基本，可用性研究將用來提高表面觸摸和表面以上觸摸的結(jié)合性。我們的目標(biāo)是通過盡可能消除用戶的意圖與界面輸入能力之間的障礙從而繼續(xù)改善多點(diǎn)觸摸技術(shù)。我們相信在這篇論文中提到的一些方法解決了一些現(xiàn)存的障礙并且提供了比單獨(dú)的多點(diǎn)觸摸或者手勢交互技術(shù)更直觀的體驗。6致謝我們感謝支持這項科學(xué)研究的空軍科研辦公室（AFOSR）。