【正文】 6致謝我們感謝支持這項科學研究的空軍科研辦公室（AFOSR）。我們的目標是通過盡可能消除用戶的意圖與界面輸入能力之間的障礙從而繼續(xù)改善多點觸摸技術(shù)。有形的物體可以被整合，因為膚色跟蹤算法可以實現(xiàn)對任何皮膚色度和強度的調(diào)整，這樣就可以區(qū)分放在桌面表面的物體和投影的圖像。再添加一個攝像機，這樣在觸摸桌面以上發(fā)生的手勢用計算兩幅圖像之間距離的方法也會在三維空間里被檢測到。用戶追蹤和角色分配有效的發(fā)揮了手勢乘法器的功能，并確保在這次關(guān)鍵的目標任務(wù)中，沒有任何士兵干擾他人的活動。在快節(jié)奏和多面性的現(xiàn)場指揮和控制任務(wù)中，可以利用我們觸摸界面提供的所有優(yōu)勢。該項技術(shù)最初的研發(fā)目的和應(yīng)用領(lǐng)域是在軍事指揮和動態(tài)環(huán)境的控制方面。在觸摸桌面上的對象可以被拾起并以很自然的方式進行移動，因為該對象跟隨選擇它的手而進行移動。允許多個用戶同時與同一個物體或同一個區(qū)域用不同的動作進行交互，協(xié)作的效率就會提高。但是如果系統(tǒng)可以區(qū)分不同的用戶，這個問題就會被解決。保存用戶的身份標識有兩個重要的意義：防止用戶之間無意的交疊并且為不同的用戶賦予了一個特定的角色。5 結(jié)論和未來展望利用計算機視覺技術(shù)來改善FTIR多點觸摸桌面的性能提高了協(xié)作效率，擴大了互動方式，增強了觸點檢測的可靠性。像手指點和桌面邊緣點一樣，用觸點的中心坐標來代表觸摸點為動作提夠了足夠的精度，例如按鈕的按下，同時這樣做也可以最小化內(nèi)存容量和網(wǎng)絡(luò)的使用。這使得該系統(tǒng)能以最小的延遲響應(yīng)用戶操作，同時保持應(yīng)用程序中只使用平均值數(shù)量的高幀頻硬件。通過追蹤每個手指的位置，系統(tǒng)會自動將那些距離手指很遠的錯誤的觸點信息移除。灰度圖像通過把每個像素的灰度值與一個給定的閾值相比較從而轉(zhuǎn)化成了二值圖像。一個這樣的應(yīng)用例子在一個模擬的跳棋棋盤游戲中，在用戶的前面有一個檢測浮動的裝置，當用戶的手指觸摸到它時便會有相應(yīng)的顯示。這樣做以后，觸摸點就不再被需要當作單獨的觸摸事件處理，而是與之前出現(xiàn)過的觸點的歷史信息聯(lián)系到一起。用戶應(yīng)盡量避免手的重疊，因為這樣會遮擋攝像機拍照的視線，可能對追蹤造成干擾。如果讓每一個多點觸摸用戶對應(yīng)的站在觸摸桌面的每一邊，這樣每一次觸摸都可以正確的對應(yīng)用戶的身份，出錯的概率很小。多點觸摸界面本身接受來自多個用戶的交互，然而由于保守的計算機視覺跟蹤的限制，區(qū)分每個用戶的身份至今是無法實現(xiàn)的。來自間接膚色檢測的數(shù)據(jù)以及紅外觸摸點跟蹤的數(shù)據(jù)會同時被數(shù)據(jù)監(jiān)聽器處理，這樣對于每一個觸發(fā)事件就可以把這兩個數(shù)據(jù)源都納入到事件檢測標準。用戶端應(yīng)用程序只需要處理事件。每個用戶端檢查來自計算機視覺系統(tǒng)組成部分的原始輸入是否滿足其特定的標準，以生成一個事件。觸摸屏界面比標準鼠標和鍵盤界面需要更復雜的事件處理系統(tǒng)，因為它必須允許應(yīng)用程序能夠處理屬于同一手勢事件的多個觸摸點。值得注意的一個系統(tǒng)缺陷是，若想要提高手指檢測的精度，對于所有的應(yīng)用程序，顯示屏幕都需要保持一個合理穩(wěn)定的色彩值和強度值。類似的，對桌面剩余的兩個面，系統(tǒng)也可以根據(jù)X軸值的大小很容易的識別出用戶手指的輪廓。在這種情況下，低Y軸值的輪廓就被認為是桌面邊緣的點而高Y軸值的輪廓被認為是手指的觸點。為了簡化，我們研究桌面的主要兩個對立面，命名為面1和面2。有三個數(shù)據(jù)信息，手指觸點，桌面邊緣的點，還有一個整數(shù)值代表桌子側(cè)面的點，都會被從輪廓信息中提取并傳遞到通信網(wǎng)絡(luò)中以完成后面的應(yīng)用。每個二進制圖像輪廓的發(fā)現(xiàn)是通過OpenCV函數(shù)庫提供的函數(shù)cvFindContours完成的。所以我們采用了他們提出的這種膚色空間降維的方法，有效地對空間中有可能是膚色的部分進行識別。根據(jù)Yang and Waibel的結(jié)論，人與人之間膚色的差異源自于在顏色強度方面而不是色度方面。這種方法能夠?qū)崿F(xiàn)對于可用顏色空間內(nèi)膚色的降維跟蹤。膚色分割技術(shù)在很廣泛的應(yīng)用領(lǐng)域中已被驗證是成功的。每個觸摸點在手指從屏幕上抬起之前都會被分配一個標識號，并保存下來。這最大限度地減少了隨機環(huán)境噪音對應(yīng)用程序干擾的風險。這些新獲取的觸點的位置會拿來和以前檢測到的觸點位置進行比較，來決定它們究竟是代表一個新出現(xiàn)的觸點還是一個手指的移動，這個手指已經(jīng)在之前被系統(tǒng)檢測到。提取二值圖像中的非連續(xù)區(qū)域的中心，將它作為觸摸點的位置。由攝像機捕捉的每一幀圖像都有一個已知的基本圖像，這個基本圖像會被減去。然后這些紅外光點可以被使用相同投影光路的紅外攝像機拍攝跟蹤到。觸摸時，紅外光能夠離開丙烯酸創(chuàng)造了以下各點與丙烯酸手指輕點接觸。 的擴散亞克力板被安裝在整個裝置的中間部分，它通過反射來自于底部的一系列鏡子的光從而形成一個背投式的多點觸摸顯示屏。一個尺寸為439。其他研究的課題還有建立一個設(shè)計和評估多點觸摸交互效果的標準框架。這些研究領(lǐng)域與設(shè)計開發(fā)新的多點觸摸技術(shù)同樣至關(guān)重要。它并不使用表面物理接觸，而是利用懸掛的攝像機跟蹤手勢，以實現(xiàn)與觸摸桌面的互動。使用兩個接口的TouchLight紅外攝像機，能夠確定與屏幕的接觸是何時發(fā)生的。另一種常見的方法是使用攝像機來跟蹤交互過程。像這樣的交互界面因為傳感器的要求，需要使用不透明的桌面，所以采用前投影方式。一個成功的方法是使用布滿傳感器的表面材料，如市售DiamondTouch系統(tǒng)傳感器。檢測技術(shù)和用于多點觸摸桌面的交互技術(shù)正在迅速成熟，但許多研究人員仍然在尋求捕捉多個用戶之間自然的交互的更好的方法，來完成在真實世界中的交互應(yīng)用。這將創(chuàng)建兩個仍在探索階段的交互技術(shù)的融合。手指和接觸點位置的融合也增加了在有紅外光干擾情況下接觸點檢測的精確度，因為增添了對接觸點位置信息的判斷。在手指坐標可用的情況下，為每個接觸點分配身份標識號，以支持正確識別多個用戶和多個觸摸事件的組成。為了解決照明和觸摸分化的問題，我們使用一個增帶有懸掛的紅外攝像頭的多點觸摸桌面。隨著用戶數(shù)量和他們手勢復雜性的增加，所面臨的對于每個用戶的接觸點分組不正確的可能性也隨之增加。每一個觸摸點在紅外跟蹤技術(shù)中作為一個獨立的事件來處理。其他基于計算機視覺的跟蹤技術(shù)對于距離很近的觸點檢測能力有限，而檢測近距離觸點的能力恰恰是多點觸摸人機交互中很重要的一部分。受抑內(nèi)全反射技術(shù)允許系統(tǒng)同時跟蹤大量的具有很高空間和時間頻率的接觸點。觸摸桌面，可以提供一個大型的共享顯示，利用觸摸檢測技術(shù)能夠同時接受來自自然或者直接來自多個用戶的交互。由于共同使用一個顯示設(shè)備而產(chǎn)生的社會交互活動是很有價值的。我們希望通過考慮發(fā)生在多點觸摸桌面表面和表面以上的手指動作，使多用戶互動變得更加自然，更加有效，最終應(yīng)支持協(xié)作工作。盡管觸摸檢測和手指跟蹤技術(shù)都可以獨立實現(xiàn)基于多點觸摸桌面的人機交互，但在多個用戶同時發(fā)起多點觸摸交互動作并且這些觸摸點之間的距離很小時，這兩項技術(shù)都是不可靠的。 Waibel, a. (1996). A realtime face tracker. Proceedings of the 3th IEEE Workshop on Applications of Computer Vision, Sarasota, Florida, 142147. [15] Yang, J., Weier, L., amp。 Ballard, D. H. (1991). Color indexing. International Journal of Computer Vision, 7(1), 1132. [13] Yang, J., amp。 Rekimoto, J. (1997). HoloWall: Designing a Finger, Hand, Body and Object Sensitive Wall. in ACM Symposium on User Interface Software and Technology (UIST). [7] Wilson, A. (2004). Touchlight: An Imaging Touch Screen and Display for GestureBased Interaction. In Proceedings of the International Conference on Multimodal Interfaces. p. 6976. [8] Chen, F., Close, B., Eades, P., Epps, J., Hutterer, P., Lichman, S., Takatsuka, M., Thomas, B., and Wu,M., “ViCAT: Visualization and Interaction on a Collaborative Access Table”, in Proc. IEEE Workshop on Horizontal HumanComputer Systems (2006), 5960. [9] Morris, M., Huang, A., Paepcke, A., and Winograd, T. (2006). Cooperative gestures: Multiuser gestural interactions for colocated groupware. Proceedings of the ACM CHI Conference on Human Factors in Computing Systems. pp. 12011210. [10] Wu, M., Shen, C., Ryall, K., Forlines, C., and Balakrishnan, R. (2006). Gesture registration, relaxation, and reuse for multipoint directtouch surfaces. Proceedings of IEEE TableTop the International Workshop on Horizontal Interactive Human Computer Systems. pp 183190. [11] Ohta, Y., Kanade, T., amp。s intentions and the interfaces input capabilities as possible. We believe the research efforts discussed in this paper remove some existing barriers and provide users with a more intuitive experience than multitouch or hand gesture interaction alone.6. Acknowledgements We thank the Air Force Office of Scientific Research (AFOSR) for supporting this research. 7. References [1] Sara A. Bly and Scott L. Minneman. Commune: A Shared Drawing Surface. In SIGOIS Bul/etin, Massachusetts, 1990, . [2] Kasday, L. (Nov. 1984). Touch Position Sensitive Surface. . Patent 4,484,179. [3] Han, J. Y. (2005). LowCost MultiTouch Sensing through Frustrated Total Internal Reflection. In Proceedings of the 18th Annual ACM Symposium on User Interface Software and Technology. [4] Dietz, P. H., amp。s mission goal in this time critical activity. Future work will consist of adding stereo to hand tracking, automatically calibrating skin color parameters, incorporating tangible objects and usability testing. A second overhead camera will be added so that above table gestures will be tracked in three dimensions by determining the disparity between the two images. To allow more robust ski