【正文】 roneous touch data by removing touch locations with large distances from any hand. To allow the system to simultaneously track multiple hands, touches, and run putationally intensive programs, we adopted a distributed architecture so that each camera is connected to a separate puter, each of which municates over a standard network connection. This allows the system to be responsive to user actions with minimal delay while maintaining a high frame rate in the application using only average hardware.Both cameras are low cost webcams running at a 640 x 480 resolution with frame rates of approximately 25 fps for touch tracking and 16 fps for overhead hand tracking under regular usage. The representation of touches as single points based on their center and hands as finger location points and table edge points offers enough precision for actions such as button presses while minimizing memory and network usage.Figure A3: Red reflects touch points determined to be noise。 Blue shows user A touch。 Rekimoto, J. (1997). HoloWall: Designing a Finger, Hand, Body and Object Sensitive Wall. in ACM Symposium on User Interface Software and Technology (UIST). [7] Wilson, A. (2004). Touchlight: An Imaging Touch Screen and Display for GestureBased Interaction. In Proceedings of the International Conference on Multimodal Interfaces. p. 6976. [8] Chen, F., Close, B., Eades, P., Epps, J., Hutterer, P., Lichman, S., Takatsuka, M., Thomas, B., and Wu,M., “ViCAT: Visualization and Interaction on a Collaborative Access Table”, in Proc. IEEE Workshop on Horizontal HumanComputer Systems (2006), 5960. [9] Morris, M., Huang, A., Paepcke, A., and Winograd, T. (2006). Cooperative gestures: Multiuser gestural interactions for colocated groupware. Proceedings of the ACM CHI Conference on Human Factors in Computing Systems. pp. 12011210. [10] Wu, M., Shen, C., Ryall, K., Forlines, C., and Balakrishnan, R. (2006). Gesture registration, relaxation, and reuse for multipoint directtouch surfaces. Proceedings of IEEE TableTop the International Workshop on Horizontal Interactive Human Computer Systems. pp 183190. [11] Ohta, Y., Kanade, T., amp。我們希望通過考慮發(fā)生在多點觸摸桌面表面和表面以上的手指動作，使多用戶互動變得更加自然，更加有效，最終應支持協(xié)作工作。其他基于計算機視覺的跟蹤技術對于距離很近的觸點檢測能力有限，而檢測近距離觸點的能力恰恰是多點觸摸人機交互中很重要的一部分。在手指坐標可用的情況下，為每個接觸點分配身份標識號，以支持正確識別多個用戶和多個觸摸事件的組成。一個成功的方法是使用布滿傳感器的表面材料，如市售DiamondTouch系統(tǒng)傳感器。它并不使用表面物理接觸，而是利用懸掛的攝像機跟蹤手勢，以實現(xiàn)與觸摸桌面的互動。 的擴散亞克力板被安裝在整個裝置的中間部分，它通過反射來自于底部的一系列鏡子的光從而形成一個背投式的多點觸摸顯示屏。提取二值圖像中的非連續(xù)區(qū)域的中心，將它作為觸摸點的位置。膚色分割技術在很廣泛的應用領域中已被驗證是成功的。每個二進制圖像輪廓的發(fā)現(xiàn)是通過OpenCV函數(shù)庫提供的函數(shù)cvFindContours完成的。類似的，對桌面剩余的兩個面，系統(tǒng)也可以根據(jù)X軸值的大小很容易的識別出用戶手指的輪廓。用戶端應用程序只需要處理事件。用戶應盡量避免手的重疊，因為這樣會遮擋攝像機拍照的視線，可能對追蹤造成干擾。通過追蹤每個手指的位置，系統(tǒng)會自動將那些距離手指很遠的錯誤的觸點信息移除。保存用戶的身份標識有兩個重要的意義：防止用戶之間無意的交疊并且為不同的用戶賦予了一個特定的角色。該項技術最初的研發(fā)目的和應用領域是在軍事指揮和動態(tài)環(huán)境的控制方面。有形的物體可以被整合，因為膚色跟蹤算法可以實現(xiàn)對任何皮膚色度和強度的調(diào)整，這樣就可以區(qū)分放在桌面表面的物體和投影的圖像。我們的目標是通過盡可能消除用戶的意圖與界面輸入能力之間的障礙從而繼續(xù)改善多點觸摸技術。在快節(jié)奏和多面性的現(xiàn)場指揮和控制任務中，可以利用我們觸摸界面提供的所有優(yōu)勢。但是如果系統(tǒng)可以區(qū)分不同的用戶，這個問題就會被解決。這使得該系統(tǒng)能以最小的延遲響應用戶操作，同時保持應用程序中只使用平均值數(shù)量的高幀頻硬件。這樣做以后，觸摸點就不再被需要當作單獨的觸摸事件處理，而是與之前出現(xiàn)過的觸點的歷史信息聯(lián)系到一起。來自間接膚色檢測的數(shù)據(jù)以及紅外觸摸點跟蹤的數(shù)據(jù)會同時被數(shù)據(jù)監(jiān)聽器處理，這樣對于每一個觸發(fā)事件就可以把這兩個數(shù)據(jù)源都納入到事件檢測標準。值得注意的一個系統(tǒng)缺陷是，若想要提高手指檢測的精度，對于所有的應用程序，顯示屏幕都需要保持一個合理穩(wěn)定的色彩值和強度值。有三個數(shù)據(jù)信息，手指觸點，桌面邊緣的點，還有一個整數(shù)值代表桌子側(cè)面的點，都會被從輪廓信息中提取并傳遞到通信網(wǎng)絡中以完成后面的應用。這種方法能夠?qū)崿F(xiàn)對于可用顏色空間內(nèi)膚色的降維跟蹤。這些新獲取的觸點的位置會拿來和以前檢測到的觸點位置進行比較，來決定它們究竟是代表一個新出現(xiàn)的觸點還是一個手指的移動，這個手指已經(jīng)在之前被系統(tǒng)檢測到。觸摸時，紅外光能夠離開丙烯酸創(chuàng)造了以下各點與丙烯酸手指輕點接觸。這些研究領域與設計開發(fā)新的多點觸摸技術同樣至關重要。像這樣的交互界面因為傳感器的要求，需要使用不透明的桌面，所以采用前投影方式。手指和接觸點位置的融合也增加了在有紅外光干擾情況下接觸點檢測的精確度，因為增添了對接觸點位置信息的判斷。每一個觸摸點在紅外跟蹤技術中作為一個獨立的事件來處理。由于共同使用一個顯示設備而產(chǎn)生的社會交互活動是很有價值的。 Ballard, D. H. (1991). Color indexing. International Journal of Computer Vision, 7(1), 1132. [13] Yang, J., amp。 White reflects detected skin。 Red in the sychronization phase indicates erroneous points removed.Tracking hands creates two important functionalities, the first is the ability to associate a touch with a user. Multitouch interfaces inherently accept interaction from multiple users, however, it has been impossible so far to discriminate between users in the discreet manner of puter vision skin tracking. User identities are maintained by the overhead tracking information and are not dependent upon an individual39。 usability research will be conducted to improve the merging of touch and above table interactions.Our goal is to continue to advance multitouch technology by removing as many barriers between the user39。 Waibel, A. (1997). SkinColor Modeling Adaptation. Technical Report CMUCS97146, CS department, CMU.附 錄 B 翻譯的中文翻譯中文：利用基于手指跟蹤技術的多點觸摸桌面增強多用戶交互體驗. Dohse1 , Thomas Dohse2 , Jeremiah D. Still1, Derrick J. Parkhurst13人機交互項目小組， 計算機科學系，心理學系 愛荷華州立大學摘 要背投式多點觸摸桌面的顯示效果可以運用基于計算機視覺技術的手指跟蹤技術來提高。例如，多點觸摸的表面，利用受抑全內(nèi)反射的現(xiàn)象（FTIR）最近受到了廣泛的關注。另一個問題是，該系統(tǒng)極易受到紅外光與雜散噪聲（如光線不足的條件或閃光燈攝影）的影響。圖B1 這幾位用戶正在使用一個帶有懸掛攝像頭的背投式多點觸摸桌面，懸掛的攝像頭使觸摸桌面的手指跟蹤性能增強。例如，HoloWall使用的半透明散射器，它允許從屏幕后面投射過來的紅外光線（IR）能夠反射距離屏幕表面一定距離的物體。我們開發(fā)了一個基于受抑內(nèi)全反射原理的背投式多點觸摸桌面（見圖片B1），它具有感應觸摸點的能力。一個通過膚色檢測而進行手指跟蹤的可見光譜相機被安裝在顯示桌面上方。同樣，對于現(xiàn)有的追蹤點，即使在他們消失后的一段時間內(nèi)也會繼續(xù)保留它們的信息，以便它在不可見的幾幀之后又再次出現(xiàn)時進行檢測。這種以聚集的被標準化的膚色為目標的膚色跟蹤算法是一種很有效的方法。當用戶站在面1的時候會在手臂的一端生成一個具有很小Y軸值坐標的輪廓，而在用戶手臂的輪廓的另一端處生成一個具有中等Y軸值大小的輪廓。為了使相機的跟蹤數(shù)據(jù)更精準，一種開發(fā)商用戶端設計模式被投入使用，這個模式把事件的觸發(fā)這項任務分解成多個功能，這樣使每個部分只有非常有限的功能范圍。用戶身份確定仍然是根據(jù)懸掛在上方的攝像機中的跟蹤信息，而不是依靠每個用戶的膚色而定。另外，手指檢測的信息會提高跟蹤的精度而會不增加系統(tǒng)出錯的概率。圖B3 紅色的點代表被判斷成噪聲的點；藍色的點代表用戶A的觸摸；綠色點代表用戶B的觸摸；白色區(qū)域代表檢測到的皮膚；黃色的圈代表可接受的觸點活動范圍。該系統(tǒng)也能識別在桌面上方引發(fā)的手勢，因此這里所指的交互并不一定要與物理表面接觸。今后的工作包括為手指跟蹤添加音效，自動校正膚色參數(shù)，將實物和可用性測試結(jié)合到一起。