【正文】 集團(tuán)投資的三菱電子研究實(shí)驗(yàn)室（MERL：Mitsubishi Electric Research Laboratories）。該實(shí)驗(yàn)室專(zhuān)門(mén)針對(duì)多點(diǎn)觸摸的人機(jī)交互界面的研究持續(xù)了許多年，而且不斷地進(jìn)行著走產(chǎn)品化的道路。其本身所擁有的幾項(xiàng)原型產(chǎn)品專(zhuān)利，也為后來(lái)的許多產(chǎn)品設(shè)計(jì)師、界面設(shè)計(jì)師、交互設(shè)計(jì)師等提供了可供參考的技術(shù)模式。三菱電子實(shí)驗(yàn)室為了解決多人同時(shí)操作計(jì)算機(jī)時(shí)的互動(dòng)問(wèn)題，進(jìn)行了一項(xiàng)稱(chēng)為Diamond Touch計(jì)劃，并最終實(shí)現(xiàn)了，該平臺(tái)支持多個(gè)人同時(shí)操作并且能夠識(shí)別每個(gè)人的身份。 Diamond Touch2002年，好萊塢也注意到了這個(gè)科技新動(dòng)向，在《少數(shù)派報(bào)告（Minority Report）》這部電影中，主人公用手指控制虛擬屏?！岸帱c(diǎn)觸摸”成為了重要的科幻橋段，為多點(diǎn)觸摸技術(shù)造勢(shì)不少。 Minority Report2006年，是多點(diǎn)觸摸技術(shù)發(fā)展最重要的一年。Jefferson Y. Han于同年2月在美國(guó)TED4大會(huì)上向全世界演示了他們的多點(diǎn)觸摸裝置的實(shí)際操作和應(yīng)用。這也是之后多點(diǎn)觸摸產(chǎn)品席卷全球的風(fēng)潮的開(kāi)始。這次里程碑式的實(shí)際演示，標(biāo)志著研發(fā)重心從硬件技術(shù)轉(zhuǎn)向了軟件應(yīng)用。 Jefferson Y. Han對(duì)多點(diǎn)觸摸技術(shù)的演示和西方發(fā)達(dá)國(guó)家比較，國(guó)內(nèi)大部分研究機(jī)構(gòu)、專(zhuān)業(yè)院校和高端企業(yè)對(duì)多點(diǎn)觸摸技術(shù)的研究投入相對(duì)有限。雖然進(jìn)入21世紀(jì)之后，部分發(fā)達(dá)城市，如北京、廣州、上海和深圳等的高等院校已投入了相當(dāng)規(guī)模的資金用于多點(diǎn)觸摸技術(shù)的研發(fā)和平臺(tái)的搭建，但多點(diǎn)觸摸技術(shù)的核心仍在西方國(guó)家，國(guó)內(nèi)缺少一定的人才和資金，而且目前國(guó)內(nèi)在這方面的市場(chǎng)沒(méi)有被培養(yǎng)起來(lái)，仍然很不完善。但是近幾年，隨著政府開(kāi)展的大力扶持科技創(chuàng)新的計(jì)劃以及多點(diǎn)觸摸技術(shù)研究的專(zhuān)門(mén)論壇的興起，使開(kāi)發(fā)人員能夠更方便的獲取行業(yè)的最新發(fā)展信息。例如北京優(yōu)愛(ài)交互科技有限公司[15]（HCI中國(guó)），是國(guó)內(nèi)最大的人機(jī)交互設(shè)備供應(yīng)商，也是國(guó)內(nèi)最早投入研究多點(diǎn)觸摸技術(shù)并且對(duì)該技術(shù)產(chǎn)品出售的自主性企業(yè)。目前該公司包含有由各種硬件技術(shù)構(gòu)建的多點(diǎn)觸摸設(shè)備（交互桌、交互墻以及支持不同觸摸數(shù)量點(diǎn)的觸摸薄屏）。 多點(diǎn)觸摸吧臺(tái)所以，未來(lái)將會(huì)有更多的人才被吸引到多點(diǎn)觸摸交互界面設(shè)計(jì)的領(lǐng)域中，國(guó)內(nèi)的發(fā)展前景將是非常光明的。多點(diǎn)觸摸技術(shù)作為一種新型的人機(jī)交互方式，打破了傳統(tǒng)的單點(diǎn)觸摸屏技術(shù)只能同時(shí)響應(yīng)一個(gè)觸點(diǎn)、沒(méi)有從本質(zhì)上改變交互方式、只是用手指點(diǎn)擊代替了鼠標(biāo)操作、缺乏智能性以及缺少“以用戶(hù)為中心”的交互自然性和高效性的僵局，讓雙手自由交互成為了可能[16]。多點(diǎn)觸控技術(shù)利用光學(xué)和材料學(xué)技術(shù)，構(gòu)建了一個(gè)能同時(shí)檢測(cè)多個(gè)觸點(diǎn)的觸控平臺(tái)，使得用戶(hù)能夠運(yùn)用多個(gè)手指同時(shí)操作并實(shí)現(xiàn)基于手勢(shì)的人機(jī)交互，而且可以讓多個(gè)用戶(hù)同時(shí)操作實(shí)現(xiàn)基于協(xié)同手勢(shì)的交互[17]。近幾年，自從多點(diǎn)觸摸技術(shù)的出現(xiàn)以及硬件技術(shù)的發(fā)展，構(gòu)建一套廉價(jià)的多點(diǎn)觸摸平臺(tái)也變得相對(duì)簡(jiǎn)單。因此這種以人為中心的自然高效的人機(jī)交互技術(shù)已經(jīng)在眾多領(lǐng)域中得到了推崇[18]，如個(gè)人便攜式信息產(chǎn)品、信息家電、公共信息查詢(xún)、電子游戲、教育、展示、指揮決策中心等。鼠標(biāo)和圖形用戶(hù)界面是電腦大規(guī)模普及的重要原因。但是傳統(tǒng)的人機(jī)交互是間接的并且是需要識(shí)別的一種模式。而建立在多點(diǎn)觸摸上的人機(jī)交互是自然直觀的，流暢的且令人回味的。隨著計(jì)算機(jī)在國(guó)民經(jīng)濟(jì)各個(gè)領(lǐng)域應(yīng)用深度和廣度的全面推進(jìn)，它與我們?nèi)粘Ｉ畹年P(guān)系越來(lái)越緊密，從而使研究高效的人機(jī)交互方式成為必要。世界各國(guó)都將人機(jī)交互技術(shù)作為重點(diǎn)研究的一項(xiàng)關(guān)鍵技術(shù)，美國(guó)總統(tǒng)信息技術(shù)顧問(wèn)委員會(huì)的“21世紀(jì)的信息技術(shù)報(bào)告”中將“人機(jī)交互和信息管理”列為新世紀(jì)4項(xiàng)重點(diǎn)發(fā)展的信息技術(shù)（還包括軟件、可伸縮信息基礎(chǔ)設(shè)施、高端計(jì)算）之一，它的目標(biāo)是研制“能聽(tīng)、能說(shuō)、能理解人類(lèi)語(yǔ)言的計(jì)算機(jī)”，并指出 “現(xiàn)在美國(guó) 40 %以上的家庭擁有計(jì)算機(jī)，然而，對(duì)于大多數(shù)美國(guó)人來(lái)說(shuō)，計(jì)算機(jī)仍然難以使用。調(diào)查表明，由于不理解計(jì)算機(jī)正在做什么，用戶(hù)浪費(fèi)了12%以上的上機(jī)時(shí)間。更好的人機(jī)交互將使計(jì)算機(jī)易于使用，并使使用者更愉快，因而可提高生產(chǎn)率?？紤]到現(xiàn)在經(jīng)常使用計(jì)算機(jī)的人數(shù)多，研制這種計(jì)算機(jī)的回報(bào)將非常巨大。微軟亞洲研究院從成立一開(kāi)始，就將新一代人機(jī)交互技術(shù)作為其主要研究方向。我國(guó)國(guó)家自然科學(xué)基金會(huì)、國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃（973）、國(guó)家高技術(shù)研究發(fā)展計(jì)劃（863）等項(xiàng)目指南中，均將先進(jìn)的人機(jī)交互、虛擬現(xiàn)實(shí)技術(shù)列為予以特別關(guān)注的資助項(xiàng)目[19]。 綜上所述，本課題對(duì)于多點(diǎn)觸摸人機(jī)交互技術(shù)觸摸點(diǎn)檢測(cè)以及簡(jiǎn)單手勢(shì)定義的研究，無(wú)論從人機(jī)交互技術(shù)的發(fā)展趨勢(shì)還是從多點(diǎn)觸摸的應(yīng)用前景上，都具有非常重要的意義。2多點(diǎn)觸摸系統(tǒng)底層軟件的架構(gòu)分析本文主要的研究?jī)?nèi)容是對(duì)多點(diǎn)觸摸系統(tǒng)的底層軟件進(jìn)行分析，改進(jìn)與實(shí)現(xiàn)，并完成基本的手勢(shì)定義與編程從而實(shí)現(xiàn)多點(diǎn)觸摸的應(yīng)用。多點(diǎn)觸摸系統(tǒng)有兩個(gè)關(guān)鍵部分組成：硬件系統(tǒng)與軟件算法。硬件系統(tǒng)由光學(xué)傳感器、紅外光源和顯示設(shè)備組成。硬件系統(tǒng)主要完成觸點(diǎn)信號(hào)的發(fā)生和觸點(diǎn)信號(hào)的同時(shí)采集。軟件系統(tǒng)完成觸點(diǎn)信號(hào)的意義判斷，也就是觸點(diǎn)信號(hào)處理與觸點(diǎn)手勢(shì)識(shí)別，并且基于上述識(shí)別結(jié)果實(shí)現(xiàn)與上層軟件的溝通和交互應(yīng)用。攝像機(jī)捕捉的圖像圖像預(yù)處理運(yùn)動(dòng)跟蹤 信息傳輸 手勢(shì)識(shí)別用戶(hù)交互界面 多點(diǎn)觸摸系統(tǒng)總體模塊圖（用方框標(biāo)出）：圖像處理、運(yùn)動(dòng)跟蹤、信息傳輸、手勢(shì)識(shí)別和交互界面。其中圖像處理、運(yùn)動(dòng)跟蹤和信息傳輸部分屬于底層軟件的內(nèi)容，而手勢(shì)識(shí)別與交互界面屬于上層軟件的內(nèi)容。每個(gè)模塊都有各自的功能，概括介紹如下：圖像預(yù)處理模塊：對(duì)紅外攝像機(jī)捕捉到的圖像進(jìn)行灰度變換、平滑去噪、去處背景和圖像分割等處理，這樣就把需要處理的圖像從原始畫(huà)面中分離出來(lái)。運(yùn)動(dòng)跟蹤模塊：通過(guò)對(duì)一系列連續(xù)幀的計(jì)算和分析，實(shí)現(xiàn)對(duì)觸摸點(diǎn)的跟蹤，并獲得觸摸點(diǎn)的運(yùn)動(dòng)狀態(tài)信息，如位置，加速度等。運(yùn)動(dòng)跟蹤模塊是軟件系統(tǒng)中非常重要的一環(huán)。信息傳輸模塊：底層軟件完成了觸點(diǎn)檢測(cè)與跟蹤后，利用TUIO傳輸協(xié)議實(shí)現(xiàn)與上層軟件的通信，向上層軟件發(fā)送觸點(diǎn)信息數(shù)據(jù)包以及諸如按下、移動(dòng)、釋放等基本操作事件。手勢(shì)識(shí)別模塊：上層軟件得到了觸摸點(diǎn)的運(yùn)動(dòng)狀態(tài)之后，需要根據(jù)這些信息來(lái)判斷用戶(hù)在觸摸屏上的進(jìn)行了哪些操作動(dòng)作，例如點(diǎn)擊，旋轉(zhuǎn)等。交互界面模塊：顯示交互的最終結(jié)果，例如圖片的移動(dòng)，放大縮小，點(diǎn)擊按鈕的變化等視覺(jué)效果。對(duì)攝像機(jī)拍攝到的圖像進(jìn)行的第一步運(yùn)算就是圖像預(yù)處理。圖像預(yù)處理簡(jiǎn)單地說(shuō)就是利用計(jì)算機(jī)對(duì)圖像進(jìn)行分析，從而獲得所需要的圖像效果。在多點(diǎn)觸摸系統(tǒng)中，由于圖像傳感器本身的噪聲以及環(huán)境光源的干擾，攝像機(jī)采集到的圖像除了想要的觸點(diǎn)信息之外，還有很多噪點(diǎn)和無(wú)用的背景，這會(huì)對(duì)接下來(lái)觸點(diǎn)檢測(cè)和手勢(shì)識(shí)別有很大的影響。圖像預(yù)處理的目的就是對(duì)攝像機(jī)采集到的圖像進(jìn)行去除噪聲和過(guò)濾，得到一幅清晰的易于處理的圖像。圖像預(yù)處理有四個(gè)主要步驟：灰度變換、平滑去噪、去除背景、圖像分割。 從灰度圖像到經(jīng)過(guò)所有圖像預(yù)處理步驟后的圖像在灰度處理中，要將紅外攝像機(jī)拍攝的原始彩色圖像轉(zhuǎn)換為灰度圖像（），這個(gè)過(guò)程叫做灰度變換。進(jìn)行灰度變化有兩個(gè)重要原因：第一，去掉圖片中沒(méi)有作用的彩色信息，減少處理數(shù)據(jù)量。彩色圖像信息對(duì)于后面的觸點(diǎn)檢測(cè)和分析沒(méi)有任何的幫助，而且對(duì)于數(shù)字圖像，彩色圖像占用的存儲(chǔ)空間要比灰度圖像大得多，所以圖像預(yù)處理的第一個(gè)環(huán)節(jié)就是要將彩色圖像轉(zhuǎn)換為灰度圖像，以保證接下去程序的效率。第二，簡(jiǎn)化算法。在下面的處理中，分析輪廓和分析形狀的算法對(duì)于彩色圖像的處理要比對(duì)于灰度圖像的處理復(fù)雜得多，所以轉(zhuǎn)化成灰度圖像對(duì)于簡(jiǎn)化算法有很大幫助。 灰度圖像通過(guò)查閱資料將彩色圖像轉(zhuǎn)變成灰度圖像有一個(gè)通用的心理學(xué)公式()： ()公式中的R、G、B分別代表紅、綠、藍(lán)，公式中的Gray就是計(jì)算出的各個(gè)像素的灰度值。本文利用OpenCV（Open Source Computer Vision Library開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)）中的函數(shù)來(lái)實(shí)現(xiàn)這一變換：cvCvtColor( (), cvImage, CV_RGB2GRAY )；()是輸入的源浮點(diǎn)圖像即原始圖像，cvImage是經(jīng)過(guò)灰度變換后的輸出圖像，CV_RGB2GRAY表式將彩色圖像轉(zhuǎn)化為灰度圖像。經(jīng)過(guò)灰度變換之后，多點(diǎn)觸摸系統(tǒng)會(huì)根據(jù)一個(gè)設(shè)置好的初始閾值將灰度圖像轉(zhuǎn)化為二值圖像()?？梢钥吹皆嫉牟噬珗D像變成了二值圖像，不必要的色彩信息被去掉了，但這樣還是不能達(dá)到要求，因?yàn)榕臄z到的圖像中還存在很多噪聲，這是單單進(jìn)行灰度變換和簡(jiǎn)單的二值圖像變換所不能剔除的。所以在圖像與處理步驟中，還有一個(gè)很重要的環(huán)節(jié)就是進(jìn)行平滑處理。 灰度圖像經(jīng)初始閾值轉(zhuǎn)化成二值圖像對(duì)圖像的平滑操作可以去掉圖像噪聲，但同時(shí)也會(huì)使一些重要圖像信息的邊緣變得模糊，這對(duì)后面的輪廓分析會(huì)有比較大的影響。所以要選用一種合適的平滑算法，讓去掉噪聲的同時(shí)最大程度的保留圖像有用信息。GUI Group采用Open Source Computer Vision Library（簡(jiǎn)稱(chēng)OpenCV）函數(shù)庫(kù)中的平滑函數(shù)來(lái)進(jìn)行平滑變換：cvSmooth( cvImage, cvImageTemp, CV_GAUSSIAN ,value )。這句函數(shù)的功能是將輸入圖像cvImage經(jīng)過(guò)高斯模糊（CV_GAUSSIAN表示選用高斯模糊方法）后儲(chǔ)存到圖像cvImageTemp中，value（在多點(diǎn)觸摸硬件平臺(tái)上手動(dòng)調(diào)節(jié)“smooth”的參數(shù)值）表示對(duì)圖像進(jìn)行核大小為 value2的高斯卷積。高斯模糊方法的中心思想是建立的一個(gè)數(shù)學(xué)模型，通過(guò)這個(gè)模型來(lái)將圖像數(shù)據(jù)進(jìn)行能量轉(zhuǎn)化，能量低的就排除掉，噪聲就是屬于低能量部分。經(jīng)過(guò)平滑去噪的處理后，圖像中的噪聲就被去掉（），下面就可以進(jìn)行背景的去除。 二值圖像經(jīng)平滑去噪操作后的圖像在多點(diǎn)觸摸系統(tǒng)中，由于硬件上的因素，很難做到屏幕上一點(diǎn)干擾都沒(méi)有，但是這種干擾和上面平滑去噪操作中提到的圖像噪點(diǎn)是不同的。平滑去噪中的圖像噪點(diǎn)是由于數(shù)字?jǐn)z像機(jī)內(nèi)部的電氣特性和AV線傳輸信號(hào)的過(guò)程中疊加在圖像上的，通常都是非常小的噪聲點(diǎn)。而這里所提到的干擾是多點(diǎn)觸摸系統(tǒng)中由于硬件工藝所產(chǎn)生的問(wèn)題，如硬件設(shè)備金屬材料的反光投影會(huì)經(jīng)常出現(xiàn)在圖像中形成干擾。另外，還有室內(nèi)室外某些紅外光線的干擾。這些都會(huì)被攝像機(jī)捕捉在畫(huà)面中，在平滑去噪的操作中不能夠?qū)⑦@些干擾完全去掉，但這些干擾會(huì)對(duì)后面的分析產(chǎn)生很大的影響。 平滑去噪后的圖像 經(jīng)過(guò)去除背景后的圖像，圖中除了手的圖像之外還有屏幕邊緣以及環(huán)境中的噪點(diǎn)圖像。將手從觸摸屏拿下來(lái)，后面的干擾圖像還是會(huì)存在并基本保持不變。所以當(dāng)把手從觸摸屏拿下來(lái)之后，使用清屏函數(shù)，屏幕被清零了，這樣背景中的固定干擾也被移除了。這時(shí)再把手放上去，干擾就明顯少多了（）。經(jīng)過(guò)上述圖像預(yù)處理的前三個(gè)步驟：灰度轉(zhuǎn)換，平滑去噪和背景去除，實(shí)現(xiàn)了將原始圖像中的不必要信息去掉，并且將有用的信息增強(qiáng)。在這些步驟之后，就要對(duì)圖像進(jìn)行分割。 背景去除后的圖像再經(jīng)過(guò)圖像分割后得到的圖像在經(jīng)過(guò)前三個(gè)處理步驟之后，可以看到，手指的圖像已經(jīng)可以比較清楚的和其他部分區(qū)分開(kāi)了，下面要做的就是將手指部分從圖像中分割出來(lái)。圖像分割的方法很多，根據(jù)實(shí)際的問(wèn)題，選用比較簡(jiǎn)單的一種方法：閾值法(threshold)。閾值法就是將圖像中像素灰度值大于某個(gè)設(shè)定值的部分全部設(shè)為255，而剩余部分全部設(shè)為0。這樣一幅灰度圖就轉(zhuǎn)變?yōu)榱艘环祱D像。也就是說(shuō)一幅圖像上只有黑和白兩部分，含有信息的部分(手指)就標(biāo)記為白色，沒(méi)有信息的部分就標(biāo)記為黑色，這樣也就把手指圖像部分分割出來(lái)了。，在灰度變換后，系統(tǒng)已經(jīng)根據(jù)一個(gè)初始的閾值將灰度圖像轉(zhuǎn)化成二值圖像，但那時(shí)的二值圖像含有很多噪聲所以只是粗糙的變化（，這里再次引用）?，F(xiàn)在要進(jìn)行的是更精確的二值圖像的轉(zhuǎn)化。此過(guò)程利用OpenCV函數(shù)來(lái)實(shí)現(xiàn)：cvThreshold( cvImage, cvImageTemp, value, 255, CV_THRESH_BINARY )。cvAdaptiveThreshold( cvImage, cvImageTemp, 255, adaptive_method, threshold_type, blockSize, offset)。第一個(gè)函數(shù)是固定閾值轉(zhuǎn)換函數(shù)，它的功能是將輸入的灰度圖像轉(zhuǎn)化成二值圖像。其中cvImage為輸入圖像，cvImageTemp為輸出圖像，value（可手動(dòng)調(diào)整）為設(shè)置的閾值，CV_THRESH_BINARY為閾值類(lèi)型，255為使用CV_THRESH_BINARY的灰度最大值。變化原則為當(dāng)cvImage圖像中某部分的灰度值大于value時(shí)，將這部分圖像的灰度值設(shè)為255（白）；當(dāng)cvImage圖像中某部分的灰度值小于等于value時(shí)，將這部分圖像的灰度值設(shè)為0（黑）。第二個(gè)函數(shù)為自適應(yīng)閾值調(diào)整函數(shù)，它的功能是將輸入的灰度圖像按照給定的不同參數(shù)轉(zhuǎn)化成對(duì)應(yīng)的二值圖像。其中cvImage為輸入圖像，cvImageTemp為輸出圖像，adaptive_method 是自適應(yīng)閾值算法，255是采用adaptive_method時(shí)的灰度最大值，threshold_type為閾值類(lèi)型，blockSize（可手動(dòng)調(diào)整）是用來(lái)計(jì)算閾值的像素鄰域大小，offset是與閾值算法有關(guān)的參數(shù)。簡(jiǎn)單地說(shuō)，當(dāng)輸入的blockSize發(fā)生變化時(shí)，函數(shù)會(huì)根據(jù)新的blockSize值計(jì)算每個(gè)像素點(diǎn)的新閾值TI，當(dāng)像素點(diǎn)的實(shí)際灰度值大于TI時(shí)，此像素點(diǎn)的灰度值將被設(shè)為255；否則此像素點(diǎn)的灰度值將被設(shè)為0。通過(guò)圖像的分割，可以清晰的看到幾個(gè)白點(diǎn)(手指)出現(xiàn)在畫(huà)面上()。在第三節(jié)，本文將討論一種基于大津法的自適應(yīng)閾值方法，可以大大簡(jiǎn)化圖像預(yù)處理的過(guò)程。雖然經(jīng)過(guò)圖像預(yù)處理步驟之后分割出了清晰的手指圖案，但光這樣是沒(méi)有辦法從中提取出有效的信息的，所以，接下來(lái)的兩個(gè)步驟是：l