【正文】 .................................................................................................. 26 iii Kinect 控制俄羅斯方塊的測試 .............................................................................................. 26 骨骼跟蹤圖 ..................................................................................................................... 26 運行結(jié)果 ......................................................................................................................... 26 Kinect 控制 PPT 播放的測試 ................................................................................................. 28 骨骼跟蹤圖 ..................................................................................................................... 28 運行結(jié)果 ......................................................................................................................... 28 Kinect 控制音樂播放 器的測試 .............................................................................................. 29 骨骼跟蹤圖 ..................................................................................................................... 29 運行結(jié)果 ......................................................................................................................... 29 Kinect 控制視頻播放器的測試 .............................................................................................. 30 骨骼跟蹤圖 ..................................................................................................................... 30 運行結(jié)果 ......................................................................................................................... 30 第六章 總結(jié)與展望 ................................................................................................................. 31 總結(jié) ........................................................................................................................................ 31 展望 ........................................................................................................................................ 31 參考文獻 ......................................................................................................................................... 33 附 錄 ......................................................................................................................................... 34 致 謝 ......................................................................................................................................... 40 天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 1 第一章 引言 選題理由 人機交互技術(shù)是指通過計算機輸入、輸出設(shè)備，以有效的方式實現(xiàn)人與計算機對話的技術(shù)。它與認(rèn)知學(xué)、人機工程學(xué)、心理學(xué)等學(xué)科領(lǐng)域有密切的聯(lián)系。 通過鍵盤鼠標(biāo)等外設(shè)控制電腦需要操作者近距離的操作，而且無法解放雙手，通過自由的方式操控。 自然人機交互技術(shù)的發(fā)展 2020 年，比爾 ?蓋茨提出 “自然用戶界面 ”的概念，并預(yù)言人機交互在未來幾年內(nèi)會有很大的改觀，鍵盤和鼠標(biāo)將會逐步被更為自然的 觸控式、視覺型以及語音控制界面所替代。隨著計算機技術(shù)和傳感器技術(shù)的普遍應(yīng)用，現(xiàn)實世界也逐步出現(xiàn)其 “數(shù)字版 ”的一面，而自然人機交互技術(shù)正是現(xiàn)實世界與虛擬世界之間的橋梁。除了體感設(shè)備比較普及的游戲領(lǐng)域外， Kinect 的應(yīng)用性和實驗性正在快速發(fā)展。近日， Kinect for Windows 平臺為疾病患者打造了一個可以識別面部表情或手勢的設(shè)備，來幫助很多中風(fēng)患者緩解失語等困擾。還有淡江大學(xué)電機工程學(xué)系開發(fā)的 基于 Kinect 之實時雙向人流計數(shù)系統(tǒng) [4]，臺灣大學(xué)生醫(yī)電 子與資訊學(xué)研究所開發(fā)的應(yīng)用Kinect 感應(yīng)器分析手指活動擷取系統(tǒng) [5]。在 Kinect 出現(xiàn)之前，任天堂的 Wii 是體感技術(shù)的代表，同期的產(chǎn)品還有 Sony的 PS3，但它們都需要額外的控制器。站在 Kinect 前，它立刻就能知道你是誰。當(dāng)你移動時，傳感器能在瞬間追蹤到你。 Kinect的應(yīng)用 （ 1） 通過對最新的科技產(chǎn)品 Kinect 在 SNC 的創(chuàng)新智能教室框架下的應(yīng)用探索 ， 提出了結(jié)合手勢識別與增強現(xiàn)實技術(shù)的教育輔助系統(tǒng)的設(shè)想并進行了實現(xiàn) [7]。 （ 3）利用 Kinect 體感設(shè)備 ,可將其即時動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等功能整合到視頻會議中 ， 使視頻會議更具可交互性 ， 提供了更好的用戶體驗 ， 并提高了視頻會議的整體性能 [9]。 （ 5） 基于 Kinect 的用于幼兒教育的手勢識別功能模塊，用 OpenCV 中的支持向量機識別每個特征向量的手勢類別 [11]。 （ 7） 隨著 Kinect 設(shè)別的出現(xiàn) ， 獲取場景的 信息變得很容易 。 （ 8） 基于微軟 Kinect 系統(tǒng)的單目 RGB 攝像機以及深度距離受限的 RGBD 像機 ， 研究解決室內(nèi)機器人的 6 自由度定位問題 [14]。 （ 10） 利用微軟公司推出的深度相機 Kinect 對人體進行掃描，獲取人體深度數(shù)據(jù)，進一步構(gòu)建人體表面點云數(shù)據(jù)；再運用 Pro/E 軟件對點云數(shù)據(jù)進行人體模型重建，最后對人體表面特征數(shù)據(jù)進行測量 [16]。 （ 12）利用 Kinect 以及 ICP 迭代算法計算出了人體頭部的旋轉(zhuǎn)角度并且對人體頭部的姿態(tài)進行了準(zhǔn)確的估計，成功利用人體臉部三維點云圖像估計人體頭部姿態(tài)，使得在多種復(fù)雜環(huán)境天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 3 中，實時檢測駕駛員頭部姿態(tài)成為了可能 [18]。 （ 14） 利用 Kinect 傳感器所獲取的人體骨骼跟蹤識別點，通過對手勢在三維空間中的位置坐標(biāo)轉(zhuǎn)換，與手勢庫中的位置特征信息進行匹配，將合法的手勢信息轉(zhuǎn)換為識別 結(jié)果，反饋給電子相冊軟件并完成相應(yīng)的控制指令輸出 [20]。未來還可以擴展其他基于鍵盤控制的程序的操作。 （ 3）性能需求 本設(shè)計要在本身正常運行的情況下，節(jié)省資源， 保證被控程序正常運行。解決的方案是使用多線程技術(shù)，將主程序和模擬鍵盤操作的方法放到兩個線程內(nèi)，這樣只休眠模擬鍵盤操作的線程就可以達到防止鍵盤事件過于頻繁的目的，而且主程序也不會卡死。此外， Kinect 硬件的研發(fā)與生產(chǎn)綜合了聲、光、電和機械學(xué)等多方面的技術(shù)，其主要零部件近百個，拆分成最小單元后有近千個，有三塊獨立主板，下面就詳細介紹一下。 新版 Kinect for Windows 固件做了升級，支持近景模式、提升了骨骼跟蹤的 API 性能、更好的兼容各種 Windows 計算機、采用更為先進的聲學(xué)模型，并且將其作為微軟授權(quán)在Windows平臺下進行開發(fā)的 Kinect傳感器。 Kinect for Xbox360的版本從設(shè)計之初，就是為 Xbox360定制的，并未考慮其他平臺，這一版本的 Kinect，從微軟授權(quán)角度而言，無法用作商業(yè)開發(fā)，只能用作教學(xué)、科研或者實驗。 Kinect的硬件組成 圖 拆解 后的 Kinect 如圖 所示， Kinect 內(nèi)部的確比想象中的復(fù)雜得多。 Kinect的 “心臟 ”——PS1080 SoC Kinect 的心臟是 PrimeSense 的 PS1080 SoC。 PS1080 通過 USB 物理層協(xié)議將所有數(shù)據(jù)傳送到主機。通過這種設(shè)計，即使是計算能力有限的主機設(shè)備也能具備 “深度圖像獲取能力 ”。 圖 Kinect 的 “三只眼 ” （ 1） 紅外投影機 PS1080 SoC 對紅外光源進行 控制，以便通過紅外光編碼影像放映場景。紅外攝像頭是一個標(biāo)準(zhǔn)CMOS 影像傳感器，負責(zé)接收放出的紅外光，并將紅外光編碼影像傳給 PS1080。 （ 2） 彩色攝像頭和紅外攝像頭 Kinect 是通過彩色攝像頭和紅外攝像頭來觀察這個世界的。為了讓深度影像和二維標(biāo)準(zhǔn)色彩影像相互對應(yīng)，必須進行注冊。這能讓應(yīng)用程序準(zhǔn)確了解收到的色彩影像中每個像素的深度。通過 Kinect SDK 可以獲得同步的深度圖像和彩色圖像數(shù)據(jù)流。 圖 Kinect 的 “三只眼睛 ” Kinect的 “四只耳朵 ”——麥克風(fēng)陣列 由于 Kinect 的 “三只眼 ”的不對稱分布， Kinect 的麥克風(fēng)陣列也是左右不對稱的，從而保持重量分 布的均勻。 天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 9 圖 Kinect 的麥克風(fēng)陣列 Kinect 的音頻系統(tǒng)采用了四元線性麥克風(fēng)陣列技術(shù)。與一般的單麥克風(fēng)數(shù)據(jù)相比， Kinect 陣列技術(shù)包含有效的噪聲消除和回波抑制（ Acoustic Echo Cancellation， AEC）算法，同時采用波束成形（ Beamforming）技術(shù)，通過每個獨立設(shè)備的響應(yīng)時間確定音源位置，并盡可能避免環(huán)境噪聲的影響。波束形成技術(shù)已廣泛應(yīng)用于雷達、聲納和通信等領(lǐng)域。 表 21 Kinect for Xbox360 傳感器 傳感器特性 有效視距 /m 色彩和深度 ～ 骨骼跟蹤 ～ 天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 10 表 22 Kinect for Windows 傳感器 傳感器特性 有效視距 /m 色彩和深度 默認(rèn)模式（ ～ ），近景模式（ ～ ） 骨骼跟蹤 默認(rèn)模式（ ～ ），近景模式（ ～ ） Kinect for Xbox 360 的有效視野范圍為 ～ 。 Kinect 傳感器陣列規(guī)格如表 23 所示。垂直方向和 57176。28176。那么接下來我們重點從產(chǎn)品設(shè)計、原理、軟件算法、基礎(chǔ)研究等角度去分析 Kinect 的內(nèi)在奧秘。它的成功來源于消費者對自然人機交互的渴望和認(rèn)可，以及普通大眾都能接受的價格。 Kinect 的設(shè)計初衷是將其嵌入 Xbox 游戲機的娛樂中心 ，給 Xbox 360 這艘 “傳統(tǒng)潛艇 ”配備上更為先進的 “聲納系統(tǒng) ”。此外， Xbox 也被定為家庭娛樂中心，占領(lǐng)電視機屏幕也是微軟的戰(zhàn)略之一 ——通過 Kinect 語音和手勢控制等功能，讓普通用戶更直觀、更輕易地搜索到互聯(lián)網(wǎng)及多媒體信息，同時社區(qū)用戶彼此之間還可以基于天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 11 Kinect 攝像頭進行視頻通訊。 “你就是控制器 ”—Kin