【文章內(nèi)容簡介】 了結(jié)合手勢識別與增強現(xiàn)實技術(shù)的教育輔助系統(tǒng)的設(shè)想并進行了實現(xiàn) [7]。 （ 2）利用 Kinect 深度傳感器所獲取的圖像深度信息實現(xiàn)手部從背景中的分割 ， 并通過在 Hu矩基礎(chǔ)上加入 3 個表達式 ， 使不變矩包含更多細節(jié)特征 ， 對手勢目標進行識別 ， 最后把得到的識別結(jié)果轉(zhuǎn)換成控制指令通過 AdHoc 網(wǎng)絡(luò)傳送給智能輪椅 ,實現(xiàn)運動控制 [8]。 （ 3）利用 Kinect 體感設(shè)備 ,可將其即時動態(tài)捕捉、影像辨識、麥克風(fēng)輸入、語音辨識、社群互動等功能整合到視頻會議中 ， 使視頻會議更具可交互性 ， 提供了更好的用戶體驗 ， 并提高了視頻會議的整體性能 [9]。 （ 4）一種基于 Kinect 傳感器的快速物體重建方法 ， 以及基于該方法的一種圖形處理器 (Graphic processing unit, GPU) 原型系統(tǒng)實現(xiàn) [10]。 （ 5） 基于 Kinect 的用于幼兒教育的手勢識別功能模塊，用 OpenCV 中的支持向量機識別每個特征向量的手勢類別 [11]。 （ 6）通過分析 Kinect 相機獲取的深度圖的特征 ， 提出以綜合點特征和梯度特征的局域梯度特征的方式來對人體部位區(qū)分判定 [12]。 （ 7） 隨著 Kinect 設(shè)別的出現(xiàn) ， 獲取場景的 信息變得很容易 。 設(shè)計了一個全新的基于無監(jiān)督物體識別系統(tǒng) [13]。 （ 8） 基于微軟 Kinect 系統(tǒng)的單目 RGB 攝像機以及深度距離受限的 RGBD 像機 ， 研究解決室內(nèi)機器人的 6 自由度定位問題 [14]。 （ 9）基于 Kinect 的多點觸控系統(tǒng)，該系統(tǒng)利用 Kinect 獲取三維深度信息 ， 通過建立觸控感應(yīng)平面模型 ， 檢測用戶多點觸控事件 ， 并進行觸控點的坐標變換 ， 實現(xiàn) 對電腦的控制 [15]。 （ 10） 利用微軟公司推出的深度相機 Kinect 對人體進行掃描，獲取人體深度數(shù)據(jù)，進一步構(gòu)建人體表面點云數(shù)據(jù)；再運用 Pro/E 軟件對點云數(shù)據(jù)進行人體模型重建，最后對人體表面特征數(shù)據(jù)進行測量 [16]。 （ 11） 采用微軟公司開發(fā)的一款廉價體感游戲設(shè)備 Kinect，嘗試了對農(nóng)作物長勢形態(tài)深度圖像進行實時監(jiān)測研究，在介紹 Kinect 深度成像原理的基礎(chǔ)上，提出了采用 Kinect 獲取農(nóng)作物長勢深度圖像的算法以及提取 3D 點云世界坐標的算法，并開展了初步試驗 [17]。 （ 12）利用 Kinect 以及 ICP 迭代算法計算出了人體頭部的旋轉(zhuǎn)角度并且對人體頭部的姿態(tài)進行了準確的估計，成功利用人體臉部三維點云圖像估計人體頭部姿態(tài)，使得在多種復(fù)雜環(huán)境天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 3 中，實時檢測駕駛員頭部姿態(tài)成為了可能 [18]。 （ 13） 利用微軟 Kinect 體感器作為人物場景采集器，將其采集到的深度數(shù)據(jù)進行處理，將人物與背景分割，去除背景深度區(qū)域，保留人物所在深度區(qū)域，進一步檢測出人物 [19]。 （ 14） 利用 Kinect 傳感器所獲取的人體骨骼跟蹤識別點，通過對手勢在三維空間中的位置坐標轉(zhuǎn)換，與手勢庫中的位置特征信息進行匹配，將合法的手勢信息轉(zhuǎn)換為識別 結(jié)果，反饋給電子相冊軟件并完成相應(yīng)的控制指令輸出 [20]。 需求分析 （ 1）功能需求 本設(shè)計的程序可以讓使用者通過手臂動作操作俄羅斯方塊、播放 PPT、控制音樂播放器、控制視頻播放器。未來還可以擴展其他基于鍵盤控制的程序的操作。 （ 2）界面需求 本設(shè)計需要有選擇被控程序的功能，同時還要顯示玩家的動作視頻和動作識別結(jié)果及對應(yīng)的映射結(jié)果。 （ 3）性能需求 本設(shè)計要在本身正常運行的情況下，節(jié)省資源， 保證被控程序正常運行。 由于操作俄羅斯方塊時通過線程休眠防止鍵盤事件過于頻繁，但是本程序為單線程程序，線程休眠 時主程序界面會卡死。解決的方案是使用多線程技術(shù)，將主程序和模擬鍵盤操作的方法放到兩個線程內(nèi)，這樣只休眠模擬鍵盤操作的線程就可以達到防止鍵盤事件過于頻繁的目的，而且主程序也不會卡死。 天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 4 第二章 認識 Kinect 作為一款集成了諸多先進視覺技術(shù)的自然交互設(shè)備， Kinect 在學(xué)術(shù)和游戲領(lǐng)域均有很高的關(guān)注度。此外， Kinect 硬件的研發(fā)與生產(chǎn)綜合了聲、光、電和機械學(xué)等多方面的技術(shù)，其主要零部件近百個，拆分成最小單元后有近千個，有三塊獨立主板，下面就詳細介紹一下。 兩款 Kinect對比 圖 所示為 Kinect for Xbox360 圖 Kinect for Xbox360 圖 所示為 Kinect for Windows 圖 Kinect for Windows 天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 5 從外觀上看，二者幾乎沒有區(qū)別，只是 logo 不同，一個是 XBOX360，另一個是KINECT。 新版 Kinect for Windows 固件做了升級，支持近景模式、提升了骨骼跟蹤的 API 性能、更好的兼容各種 Windows 計算機、采用更為先進的聲學(xué)模型，并且將其作為微軟授權(quán)在Windows平臺下進行開發(fā)的 Kinect傳感器。其他方面和 Kinect for Xbox360的版本差異不 大。 Kinect for Xbox360的版本從設(shè)計之初，就是為 Xbox360定制的，并未考慮其他平臺，這一版本的 Kinect，從微軟授權(quán)角度而言，無法用作商業(yè)開發(fā)，只能用作教學(xué)、科研或者實驗。本設(shè)計就是基于 Kinect for Xbox360 的。 Kinect的硬件組成 圖 拆解 后的 Kinect 如圖 所示， Kinect 內(nèi)部的確比想象中的復(fù)雜得多。 以下是 Kinect 組件的完整列表 ： a．外殼、底座及不同類型的螺絲； b． Moving Touch 傳動馬達電機（用于仰角控制）； c．散熱風(fēng)扇； 天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 6 d．彩色攝像頭； e．紅外攝像頭； f．紅外投影機； g．麥克風(fēng)陣列（ 4 個）； h． 3 塊主板； i． 14 種關(guān)鍵芯片。 Kinect的 “心臟 ”——PS1080 SoC Kinect 的心臟是 PrimeSense 的 PS1080 SoC。 PS1080 SoC 芯片是一個多感應(yīng)系統(tǒng)，能提供同步深度圖像、彩色圖像和音頻流，如圖 所示。 PS1080 通過 USB 物理層協(xié)議將所有數(shù)據(jù)傳送到主機。 PS1080 適用于各種主機 CPU——所有深度獲取算法均在 PS1080 上運行，主機只需運行最低限度的 USB 通信層。通過這種設(shè)計，即使是計算能力有限的主機設(shè)備也能具備 “深度圖像獲取能力 ”。 圖 PrimeSense 推薦的設(shè)計 天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 7 Kinect的 “三只眼 ”——投影儀和兩個攝像頭 Kinect 有三只不對稱的 “眼睛 ”，從左向右分別是紅外投影機、彩色攝像頭和紅外攝線頭，如圖 所示。 圖 Kinect 的 “三只眼 ” （ 1） 紅外投影機 PS1080 SoC 對紅外光源進行 控制，以便通過紅外光編碼影像放映場景。紅外投影機的光源是一類普通激光光源，經(jīng)過磨砂玻璃和紅外濾光片，投射出近紅外光，該光波長為830nm，可持續(xù)輸出，符合 IEC 608251 標準中的一級安全要求。紅外攝像頭是一個標準CMOS 影像傳感器，負責(zé)接收放出的紅外光，并將紅外光編碼影像傳給 PS1080。 PS1080 負責(zé)處理紅外影像，然后逐幀生成準確的場景深度影像。 （ 2） 彩色攝像頭和紅外攝像頭 Kinect 是通過彩色攝像頭和紅外攝像頭來觀察這個世界的。為了生成更準確的傳感器信息， PS1080 會執(zhí)行 “PrimeSense 注冊過程 ”。為了讓深度影像和二維標準色彩影像相互對應(yīng)，必須進行注冊。注冊就是將色彩影像和深度影像進行對應(yīng)，產(chǎn)生像素相互對應(yīng)的影像，即色彩影像中的每個像素分別與深度影像中的一個像素對應(yīng)。這能讓應(yīng)用程序準確了解收到的色彩影像中每個像素的深度。所有傳感器信息（深度影像、色彩影像和音頻）通過一個 USB 天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 8 接口傳送給主機，且時序一絲不差。通過 Kinect SDK 可以獲得同步的深度圖像和彩色圖像數(shù)據(jù)流。 在圖 中，從左向右，分別是 Microsoft / X853750001 / VCA379C7130 紅外攝 像頭、VNA38209015 彩色攝像頭、 OG12 / 0956 / D306 / JG05A 紅外投影機。 圖 Kinect 的 “三只眼睛 ” Kinect的 “四只耳朵 ”——麥克風(fēng)陣列 由于 Kinect 的 “三只眼 ”的不對稱分布， Kinect 的麥克風(fēng)陣列也是左右不對稱的，從而保持重量分 布的均勻。 Kinect 的麥克風(fēng)陣列 分布如圖 所示。 天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 9 圖 Kinect 的麥克風(fēng)陣列 Kinect 的音頻系統(tǒng)采用了四元線性麥克風(fēng)陣列技術(shù)。一般而言，麥克風(fēng)陣列中包含四個相互獨立的小型麥克風(fēng)，每個設(shè)備之間相距數(shù)厘米，其排列可呈線形，捕捉多聲道立體聲，通過數(shù)字信號處理（ DSP）等組件，根據(jù)麥克風(fēng) 陣列接聽聲音的時間差來判斷聲源方向。與一般的單麥克風(fēng)數(shù)據(jù)相比， Kinect 陣列技術(shù)包含有效的噪聲消除和回波抑制（ Acoustic Echo Cancellation， AEC）算法，同時采用波束成形（ Beamforming）技術(shù)，通過每個獨立設(shè)備的響應(yīng)時間確定音源位置，并盡可能避免環(huán)境噪聲的影響。此外， Kinect 還被設(shè)計為可以在發(fā)言者超過一人時辨別出相應(yīng)的語音指令。波束形成技術(shù)已廣泛應(yīng)用于雷達、聲納和通信等領(lǐng)域。 Kinect相關(guān)的技術(shù)規(guī)格 Kinect 傳感器的有效追蹤范圍如表 2表 22 所示。 表 21 Kinect for Xbox360 傳感器 傳感器特性 有效視距 /m 色彩和深度 ～ 骨骼跟蹤 ～ 天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 10 表 22 Kinect for Windows 傳感器 傳感器特性 有效視距 /m 色彩和深度 默認模式（ ～ ），近景模式（ ～ ） 骨骼跟蹤 默認模式（ ～ ），近景模式（ ～ ） Kinect for Xbox 360 的有效視野范圍為 ～ 。推薦最佳距離應(yīng)該是 （一個玩家）和 （二個玩家）。 Kinect 傳感器陣列規(guī)格如表 23 所示。 表 23 Kinect 傳感器陣列規(guī)格 傳感器特性 規(guī)格范圍 可視角度 43176。垂直方向和 57176。水平方向有效視野范圍 機械化傾斜范圍（垂直方向） 177。28176。 幀率（深度和彩色圖像數(shù)據(jù)流） 30 幀每秒（ FPS） 深度圖像（默認） QVGA（ 320240） 彩色圖像（默認） VGA（ 640480） 音頻格式 16kHz, 16bit 單聲道（ PCM） 音頻輸入特性 4 個帶有 24bit 的數(shù)字模擬信號（ ADC）和消除和處理噪聲的麥克風(fēng)陣列 Kinect工作原理 通過前面的介紹我們已經(jīng)對 Kinect 硬件架構(gòu)有了充分的了解，通過剖析 Kinect 的硬件組成，揭開了它神秘的面紗。那么接下來我們重點從產(chǎn)品設(shè)計、原理、軟件算法、基礎(chǔ)研究等角度去分析 Kinect 的內(nèi)在奧秘。 Kinect for Xbox360的產(chǎn)品設(shè)計 Kinect 作為一個傳感器，本質(zhì)上也只是一個輸入設(shè)備。它的成功來源于消費者對自然人機交互的渴望和認可，以及普通大眾都能接受的價格。比起傳統(tǒng)攝像頭，它的高明之處在于能 “識人辨音 ”。 Kinect 的設(shè)計初衷是將其嵌入 Xbox 游戲機的娛樂中心 ，給 Xbox 360 這艘 “傳統(tǒng)潛艇 ”配備上更為先進的 “聲納系統(tǒng) ”。這是對任天堂 Wii、索尼 PS3 等老牌競爭對手一次很有威脅的進攻，微軟希望通過全新的游戲交互體驗來占領(lǐng)新的制高點。此外， Xbox 也被定為家庭娛樂中心，占領(lǐng)電視機屏幕也是微軟的戰(zhàn)略之一 ——通過 Kinect 語音和手勢控制等功能，讓普通用戶更直觀、更輕易地搜索到互聯(lián)網(wǎng)及多媒體信息，同時社區(qū)用戶彼此之間還可以基于天津理工大學(xué) 2020屆本科畢業(yè)設(shè) 計說明書 11 Kinect 攝像頭進行視頻通訊。 對微軟而言， Kinect的重要性表現(xiàn)在兩個方面：它大大延長了 Xbox 360游戲機的生命周期，并成功為它帶來 了大量的新用戶；同時也充分證明微軟在持續(xù)創(chuàng)新上的巨大能量，不管是觀念的前瞻性還是對新產(chǎn)品的執(zhí)行力上。 “你就是控制器 ”—Kinect 的宣言激動人心。沒有控制器的人機交互，你甚至不用翻閱任何關(guān)于控制器的說明書。這就是游戲設(shè)計師們的至高境界：不用控制器的沉浸式游戲（ controllerless immersion）。通過 Kinect，玩家和 Xbox 360 游戲機之間仿佛建立了一個良好的 “共生系統(tǒng) ”。 “管道 ”的系統(tǒng)架構(gòu) Kinect for Xbox 360是一個基于 “管道 ”的體系架構(gòu)。 Kinect傳感器設(shè)備提供三大類的原