【文章內容簡介】 了結合手勢識別與增強現實技術的教育輔助系統(tǒng)的設想并進行了實現 [7]。 （ 2）利用 Kinect 深度傳感器所獲取的圖像深度信息實現手部從背景中的分割 ， 并通過在 Hu矩基礎上加入 3 個表達式 ， 使不變矩包含更多細節(jié)特征 ， 對手勢目標進行識別 ， 最后把得到的識別結果轉換成控制指令通過 AdHoc 網絡傳送給智能輪椅 ,實現運動控制 [8]。 （ 3）利用 Kinect 體感設備 ,可將其即時動態(tài)捕捉、影像辨識、麥克風輸入、語音辨識、社群互動等功能整合到視頻會議中 ， 使視頻會議更具可交互性 ， 提供了更好的用戶體驗 ， 并提高了視頻會議的整體性能 [9]。 （ 4）一種基于 Kinect 傳感器的快速物體重建方法 ， 以及基于該方法的一種圖形處理器 (Graphic processing unit, GPU) 原型系統(tǒng)實現 [10]。 （ 5） 基于 Kinect 的用于幼兒教育的手勢識別功能模塊，用 OpenCV 中的支持向量機識別每個特征向量的手勢類別 [11]。 （ 6）通過分析 Kinect 相機獲取的深度圖的特征 ， 提出以綜合點特征和梯度特征的局域梯度特征的方式來對人體部位區(qū)分判定 [12]。 （ 7） 隨著 Kinect 設別的出現 ， 獲取場景的 信息變得很容易 。 設計了一個全新的基于無監(jiān)督物體識別系統(tǒng) [13]。 （ 8） 基于微軟 Kinect 系統(tǒng)的單目 RGB 攝像機以及深度距離受限的 RGBD 像機 ， 研究解決室內機器人的 6 自由度定位問題 [14]。 （ 9）基于 Kinect 的多點觸控系統(tǒng)，該系統(tǒng)利用 Kinect 獲取三維深度信息 ， 通過建立觸控感應平面模型 ， 檢測用戶多點觸控事件 ， 并進行觸控點的坐標變換 ， 實現 對電腦的控制 [15]。 （ 10） 利用微軟公司推出的深度相機 Kinect 對人體進行掃描，獲取人體深度數據，進一步構建人體表面點云數據；再運用 Pro/E 軟件對點云數據進行人體模型重建，最后對人體表面特征數據進行測量 [16]。 （ 11） 采用微軟公司開發(fā)的一款廉價體感游戲設備 Kinect，嘗試了對農作物長勢形態(tài)深度圖像進行實時監(jiān)測研究，在介紹 Kinect 深度成像原理的基礎上，提出了采用 Kinect 獲取農作物長勢深度圖像的算法以及提取 3D 點云世界坐標的算法，并開展了初步試驗 [17]。 （ 12）利用 Kinect 以及 ICP 迭代算法計算出了人體頭部的旋轉角度并且對人體頭部的姿態(tài)進行了準確的估計，成功利用人體臉部三維點云圖像估計人體頭部姿態(tài)，使得在多種復雜環(huán)境天津理工大學 2020屆本科畢業(yè)設 計說明書 3 中，實時檢測駕駛員頭部姿態(tài)成為了可能 [18]。 （ 13） 利用微軟 Kinect 體感器作為人物場景采集器，將其采集到的深度數據進行處理，將人物與背景分割，去除背景深度區(qū)域，保留人物所在深度區(qū)域，進一步檢測出人物 [19]。 （ 14） 利用 Kinect 傳感器所獲取的人體骨骼跟蹤識別點，通過對手勢在三維空間中的位置坐標轉換，與手勢庫中的位置特征信息進行匹配，將合法的手勢信息轉換為識別 結果，反饋給電子相冊軟件并完成相應的控制指令輸出 [20]。 需求分析 （ 1）功能需求 本設計的程序可以讓使用者通過手臂動作操作俄羅斯方塊、播放 PPT、控制音樂播放器、控制視頻播放器。未來還可以擴展其他基于鍵盤控制的程序的操作。 （ 2）界面需求 本設計需要有選擇被控程序的功能，同時還要顯示玩家的動作視頻和動作識別結果及對應的映射結果。 （ 3）性能需求 本設計要在本身正常運行的情況下，節(jié)省資源， 保證被控程序正常運行。 由于操作俄羅斯方塊時通過線程休眠防止鍵盤事件過于頻繁，但是本程序為單線程程序，線程休眠 時主程序界面會卡死。解決的方案是使用多線程技術，將主程序和模擬鍵盤操作的方法放到兩個線程內，這樣只休眠模擬鍵盤操作的線程就可以達到防止鍵盤事件過于頻繁的目的，而且主程序也不會卡死。 天津理工大學 2020屆本科畢業(yè)設 計說明書 4 第二章 認識 Kinect 作為一款集成了諸多先進視覺技術的自然交互設備， Kinect 在學術和游戲領域均有很高的關注度。此外， Kinect 硬件的研發(fā)與生產綜合了聲、光、電和機械學等多方面的技術，其主要零部件近百個，拆分成最小單元后有近千個，有三塊獨立主板，下面就詳細介紹一下。 兩款 Kinect對比 圖 所示為 Kinect for Xbox360 圖 Kinect for Xbox360 圖 所示為 Kinect for Windows 圖 Kinect for Windows 天津理工大學 2020屆本科畢業(yè)設 計說明書 5 從外觀上看，二者幾乎沒有區(qū)別，只是 logo 不同，一個是 XBOX360，另一個是KINECT。 新版 Kinect for Windows 固件做了升級，支持近景模式、提升了骨骼跟蹤的 API 性能、更好的兼容各種 Windows 計算機、采用更為先進的聲學模型，并且將其作為微軟授權在Windows平臺下進行開發(fā)的 Kinect傳感器。其他方面和 Kinect for Xbox360的版本差異不 大。 Kinect for Xbox360的版本從設計之初，就是為 Xbox360定制的，并未考慮其他平臺，這一版本的 Kinect，從微軟授權角度而言，無法用作商業(yè)開發(fā)，只能用作教學、科研或者實驗。本設計就是基于 Kinect for Xbox360 的。 Kinect的硬件組成 圖 拆解 后的 Kinect 如圖 所示， Kinect 內部的確比想象中的復雜得多。 以下是 Kinect 組件的完整列表 ： a．外殼、底座及不同類型的螺絲； b． Moving Touch 傳動馬達電機（用于仰角控制）； c．散熱風扇； 天津理工大學 2020屆本科畢業(yè)設 計說明書 6 d．彩色攝像頭； e．紅外攝像頭； f．紅外投影機； g．麥克風陣列（ 4 個）； h． 3 塊主板； i． 14 種關鍵芯片。 Kinect的 “心臟 ”——PS1080 SoC Kinect 的心臟是 PrimeSense 的 PS1080 SoC。 PS1080 SoC 芯片是一個多感應系統(tǒng)，能提供同步深度圖像、彩色圖像和音頻流，如圖 所示。 PS1080 通過 USB 物理層協議將所有數據傳送到主機。 PS1080 適用于各種主機 CPU——所有深度獲取算法均在 PS1080 上運行，主機只需運行最低限度的 USB 通信層。通過這種設計，即使是計算能力有限的主機設備也能具備 “深度圖像獲取能力 ”。 圖 PrimeSense 推薦的設計 天津理工大學 2020屆本科畢業(yè)設 計說明書 7 Kinect的 “三只眼 ”——投影儀和兩個攝像頭 Kinect 有三只不對稱的 “眼睛 ”，從左向右分別是紅外投影機、彩色攝像頭和紅外攝線頭，如圖 所示。 圖 Kinect 的 “三只眼 ” （ 1） 紅外投影機 PS1080 SoC 對紅外光源進行 控制，以便通過紅外光編碼影像放映場景。紅外投影機的光源是一類普通激光光源，經過磨砂玻璃和紅外濾光片，投射出近紅外光，該光波長為830nm，可持續(xù)輸出，符合 IEC 608251 標準中的一級安全要求。紅外攝像頭是一個標準CMOS 影像傳感器，負責接收放出的紅外光，并將紅外光編碼影像傳給 PS1080。 PS1080 負責處理紅外影像，然后逐幀生成準確的場景深度影像。 （ 2） 彩色攝像頭和紅外攝像頭 Kinect 是通過彩色攝像頭和紅外攝像頭來觀察這個世界的。為了生成更準確的傳感器信息， PS1080 會執(zhí)行 “PrimeSense 注冊過程 ”。為了讓深度影像和二維標準色彩影像相互對應，必須進行注冊。注冊就是將色彩影像和深度影像進行對應，產生像素相互對應的影像，即色彩影像中的每個像素分別與深度影像中的一個像素對應。這能讓應用程序準確了解收到的色彩影像中每個像素的深度。所有傳感器信息（深度影像、色彩影像和音頻）通過一個 USB 天津理工大學 2020屆本科畢業(yè)設 計說明書 8 接口傳送給主機，且時序一絲不差。通過 Kinect SDK 可以獲得同步的深度圖像和彩色圖像數據流。 在圖 中，從左向右，分別是 Microsoft / X853750001 / VCA379C7130 紅外攝 像頭、VNA38209015 彩色攝像頭、 OG12 / 0956 / D306 / JG05A 紅外投影機。 圖 Kinect 的 “三只眼睛 ” Kinect的 “四只耳朵 ”——麥克風陣列 由于 Kinect 的 “三只眼 ”的不對稱分布， Kinect 的麥克風陣列也是左右不對稱的，從而保持重量分 布的均勻。 Kinect 的麥克風陣列 分布如圖 所示。 天津理工大學 2020屆本科畢業(yè)設 計說明書 9 圖 Kinect 的麥克風陣列 Kinect 的音頻系統(tǒng)采用了四元線性麥克風陣列技術。一般而言，麥克風陣列中包含四個相互獨立的小型麥克風，每個設備之間相距數厘米，其排列可呈線形，捕捉多聲道立體聲，通過數字信號處理（ DSP）等組件，根據麥克風 陣列接聽聲音的時間差來判斷聲源方向。與一般的單麥克風數據相比， Kinect 陣列技術包含有效的噪聲消除和回波抑制（ Acoustic Echo Cancellation， AEC）算法，同時采用波束成形（ Beamforming）技術，通過每個獨立設備的響應時間確定音源位置，并盡可能避免環(huán)境噪聲的影響。此外， Kinect 還被設計為可以在發(fā)言者超過一人時辨別出相應的語音指令。波束形成技術已廣泛應用于雷達、聲納和通信等領域。 Kinect相關的技術規(guī)格 Kinect 傳感器的有效追蹤范圍如表 2表 22 所示。 表 21 Kinect for Xbox360 傳感器 傳感器特性 有效視距 /m 色彩和深度 ～ 骨骼跟蹤 ～ 天津理工大學 2020屆本科畢業(yè)設 計說明書 10 表 22 Kinect for Windows 傳感器 傳感器特性 有效視距 /m 色彩和深度 默認模式（ ～ ），近景模式（ ～ ） 骨骼跟蹤 默認模式（ ～ ），近景模式（ ～ ） Kinect for Xbox 360 的有效視野范圍為 ～ 。推薦最佳距離應該是 （一個玩家）和 （二個玩家）。 Kinect 傳感器陣列規(guī)格如表 23 所示。 表 23 Kinect 傳感器陣列規(guī)格 傳感器特性 規(guī)格范圍 可視角度 43176。垂直方向和 57176。水平方向有效視野范圍 機械化傾斜范圍（垂直方向） 177。28176。 幀率（深度和彩色圖像數據流） 30 幀每秒（ FPS） 深度圖像（默認） QVGA（ 320240） 彩色圖像（默認） VGA（ 640480） 音頻格式 16kHz, 16bit 單聲道（ PCM） 音頻輸入特性 4 個帶有 24bit 的數字模擬信號（ ADC）和消除和處理噪聲的麥克風陣列 Kinect工作原理 通過前面的介紹我們已經對 Kinect 硬件架構有了充分的了解，通過剖析 Kinect 的硬件組成，揭開了它神秘的面紗。那么接下來我們重點從產品設計、原理、軟件算法、基礎研究等角度去分析 Kinect 的內在奧秘。 Kinect for Xbox360的產品設計 Kinect 作為一個傳感器，本質上也只是一個輸入設備。它的成功來源于消費者對自然人機交互的渴望和認可，以及普通大眾都能接受的價格。比起傳統(tǒng)攝像頭，它的高明之處在于能 “識人辨音 ”。 Kinect 的設計初衷是將其嵌入 Xbox 游戲機的娛樂中心 ，給 Xbox 360 這艘 “傳統(tǒng)潛艇 ”配備上更為先進的 “聲納系統(tǒng) ”。這是對任天堂 Wii、索尼 PS3 等老牌競爭對手一次很有威脅的進攻，微軟希望通過全新的游戲交互體驗來占領新的制高點。此外， Xbox 也被定為家庭娛樂中心，占領電視機屏幕也是微軟的戰(zhàn)略之一 ——通過 Kinect 語音和手勢控制等功能，讓普通用戶更直觀、更輕易地搜索到互聯網及多媒體信息，同時社區(qū)用戶彼此之間還可以基于天津理工大學 2020屆本科畢業(yè)設 計說明書 11 Kinect 攝像頭進行視頻通訊。 對微軟而言， Kinect的重要性表現在兩個方面：它大大延長了 Xbox 360游戲機的生命周期，并成功為它帶來 了大量的新用戶；同時也充分證明微軟在持續(xù)創(chuàng)新上的巨大能量，不管是觀念的前瞻性還是對新產品的執(zhí)行力上。 “你就是控制器 ”—Kinect 的宣言激動人心。沒有控制器的人機交互，你甚至不用翻閱任何關于控制器的說明書。這就是游戲設計師們的至高境界：不用控制器的沉浸式游戲（ controllerless immersion）。通過 Kinect，玩家和 Xbox 360 游戲機之間仿佛建立了一個良好的 “共生系統(tǒng) ”。 “管道 ”的系統(tǒng)架構 Kinect for Xbox 360是一個基于 “管道 ”的體系架構。 Kinect傳感器設備提供三大類的原