【文章內容簡介】 ............................. 22 攝像數(shù)據(jù)的獲取和展示 ............................ 22 參考文獻 ............................................ 23 天津大學 2021屆本科生畢業(yè)設計（論 文） 1 第一章 概述 研究的背景和意義 當今世界，電子游戲已經(jīng)在方方面面影響了人們的生活方式和思考方式。電子游戲產(chǎn)業(yè)也以其高額的利潤成為熱門產(chǎn)業(yè)。 目前，大部分的電子游戲一般使用一些特定的設備來完成對游戲的控制，例如游戲桿、鼠標、鍵盤等，無疑這些控 制器可以完成控制任務，但是缺陷是明顯的：它們強制改變了人體的默認動作，尤其當玩家進行運動類游戲時，游戲的動作和實際從事這些運動的動作完全不同，這大大的破壞了游戲的真實感。 玩家對真實感的需求導致了體感技術的出現(xiàn)和發(fā)展。體感技術，也可以稱之為動作感應控制技術，即由計算機通過某些特殊方式對用戶的動作進行識別、解析，并按照預定方式，計算機對相應動作做出反饋。 由于體感技術直接使用身體動作作為游戲輸入，因此它的真實感遠高于普通輸入方式，在運動游戲、格斗游戲、舞蹈游戲等與現(xiàn)實 肢體運動 密切相關的游戲類型中表現(xiàn)的尤為明顯 。除了高沉浸式的游戲體驗以外，體感游戲還一改電子游戲危害身體健康的的缺點，它實現(xiàn)了在游戲中運動，給人們帶來了一種更健康的娛樂方式和更快樂的運動方式。 體感游戲的諸多優(yōu)勢，使它一直以來受到各大游戲廠商的特別關注，從跳舞毯、 Wii 到近期發(fā)布的 Kinect 以及基于這些平臺而開發(fā)出來的眾多游戲都證明了體感技術和體感游戲的廣闊前景和其作為未來游戲發(fā)展方向的重要價值。 本課題以通過視頻的動作捕獲技術為基礎，結合開源游戲引擎實現(xiàn)一個通過肢體動作直接控制的三維互動游戲，本課題對動作捕捉技術和相關游戲平臺的研究對于游戲技術未 來的發(fā)展和游戲設計思路的開闊都具有非常積極的意義。 基于視頻捕獲的電子游戲在國內外的發(fā)展狀況 由于體感游戲對于硬件的高依賴性，大部分體感游戲都必須在某一特定的運動捕獲系統(tǒng)上運行，運動捕獲系統(tǒng)主要的應用方式：一種是基于遙感器的運動捕獲，另一種是基于視頻的運動捕獲。 基于遙感器的動作捕獲使用可手持的傳感器來獲得肢體的運動數(shù)據(jù)，任天堂的 Family Computer（即國內俗稱的紅白機的主機）上的光電槍可謂是體感控制觀念最原始的體現(xiàn)，而此類應用最典型的同樣是任天堂公司的產(chǎn)品： Wiimote（即Wii 主機 的遙控器）， Wiimote 使用一塊 ADXL330 MEMS(微機電系統(tǒng) )三軸加速度傳感芯片。在 X/Y/Z 三個軸向上感知177。 3G 的加速度，采用模擬的方式輸出結果，從而得到玩家手臂的運動數(shù)據(jù)。其他類似產(chǎn)品的原因也大致相同，這里不再贅述。 跳舞毯同樣是通過傳感器來獲得運動數(shù)據(jù)，只不過和 Wiimote 不同的是它的天津大學 2021屆本科生畢業(yè)設計（論 文） 2 傳感器位置固定。但在數(shù)據(jù)輸入方式本質上并無特殊之處。 由于以擁有可手持的傳感器，此類平臺上的游戲以射擊、器械運動（如棒球，網(wǎng)球等）最有特色，著名作品包括： Barker Bill39。s Trick Shooting、 Wii Sports 等等。 另一種動作捕獲的應用方式為基于視頻的動作捕獲，它沒有傳感器，玩家直接在攝像頭前作出動作，系統(tǒng)即可識別。代表系統(tǒng)有 SCE 公司 EYETOY 和微軟公司的 Kinect， EYETOY 的原理是：攝像頭以固定的速率采集圖像，當場景內無變化時，前后兩幅圖像內容一致，當有物體運動時則產(chǎn)生差異，因此通過簡單的對相鄰兩幀圖像相減，得到畫面中不同的部分，即可以感知是否有運動物體及運動物體的一些屬性，比如大小，位置和顏色等。而 Kinect 則更為高級，它使用激光散斑（ laser speckle）來獲得攝 像頭面前玩家的三維動作信息，在 2 米范圍內其精度可以到達 1 厘米。 基于視頻的動作捕獲可以獲得全身的運動數(shù)據(jù)，使得游戲的設計思路開闊了不少，除了已有的射擊、運動、舞蹈游戲之外，格斗游戲，繪畫和非器械游戲也可以通過體感來控制，著名作品包括： The Fight、 Brunswick、 Kinect Adventures、Kinect Zoo 等等。 本實驗的輸入是基于視頻的，故而我們選擇了最為經(jīng)典的體感游戲類型 ——舞蹈類游戲來作為研究對象，從跳舞毯開始舞蹈類游戲一直是體感游戲最具代表的類型，它能非常好的體現(xiàn)出基于視頻的動 作捕獲技術的特點和優(yōu)勢，同時舞蹈類游戲在電子游戲發(fā)展史一直占有重要位置，我們可以從前人的努力中獲得大量經(jīng)驗。 本課題所作的工作 實現(xiàn)舞蹈游戲 本文所作的工作為實現(xiàn)一個基于運動捕獲技術（體感技術）的舞蹈游戲，該舞蹈游戲具有電子游戲應該具有的游戲特性：可控的游戲流程，能吸引玩家的游戲方式。同時具有代表未來電子游戲發(fā)展方向的先進的交互手段：基于視頻的運動捕獲。 本游戲的主要游戲行為是在攝像頭前做出游戲中的作為指導者身份存在的3D 舞蹈者模型所示范的動作，系統(tǒng)將捕獲玩家的舞蹈動作，實時控制游戲 內另一個代表玩家自己的 3D 模型。同時系統(tǒng)將對兩者的運動進行比較，來評價玩家的舞蹈動作。 出于游戲性的考慮，本游戲還提供了與核心游戲相關的其他功能，包括在舞蹈過程中播放音樂，對該音樂的選擇。指導者以及玩家模型的選擇。舞蹈場景的選擇。 由于本游戲同時承擔了由于本游戲同時承擔了對運動捕獲算法的測試工作，天津大學 2021屆本科生畢業(yè)設計（論 文） 3 所以游戲會提供一個窗口來呈現(xiàn)攝像頭所捕獲的數(shù)據(jù)。 與運動捕獲技術的交互 （這部分我做完了在寫吧 ..） 基于軟件工程思想的項目管理 在課題的進行過程中，每一個部分都按照軟件工程的方法來管理 。開發(fā)過程被分為：需求及分析、設計、實現(xiàn)和測試四個階段。因為本系統(tǒng)為實驗性質，所以需求部分并不會占太大比例 ，因而這里把需求及分析階段合而為一。 各個階段的均有比較嚴格的時間安排和完整的文檔。 需求及分析階段編寫了系統(tǒng)用例以及用例的詳細描述，以及系統(tǒng)的主要過程圖。這些文檔描述了系統(tǒng)需求以及未來的實現(xiàn)效果。 設計階段編寫了系統(tǒng)的設計文檔，其中描述了系統(tǒng)的邏輯結構，程序流程，類描述等更加細節(jié)的問題。 測試階段同樣編寫了測試文檔，用來對測試用例進行管理。 論文結構 第一章 ：介紹了本文的研究背景以及國內外的現(xiàn) 狀，并對本文的工作進行了概要性描述 . 第二章：介紹本課題所用的技術，以及應用這些技術的方式。 第三章：描述系統(tǒng)的需求 第四章：描述針對系統(tǒng)需求而做出的系統(tǒng)設計方案 第五章：詳盡描述系統(tǒng)的實現(xiàn)方式 第六章：介紹對現(xiàn)有系統(tǒng)的不足，并對未來的工作提出建議。 天津大學 2021屆本科生畢業(yè)設計（論 文） 4 第二章 本課題所用技術 本課題通過一系列的開源技術來實現(xiàn)主要功能，其中包括： OpenCV、 Ogre、CEGUI，同時還應用了一些非開源但是免費的技術，包括 Fmod、 DirectShow。程序還使用了多線程技術。開發(fā)平臺為 Microsoft Visual Studio 2021 Express。 OpenCV 是一個基于 BSD 許可證授權的跨平臺計算機視覺庫，它可以高效的進行視頻的處理，在本課題中， OpenCV 主要在動作捕獲相關的算法中承擔攝像頭圖像的處理工作，為動作捕獲提供基礎。同時在呈現(xiàn)攝像頭捕獲的圖像的過程中， OpenCV 提供了較為方便的功能。 Ogre 是一個基于 LGPL 許可證授權的 3D 圖形引擎，它能提供非常方便高效的 3D 繪制。同時它具有非常完整文檔和豐富的學習資源。在本課題中， Ogre是整個系統(tǒng)的核心，其他系統(tǒng)均以某種方式與它進行著交互 。它負責游戲中所 有的場景 和物體 的繪制工作，同時還與那些不是以運動捕獲進行的人機交互有著重要的關系。 游戲流程的控制并沒有做到可以完全交給運動捕獲系統(tǒng)來完成，所以依然需要一個傳統(tǒng)的、基于圖形的界面系統(tǒng)。 CEGUI 就是這樣的系統(tǒng)。它是一個非常成熟的開源圖形界面庫，能非常方便的完成界面的繪制和對鼠標事件的反應。同時它可以與 Ogre 非常完美的結合到一起。 Fmod 是被廣泛應用的跨平臺聲音引擎，它提供了一些非常方便的借口來實現(xiàn)本系統(tǒng)對音樂的需求。從而避免了直接操作 DirectSound 所帶來的麻煩，使整個系統(tǒng)的設計更加的簡潔、清晰。 DirectShow 被應用在攝像頭的數(shù)據(jù)提取上。讓玩家直觀的的了解自己做了什么動作。 由于游戲過程中需要同時播放音樂、動畫和 處理運動捕獲系統(tǒng)所獲得的數(shù)據(jù)，所以使用多線程技術是必要的，它是系統(tǒng)能夠并行的完成這些任務。 天津大學 2021屆本科生畢業(yè)設計（論 文） 5 第三章 系統(tǒng)需求 需求概述 本系統(tǒng)以攝像頭為輸入設備，獲得人體關節(jié)的運動數(shù)據(jù)，來控制游戲中代表玩家的模型。游戲的進行時要求玩家按照系統(tǒng)提示和虛擬模型的指導運動身體，當運動滿足要求時即可得分，而當運動與系統(tǒng)要求不符是則會扣分。系統(tǒng)要求的運動會根據(jù)音樂節(jié)奏決定，當音樂結束本輪游戲 結束。 游戲分為三個場景：第一選擇歌曲，第二選擇玩家和指導者的 3D 模型以及游戲場景，第三是游戲的主場景，顯示已經(jīng)選擇好的場景和人物。 游戲功能包括： 基于視頻的動作捕獲，虛擬指導，運動提示，玩家虛擬模型，測試模式，三維場景模式， 3d 顯示模式，音樂系統(tǒng)，記分系統(tǒng)，暫停及重新開始。 用例描述 本節(jié)用先用圖片的方式列出用例，然后再對用例進行文字描述。 天津大學 2021屆本科生畢業(yè)設計（論 文） 6 圖 31 系統(tǒng)用例 1 選擇歌曲 玩家選擇將在游戲進行中播放的音樂，指導者的動作將與該音樂有關。 2 選擇場景 選擇在游戲進行時的背景。 3 選擇玩家模型 選擇在游戲進行時玩家控制的虛擬人物的模型 4 選擇指導者模型 選擇游戲進行時指導者的模型 5 開始游戲 天津大學 2021屆本科生畢業(yè)設計（論 文） 7 開始舞蹈游戲 6 退出游戲 退出程序 7 暫停游戲 在游戲進行中停止指導者的運動和玩家對玩家模型的控制，并提供退出游戲和重新開始游戲的選項。 8 重新開始游戲 重新開始同樣的游戲，歌曲、場景、人物模型均不改變。 9 查看分數(shù) 顯示玩家的游戲得分 10 控制玩家模型 玩家通過運動肢體來控制游戲中的模型，它將做出與玩家相似的動作。 模塊描述 ? 動作捕獲 本模塊通過處理攝 像頭視頻，得到系統(tǒng)要求的玩家運動數(shù)據(jù) 并提供給場景繪制模塊。 模塊 輸入：分辨率在 30 萬像素以上、至少 20 幀 /秒采樣速率的攝像頭；攝像頭應放置于顯示器正上方或正前方，用戶 (站在攝像頭正前方 510 米處。 模塊 輸出：玩家運動信息。 ? 運動數(shù)據(jù)處理 通過動作捕獲系統(tǒng)得到的運動信息，需要經(jīng)過處理，把它轉化為游戲引擎需要的模型運動數(shù)據(jù)才能使游戲中的人物模型開始運動。 模塊 輸入：運動捕獲系統(tǒng)傳遞的原始運動數(shù)據(jù)和關卡信息中的運動數(shù)據(jù)。 模塊 輸出：能被游戲引擎識別的模型運動信息。 ? 模型及場景繪制 提供游戲內主要三維模型 的繪制，包括：場景、指導模型和玩家模型。虛擬指導用于幫助玩家作出正確動作。玩家模型