【文章內(nèi)容簡(jiǎn)介】 ............................. 22 攝像數(shù)據(jù)的獲取和展示 ............................ 22 參考文獻(xiàn) ............................................ 23 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論 文） 1 第一章 概述 研究的背景和意義 當(dāng)今世界，電子游戲已經(jīng)在方方面面影響了人們的生活方式和思考方式。電子游戲產(chǎn)業(yè)也以其高額的利潤(rùn)成為熱門(mén)產(chǎn)業(yè)。 目前，大部分的電子游戲一般使用一些特定的設(shè)備來(lái)完成對(duì)游戲的控制，例如游戲桿、鼠標(biāo)、鍵盤(pán)等，無(wú)疑這些控 制器可以完成控制任務(wù)，但是缺陷是明顯的：它們強(qiáng)制改變了人體的默認(rèn)動(dòng)作，尤其當(dāng)玩家進(jìn)行運(yùn)動(dòng)類游戲時(shí)，游戲的動(dòng)作和實(shí)際從事這些運(yùn)動(dòng)的動(dòng)作完全不同，這大大的破壞了游戲的真實(shí)感。 玩家對(duì)真實(shí)感的需求導(dǎo)致了體感技術(shù)的出現(xiàn)和發(fā)展。體感技術(shù)，也可以稱之為動(dòng)作感應(yīng)控制技術(shù)，即由計(jì)算機(jī)通過(guò)某些特殊方式對(duì)用戶的動(dòng)作進(jìn)行識(shí)別、解析，并按照預(yù)定方式，計(jì)算機(jī)對(duì)相應(yīng)動(dòng)作做出反饋。 由于體感技術(shù)直接使用身體動(dòng)作作為游戲輸入，因此它的真實(shí)感遠(yuǎn)高于普通輸入方式，在運(yùn)動(dòng)游戲、格斗游戲、舞蹈游戲等與現(xiàn)實(shí) 肢體運(yùn)動(dòng) 密切相關(guān)的游戲類型中表現(xiàn)的尤為明顯 。除了高沉浸式的游戲體驗(yàn)以外，體感游戲還一改電子游戲危害身體健康的的缺點(diǎn)，它實(shí)現(xiàn)了在游戲中運(yùn)動(dòng)，給人們帶來(lái)了一種更健康的娛樂(lè)方式和更快樂(lè)的運(yùn)動(dòng)方式。 體感游戲的諸多優(yōu)勢(shì)，使它一直以來(lái)受到各大游戲廠商的特別關(guān)注，從跳舞毯、 Wii 到近期發(fā)布的 Kinect 以及基于這些平臺(tái)而開(kāi)發(fā)出來(lái)的眾多游戲都證明了體感技術(shù)和體感游戲的廣闊前景和其作為未來(lái)游戲發(fā)展方向的重要價(jià)值。 本課題以通過(guò)視頻的動(dòng)作捕獲技術(shù)為基礎(chǔ)，結(jié)合開(kāi)源游戲引擎實(shí)現(xiàn)一個(gè)通過(guò)肢體動(dòng)作直接控制的三維互動(dòng)游戲，本課題對(duì)動(dòng)作捕捉技術(shù)和相關(guān)游戲平臺(tái)的研究對(duì)于游戲技術(shù)未 來(lái)的發(fā)展和游戲設(shè)計(jì)思路的開(kāi)闊都具有非常積極的意義。 基于視頻捕獲的電子游戲在國(guó)內(nèi)外的發(fā)展?fàn)顩r 由于體感游戲?qū)τ谟布母咭蕾囆?，大部分體感游戲都必須在某一特定的運(yùn)動(dòng)捕獲系統(tǒng)上運(yùn)行，運(yùn)動(dòng)捕獲系統(tǒng)主要的應(yīng)用方式：一種是基于遙感器的運(yùn)動(dòng)捕獲，另一種是基于視頻的運(yùn)動(dòng)捕獲。 基于遙感器的動(dòng)作捕獲使用可手持的傳感器來(lái)獲得肢體的運(yùn)動(dòng)數(shù)據(jù)，任天堂的 Family Computer（即國(guó)內(nèi)俗稱的紅白機(jī)的主機(jī)）上的光電槍可謂是體感控制觀念最原始的體現(xiàn)，而此類應(yīng)用最典型的同樣是任天堂公司的產(chǎn)品： Wiimote（即Wii 主機(jī) 的遙控器）， Wiimote 使用一塊 ADXL330 MEMS(微機(jī)電系統(tǒng) )三軸加速度傳感芯片。在 X/Y/Z 三個(gè)軸向上感知177。 3G 的加速度，采用模擬的方式輸出結(jié)果，從而得到玩家手臂的運(yùn)動(dòng)數(shù)據(jù)。其他類似產(chǎn)品的原因也大致相同，這里不再贅述。 跳舞毯同樣是通過(guò)傳感器來(lái)獲得運(yùn)動(dòng)數(shù)據(jù)，只不過(guò)和 Wiimote 不同的是它的天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論 文） 2 傳感器位置固定。但在數(shù)據(jù)輸入方式本質(zhì)上并無(wú)特殊之處。 由于以擁有可手持的傳感器，此類平臺(tái)上的游戲以射擊、器械運(yùn)動(dòng)（如棒球，網(wǎng)球等）最有特色，著名作品包括： Barker Bill39。s Trick Shooting、 Wii Sports 等等。 另一種動(dòng)作捕獲的應(yīng)用方式為基于視頻的動(dòng)作捕獲，它沒(méi)有傳感器，玩家直接在攝像頭前作出動(dòng)作，系統(tǒng)即可識(shí)別。代表系統(tǒng)有 SCE 公司 EYETOY 和微軟公司的 Kinect， EYETOY 的原理是：攝像頭以固定的速率采集圖像，當(dāng)場(chǎng)景內(nèi)無(wú)變化時(shí)，前后兩幅圖像內(nèi)容一致，當(dāng)有物體運(yùn)動(dòng)時(shí)則產(chǎn)生差異，因此通過(guò)簡(jiǎn)單的對(duì)相鄰兩幀圖像相減，得到畫(huà)面中不同的部分，即可以感知是否有運(yùn)動(dòng)物體及運(yùn)動(dòng)物體的一些屬性，比如大小，位置和顏色等。而 Kinect 則更為高級(jí)，它使用激光散斑（ laser speckle）來(lái)獲得攝 像頭面前玩家的三維動(dòng)作信息，在 2 米范圍內(nèi)其精度可以到達(dá) 1 厘米。 基于視頻的動(dòng)作捕獲可以獲得全身的運(yùn)動(dòng)數(shù)據(jù)，使得游戲的設(shè)計(jì)思路開(kāi)闊了不少，除了已有的射擊、運(yùn)動(dòng)、舞蹈游戲之外，格斗游戲，繪畫(huà)和非器械游戲也可以通過(guò)體感來(lái)控制，著名作品包括： The Fight、 Brunswick、 Kinect Adventures、Kinect Zoo 等等。 本實(shí)驗(yàn)的輸入是基于視頻的，故而我們選擇了最為經(jīng)典的體感游戲類型 ——舞蹈類游戲來(lái)作為研究對(duì)象，從跳舞毯開(kāi)始舞蹈類游戲一直是體感游戲最具代表的類型，它能非常好的體現(xiàn)出基于視頻的動(dòng) 作捕獲技術(shù)的特點(diǎn)和優(yōu)勢(shì)，同時(shí)舞蹈類游戲在電子游戲發(fā)展史一直占有重要位置，我們可以從前人的努力中獲得大量經(jīng)驗(yàn)。 本課題所作的工作 實(shí)現(xiàn)舞蹈游戲 本文所作的工作為實(shí)現(xiàn)一個(gè)基于運(yùn)動(dòng)捕獲技術(shù)（體感技術(shù)）的舞蹈游戲，該舞蹈游戲具有電子游戲應(yīng)該具有的游戲特性：可控的游戲流程，能吸引玩家的游戲方式。同時(shí)具有代表未來(lái)電子游戲發(fā)展方向的先進(jìn)的交互手段：基于視頻的運(yùn)動(dòng)捕獲。 本游戲的主要游戲行為是在攝像頭前做出游戲中的作為指導(dǎo)者身份存在的3D 舞蹈者模型所示范的動(dòng)作，系統(tǒng)將捕獲玩家的舞蹈動(dòng)作，實(shí)時(shí)控制游戲 內(nèi)另一個(gè)代表玩家自己的 3D 模型。同時(shí)系統(tǒng)將對(duì)兩者的運(yùn)動(dòng)進(jìn)行比較，來(lái)評(píng)價(jià)玩家的舞蹈動(dòng)作。 出于游戲性的考慮，本游戲還提供了與核心游戲相關(guān)的其他功能，包括在舞蹈過(guò)程中播放音樂(lè)，對(duì)該音樂(lè)的選擇。指導(dǎo)者以及玩家模型的選擇。舞蹈場(chǎng)景的選擇。 由于本游戲同時(shí)承擔(dān)了由于本游戲同時(shí)承擔(dān)了對(duì)運(yùn)動(dòng)捕獲算法的測(cè)試工作，天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論 文） 3 所以游戲會(huì)提供一個(gè)窗口來(lái)呈現(xiàn)攝像頭所捕獲的數(shù)據(jù)。 與運(yùn)動(dòng)捕獲技術(shù)的交互 （這部分我做完了在寫(xiě)吧 ..） 基于軟件工程思想的項(xiàng)目管理 在課題的進(jìn)行過(guò)程中，每一個(gè)部分都按照軟件工程的方法來(lái)管理 。開(kāi)發(fā)過(guò)程被分為：需求及分析、設(shè)計(jì)、實(shí)現(xiàn)和測(cè)試四個(gè)階段。因?yàn)楸鞠到y(tǒng)為實(shí)驗(yàn)性質(zhì)，所以需求部分并不會(huì)占太大比例 ，因而這里把需求及分析階段合而為一。 各個(gè)階段的均有比較嚴(yán)格的時(shí)間安排和完整的文檔。 需求及分析階段編寫(xiě)了系統(tǒng)用例以及用例的詳細(xì)描述，以及系統(tǒng)的主要過(guò)程圖。這些文檔描述了系統(tǒng)需求以及未來(lái)的實(shí)現(xiàn)效果。 設(shè)計(jì)階段編寫(xiě)了系統(tǒng)的設(shè)計(jì)文檔，其中描述了系統(tǒng)的邏輯結(jié)構(gòu)，程序流程，類描述等更加細(xì)節(jié)的問(wèn)題。 測(cè)試階段同樣編寫(xiě)了測(cè)試文檔，用來(lái)對(duì)測(cè)試用例進(jìn)行管理。 論文結(jié)構(gòu) 第一章 ：介紹了本文的研究背景以及國(guó)內(nèi)外的現(xiàn) 狀，并對(duì)本文的工作進(jìn)行了概要性描述 . 第二章：介紹本課題所用的技術(shù)，以及應(yīng)用這些技術(shù)的方式。 第三章：描述系統(tǒng)的需求 第四章：描述針對(duì)系統(tǒng)需求而做出的系統(tǒng)設(shè)計(jì)方案 第五章：詳盡描述系統(tǒng)的實(shí)現(xiàn)方式 第六章：介紹對(duì)現(xiàn)有系統(tǒng)的不足，并對(duì)未來(lái)的工作提出建議。 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論 文） 4 第二章 本課題所用技術(shù) 本課題通過(guò)一系列的開(kāi)源技術(shù)來(lái)實(shí)現(xiàn)主要功能，其中包括： OpenCV、 Ogre、CEGUI，同時(shí)還應(yīng)用了一些非開(kāi)源但是免費(fèi)的技術(shù)，包括 Fmod、 DirectShow。程序還使用了多線程技術(shù)。開(kāi)發(fā)平臺(tái)為 Microsoft Visual Studio 2021 Express。 OpenCV 是一個(gè)基于 BSD 許可證授權(quán)的跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)，它可以高效的進(jìn)行視頻的處理，在本課題中， OpenCV 主要在動(dòng)作捕獲相關(guān)的算法中承擔(dān)攝像頭圖像的處理工作，為動(dòng)作捕獲提供基礎(chǔ)。同時(shí)在呈現(xiàn)攝像頭捕獲的圖像的過(guò)程中， OpenCV 提供了較為方便的功能。 Ogre 是一個(gè)基于 LGPL 許可證授權(quán)的 3D 圖形引擎，它能提供非常方便高效的 3D 繪制。同時(shí)它具有非常完整文檔和豐富的學(xué)習(xí)資源。在本課題中， Ogre是整個(gè)系統(tǒng)的核心，其他系統(tǒng)均以某種方式與它進(jìn)行著交互 。它負(fù)責(zé)游戲中所 有的場(chǎng)景 和物體 的繪制工作，同時(shí)還與那些不是以運(yùn)動(dòng)捕獲進(jìn)行的人機(jī)交互有著重要的關(guān)系。 游戲流程的控制并沒(méi)有做到可以完全交給運(yùn)動(dòng)捕獲系統(tǒng)來(lái)完成，所以依然需要一個(gè)傳統(tǒng)的、基于圖形的界面系統(tǒng)。 CEGUI 就是這樣的系統(tǒng)。它是一個(gè)非常成熟的開(kāi)源圖形界面庫(kù)，能非常方便的完成界面的繪制和對(duì)鼠標(biāo)事件的反應(yīng)。同時(shí)它可以與 Ogre 非常完美的結(jié)合到一起。 Fmod 是被廣泛應(yīng)用的跨平臺(tái)聲音引擎，它提供了一些非常方便的借口來(lái)實(shí)現(xiàn)本系統(tǒng)對(duì)音樂(lè)的需求。從而避免了直接操作 DirectSound 所帶來(lái)的麻煩，使整個(gè)系統(tǒng)的設(shè)計(jì)更加的簡(jiǎn)潔、清晰。 DirectShow 被應(yīng)用在攝像頭的數(shù)據(jù)提取上。讓玩家直觀的的了解自己做了什么動(dòng)作。 由于游戲過(guò)程中需要同時(shí)播放音樂(lè)、動(dòng)畫(huà)和 處理運(yùn)動(dòng)捕獲系統(tǒng)所獲得的數(shù)據(jù)，所以使用多線程技術(shù)是必要的，它是系統(tǒng)能夠并行的完成這些任務(wù)。 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論 文） 5 第三章 系統(tǒng)需求 需求概述 本系統(tǒng)以攝像頭為輸入設(shè)備，獲得人體關(guān)節(jié)的運(yùn)動(dòng)數(shù)據(jù)，來(lái)控制游戲中代表玩家的模型。游戲的進(jìn)行時(shí)要求玩家按照系統(tǒng)提示和虛擬模型的指導(dǎo)運(yùn)動(dòng)身體，當(dāng)運(yùn)動(dòng)滿足要求時(shí)即可得分，而當(dāng)運(yùn)動(dòng)與系統(tǒng)要求不符是則會(huì)扣分。系統(tǒng)要求的運(yùn)動(dòng)會(huì)根據(jù)音樂(lè)節(jié)奏決定，當(dāng)音樂(lè)結(jié)束本輪游戲 結(jié)束。 游戲分為三個(gè)場(chǎng)景：第一選擇歌曲，第二選擇玩家和指導(dǎo)者的 3D 模型以及游戲場(chǎng)景，第三是游戲的主場(chǎng)景，顯示已經(jīng)選擇好的場(chǎng)景和人物。 游戲功能包括： 基于視頻的動(dòng)作捕獲，虛擬指導(dǎo)，運(yùn)動(dòng)提示，玩家虛擬模型，測(cè)試模式，三維場(chǎng)景模式， 3d 顯示模式，音樂(lè)系統(tǒng)，記分系統(tǒng)，暫停及重新開(kāi)始。 用例描述 本節(jié)用先用圖片的方式列出用例，然后再對(duì)用例進(jìn)行文字描述。 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論 文） 6 圖 31 系統(tǒng)用例 1 選擇歌曲 玩家選擇將在游戲進(jìn)行中播放的音樂(lè)，指導(dǎo)者的動(dòng)作將與該音樂(lè)有關(guān)。 2 選擇場(chǎng)景 選擇在游戲進(jìn)行時(shí)的背景。 3 選擇玩家模型 選擇在游戲進(jìn)行時(shí)玩家控制的虛擬人物的模型 4 選擇指導(dǎo)者模型 選擇游戲進(jìn)行時(shí)指導(dǎo)者的模型 5 開(kāi)始游戲 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論 文） 7 開(kāi)始舞蹈游戲 6 退出游戲 退出程序 7 暫停游戲 在游戲進(jìn)行中停止指導(dǎo)者的運(yùn)動(dòng)和玩家對(duì)玩家模型的控制，并提供退出游戲和重新開(kāi)始游戲的選項(xiàng)。 8 重新開(kāi)始游戲 重新開(kāi)始同樣的游戲，歌曲、場(chǎng)景、人物模型均不改變。 9 查看分?jǐn)?shù) 顯示玩家的游戲得分 10 控制玩家模型 玩家通過(guò)運(yùn)動(dòng)肢體來(lái)控制游戲中的模型，它將做出與玩家相似的動(dòng)作。 模塊描述 ? 動(dòng)作捕獲 本模塊通過(guò)處理攝 像頭視頻，得到系統(tǒng)要求的玩家運(yùn)動(dòng)數(shù)據(jù) 并提供給場(chǎng)景繪制模塊。 模塊 輸入：分辨率在 30 萬(wàn)像素以上、至少 20 幀 /秒采樣速率的攝像頭；攝像頭應(yīng)放置于顯示器正上方或正前方，用戶 (站在攝像頭正前方 510 米處。 模塊 輸出：玩家運(yùn)動(dòng)信息。 ? 運(yùn)動(dòng)數(shù)據(jù)處理 通過(guò)動(dòng)作捕獲系統(tǒng)得到的運(yùn)動(dòng)信息，需要經(jīng)過(guò)處理，把它轉(zhuǎn)化為游戲引擎需要的模型運(yùn)動(dòng)數(shù)據(jù)才能使游戲中的人物模型開(kāi)始運(yùn)動(dòng)。 模塊 輸入：運(yùn)動(dòng)捕獲系統(tǒng)傳遞的原始運(yùn)動(dòng)數(shù)據(jù)和關(guān)卡信息中的運(yùn)動(dòng)數(shù)據(jù)。 模塊 輸出：能被游戲引擎識(shí)別的模型運(yùn)動(dòng)信息。 ? 模型及場(chǎng)景繪制 提供游戲內(nèi)主要三維模型 的繪制，包括：場(chǎng)景、指導(dǎo)模型和玩家模型。虛擬指導(dǎo)用于幫助玩家作出正確動(dòng)作。玩家模型