【正文】 積即可得到與房間真實(shí)情況相仿的三維虛擬聲音。本人授權(quán) 大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫(xiě)的成果作品。盡我所知，除文中特別加以標(biāo)注和致謝的地方外，不包含其他人或組織已經(jīng)發(fā)表或公布過(guò)的研究成果，也不包含我為獲得 及其它教育機(jī)構(gòu)的學(xué)位或?qū)W歷而使用過(guò)的材料。對(duì)本研究提供過(guò)幫助和做出過(guò)貢獻(xiàn)的個(gè)人或集體，均已在文中作了明確的說(shuō)明并表示了謝意。對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。 涉密論文按學(xué)校規(guī)定處理。為了使聽(tīng)者真實(shí)感提升，本課題將使用捷聯(lián)慣導(dǎo)方法實(shí)現(xiàn)的頭部跟蹤系統(tǒng)與虛擬聽(tīng)覺(jué)相結(jié)合，可以給用戶(hù)提供更逼真的交互式聽(tīng)覺(jué)體驗(yàn)。虛擬聽(tīng)覺(jué)技術(shù)是 繼視頻技術(shù)之后又一重要的人機(jī)接口。心理聲學(xué)的實(shí)驗(yàn)也表面，使用了虛擬聲音技術(shù)，給以給人接近真實(shí)情況的感知。所以在虛擬聲音中加入頭部跟蹤系統(tǒng)是必要的。 虛擬聲音與頭 部跟蹤 虛擬聲音生成 虛擬聽(tīng)覺(jué)生成的主要算法為：頭相關(guān)函數(shù) (HRTF)和基于光線追蹤 (Ray Tracing)的算法。 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 6 圖 11 HRTF 數(shù)據(jù)以及計(jì)算出的 BRIR 頭部跟蹤 頭部跟蹤系統(tǒng)的應(yīng)用十分廣泛，它可以用來(lái)捕捉人頭部的運(yùn)動(dòng)，近年來(lái)在游戲、虛擬現(xiàn)實(shí)領(lǐng)域發(fā)揮著越來(lái)越重要的角色。鑒于本系統(tǒng)用于虛擬聽(tīng)覺(jué)，對(duì)轉(zhuǎn)動(dòng)要求高，平動(dòng)部分可以使用鍵盤(pán)控制，所以我們將使用捷聯(lián)慣導(dǎo)算法來(lái)實(shí)現(xiàn)頭部跟蹤系統(tǒng)。由于人類(lèi)對(duì)水平方位感知更明顯，在頭部跟蹤系統(tǒng)中我們著重考慮水平方向的精度。本系統(tǒng)的精度在水平方向是 12176。 圖 22 頭部的轉(zhuǎn)動(dòng) 頭部跟蹤系統(tǒng)的本質(zhì)是通過(guò)傳感器來(lái)檢查頭部在 X, Y, Z 三軸方向的轉(zhuǎn)動(dòng)角 Roll ，Pitch , Yaw。傳感器數(shù)據(jù)波動(dòng)較大，如何更好地融合加速度計(jì)、地磁計(jì)和陀螺儀的數(shù)據(jù)計(jì)算上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 9 出準(zhǔn)確的姿態(tài)是亟待解決的問(wèn)題，這就需要 DCM 互補(bǔ)濾波器。重力向量為（ 0,0,1g），地磁向量是（ 0,1,x）兩個(gè)三維向量 ,對(duì)于地磁我們不關(guān)心其垂直分量。 如上圖所示，這是一個(gè) 3 維空間中的坐標(biāo)系變化。 所以有： ⑸ ??????????321321321c o sc o sc o sc o sc o sc o sc o sc o sc o s????????? 即為 DCM 矩陣，表示從世界坐標(biāo)系到頭部局部坐標(biāo)系的變換。 高通濾波器可以抑制陀螺儀低頻漂移 ?????????上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 11 的，結(jié)合二者數(shù)據(jù)，可以得到較優(yōu)的結(jié)果。姿態(tài)解算運(yùn)算中需要用到大量的旋轉(zhuǎn)操作，所以選擇合適的旋轉(zhuǎn)方式對(duì)系統(tǒng)的計(jì)算十分重要。也就是說(shuō)： 當(dāng)任意一軸旋轉(zhuǎn) 90176。 平滑的插值只能用四元數(shù)完成。當(dāng)時(shí)他正研究擴(kuò)展復(fù)數(shù)到更高的維次（復(fù)數(shù)可視為平面上的點(diǎn)）。這條方程放棄了交換律，是當(dāng)時(shí)一個(gè)極端的想法（那時(shí)還未發(fā)展出向量和矩陣） [4]。同時(shí)，有 : 四元數(shù)也可以表示為： 其中 v=(x,y,z)是矢量， w 是標(biāo)量，雖然 v 是矢量。把上述的上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 14 表示為 ，則有 ⒀ 上式在其次坐標(biāo)下可以簡(jiǎn)化為： ⒁ 當(dāng) N(q)=1 時(shí)，上式可以進(jìn)一步簡(jiǎn)化為： ⒂ 由傳感器數(shù)值與四元數(shù) 我們可以獲取到地磁、加速度計(jì)和陀螺儀的數(shù)值，根據(jù)這些數(shù)值我們可以實(shí)時(shí)更新四元數(shù)方程，使四元數(shù)表示的方位與頭部所在的姿態(tài)保持一致。這個(gè)公式來(lái)自從 中的： ⒄ 重力向量就是 Q 的第三行。 之后是由上一時(shí)刻四元數(shù)表示的方向計(jì)算地磁的方向： ⒆ 上公式依舊來(lái)源于 中的 有了重力和地磁的參考方向，我們可以計(jì)算出傳感器得到的方向與場(chǎng)的方向間的差值，上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 16 這種求差值本質(zhì)上是進(jìn)行了一次向量叉乘運(yùn)算： ⒇ 其中， 是傳感器和場(chǎng)方向的差， 是加速度計(jì)數(shù)值， 是重力場(chǎng)參考方向， 是地磁計(jì)數(shù)值， 是地磁場(chǎng)參考方向。 gz = gz + IMU_Kp*ez + ezInt。龍格和馬丁 令初值問(wèn)題表述如： 則，對(duì)于該問(wèn)題的如果使用四階龍格庫(kù)塔方法由如下方程給出： 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 17 其中 下一時(shí)刻的輸出 是由當(dāng)前值加上估算的斜率與時(shí)間差的乘積。 iq2 = (q0*gy q1*gz + q3*gx)*halfT。 STM32 是基于 ARM CortexM3 內(nèi)核的 32 位微處理器，最高到 72MHz 的主頻，可以實(shí)現(xiàn)單周期乘法和硬件加速的除法，它以 8 位機(jī)的價(jià)格實(shí)現(xiàn)了 32 位機(jī)的性能。 HMC5883L： 3 軸電子羅盤(pán) 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 19 系統(tǒng)中還使用了藍(lán)牙模塊 HC06 與 PC 通信。250、 177。/sec (dps)，可準(zhǔn)確追緃快速與慢速動(dòng)作，并且，用戶(hù)可程式控制的加速器全格感測(cè)范圍為 177。16g。 HMC5883L 包括最先進(jìn)的高分辨率 HMC118X 系列磁阻傳感器，并附帶 Honeywell 專(zhuān)利的集成電路包括放大器、自動(dòng)消磁驅(qū)動(dòng)器、偏差校準(zhǔn)、能使羅盤(pán)精度控制在 1176。 HMC5883L 的所應(yīng)用領(lǐng)域有手機(jī)、筆記本電腦、消費(fèi)類(lèi)電子、汽車(chē)導(dǎo)航系統(tǒng)和個(gè)人導(dǎo)航系統(tǒng)。 HC06 有以下特點(diǎn)： 低電壓 工作（ ~）配對(duì)時(shí) 30～ 40MA 波動(dòng)，配對(duì)完畢通信 8MA HC06 的默認(rèn)波特率是 9600，首先將電腦串口也設(shè)為 9600 波特率，然后發(fā)送 ”AT”，如果 HC06 返回 ”O(jiān)K”，則代表 HC06 工作正常。3:4800。7:57600。B:921600。用 AT 命令設(shè)好波特率后，下次上電使用不需再設(shè)，可以掉電保存波特率。上圖為 PCB 的 3D 預(yù)覽和布局圖。電源部分： 圖 210 電源電路 電源電路部分主要有 AMS1117 作為穩(wěn)壓芯片，保證系統(tǒng)的 Vcc 維持在 。單片機(jī)電路： 圖 211 單片機(jī)電路 單片機(jī)電路中，系統(tǒng)使用 8M外部晶振，內(nèi)部通過(guò) PLL倍頻到 72MHz； BOOT0和 BOOT1都用 10K 電阻下拉到 GND， BOOT0 和 BOOT1 這兩個(gè)管腳在芯片復(fù)位時(shí)的電平狀態(tài)決定了芯片復(fù)位后從哪個(gè)區(qū)域開(kāi)始執(zhí)行程序 ： BOOT1=x BOOT0=0 從用戶(hù)閃存啟動(dòng)，這是正常的工作模式。藍(lán)牙電路： 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 23 圖 212 藍(lán)牙電路 HC06 模塊將藍(lán)牙封裝成串口，只需要將單片機(jī)串口的 TX 和 RX 接過(guò)來(lái)，就可以使用藍(lán)牙通信了。 圖 214 實(shí)物圖 左圖為背面 右圖為正面 軟件實(shí)現(xiàn) 頭部跟蹤軟件部分使用 Keil 4 開(kāi)發(fā)，用 jlink v8 下載和調(diào)試程序。 ay = ay * norm。 my = my * norm。 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 25 hz = 2*mx*(q1q3 q0q2) + 2*my*(q2q3 + q0q1) + 2*mz*( q1q1 q2q2)。 wy = 2*bx*(q1q2 q0q3) + 2*bz*(q0q1 + q2q3)。 vz = q0q0 q1q1 q2q2 + q3q3。 之后，使用 PID 更新差值，并把差值融合到 gx,gy,gz 中： exInt = exInt + ex*Ki * halfT。 gy = gy + Kp*ey + eyInt。 iq2 = (q0*gy q1*gz + q3*gx)*halfT。 q2 += iq2。 q1 = q1 * norm。 angles[1] = (int16_t)(atan(agx / sqrt(agy*agy + agz*agz)) * 1800/M_PI)。 3D上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 26 姿態(tài)顯示部分使用的是 OpenGL。如果串口是在打開(kāi)軟件之后插入電腦的話，需要先點(diǎn)擊 ”Refresh Ports”按鈕，否則 ”Serial Port”列表中不會(huì)顯示新加的串口。我們可以使用頭相關(guān)傳遞函數(shù)（ HRTF，headrelated transfer function）來(lái)記錄聲音從聲源到聽(tīng)者的這種變化，本質(zhì)上， HRTF 是從聲源到聽(tīng)者的沖擊響應(yīng)。之后，圍繞著假人頭用揚(yáng)聲器播放沖擊，與此同時(shí)，耳道里的雙麥克風(fēng)記錄沖擊的響應(yīng)，這個(gè)響應(yīng)便是這個(gè)方向上從聲源到聽(tīng)者的 HRTF。這樣方式產(chǎn)生的聲音可以給用戶(hù)更加的沉浸感， 3D 聲音聽(tīng)起來(lái)也越真實(shí)。 圖 32 光線追蹤示例 在實(shí)際應(yīng)用中，可以將各種電磁波或者微小粒子看成光線 ， 我們可以 利用光線追跡來(lái)計(jì)算 微小粒子在介質(zhì)中傳播的情況。 要實(shí)現(xiàn)光線追蹤，首先需要定義幾個(gè)類(lèi)： Plane：平面類(lèi)，包含法相 N 和距離 D 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 29 光線追蹤偽代碼： 對(duì)于每一個(gè)基元 { 如果光線與該基元碰撞 { 光線強(qiáng)度根據(jù)光線起點(diǎn)到碰撞位置的距離衰減 將原光線的設(shè)為反射的 方向 光線強(qiáng)度再減去碰撞的衰減 } 如果光線的強(qiáng)度為 0，將光線設(shè)為不活躍狀態(tài) } 重復(fù)上面過(guò)程直到活躍光線數(shù)目為 0 在 Primitive 類(lèi)中，主要的計(jì)算是：（ 1）根據(jù)三個(gè)頂點(diǎn)計(jì)算平面方程；（ 2）光線與三角形求交。 p23=p2p3。 =normal。 圖 33 三角形與光線碰撞示例 之后檢測(cè)交點(diǎn)是否在三角形內(nèi)部，對(duì)于三角形的每一條邊， 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 31 如果對(duì)每條邊 ，則交點(diǎn)在三角形內(nèi)部。amp。 else return false。 else return false。 同時(shí) Scene 負(fù)責(zé) Primitive 的產(chǎn)生。上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 32 OBJ 文件由一行行文本組成，注釋行以符號(hào) “”為開(kāi)頭。為了讓場(chǎng)景看起來(lái)更方便直觀，渲染時(shí)候開(kāi)起來(lái) OpenGL的混合模式， Blending可以 從 Fragment Shader中取出渲染結(jié)果并且將其用于 混合 新的場(chǎng)景。 glBlendFunc(GL_SRC_ALPHA, GL_ONE_MINUS_SRC_ALPHA)。 a_Direction ) { m_Direction = a_Direction。 a_Origin ) { m_Origin = a_Origin。 glDepthMask(GL_TRUE)。 代碼示例： glEnable(GL_BLEND)。 對(duì)于我們的系統(tǒng)，主要用到的 OBJ 中的數(shù)據(jù)有： 關(guān)鍵詞 V: vertex 頂點(diǎn)信息 關(guān)鍵詞 F: face 片面信息 Scene中的 bool Scene::loadObj(std::string filename)首先讀取 OBJ的頂點(diǎn)信息，然后再讀取片面信息，之后根據(jù)片面和頂點(diǎn)坐標(biāo)重新生成基于 Primitive的場(chǎng)景。 OBJ 模型文件是Wavefront Technologies 為 Advanced Visualizer animation package 開(kāi)發(fā)的幾何定義文件。 Scene 類(lèi)主要存儲(chǔ)了一個(gè) Primitive 列表 std::vectorPrimitive primList。 vector3 cp2 = (ba).Cross(p2a)。amp。 return HIT。 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì)） 30 ()。根據(jù)三個(gè)頂點(diǎn)計(jì)算平面方程： 設(shè)有三個(gè)點(diǎn) ， ,則平面的法相量為 平面方程的 D 參數(shù)為： 代碼示意： vector3 p12,p23。 聲音是波，不過(guò)考慮到聲波的波長(zhǎng)遠(yuǎn)小于房間中墻壁的尺寸，我們認(rèn)為使用光線追蹤這樣粒子性較強(qiáng)的算法是合適的。 光線追蹤廣泛用于計(jì)算機(jī)圖形學(xué)中，使用這樣的方法，可以比光柵化圖像生成達(dá)到更加好的光學(xué)的效果。于是，我們提出使用光線追蹤來(lái)模擬