【正文】 o C開(kāi)發(fā)了一個(gè)可視化的查看器，通過(guò) 藍(lán)牙串口收取姿態(tài)解算數(shù)據(jù)，并使用 木盒代替人頭將姿態(tài)顯示出來(lái)。 人腦可以通過(guò)這些區(qū)別來(lái) 感知聲源的位置、方向。通過(guò) BRIR 與 原始 聲音的卷積，我們可以 模擬 在房間里，從聲源到聽(tīng)者 發(fā)出的聲音。 每個(gè)聲線在 房間 中傳播，遇到 墻壁會(huì)反射，在空氣中傳播會(huì)有損耗， 最終會(huì)撞上聽(tīng)者的聲音是我們所需要關(guān)注的 ，使用這些聲音的方位、時(shí)延、強(qiáng)度，我們可以獲得 BRIR。 Vector：向量類 float D = DOT( normal, p3 )。 } } } bool Primitive::isInside(vector3 p) { if (sameSide(p, p1, p2, p3) amp。 if (DOT(cp1, cp2) = 0) return true。這種文件格式是開(kāi)放的，被很多 3D圖像開(kāi)發(fā)商使用，這是一種被廣泛接受的 3D文件格式。 glDepthMask(GL_FALSE)。 }//設(shè)置起點(diǎn) void SetDirection( vector3amp。 具體 MIT KEMAR測(cè)量了 哪 些方位上的 HRTF信息請(qǐng)參見(jiàn)下表： 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì) ） 33 表 31 KEMAR每個(gè)方向上的采樣信息 MIT媒體實(shí)驗(yàn)室提供了兩套數(shù)據(jù) ： (1) Full Data Full Data是 MIT測(cè)量的完整數(shù)據(jù)， 每個(gè)目錄都以“ elev”開(kāi)頭跟上一個(gè)數(shù)值，這個(gè)數(shù)值代表的是 仰角值。與 Full Data 不同的地方是 Compact Data里每個(gè) wav文件都是雙聲道的，即同時(shí)包含某方位的左右耳響應(yīng) 。 “ 005a”指的是偏轉(zhuǎn)角為 5 度。 MIT使用 DSP卡 輸出通過(guò)放大器去驅(qū)動(dòng)揚(yáng)聲器 ， 在 一個(gè)稱為 KEMAR 的 假人 模型 (僅包含頭部和軀 干 ) 的頭內(nèi)放置麥克風(fēng) 。 }//獲取起點(diǎn) vector3amp。 glDisable(GL_BLEND)。 Scene也負(fù)責(zé)場(chǎng)景的渲染， Scene::render()中，函數(shù)循環(huán)調(diào)用每個(gè) Primitive的渲染函數(shù)，從而將整個(gè)場(chǎng)景渲染出來(lái)。 當(dāng)聲線 Ray做碰撞檢測(cè)時(shí)都是訪問(wèn) Scene里的 intersect接口進(jìn)行碰撞檢測(cè) ， Scene里的 intersect負(fù)責(zé)返回被碰撞的 Primitive 的 id與從聲線起點(diǎn)到該 Primitive 的距離。 sameSide(p, p3, p1, p2)) return true。光線與三角形求交 分為 2步 ，計(jì)算距離 對(duì)于 1， 設(shè)有光線 P = ??0 + ????,平面 P? N +d = 0，約掉 P，則有 (??0 +tV) ?N + d = 0 其 解為： t = ?(??0 ?N +d)/(V? N) 示例代碼： float dist = DOT((()),)/(DOT((),))。 p12=p1p2。 Ray：聲線 ，類中記錄 聲線的起點(diǎn)、方向、 強(qiáng)度、傳播距離等信息。 同時(shí)，光線追蹤 對(duì)于折射和反射都有非常好的效果，所以在對(duì)圖像質(zhì)量要求高的場(chǎng)合，例如電源渲染中，常常會(huì)采用這種方法。 首先， 在假人頭中的左右 耳道中放置麥克風(fēng)，用來(lái)記錄左右耳聽(tīng)到的聲音。 左下角的 ”FPS”標(biāo)簽記錄了 當(dāng)前秒 一共 收到了多少幀的數(shù)據(jù)。 最后，由四元數(shù)結(jié)果反算出歐拉角數(shù)值： angles[0] = (int16_t)(atan2(2 * q[1] * q[2] 2 * q[0] * q[3], 2 * q[0]*q[0] + 2 * q[1] * q[1] 1) * 1800/M_PI)。 q1 += iq1。 gx = gx + Kp*ex + exInt。 vy = 2*(q0q1 + q2q3)。 hy = 2*mx*(q1q2 + q0q3) + 2*my*( q1q1 q3q3) + 2*mz*(q2q3 q0q1)。 ax = ax * norm。 設(shè)置超過(guò) 115200后用電腦無(wú)法使用，要用單片機(jī)編程于高于 115200才能使用此波特率。6:38400。 在使用 HC06芯片前，需要使用串口 的 TX和 RX接入 HC06的 TX和 RX來(lái)配置 HC06的藍(lán)牙配對(duì)信息。 圖 28 HC06 同時(shí)，為了讓系統(tǒng)可以無(wú)線的與 PC通信，發(fā)回姿態(tài)數(shù)據(jù)， 我們選擇 HC06藍(lán)牙串口芯片作為通信芯片。 圖 27 HMC5883L Honeywell HMC5883L 是一種表面貼裝的高集成模塊，并帶有數(shù)字接口的弱磁 傳感器芯片，應(yīng)用于低成本羅盤和磁場(chǎng)檢測(cè)領(lǐng)域。20xx176。 MPU6050： 3軸加速度計(jì)與 3軸陀螺儀 iq1 = (q0*gx + q2*gz q3*gy)*halfT。這些技術(shù)由數(shù)學(xué)家卡爾 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì) ） 16 ey = (az ? vx ? ax? vz) +(mz? wx ? mx? wz)。 bz = hz。 ???? = 2? (q1 ? q3 ? q0 ? q2) ???? = 2 ? (q0 ? q1 + q2 ? q3) ⒃ ???? = q0 ? q0 ? q1 ? q1 ? q2 ? q2 + q3 ? q3 上述公式即為 由前一狀態(tài)四元數(shù)計(jì)算出重力參考方向。這是由于四元數(shù)轉(zhuǎn)換組合比很多矩陣轉(zhuǎn)換組合在數(shù)字上更穩(wěn)定。 綜上考慮，我們選擇四元數(shù)作為旋轉(zhuǎn)的表示方式 ，因?yàn)樗脑獢?shù)插值方便、沒(méi)有萬(wàn)向鎖問(wèn)題、運(yùn)算速度較快 。 旋轉(zhuǎn)矩陣、歐拉角、四元數(shù)主要用于 :向量的旋轉(zhuǎn)、坐標(biāo)系之間的轉(zhuǎn)換、方位的平滑插值計(jì)算 。39。 使用 DCM的目的也就是將坐標(biāo)從世界坐標(biāo)系變換到頭部坐標(biāo)系，以便進(jìn)行 姿態(tài)計(jì)算。 DCM 矩陣 首先，我們需要定義 2個(gè)坐標(biāo)系： 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì) ） 8 第二章 頭部跟蹤系統(tǒng)設(shè)計(jì) 頭部跟蹤 作用與 原理 在虛擬現(xiàn)實(shí)系統(tǒng)中， 如果可以知道用戶頭部的轉(zhuǎn)動(dòng)姿態(tài)，根據(jù)這些信息調(diào)整虛擬現(xiàn)實(shí)中場(chǎng)景聲音的生產(chǎn)，使用戶的獲得更真實(shí)的感受 。 圖 12 頭部跟蹤系統(tǒng) 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì) ） 7 人類聽(tīng)覺(jué)在水平面上可以對(duì)聲源做非常準(zhǔn)確的定位，因?yàn)樗矫嫔喜粏螁问且揽繂味鷣?lái)確定位置，而是依靠雙耳 的時(shí)間差 ITD、強(qiáng)度差 ILD來(lái)定位 。基于光線追蹤算法的虛擬聽(tīng)覺(jué)采用光線追蹤來(lái)模擬聲音的傳播，通過(guò)計(jì)算可以得到聲音從聲源 經(jīng)過(guò)場(chǎng)景的反射、衍射、折射 到聽(tīng)者的房間 BRIR 響應(yīng)。 虛擬聲音中的前后混疊現(xiàn)象十分明顯 [1]。三維 聲音渲染部分可以連續(xù)播放聲音，房間沖擊響應(yīng)每秒鐘更新一次 ，聲音方位感明顯 。 此設(shè)計(jì)中使用光線追蹤的方式模擬聲音的傳播，通過(guò)與 頭相關(guān)函數(shù) 數(shù)據(jù)庫(kù)結(jié)合，計(jì)算出雙耳房間沖擊響應(yīng)，使之 與原始聲音卷積即可得到與房間真實(shí)情況相仿的 三維 虛擬聲音。 而通過(guò)耳機(jī)的音頻再現(xiàn)通常給人的感覺(jué)是不自然的，因?yàn)槁曉幢欢ㄎ辉陬^的內(nèi)部 ，如果使用 3D 虛擬聲音技術(shù)， 可以將聲源位置移動(dòng)到外部，給人更好的聽(tīng)覺(jué)感受 [1]。 本課題將頭部跟蹤系統(tǒng)與虛擬聽(tīng)覺(jué)相結(jié)合，可以給用戶提供更逼真 的交互式 聽(tīng)覺(jué)體驗(yàn)。不過(guò)光學(xué)方式需要 高速 紅外攝像頭，實(shí)現(xiàn)成本很大，同時(shí)實(shí)時(shí)性并不好。的角度變換人類無(wú)法察覺(jué)。 使用角速度信息來(lái)加快姿態(tài)調(diào)整。 圖 23 兩個(gè)坐標(biāo)系的轉(zhuǎn)換 方向余弦矩陣 (Direction Cosine Matrix)是 表示從坐標(biāo)系 OXYZ到坐標(biāo)系 Oxyz變換的矩陣 ，使用它，我們可以實(shí)現(xiàn) 地理坐標(biāo)系與頭部坐標(biāo)系這 兩個(gè)坐標(biāo)系間的轉(zhuǎn)換 。這樣做有 2個(gè)好處： IMU 計(jì)算 方程 IMU(Inertial measurement unit, 慣性測(cè)量單元 )是用于姿態(tài)解算的單元 。 歐拉角雖然占用更少的內(nèi)存 (比四元數(shù)少 1/4)，但是轉(zhuǎn)換到矩陣的時(shí)間要比四元數(shù)更慢一些。之后哈密頓立刻將此方程刻在附近布魯穆橋（ Brougham Bridge，現(xiàn)稱為金雀 花橋 Broom Bridge）。 有了四元數(shù)，如果應(yīng)用于變換，我們還需要將四元數(shù)轉(zhuǎn)化成相對(duì)應(yīng)的矩陣 。 hy = 2? mx? (q1q2+ q0q3)+ 2? my? (? q1q1?q3q3) + 2? mz? (q2q3? q0q1)。 wz = 2 ? bx ? (q0q2 + q1q3) + 2? bz ? ( ? q1q1 ? q2q2)。 gz = gz + IMU_Kp*ez + ezInt。 令初值問(wèn)題表述如 ： 則，對(duì)于該問(wèn)題的 如果使用 四階龍格庫(kù)塔方法 由如下方程給出： 其中 下一時(shí)刻的輸出 ????+1是由當(dāng)前值加上估算的斜率與時(shí)間差的乘積。 STM32 是基于 ARM CortexM3 內(nèi)核的 32 位 微處理器， 最高到 72MHz的主頻， 可以實(shí)現(xiàn)單周期乘法和硬件加速的除法 ， 它以 8位機(jī)的價(jià)格 實(shí)現(xiàn)了 32位機(jī)的性能 。250、 177。16g。 HMC5883L 的所應(yīng)用領(lǐng)域有手機(jī)、筆記本 電腦、消費(fèi)類電子、汽車導(dǎo)航系統(tǒng)和個(gè)人導(dǎo)航系統(tǒng)。 低電壓 工作（ ~）配對(duì)時(shí) 30～ 40MA波動(dòng)，配對(duì)完畢通信 8MA 3:4800。B:921600。 上圖為 PCB的 3D預(yù)覽和布局圖。 單片機(jī)電路： 圖 211 單片機(jī)電路 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì) ） 22 單片機(jī)電路中 ， 系統(tǒng)使用 8M外部晶振，內(nèi)部通過(guò) PLL倍頻到 72MHz； BOOT0和 BOOT1都用 10K電阻下拉到 GND， BOOT0和 BOOT1這兩個(gè)管腳在芯片復(fù)位時(shí)的電平狀態(tài)決定了芯片復(fù)位后從哪個(gè)區(qū)域開(kāi)始執(zhí)行程序 ： BOOT1=x BOOT0=0 從用戶閃存啟動(dòng)，這是正常的工作模式。 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì) ） 23 圖 214 實(shí)物圖 左圖為背面 右圖為正面 軟件實(shí)現(xiàn) 頭部跟蹤軟件部分使用 Keil 4開(kāi)發(fā) ，用 jlink v8下載和調(diào)試程序 。 my = my * norm。 wy = 2*bx*(q1q2 q0q3) + 2*bz*(q0q1 + q2q3)。 之后，使用 PID更新差值，并把差值融合到 gx,gy,gz中： exInt = exInt + ex*Ki * halfT。 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì) ） 25 iq2 = (q0*gy q1*gz + q3*gx)*halfT。 q1 = q1 * norm。 3D姿態(tài)顯示部分使用的是 OpenGL。 我們可以使用 頭相關(guān)傳遞函數(shù)（ HRTF，headrelated transfer function） 來(lái)記錄聲音從聲源到聽(tīng)者的這種變化，本質(zhì)上， HRTF是從聲源到聽(tīng)者的沖擊響 應(yīng) 。 這樣方式產(chǎn)生的聲音 可以給用戶更加的沉浸感， 3D聲音聽(tīng)起來(lái)也越真實(shí)。 要實(shí)現(xiàn)光線追蹤，首先需要定義幾個(gè)類： Plane：平面類 ，包含法相 N和距離 D 上 海 大 學(xué) 畢 業(yè) 論 文 （設(shè) 計(jì) ） 28 光線追蹤偽代碼： 對(duì)于每一個(gè)基元 { 如果光線與該基元碰撞 { 光線強(qiáng)度根據(jù)光線起點(diǎn)到碰撞位置的距離衰減 將原光線的設(shè)為反射的方向 光線強(qiáng)度再減去碰撞的衰減 } 如果光線的強(qiáng)度為 0，將光線設(shè)為不活躍狀態(tài) } 重復(fù)上面過(guò)程直到活躍光線數(shù)目為 0 在 Primitive 類中，主要的計(jì)算是： （ 1） 根據(jù)三個(gè)頂點(diǎn)計(jì)算平面方程 ；（ 2） 光線與三角形求交。 =normal。amp。 else return false。OBJ 文件由一行行文本組成，注釋行以符號(hào) “”為開(kāi)頭。 glBlendFunc(GL_SRC_ALPHA, GL_ONE_MINUS_SRC_ALPHA)。 a_Direction ) { m_Direction = a_Direction。 vector 向量類 對(duì)常用向量計(jì)算封裝 ，包含 向 量的點(diǎn)乘、取模、歸一化、叉乘、向量加法、向量減法、向量乘法等。 在每個(gè)目錄里都有多個(gè)形如 “ ”的文件，這些都是沖擊響應(yīng)的錄音。另一個(gè)區(qū)別是Compact Data 中每個(gè)聲道中的采樣點(diǎn)數(shù)是 128個(gè)，是 Full 版的 1/4。 “ 10e”指的是仰角是 10 度。 HRTF 數(shù)據(jù)庫(kù)介紹 MIT的 KEMAR HRTF數(shù)據(jù)庫(kù) 是 MIT開(kāi) 發(fā) 的一個(gè) HRTF數(shù)據(jù)庫(kù) 。 GetOrigin() { return m_Origin。 glDepthMask(GL_TRUE)。 對(duì)于我們的系統(tǒng)，主要用到的 OBJ 中的數(shù)據(jù)有：