【文章內(nèi)容簡(jiǎn)介】 法和步驟。 1992 年，Deering 為獲得亞像素級(jí)虛擬物體注冊(cè)提出通用的標(biāo)定步驟來(lái)實(shí)現(xiàn)精確的高分辨率頭部跟蹤立體顯示 [19]。 1993 年和 1994 年， Janin 和 Azuma 等分別提出了提高光學(xué)透射式頭盔的標(biāo)定精度的標(biāo)定技巧 [20] [21]。 1999 年， Kato 和 Billinghurst 描寫了使用網(wǎng)格點(diǎn)方法交互式標(biāo)定光學(xué)透射式頭盔[22]。 Fuhrmann 等提出一個(gè)簡(jiǎn)單快速的 OSTHMD 標(biāo)定方法 [23]。 McGarrity and Tuceryan 等提出了介紹了一種動(dòng)態(tài)交互式標(biāo)定光學(xué)透視式增強(qiáng)現(xiàn)實(shí)系統(tǒng)的方法 [24]，在這種方法中用戶可以交互地調(diào)節(jié)攝像機(jī)參數(shù)直至標(biāo)定模型與實(shí)際標(biāo)定模型的圖像 在人眼中達(dá)到圖像匹配為止，在該標(biāo)定系統(tǒng)的硬件組成和坐標(biāo)變換關(guān)系如下圖所示。 （ a） 標(biāo)定系統(tǒng)的硬件組成 （ b）標(biāo)定系統(tǒng)的坐標(biāo)變換關(guān)系 圖 標(biāo)定系統(tǒng)的硬件組成和坐標(biāo)變換關(guān)系 在標(biāo)定系統(tǒng)的硬件組成中，除了要有頭盔式顯示器外，還包括工作站、工作站監(jiān)視器、六自由度跟蹤器等設(shè)備。工作 站產(chǎn)生的圖像除了要顯示在工作站的監(jiān)視器上外還要通過(guò) VGA 線傳輸?shù)筋^盔式顯示器中。同時(shí)，還需要有六自由度的跟蹤器實(shí)時(shí)的為工作站提供被跟蹤物體的三維位置和方位，這里的被跟蹤物體指的是頭盔式顯示器和一個(gè)三維位置指示 筆 。 在標(biāo)定過(guò)程中，在定義好世界坐標(biāo)系后，需要按照以下步驟進(jìn)行標(biāo)定 [24]： （ 1）攝像機(jī)標(biāo)定（變換矩陣 A 和攝像機(jī)內(nèi)部參數(shù)）； （ 2）三維位置指示筆的標(biāo)定（變換矩陣 G3）； （ 3）跟蹤器發(fā)射部分的標(biāo)定（變換矩陣 C）； （ 4）物體標(biāo)定（變換矩陣 E）； （ 5）被跟蹤標(biāo)志點(diǎn)的標(biāo)定（每個(gè)被跟蹤物體上都有自己的標(biāo)志 點(diǎn)， Gi）。 其中， A 是描述相對(duì)于世界坐標(biāo)系的 3*4 攝像機(jī)投影矩陣。 它允許用戶自由活動(dòng)頭部，頭部的運(yùn)動(dòng)可以由安裝在頭部的跟蹤接收器來(lái)捕獲，系統(tǒng)可通過(guò)矩陣 F1 的變化來(lái)更新圖像。跟蹤發(fā)射器的標(biāo)定是計(jì)算世界坐標(biāo)系中跟蹤器發(fā)射部分的位置和姿態(tài)（ 矩陣 C，即世界坐標(biāo)系到跟蹤器的 4*4 齊次變換 ）， 該矩陣是可由計(jì)算 D、 G F3 的乘積而間接獲得。同樣，變換矩陣 A 可以間接從計(jì)算 G F C 三者的乘積而獲得。 在 上述標(biāo)定方法的 基礎(chǔ)上， Tuceryan 和 Navab 又 對(duì)系統(tǒng)的標(biāo)定做了簡(jiǎn)化， 克服了上述標(biāo)定系統(tǒng)估計(jì)參數(shù)多、 交互繁瑣的缺點(diǎn)，提出了新的標(biāo)定方法 —— 單點(diǎn)主動(dòng)對(duì)準(zhǔn)法（ SPAAM 法），該標(biāo)定方法最大的特點(diǎn)是采用單個(gè)校準(zhǔn)點(diǎn)進(jìn)行標(biāo)定并允許用戶頭部自由運(yùn)動(dòng) [25]。 系統(tǒng)的坐標(biāo)轉(zhuǎn)換如 下 圖所示。 北京理工大學(xué)碩 士學(xué)位論文 9 圖 SPAAM 標(biāo)定系統(tǒng)的坐標(biāo)變換關(guān)系 該系統(tǒng)中 ，矩陣 A和 C 的意義基本不變， G 是相對(duì)于跟蹤標(biāo)志點(diǎn)的 3*4 攝像機(jī)投影矩陣， F 是跟蹤器發(fā)射部分與跟蹤接收部分之間的變換矩陣，可由跟蹤系統(tǒng)直接得出。該系統(tǒng)需要進(jìn)行 以下標(biāo)定： （ 1）攝像機(jī)標(biāo)定（變換矩陣 A 和攝像機(jī)內(nèi)部參數(shù)） ； （ 2）跟蹤器發(fā)射部分的標(biāo)定（變換矩陣 C） ； （ 3）跟蹤標(biāo)志點(diǎn)（固定在被跟蹤物體，即頭盔顯示器上）的標(biāo)定（變換矩陣 G） 。 其中，變換矩陣 A 是隨著頭盔顯示器的運(yùn)動(dòng)不斷變化的。在頭部不斷運(yùn)動(dòng)的過(guò)程中，變換矩陣 G和 C 是不變的，但是變換矩陣 F 是隨頭盔顯示器的運(yùn)動(dòng)而變化，所以在標(biāo)定好變換矩陣 G 和 C 后， 就可以通過(guò)求 F的變化直接得出變換矩陣 A。 SPAAM 標(biāo)定系統(tǒng)的坐標(biāo)變換關(guān)系可以表示為：變換矩陣 A 可以由矩陣 G、 F、 C 的乘積得出。 之后， Genc 和 Tuceryan 等人在 SPAAM 基礎(chǔ)上進(jìn)一步提出了基于視頻光學(xué)跟蹤器的 SPAAM 方法[26]。 與之前 的 SPAAM 方法不同的是 ，它使用的跟蹤器是固定在頭盔顯示器上的攝像機(jī)。由于采用了跟蹤攝像機(jī)取代了之前的電磁跟蹤器，并且與頭盔顯示器緊連在一起，所以不需要計(jì)算電磁跟蹤器的發(fā)射部分到接收部分的變換，即不需要計(jì)算變換矩陣 F。此外，跟蹤跟蹤攝像機(jī)的方位代表了用戶頭部的方位，保證了標(biāo)定過(guò)程中用戶的頭部是可以變動(dòng)的，無(wú)需保持靜止。 2020 年， Genc 和 Tuceryan 等人又提出了擴(kuò)展的 SPAAM 雙步驟方法 [27]。 首先用 SPAAM 方法執(zhí)行光學(xué)透射式頭盔的離線校準(zhǔn)。估計(jì)出射影矩陣的 11 個(gè)參數(shù)，這些參數(shù)中有一部分參數(shù)是固定的，在用 戶的頭或頭盔顯示器改變移動(dòng)的時(shí)候這一部分參數(shù)并不改變。然后，當(dāng)移動(dòng)用戶頭上的頭盔式顯示器或者當(dāng)不同的用戶戴上頭盔式顯示器時(shí)，可以用更簡(jiǎn)單的步驟和通過(guò)收集更少的數(shù)據(jù)點(diǎn)對(duì)應(yīng)來(lái)重新估計(jì)受影響的參數(shù)。本文使用的增強(qiáng)現(xiàn)實(shí)系統(tǒng)如下圖所示。 圖 SPAAM 雙步驟法采用的標(biāo)定系統(tǒng) 同年， Hong Hua 等使用手工匹配對(duì)應(yīng)點(diǎn)的方式（ MCM）標(biāo)定 HMPD[28]。 文中采用了一個(gè) MCM校準(zhǔn)裝置 ， 校準(zhǔn)標(biāo)靶是一個(gè)繪制在折反射屏幕上的 網(wǎng)格模式， 校準(zhǔn)任務(wù)是去移動(dòng)一個(gè)透過(guò) HMPD的叉絲，使它與網(wǎng)格上的交叉點(diǎn)對(duì)準(zhǔn)，記錄對(duì)應(yīng) 叉絲的像素坐標(biāo)。操作者通過(guò)將自己的眼睛放在HMPD 的出 瞳位置進(jìn)行觀察和校準(zhǔn)，或者在出瞳位置放置一個(gè)攝像機(jī)進(jìn)行觀察校準(zhǔn)。 HMPD 標(biāo)定的示意圖如下圖所示。 北京理工大學(xué)碩 士學(xué)位論文 10 圖 HMPD 標(biāo)定示意圖 2020 年， Chunyu 等提出 了一個(gè)自動(dòng)匹配對(duì)應(yīng)方法（ ACM）標(biāo)定 HMPD[29]， 使用傳統(tǒng)的基于圖像的測(cè)量方法，用一個(gè)標(biāo)定過(guò)的攝像機(jī)代替人眼，讓 標(biāo)定過(guò)的 攝像機(jī)直接 拍攝 網(wǎng)格圖像網(wǎng)格點(diǎn)，推導(dǎo)出觀察設(shè)備的內(nèi)部參數(shù)和外部參數(shù)。 2020年， Owen 等則在 Hong 和 Chunyu 標(biāo)定方法基礎(chǔ)上提出了一個(gè)新的雙步驟方法標(biāo)定 OSTHMD[30]， 所使用的標(biāo)定裝置如 下圖 所示。 圖 Owen 的雙步驟方法標(biāo)定 OSTHMD 系統(tǒng)圖 2020 年， Axholt 等人對(duì) SPAAM 中標(biāo)定點(diǎn)的選取方式進(jìn)行了詳細(xì)的討論 [31]，本文中采用了PhaseSpace 作為捕捉系統(tǒng)捕捉頭部位置，采用的頭盔式顯示器為 Kaiser ProView 50ST，觀察者所處的地方放置標(biāo)尺來(lái)對(duì)觀察者的位置進(jìn)行測(cè)量，整個(gè)裝置如下圖所示。 圖 Axholt 的標(biāo)定 OSTHMD 的系統(tǒng)裝置圖 Axholt 等人做了大量的實(shí)驗(yàn)，并詳細(xì)的討論了不同的標(biāo)志點(diǎn)的選取方式對(duì)標(biāo)定結(jié)果帶來(lái)的影響。他把標(biāo)定點(diǎn)的選取劃分為三種： Static 、 Sequential 和 Magic 的方式，分別如下圖從上到下所示，實(shí)驗(yàn)證明按照 Magic 的方式選取標(biāo)志點(diǎn)位置進(jìn)行標(biāo)定的結(jié)果是最為準(zhǔn)確的。 北京理工大學(xué)碩 士學(xué)位論文 11 圖 標(biāo)定過(guò)程中點(diǎn)的選取方式 光學(xué)透射式頭盔標(biāo)定的數(shù)學(xué)模型 一般情況下，光學(xué)透射式頭盔標(biāo)定系統(tǒng)由以下部分組成：標(biāo)定標(biāo)靶、頭部跟蹤器、光學(xué)透射式頭盔以及人眼。 在以 攝像機(jī)作為跟蹤器構(gòu)成的頭盔標(biāo)定系統(tǒng)中，有虛實(shí)圖像這兩個(gè) 成像過(guò)程 。 以下數(shù)學(xué)模型的討論均是基于以攝像機(jī)為跟蹤器的頭盔系統(tǒng)。 虛擬圖像的成像過(guò)程如下，計(jì)算機(jī)首先生成虛擬圖像經(jīng)過(guò) VGA 視頻傳輸通道顯示在光學(xué)透射式頭盔的顯示屏幕，然后經(jīng)過(guò)光學(xué)透射式頭盔的光學(xué)系統(tǒng)成像到用戶的觀察平面上。真實(shí)圖像的成像過(guò)程如下， 當(dāng)人眼觀察真實(shí)場(chǎng)景時(shí)，真實(shí)場(chǎng)景中的被觀察物體直接透射經(jīng)過(guò)頭盔的光學(xué)系統(tǒng)成像在頭盔的觀察像平面上。 如果人眼能夠精確地位于頭盔的光學(xué)系統(tǒng)的出瞳位置，那么這兩個(gè)成像過(guò)程的像就能夠在頭盔系統(tǒng)的觀察像平面上達(dá)到精確對(duì)準(zhǔn) [32]。 在標(biāo)定系統(tǒng)中，每一個(gè)組成部分都有一個(gè)獨(dú)立的坐標(biāo)系 。 要對(duì)光學(xué)透視式頭盔顯示器進(jìn)行標(biāo)定，實(shí)際上就是建立各個(gè)坐標(biāo)系之間的關(guān)系。 世界坐標(biāo)系為 ( , , )wF x y z ， 光學(xué)透射式頭盔頭部綁定的攝像機(jī)對(duì)應(yīng)攝像機(jī)坐標(biāo)系 ( , , )tF x y z ，攝像機(jī)的成像平面對(duì)應(yīng)一個(gè)攝像機(jī)圖像坐標(biāo)系 ( , )tiFuv 。頭盔系統(tǒng)的顯示屏幕對(duì)應(yīng)顯示屏幕坐標(biāo)系 ( , )dF uv 。頭盔系統(tǒng)的半反半透觀察像平面對(duì)應(yīng)觀察像平面坐標(biāo)系 ( , , )diF x y z 。人眼與光學(xué)透射式頭盔構(gòu)成了一個(gè)綜合成像系統(tǒng)，將這個(gè)成像系統(tǒng)稱為虛擬攝像機(jī)系統(tǒng)，它對(duì)應(yīng)一個(gè)虛擬攝像機(jī)坐標(biāo)系 ( , , )vF x y z ，而人眼對(duì)應(yīng)人眼坐標(biāo)系 ( , , )eF x y z 。這些坐標(biāo)系如下圖所示。 圖 光學(xué)透射式頭盔標(biāo)定系統(tǒng)中的兩個(gè)成像過(guò)程 在標(biāo)定系統(tǒng)的各個(gè)坐標(biāo)系之間，存在剛體變換和透視變換，剛體變換描述了 3D 空間中坐標(biāo)系之間的變換關(guān)系，用 T 表示，后者描述攝像機(jī)的 3D2D 成像關(guān)系，用 P 表