【文章內(nèi)容簡介】 里的 h（ x， y）是一個(gè)高斯平滑濾波函數(shù)， X， Y 是一階方向微分，可以由圖像灰度與 x向差分算子 ? ?10 1????? 和 y向差分算子 ? ?10 1T????? 表示，這樣可以得 到 ( , ) [ ] xE x y x y My???? ???? （ 35）這里，矩陣 M是 E（ x， y）的近似 Hessian矩陣 ( , ) ( , )( , )( , ) ( , )A x y C x yM x y C x y B x y????? ?????? （ 36） 在某一點(diǎn)的圖像灰度自相關(guān)函數(shù)的極值曲率可以由矩陣 M 的特征值近似表示。如果矩陣 M 的兩個(gè)特征值都比較大，說明在該點(diǎn)的圖像灰度自 相關(guān)函數(shù)的兩個(gè)正交方向上的極值曲率均較大，即可以認(rèn)為該點(diǎn)是角點(diǎn)。 實(shí)驗(yàn)結(jié)果 我們選用兩幅普通的圖像進(jìn)行實(shí)驗(yàn)，用 Harris的角點(diǎn)檢測的方法來進(jìn)行角點(diǎn)的檢測。 圖（一） Figure（ 1） 利用 Harris的角點(diǎn)檢測的方法進(jìn)行提取后為 圖（二） Figure（ 2） 下面我們 在對 另一幅圖像進(jìn)行 Harris的角點(diǎn)檢測 : 圖（三） Figure（ 3） 角點(diǎn)檢測后 圖（四） Figure（ 4） 通過這兩副圖像的特征點(diǎn)的提取，我們可以看出 Harris的角點(diǎn)檢測的方法可以很好的提取圖像的特征點(diǎn)，完全可以滿足我們下文的計(jì)算方法對特征點(diǎn)的需求， 因此在這里運(yùn)用 Harris的角點(diǎn)檢測的方法的是完全可行的。 本章小結(jié) 圖像特征點(diǎn)的提取是相機(jī)標(biāo)定前的必須步驟，其提取的好壞直接影響后面的標(biāo)定精度 ，同時(shí)它也是提高匹配的關(guān)鍵環(huán)節(jié)，是完成三維重建的基礎(chǔ)，在本章就是主要解決這些問題的： 1究圖像角點(diǎn)的特點(diǎn)及檢測方法。 2 研究 Harris角點(diǎn)檢測算法的原理、步驟及其特點(diǎn)。 Harris角點(diǎn)檢測的原理是，將以某點(diǎn)為中心的圖像處理子窗口作微小移動(dòng)，運(yùn)用一階 Taylor展開可得到移動(dòng)前后該窗口內(nèi)圖像點(diǎn)的灰度改變量表達(dá)式，而根據(jù)其一階灰度梯度可構(gòu)造一個(gè)特征矩陣 M，則根據(jù)灰度變化劇烈程度定義的角點(diǎn)可用 M的函數(shù)來表示，函數(shù)值滿足一定閾值的圖像點(diǎn)即是角點(diǎn)。 第四章 相機(jī)外參數(shù)的估計(jì) 引言 通過相機(jī)的二維圖像求解相 機(jī)的外參數(shù)，圖像最少個(gè)數(shù)是兩幅，當(dāng)然圖像越多求解的也精確，但是同樣會(huì)增加求解的難度。在這里我們研究的是兩幅圖像求解相機(jī)外參數(shù)的問題。假設(shè) ? ? , 1, 1JNjn jnx ??是圖像坐標(biāo)系中點(diǎn)的集合，其中 n表示第n個(gè)場景點(diǎn)， j表示第 j幅圖像，在這里 J=2。 相機(jī)外參數(shù)的求解 圖像上的點(diǎn)與真實(shí)場景之間存在透視投影的關(guān)系： , ,1j n njjnP M PZ? （ 41） 其中 , ( , ,1)Tj n j njnp x y? 表示齊次像素坐標(biāo)上的點(diǎn)， ,1 ,2 ,3( , , ,1)Tn n nnp p p p? 表示 3D世界坐標(biāo)系上的點(diǎn)。 ,j in j ex jM M M? 是 3? 4的相機(jī)矩陣，由相機(jī)內(nèi)部標(biāo)定矩陣和外部標(biāo)定矩陣相乘得到。 ,jnz 表示投影深度， 3, Tj n j nz e M p? ， 3Te =（ 0，0， 1）。 相機(jī)的內(nèi)部矩陣可以化簡成： ,00000 0 1jin j jfMf??????? （ 42） 外部矩陣表示為： , ( , )jex j jM R R d?? （ 43） 這里 jR 是世界坐標(biāo)系到第 j 個(gè)相機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣， jd 是相機(jī)在世界坐標(biāo)系中的位置。我們這篇文章的最終任務(wù)就是求解 jR 和 jd ，即所謂的相機(jī)的外參數(shù)。 要求攝像機(jī)的矩陣 jM ，就是要最小化下面的函數(shù)： ? ? ? ? 2,21 1 3,1, ( , 0 )NJ jnnnjjj n njnjn jxo M P I M Py e M P? ???????????????? （ 44） 這個(gè)非線性最優(yōu)問題被稱為光束法平差（ bundle adjustment） 可用以下兩方法近似光束法平差 用比例正交投影近似透視投影 。 重新調(diào)節(jié)方程 ? ? ? ? 2,21 1 3,1, ( , 0 )NJ jnnnjjj n njnjn jxo M P I M Py e M P? ????????????????的每個(gè)參數(shù)，解決雙線性優(yōu)化問題。 比例正交投影對, ,1j n njjnP M Pz?式進(jìn)行了一個(gè)近似，應(yīng)用于窄視場相機(jī) ? ?,m a x ,j m j m jx y f （ 45） , 1jnzs? （ 46） 對應(yīng)的圖像上點(diǎn)與場景點(diǎn)的關(guān)系可以轉(zhuǎn)化為 ,22( , 0 ) ( , 0 )j n njI P s I M P? （ 47） 這就變成了關(guān)于比例相機(jī)矩陣 jsM 和 3D點(diǎn) nP 的雙線性問題。 令,11 Nj j nnPPN ?? ?為圖像上點(diǎn)坐標(biāo)的平均值，11 Nn nPPN ?? ?為場景點(diǎn)坐標(biāo)的平均值 ，從方程 ,22( , 0 ) ( , 0 )j n njI P s I M P? 可以得到 , njn jd M D? （ 48） 其中 , 2( , 0) ( )j n jjnd I P P?? （ 49） 3( , 0 ) ( )n njD I p p?? （ 410） j 2 3M ( , 0 ) ( , 0 )Tjs I M I? （ 411） j200M ( , 0)00j j j jjfs R sf I Rf?? ?????????? ???? （ 412） 令 ,()jnCd? 為 2J N 的矩陣，從公式 , jnjnd M D? 可得 C MD? （ 413） M是 2J 3的矩陣，由 J個(gè) jM 排列起來的， D是 3 N 的矩陣，由 N 個(gè) nD排列起來的。這個(gè)方程表明，不考慮噪聲影響的話，信息矩陣 C 的最高階數(shù)為 3。 對 C 進(jìn)行 SVD因式分解，對于 J=3的情況， TC W V??的特征值如下圖 (3個(gè)以后的特征值基本上為 0) 圖（五） Figure（ 5） 將 ? 的除前三個(gè)以外特征值都置為 0， ? 是 3 3的， W是 2J 3的， TV 是3 N 的。 對于非奇異陣 A對應(yīng)一個(gè) C： 1( ) ( )TTC M D W A A V W V?? ? ? ? ? （ 414） 對應(yīng)一個(gè)矩陣 A，可以得到一個(gè) 3D點(diǎn)的位置信息和攝像機(jī)矩陣： 1 TD A VM WA???? （ 415） 同樣的，可以將 1AA? 放置于 ? 和 TV 之間。 這樣，可以知道形狀矩陣 D 取決于 A 里的 9 個(gè)參數(shù)， TAD V?? 。這就是形狀 D的仿射變換。用 SVD分解將 A分解為 Ta a aUV? ，得 ( ( ))Ta a aAD U V D?? ，這代表將 D用 TaV 進(jìn)行旋轉(zhuǎn)，然后用 a? 在對應(yīng)軸上進(jìn)行拉伸或縮小 ,最后再用 aU 進(jìn)行旋轉(zhuǎn)。仿射變換保持平行線和相交線，但不能保持角度和長度。 我們可以從已知相機(jī)參數(shù)確定 A的一些值。 假設(shè)已知射影矩陣 jM 滿足： j200M ( , 0)00j j j jjfs R sf I Rf?? ?????????? ???? （ 416） 從公式 1 TD A VM WA????可知 j jM WA? ，其中 jW 是 W中第 j個(gè) 2 3的塊。因?yàn)?TjjRR I? ，可得： 22 2T T Tj j j j jM M s f I W A A W?? （ 417） 這里只有第 j幅圖像的比例因子 jsf 和 3 3的正定矩陣 TQ AA? 是未知的。 對每個(gè) j，方程提供兩個(gè)線性齊次方程。這樣，對于 J≥ 3，可以有 2J≥ 6個(gè)線性方程可以解出帶有一個(gè)比例 22 2T TTjj j j jM M s f I W A A W??因子 2qr 的 Q。最后對Q 可以進(jìn)行因式分解（假設(shè)特征值都是非負(fù)的），計(jì)算特征值， Tq q qQ U U?? ，121 TqqqA U Rr??。這里 qr 是 Q 中未知比例因子， qR 是任意 3 3的正交矩陣。 因此已經(jīng)恢復(fù)了矩陣 1 TqqqA K Rr?，這里 12q q qKU??是已知量。接下來就可以恢復(fù)形狀矩陣 rD 和相機(jī)矩陣 rM ，其中 ( 1 TD A V???,M WA? ， 1( ) ( )TTC M D W A A V W V?? ? ? ? ?） （ 418） 1,1 ,Tq q r r qTr q r qqD r R D D K VM M R M W Kr?? ? ??? （ 419） 這就是歐氏重建，因?yàn)槲覀兺ㄟ^三維比例參數(shù) qr 和旋轉(zhuǎn)矩陣 qR 已經(jīng)恢復(fù)了