【正文】 s h o ldRS ?實(shí) 時(shí) 圖 中 距 離 最 近 的 點(diǎn) 實(shí) 時(shí) 圖 中 距 離 的 次 最 近 點(diǎn) ? ?,ijd R S關(guān)鍵點(diǎn)匹配 Scale Invariant Feature Transform SIFT 2021/6/21 51 ? 關(guān)鍵點(diǎn)的匹配可以采用窮舉法來(lái)完成，但是這樣耗費(fèi)的時(shí)間太多，一般都采用一種叫 kd樹的數(shù)據(jù)結(jié)構(gòu)來(lái)完成搜索。搜索的內(nèi)容是以目標(biāo)圖像的關(guān)鍵點(diǎn)為基準(zhǔn)，搜索與目標(biāo)圖像的特征點(diǎn)最鄰近的原圖像特征點(diǎn)和次鄰近的原圖像特征點(diǎn)。 關(guān)鍵點(diǎn)匹配 Kd樹是一個(gè)平衡二叉樹 Scale Invariant Feature Transform SIFT 2021/6/21 52 關(guān)鍵點(diǎn)匹配 Back Scale Invariant Feature Transform SIFT 2021/6/21 53 ? 關(guān)鍵點(diǎn)匹配并不能標(biāo)志著算法的結(jié)束，因?yàn)樵谄ヅ涞倪^程中存在著大量的錯(cuò)配點(diǎn)。 消除錯(cuò)配點(diǎn) 圖中交叉的綠線為錯(cuò)配點(diǎn) Scale Invariant Feature Transform SIFT 2021/6/21 54 消除錯(cuò)配點(diǎn) RANSAC（ Random Sample Consensus， 隨機(jī)抽樣一致 ） 是一種魯棒性的參數(shù)估計(jì)方法。 RANSAC簡(jiǎn)介 RANSAC實(shí)質(zhì)上就是一個(gè)反復(fù)測(cè)試、不斷迭代的過程。 RANSAC的 基本思想 ： 首先根據(jù)具體問題設(shè)計(jì)出某個(gè)目標(biāo)函數(shù)，然后通過反復(fù)提取最小點(diǎn)集估計(jì)該函數(shù)中參數(shù)的初始值，利用這些初始值把所有的數(shù)據(jù)分為 “ 內(nèi)點(diǎn) ” （ inlier ）和 “ 外點(diǎn) “ （ outlier），最后用所有的內(nèi)點(diǎn)重新計(jì)算和估計(jì)函數(shù)的參數(shù)。 Scale Invariant Feature Transform SIFT 2021/6/21 55 消除錯(cuò)配點(diǎn) ? RANSAC事例 如何估計(jì)最佳直線？ 重復(fù)進(jìn)行，擬合最優(yōu)直線 y kx b??隨機(jī)取兩樣本點(diǎn)擬合直線 擬合直線： Back Scale Invariant Feature Transform SIFT 2021/6/21 56 SIFT算法的應(yīng)用 SIFT算法目前在軍事、工業(yè)和民用方面都得到了不同程度的應(yīng)用，其應(yīng)用已經(jīng)滲透了很多領(lǐng)域，典型的應(yīng)用如下： ? 物體識(shí)別 ? 機(jī)器人定位與導(dǎo)航 ? 圖像拼接 ? 三維建模 ? 手勢(shì)識(shí)別 ? 視頻跟蹤 ? 筆記鑒定 ? 指紋與人臉識(shí)別 ? 犯罪現(xiàn)場(chǎng)特征提取 ? … … Scale Invariant Feature Transform SIFT 2021/6/21 57 SIFT算法的應(yīng)用 ? 物體識(shí)別 Scale Invariant Feature Transform SIFT 2021/6/21 58 SIFT算法的應(yīng)用 ? 圖像拼接 Demo Scale Invariant Feature Transform SIFT 2021/6/21 59 ? 三維建模 SIFT算法的應(yīng)用 Scale Invariant Feature Transform SIFT 2021/6/21 60 SIFT算法的應(yīng)用 ? 手勢(shì)識(shí)別 目前，手勢(shì)識(shí)別已應(yīng)用于手機(jī)等設(shè)備上。 Scale Invariant Feature Transform SIFT 2021/6/21 61 ? 筆記鑒定 SIFT算法的應(yīng)用 Scale Invariant Feature Transform SIFT 2021/6/21 62 ? 來(lái)自網(wǎng)友的創(chuàng)意 —— 周正龍的老虎 SIFT算法的應(yīng)用 圖 1周正龍的華南虎照片與年畫上的華南虎照片 12點(diǎn)匹配 圖 2周正龍的華南虎照片與真實(shí)的華南虎照片 0點(diǎn)匹配 Back Scale Invariant Feature Transform SIFT 2021/6/21 63 SIFT算法的擴(kuò)展與改進(jìn) SIFT在圖像的不變特征提取方面擁有無(wú)與倫比的優(yōu)勢(shì)，但其并不是完美的，仍然存在著實(shí)時(shí)性不高、有時(shí)特征點(diǎn)較少、對(duì)邊緣模糊的目標(biāo)無(wú)法準(zhǔn)確提取特征點(diǎn)等缺陷。自從 1999年， SIFT算法問世以來(lái)，人們從未停止對(duì)它的優(yōu)化和改進(jìn)。 S I F TL o w e , 1 9 9 9C S I F TF a r a g . 2 0 0 6?P C A S I F TY . k e , 2 0 0 4A S I F TJ . M . M o r e l 2 0 0 9S U R FB a y , 2 0 0 6S I F T 家 族Scale Invariant Feature Transform SIFT 2021/6/21 64 SIFT算法的擴(kuò)展與改進(jìn) ? PCASIFT PCA（ Principal Component Analysis），即主成分分析，是一種數(shù)據(jù)降維 技術(shù)。由 2021年提出。 通過降維技術(shù)，可有效化簡(jiǎn) SIFT算子的 128維描述子。 Scale Invariant Feature Transform SIFT 2021/6/21 65 CSIFT（ Colored scale invariant feature transform ）彩色尺度特 征不變變換，可以針對(duì)彩色圖像進(jìn)行圖像的不變特征提取。由 Farag 2021年提出。 SIFT算法的擴(kuò)展與改進(jìn) ? CSIFT Scale Invariant Feature Transform SIFT 2021/6/21 66 SIFT算法的擴(kuò)展與改進(jìn) ? SURF SURF（ SURF Speeded Up Robust Features），號(hào)稱是 SIFT 算法的增強(qiáng)版， SURF算法的計(jì)算量小，運(yùn)算速度快，提取 的特征點(diǎn)幾乎與 SIFT相同，由 Bay 2021年提出。 SIFT SURF 特征點(diǎn)檢測(cè) 用不同尺度的圖片與高斯函數(shù)做卷積 用不同大小的 box filter與原始圖像(integral image)做卷積， 易于并行 方向 特征點(diǎn)鄰接矩形區(qū)域內(nèi)，利用梯度直方圖計(jì)算 特征點(diǎn)鄰接圓域內(nèi)，計(jì)算 x、 y方向上的 Haar小波響應(yīng) 描述符生成 20*20(單位為 pixel)區(qū)域劃分為 4*4(或 2*2)的子區(qū)域，每個(gè)子域計(jì)算 8bin直方圖 20*20(單位為 sigma)區(qū)域劃分為 4*4子域，每個(gè)子域計(jì)算 5*5個(gè)采樣點(diǎn)的 Haar小波響 應(yīng)，記錄∑ dx, ∑ dy, ∑|dx|,∑| dy|。 Scale Invariant Feature Transform SIFT 2021/6/21 67 SIFT算法的擴(kuò)展與改進(jìn) method Time Scale Rotation Blur Illumination Affine Sift mon best best mon mon good PCAsift good good good best good best Surf best mon mon good best good ?SIFT、 PCASIFT 與 SURF 的對(duì)比 Scale Invariant Feature Transform SIFT 2021/6/21 68 ASIFT（ AffineSIFT）抗仿射 SIFT變換。 兩個(gè)向量空間之間的一個(gè)仿射變換或者仿射映射由一個(gè)線性變換接上一 個(gè)平移組成。 ASIFT可以抵抗強(qiáng)仿射情況，提取的特征點(diǎn)遠(yuǎn)多于 SIFT算 法，由 . Morel 2021年提出。 ? ASIFT SIFT算法的擴(kuò)展與改進(jìn) Demo Scale Invariant Feature Transform SIFT 2021/6/21 69 謝 謝！