【正文】 ce檢測(cè) : ∑|h1(z)h2(z)| z 如果檢測(cè)結(jié)果小于某個(gè)給定的閾值，則將兩區(qū)域合并 對(duì)上述兩種方法有兩點(diǎn)說(shuō)明： 小區(qū)域的尺寸對(duì)結(jié)果可能有較大的影響， 尺寸太小時(shí)檢測(cè)可靠性降低 ，尺寸太大時(shí)則得到的 區(qū)域形狀不 理想，小的目標(biāo) 也可能漏掉 KS檢測(cè)和 SD檢測(cè)方法在檢測(cè)直方圖相似性方面較優(yōu)，因?yàn)樗紤]了所有灰度值 基于區(qū)域形狀 ?在決定對(duì)區(qū)域的合并時(shí)，也可以利用對(duì)目標(biāo)形狀的檢測(cè)結(jié)果，常用的方法有兩種： （ 1）把圖像分割成 灰度固定 的區(qū)域，設(shè)兩鄰接區(qū)域的 周長(zhǎng) 分別為 P1和 P2，把兩區(qū)域共同的 邊界線兩側(cè)灰度差小于給定閾值的那部分長(zhǎng)度設(shè)為 L，如圖（ T1為閾值） L/min{P1,P2}T1 則兩區(qū)域合并 (2) 把圖像分割成灰度固定的區(qū)域，設(shè)兩鄰域區(qū)域的共同邊界長(zhǎng)度 為 B，把兩區(qū)域共同邊界線兩側(cè)灰度差小于給定閾值得那部分長(zhǎng)度設(shè)為 L，如果（ T2為閾值） L/BT2 則兩區(qū)域合并 兩種方法的區(qū)別： 第一種是合并兩鄰接區(qū)域的 共同邊界 中 對(duì)比度較低 部分占整個(gè)區(qū)域邊界份額較大 的區(qū)域 第二種是合并兩鄰接區(qū)域的共同邊界中 對(duì)比度較低 部分 比較多 的區(qū)域 實(shí)例 原始圖像及種子象素點(diǎn) 開(kāi)始增長(zhǎng)階段的結(jié)果 中間結(jié)果 最后結(jié)果 分裂合并 ?基本方法 生長(zhǎng)方法 －先從 單個(gè)種子 象素開(kāi)始通過(guò)不斷接納新象素，最后得到整個(gè)區(qū)域 另外一種分割的想法－先從 整幅圖像 開(kāi)始通過(guò)不斷分裂，得到各個(gè)區(qū)域（在實(shí)際中，先將圖像分成任意大小且不重疊的區(qū)域，然后再合并或分裂這些區(qū)域，以滿(mǎn)足分割的要求），在這類(lèi)方法中，常根據(jù) 圖像的統(tǒng)計(jì)特性 設(shè)定圖像區(qū)域?qū)傩缘囊恢滦詼y(cè)度 基于灰度統(tǒng)計(jì)特性 區(qū)域的邊緣信息來(lái)決定是否對(duì)區(qū)域進(jìn)行合并或分裂 分裂合并方法 －利用了圖像數(shù)據(jù)的 金字塔或四叉樹(shù)結(jié)構(gòu) 的層次概念，將圖像劃分為一組任意 不相交的初始 區(qū)域，即可以從圖像的這種金字塔或四叉樹(shù)數(shù)據(jù)結(jié)構(gòu)的 任一中間層開(kāi)始，根據(jù)給定的 均勻性檢測(cè)準(zhǔn)則 ，進(jìn)行 分裂和合并 這些區(qū)域，逐步 改善區(qū)域劃分 的性能，直到最后將圖像分成數(shù)量最少的 均勻區(qū)域 為止 ?簡(jiǎn)單了解圖像的金字塔或四叉樹(shù)數(shù)據(jù)結(jié)構(gòu) 設(shè)原始圖像 f(x,y)的尺寸大小為 2N 2N，在金字塔數(shù)據(jù)結(jié)構(gòu)中，最底層就是 原始圖像 ，上一層的圖像數(shù)據(jù)結(jié)構(gòu)的每一個(gè)象素灰度值就是該層圖像數(shù)據(jù) 相鄰四點(diǎn)的平均值 ，因此在上一層的圖像尺寸比下層的圖像尺寸小，分辨率低，但上層圖像所包含的信息更具有概括性。 ?利用圖像四叉樹(shù)表達(dá)方式的簡(jiǎn)單分裂合并算法 設(shè) R代表整個(gè)正方形圖像區(qū)域， P代表邏輯謂詞。從最高層開(kāi)始，把 R連續(xù)分裂成越來(lái)越小的 1/4的正方形子區(qū)域 Ri，并且始終使 P(Ri)=，如果 P(R) =FALSE,那么就將圖像分成四等分。如果 P(Ri)=FALSE，那么就將 Ri分成四等分，如此類(lèi)推，直到 Ri為單個(gè)象素 R1 R2 R3 R41 R42 R43 R44 R R1 R2 R3 R4 R41 R42 R43 R44 0層 1層 2層 如果僅僅允許使用分裂，最后有可能出現(xiàn) 相鄰的 兩個(gè)區(qū)域， 具有相同的性質(zhì) ，但并沒(méi)有合成一體的情況。為解決這個(gè)問(wèn)題，在每次分裂后，允許其后繼續(xù)分裂或合并。這里合并只合并那些相鄰且合并后組成的新區(qū)域滿(mǎn)足邏輯謂詞 P的區(qū)域。也就是說(shuō)，如果能滿(mǎn)足條件 P(Ri∪ Rj)=TRUE,則將 Ri和 Rj合并 ?分裂合并算法步驟： （ 1）對(duì)任一區(qū)域 Ri，如果 P(Ri)=FALSE,就將其分裂成不重疊的四等分 （ 2）對(duì)相鄰的兩個(gè)區(qū)域 Ri和 Rj（它們可以大小不同，即不在同一層），如果條件 P(Ri∪ Rj)=TRUE，就將它們合并 （ 3）如果進(jìn)一步的分裂或合并都不可能，則結(jié)束 示例 (a) (b) (c) (d) 圖中紅色區(qū)域?yàn)槟繕?biāo)，其它區(qū)域?yàn)楸尘?，它們都具有常?shù)灰度值 對(duì)整個(gè)圖像 R， P(R)=FALSE， (P(R)=TRUE代表在 R中的所有象素都具有相同的灰度值 )，所以先將其分裂成 如圖 (a)所示的四個(gè)正方形區(qū)域 ，由于左上角區(qū)域滿(mǎn)足 P，所以不必繼續(xù)分裂，其它三個(gè)區(qū)域繼續(xù)分裂而得到 (b)，此時(shí)除包括目標(biāo)下部的兩個(gè)子區(qū)域外，其它區(qū)域都可分別按目標(biāo)和背景合并。對(duì)下面的兩個(gè)子區(qū)域繼續(xù)分裂可得到 ( c)，因?yàn)榇藭r(shí)所有區(qū)域都已滿(mǎn)足 P ，所以最后一次合并可得到 (d)的分割結(jié)果 對(duì)下圖所示的起始區(qū)域使用方差最小的測(cè)試準(zhǔn)則進(jìn)行區(qū)域的分裂合并 (a)第一次操作 (b)第二次操作 (c)第三次操作 (d)最后結(jié)果 在某個(gè)區(qū)域 R上，其方差為： Sn2=∑(i,j)∈ R[f(i,j)C]2， C為區(qū)域 R中 N個(gè)點(diǎn)的平均值 目標(biāo)和背景灰度值均勻，已確定了允許界限 E，使得每個(gè)區(qū)域上的方差不超過(guò) E，足以保證尋找區(qū)域分隔為盡可能少的那種劃分，即當(dāng)子區(qū)域 Ri中所有象素同為目標(biāo)或背景時(shí)，均勻性測(cè)量準(zhǔn)則 P(R)=TRUE (a)原始圖像 (b)模糊濾波處理結(jié)果 (c)分裂合并結(jié)果 (d)分裂擴(kuò)張結(jié)果 運(yùn)動(dòng)圖像分割 ?隨著多媒體技術(shù)的發(fā)展，視頻圖像得到廣泛應(yīng)用，由一系列時(shí)間上連續(xù)的 2D圖像組成 ?從空間分割的角度來(lái)看，視頻圖像分割主要是希望把其中獨(dú)立運(yùn)動(dòng)的區(qū)域 (目標(biāo) )逐幀檢測(cè)處理 ?從時(shí)間分割的角度來(lái)看，主要是把連續(xù)的序列分解為時(shí)間片斷 這兩種都同時(shí)利用時(shí)域信息 (幀間灰度等的變化 )和空域信息 (幀內(nèi)灰度等的變化 ) ?運(yùn)動(dòng)圖像的分割可直接利用時(shí) 空?qǐng)D像的灰度和梯度信息進(jìn)行分割，也可采用在兩幀視頻圖像間估計(jì)光流場(chǎng)，然后基于光流場(chǎng)進(jìn)行。前者稱(chēng)為直接方法，后者稱(chēng)為間接方法 差分法 在序列圖像中，通過(guò) 逐象素比較 可直接求取前后兩幀圖像之間的差別 假設(shè) 照明條件 在多幀圖像間基本 不變化 ，那么差圖像的不為 0處表明該處的象素發(fā)生了移動(dòng) 也就是說(shuō)，對(duì)時(shí)間上相鄰的 兩幅圖像求差 ，可以將圖像中 目標(biāo)的位置和形狀變化 突出出來(lái) 如圖所示，設(shè)目標(biāo)的灰度比背景亮，則在 差分的圖像 中，可以得到在 運(yùn)動(dòng)前方位正值 的區(qū)域，而在 運(yùn)動(dòng)后方為負(fù)值 的區(qū)域，這樣可以獲得 目標(biāo)的運(yùn)動(dòng)矢量 ，也可以得到目標(biāo)上一定 部分的形狀 ，如果對(duì)一系列圖像 兩兩求差 ，并把差分圖像中值為正或負(fù)的區(qū)域 邏輯和 起來(lái)，就可以得到 整個(gè)目標(biāo)的形狀 。 正負(fù)( a )( b )設(shè) ti和 tj時(shí)刻采集到兩幅圖像 f(x,y,ti)和 f(x,y,tj)，則可得差圖像： dij(x,y)= 1 如 |f(x,y,ti)f(x,y,tj)|T 0 其它 由于噪聲的影響，沒(méi)有發(fā)生象素變化的地方也可能檢測(cè)出圖像間差別不為 0的情況，另外由于噪聲產(chǎn)生的為 1的象素一般比較孤立，可以用連通體分析而去除他們，但這樣可能將慢運(yùn)動(dòng)和尺寸小的目標(biāo)去除 利用一系列多幅圖像進(jìn)行差運(yùn)算，將第一幅圖像作為參考圖，通過(guò)將參考圖與其后的每一幅圖比較可得到累積差圖像 ? 在應(yīng)用視覺(jué)系統(tǒng)中，檢測(cè)運(yùn)動(dòng)目標(biāo)常用差分圖像的方法，一般有兩種情況一是當(dāng)前圖像與固定背景圖像之間的差分稱(chēng)為減背景法，二是當(dāng)前連續(xù)兩幅圖像 (時(shí)間間隔 Δｔ )之間的差分稱(chēng)為相鄰幀差分法 ? 從實(shí)驗(yàn)結(jié)果可以看出，減背景差分法對(duì)于運(yùn)動(dòng)目標(biāo)能很好的檢測(cè)出來(lái)，然而自然景物環(huán)境永遠(yuǎn)不會(huì)很靜止 (例如，風(fēng)吹動(dòng)樹(shù)枝和樹(shù)葉，太陽(yáng)位置改變導(dǎo)致陰影的變化 )，因此該方法抑制噪聲能力較差。這種目標(biāo)檢測(cè)方法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單、易于實(shí)時(shí)，位置準(zhǔn)確，但它要求背景絕對(duì)靜止或基本無(wú)變化（噪聲較?。?，不適用于攝像頭運(yùn)動(dòng)或者背景灰度變化很大的情況，因而適用場(chǎng)合有限， ? 另外其不足之處還在于受環(huán)境光線變化的影響較大，在非受控環(huán)境下需要加入背景圖像更新機(jī)制。而對(duì)于相鄰幀差分法對(duì)運(yùn)動(dòng)目標(biāo)很敏感，但檢測(cè)出的物體的位置不精確，其外接矩形在運(yùn)動(dòng)方向上被拉伸，這實(shí)際上是由相對(duì)運(yùn)動(dòng)與物體位置并非完全一致引起的 間接方法 估計(jì)光流場(chǎng) ?假設(shè)有 K個(gè)獨(dú)立的運(yùn)動(dòng)目標(biāo)，每個(gè)光流矢量對(duì)應(yīng)一個(gè)透明目標(biāo)在 3D空間進(jìn)行剛體運(yùn)動(dòng)所得到的投影，這樣每個(gè)獨(dú)立的運(yùn)動(dòng)都可準(zhǔn)確的用一組映射參數(shù)來(lái)描述 ?從光流場(chǎng)計(jì)算方法可知，在光流場(chǎng)中，不同的物體會(huì)有不同的速度，大面積背景的運(yùn)動(dòng)會(huì)在圖像上產(chǎn)生較為均勻的速度矢量區(qū)域，這為具有不同速度的其它運(yùn)動(dòng)物體的分割提供了方便。 ?給圖像中的每一像素點(diǎn)賦予一個(gè)速度向量，就形成了圖像運(yùn)動(dòng)場(chǎng) (motion field)。在運(yùn)動(dòng)的一個(gè)特定時(shí)刻，圖像上某一點(diǎn) pi對(duì)應(yīng)三維物體上某一點(diǎn) P0，這種對(duì)應(yīng)關(guān)系可以由投影方程得到。在透視投影情況下，圖像上一點(diǎn)與物體上對(duì)應(yīng)一點(diǎn)的連線經(jīng)過(guò)光學(xué)中心，該連線稱(chēng)為圖象點(diǎn)連線 (Point ray)。 ?設(shè)物體上一點(diǎn) p0相對(duì)于攝像機(jī)具有速度 v0，從而在圖像平面上對(duì)應(yīng)的投影點(diǎn) pi具有速度 vi。在時(shí)間間隔△ t時(shí)，點(diǎn) p0運(yùn)動(dòng)了 v0 △ t ， ,圖像點(diǎn) pi運(yùn)動(dòng)了 vi △ t 。速度可由下式表示 ?r0和 ri之間的關(guān)系 dtddtd iirvrv ?? 0000 ?11 rzrr??? if?當(dāng)物體運(yùn)動(dòng)時(shí)，在圖像上對(duì)應(yīng)物體的亮度模式也在運(yùn)動(dòng)。光流 (optical flow)是指圖像亮度模式的表觀（或視在）運(yùn)動(dòng) (apparent motion)。使用 “ 表觀運(yùn)動(dòng) ” 這個(gè)概念的主要原因是光流無(wú)法由運(yùn)動(dòng)圖像的局部信息唯一地確定，比如，亮度比較均勻的區(qū)域或亮度等值線上的點(diǎn)都無(wú)法唯一地確定其點(diǎn)的運(yùn)動(dòng)對(duì)應(yīng)性，但運(yùn)動(dòng)是可以觀察到的。 基于塊的運(yùn)動(dòng)分析 ? 基于塊 (Blockbased))的運(yùn)動(dòng)分析在圖像運(yùn)動(dòng)估計(jì)和其它圖像處理和分析中得到了廣泛的應(yīng)用，比如在數(shù)字視頻壓縮技術(shù)中，國(guó)際標(biāo)準(zhǔn) MPEG12采用了基于塊的運(yùn)動(dòng)分析和補(bǔ)償算法。塊運(yùn)動(dòng)估計(jì)與光流計(jì)算不同，它無(wú)需計(jì)算每一個(gè)像素的運(yùn)動(dòng)，而只是計(jì)算由若干像素組成的像素塊的運(yùn)動(dòng)，對(duì)于許多圖像分析和估計(jì)應(yīng)用來(lái)說(shuō)，塊運(yùn)動(dòng)分析是一種很好的近似。 ? 塊運(yùn)動(dòng)通常分為平移、旋轉(zhuǎn)、仿射、透視等運(yùn)動(dòng)形式，一般情況下，塊運(yùn)動(dòng)是這些運(yùn)動(dòng)的組合，稱(chēng)為變形運(yùn)動(dòng)(deformation motion) ?步驟 ?在基于塊的運(yùn)動(dòng)分析中最為重要的就是塊的匹配。 ?塊匹配的基本思想：在第幀中選擇以為中心、大小為的塊，然后在第幀中的一個(gè)較大的搜索窗口內(nèi)尋找與塊尺寸相同的最佳匹配塊的中心的位移矢量。搜索窗口一般是以第幀中的塊為中心的一個(gè)對(duì)稱(chēng)窗口，其大小常常根據(jù)先驗(yàn)知識(shí)或經(jīng)驗(yàn)來(lái)確定。 匹配準(zhǔn)則 ?匹配準(zhǔn)則－最大互相關(guān)準(zhǔn)則，最小均方差準(zhǔn)則，最小平均絕對(duì)值差，最大匹配像素?cái)?shù)量準(zhǔn)則 ? 最小均方差準(zhǔn)則 (mean square error， MSE)定義如下 ???????????WyxkyyxxIkyxImnyxM S E),(2)]1,(),([1),(通過(guò)求上式的極小化可以估計(jì)出位移矢量 ),( yx ???r),(m i na r g],[ ),( yxM S Eyx yxT ????? ???對(duì) MSE求極小化的準(zhǔn)則可以認(rèn)為是給窗口內(nèi)的所有象素強(qiáng)加一個(gè)光流約束。最小均方差準(zhǔn)則很少通過(guò)超大規(guī)模集成電路 (VLSI)來(lái)實(shí)現(xiàn)，主要原因是用硬件實(shí)現(xiàn)平方運(yùn)算有相當(dāng)?shù)睦щy。通過(guò)超大規(guī)模集成電路 (VLSI)來(lái)實(shí)現(xiàn)的準(zhǔn)則是最小平均絕對(duì)差。 ?最小平均絕對(duì)差準(zhǔn)則 (mean absolute difference，MAD)定義如下 ?位移矢量的估計(jì)值為 ???????????WyxkyyxxIkyxImnyxM A D),(|)1,(),(|1),(),(m i na r g],[ ),( yxMA Dyx yxT ????? ???最大匹配像素?cái)?shù)量準(zhǔn)則 (matching pel count，MPC) －這種方法是將窗口內(nèi)的匹配象素和非匹配象素根據(jù)下式分類(lèi)： ?T是預(yù)先確定的閾值．這樣，最大匹配像素?cái)?shù)量準(zhǔn)則為 ??? ??????????其它如果 0|)1,(),(|1),( TkyyxxIkyxIyxyxT? ? ??????? Wyx yyxxTyxM P C ),( ),(),(),(m i na r g],[ ),( yxMP Cyx yxT ????? ??搜索策略 ?為了求得最佳位移估計(jì)，可以計(jì)算所有可能的位移矢量對(duì)應(yīng)的匹配誤差，然后選擇最小匹配誤差對(duì)應(yīng)的矢量就是最佳位移估計(jì)值，這就是全搜索策略。這種策略的最大優(yōu)點(diǎn)是可以找到全局最優(yōu)值，但十分浪費(fèi)時(shí)間，因此，人們提出了各種快速搜索策略。盡管快速搜索策略得到的可能是局部最優(yōu)值，但由于其快速計(jì)算的實(shí)用性，在實(shí)際中得到了廣泛的應(yīng)用。下面討論一種快速搜索方法：步搜索或?qū)?shù)搜索。 ? 設(shè)窗口大小為 15 15 ，當(dāng)前象素值位于窗口中心，用“ 0”來(lái)標(biāo)記，第一步，選擇標(biāo)記為 “ 0”和 “ 1”的 9個(gè)象素計(jì)算匹配準(zhǔn)則函數(shù)，如果最佳匹配仍在 “ 0”處，則無(wú)運(yùn)動(dòng)。第二步，以第一步最佳匹配對(duì)應(yīng)的象素點(diǎn)為中心