【正文】 ce檢測 : ∑|h1(z)h2(z)| z 如果檢測結(jié)果小于某個給定的閾值，則將兩區(qū)域合并 對上述兩種方法有兩點(diǎn)說明： 小區(qū)域的尺寸對結(jié)果可能有較大的影響， 尺寸太小時檢測可靠性降低 ，尺寸太大時則得到的 區(qū)域形狀不 理想，小的目標(biāo) 也可能漏掉 KS檢測和 SD檢測方法在檢測直方圖相似性方面較優(yōu)，因?yàn)樗紤]了所有灰度值 基于區(qū)域形狀 ?在決定對區(qū)域的合并時，也可以利用對目標(biāo)形狀的檢測結(jié)果，常用的方法有兩種： （ 1）把圖像分割成 灰度固定 的區(qū)域，設(shè)兩鄰接區(qū)域的 周長 分別為 P1和 P2，把兩區(qū)域共同的 邊界線兩側(cè)灰度差小于給定閾值的那部分長度設(shè)為 L，如圖（ T1為閾值） L/min{P1,P2}T1 則兩區(qū)域合并 (2) 把圖像分割成灰度固定的區(qū)域，設(shè)兩鄰域區(qū)域的共同邊界長度 為 B，把兩區(qū)域共同邊界線兩側(cè)灰度差小于給定閾值得那部分長度設(shè)為 L，如果（ T2為閾值） L/BT2 則兩區(qū)域合并 兩種方法的區(qū)別： 第一種是合并兩鄰接區(qū)域的 共同邊界 中 對比度較低 部分占整個區(qū)域邊界份額較大 的區(qū)域 第二種是合并兩鄰接區(qū)域的共同邊界中 對比度較低 部分 比較多 的區(qū)域 實(shí)例 原始圖像及種子象素點(diǎn) 開始增長階段的結(jié)果 中間結(jié)果 最后結(jié)果 分裂合并 ?基本方法 生長方法 －先從 單個種子 象素開始通過不斷接納新象素，最后得到整個區(qū)域 另外一種分割的想法－先從 整幅圖像 開始通過不斷分裂，得到各個區(qū)域（在實(shí)際中，先將圖像分成任意大小且不重疊的區(qū)域，然后再合并或分裂這些區(qū)域，以滿足分割的要求），在這類方法中，常根據(jù) 圖像的統(tǒng)計特性 設(shè)定圖像區(qū)域?qū)傩缘囊恢滦詼y度 基于灰度統(tǒng)計特性 區(qū)域的邊緣信息來決定是否對區(qū)域進(jìn)行合并或分裂 分裂合并方法 －利用了圖像數(shù)據(jù)的 金字塔或四叉樹結(jié)構(gòu) 的層次概念，將圖像劃分為一組任意 不相交的初始 區(qū)域，即可以從圖像的這種金字塔或四叉樹數(shù)據(jù)結(jié)構(gòu)的 任一中間層開始，根據(jù)給定的 均勻性檢測準(zhǔn)則 ，進(jìn)行 分裂和合并 這些區(qū)域，逐步 改善區(qū)域劃分 的性能，直到最后將圖像分成數(shù)量最少的 均勻區(qū)域 為止 ?簡單了解圖像的金字塔或四叉樹數(shù)據(jù)結(jié)構(gòu) 設(shè)原始圖像 f(x,y)的尺寸大小為 2N 2N，在金字塔數(shù)據(jù)結(jié)構(gòu)中，最底層就是 原始圖像 ，上一層的圖像數(shù)據(jù)結(jié)構(gòu)的每一個象素灰度值就是該層圖像數(shù)據(jù) 相鄰四點(diǎn)的平均值 ，因此在上一層的圖像尺寸比下層的圖像尺寸小，分辨率低，但上層圖像所包含的信息更具有概括性。 ?利用圖像四叉樹表達(dá)方式的簡單分裂合并算法 設(shè) R代表整個正方形圖像區(qū)域， P代表邏輯謂詞。從最高層開始，把 R連續(xù)分裂成越來越小的 1/4的正方形子區(qū)域 Ri，并且始終使 P(Ri)=，如果 P(R) =FALSE,那么就將圖像分成四等分。如果 P(Ri)=FALSE，那么就將 Ri分成四等分，如此類推，直到 Ri為單個象素 R1 R2 R3 R41 R42 R43 R44 R R1 R2 R3 R4 R41 R42 R43 R44 0層 1層 2層 如果僅僅允許使用分裂，最后有可能出現(xiàn) 相鄰的 兩個區(qū)域， 具有相同的性質(zhì) ，但并沒有合成一體的情況。為解決這個問題，在每次分裂后，允許其后繼續(xù)分裂或合并。這里合并只合并那些相鄰且合并后組成的新區(qū)域滿足邏輯謂詞 P的區(qū)域。也就是說，如果能滿足條件 P(Ri∪ Rj)=TRUE,則將 Ri和 Rj合并 ?分裂合并算法步驟： （ 1）對任一區(qū)域 Ri，如果 P(Ri)=FALSE,就將其分裂成不重疊的四等分 （ 2）對相鄰的兩個區(qū)域 Ri和 Rj（它們可以大小不同，即不在同一層），如果條件 P(Ri∪ Rj)=TRUE，就將它們合并 （ 3）如果進(jìn)一步的分裂或合并都不可能，則結(jié)束 示例 (a) (b) (c) (d) 圖中紅色區(qū)域?yàn)槟繕?biāo)，其它區(qū)域?yàn)楸尘?，它們都具有常?shù)灰度值 對整個圖像 R， P(R)=FALSE， (P(R)=TRUE代表在 R中的所有象素都具有相同的灰度值 )，所以先將其分裂成 如圖 (a)所示的四個正方形區(qū)域 ，由于左上角區(qū)域滿足 P，所以不必繼續(xù)分裂，其它三個區(qū)域繼續(xù)分裂而得到 (b)，此時除包括目標(biāo)下部的兩個子區(qū)域外，其它區(qū)域都可分別按目標(biāo)和背景合并。對下面的兩個子區(qū)域繼續(xù)分裂可得到 ( c)，因?yàn)榇藭r所有區(qū)域都已滿足 P ，所以最后一次合并可得到 (d)的分割結(jié)果 對下圖所示的起始區(qū)域使用方差最小的測試準(zhǔn)則進(jìn)行區(qū)域的分裂合并 (a)第一次操作 (b)第二次操作 (c)第三次操作 (d)最后結(jié)果 在某個區(qū)域 R上，其方差為： Sn2=∑(i,j)∈ R[f(i,j)C]2， C為區(qū)域 R中 N個點(diǎn)的平均值 目標(biāo)和背景灰度值均勻，已確定了允許界限 E，使得每個區(qū)域上的方差不超過 E，足以保證尋找區(qū)域分隔為盡可能少的那種劃分，即當(dāng)子區(qū)域 Ri中所有象素同為目標(biāo)或背景時，均勻性測量準(zhǔn)則 P(R)=TRUE (a)原始圖像 (b)模糊濾波處理結(jié)果 (c)分裂合并結(jié)果 (d)分裂擴(kuò)張結(jié)果 運(yùn)動圖像分割 ?隨著多媒體技術(shù)的發(fā)展，視頻圖像得到廣泛應(yīng)用，由一系列時間上連續(xù)的 2D圖像組成 ?從空間分割的角度來看，視頻圖像分割主要是希望把其中獨(dú)立運(yùn)動的區(qū)域 (目標(biāo) )逐幀檢測處理 ?從時間分割的角度來看，主要是把連續(xù)的序列分解為時間片斷 這兩種都同時利用時域信息 (幀間灰度等的變化 )和空域信息 (幀內(nèi)灰度等的變化 ) ?運(yùn)動圖像的分割可直接利用時 空圖像的灰度和梯度信息進(jìn)行分割，也可采用在兩幀視頻圖像間估計光流場，然后基于光流場進(jìn)行。前者稱為直接方法，后者稱為間接方法 差分法 在序列圖像中，通過 逐象素比較 可直接求取前后兩幀圖像之間的差別 假設(shè) 照明條件 在多幀圖像間基本 不變化 ，那么差圖像的不為 0處表明該處的象素發(fā)生了移動 也就是說，對時間上相鄰的 兩幅圖像求差 ，可以將圖像中 目標(biāo)的位置和形狀變化 突出出來 如圖所示，設(shè)目標(biāo)的灰度比背景亮，則在 差分的圖像 中，可以得到在 運(yùn)動前方位正值 的區(qū)域，而在 運(yùn)動后方為負(fù)值 的區(qū)域，這樣可以獲得 目標(biāo)的運(yùn)動矢量 ，也可以得到目標(biāo)上一定 部分的形狀 ，如果對一系列圖像 兩兩求差 ，并把差分圖像中值為正或負(fù)的區(qū)域 邏輯和 起來，就可以得到 整個目標(biāo)的形狀 。 正負(fù)( a )( b )設(shè) ti和 tj時刻采集到兩幅圖像 f(x,y,ti)和 f(x,y,tj)，則可得差圖像： dij(x,y)= 1 如 |f(x,y,ti)f(x,y,tj)|T 0 其它 由于噪聲的影響，沒有發(fā)生象素變化的地方也可能檢測出圖像間差別不為 0的情況，另外由于噪聲產(chǎn)生的為 1的象素一般比較孤立，可以用連通體分析而去除他們，但這樣可能將慢運(yùn)動和尺寸小的目標(biāo)去除 利用一系列多幅圖像進(jìn)行差運(yùn)算，將第一幅圖像作為參考圖，通過將參考圖與其后的每一幅圖比較可得到累積差圖像 ? 在應(yīng)用視覺系統(tǒng)中，檢測運(yùn)動目標(biāo)常用差分圖像的方法，一般有兩種情況一是當(dāng)前圖像與固定背景圖像之間的差分稱為減背景法，二是當(dāng)前連續(xù)兩幅圖像 (時間間隔 Δｔ )之間的差分稱為相鄰幀差分法 ? 從實(shí)驗(yàn)結(jié)果可以看出，減背景差分法對于運(yùn)動目標(biāo)能很好的檢測出來，然而自然景物環(huán)境永遠(yuǎn)不會很靜止 (例如，風(fēng)吹動樹枝和樹葉，太陽位置改變導(dǎo)致陰影的變化 )，因此該方法抑制噪聲能力較差。這種目標(biāo)檢測方法的優(yōu)點(diǎn)是計算簡單、易于實(shí)時，位置準(zhǔn)確，但它要求背景絕對靜止或基本無變化（噪聲較?。贿m用于攝像頭運(yùn)動或者背景灰度變化很大的情況，因而適用場合有限， ? 另外其不足之處還在于受環(huán)境光線變化的影響較大，在非受控環(huán)境下需要加入背景圖像更新機(jī)制。而對于相鄰幀差分法對運(yùn)動目標(biāo)很敏感，但檢測出的物體的位置不精確，其外接矩形在運(yùn)動方向上被拉伸，這實(shí)際上是由相對運(yùn)動與物體位置并非完全一致引起的 間接方法 估計光流場 ?假設(shè)有 K個獨(dú)立的運(yùn)動目標(biāo)，每個光流矢量對應(yīng)一個透明目標(biāo)在 3D空間進(jìn)行剛體運(yùn)動所得到的投影，這樣每個獨(dú)立的運(yùn)動都可準(zhǔn)確的用一組映射參數(shù)來描述 ?從光流場計算方法可知，在光流場中，不同的物體會有不同的速度，大面積背景的運(yùn)動會在圖像上產(chǎn)生較為均勻的速度矢量區(qū)域，這為具有不同速度的其它運(yùn)動物體的分割提供了方便。 ?給圖像中的每一像素點(diǎn)賦予一個速度向量，就形成了圖像運(yùn)動場 (motion field)。在運(yùn)動的一個特定時刻，圖像上某一點(diǎn) pi對應(yīng)三維物體上某一點(diǎn) P0，這種對應(yīng)關(guān)系可以由投影方程得到。在透視投影情況下，圖像上一點(diǎn)與物體上對應(yīng)一點(diǎn)的連線經(jīng)過光學(xué)中心，該連線稱為圖象點(diǎn)連線 (Point ray)。 ?設(shè)物體上一點(diǎn) p0相對于攝像機(jī)具有速度 v0，從而在圖像平面上對應(yīng)的投影點(diǎn) pi具有速度 vi。在時間間隔△ t時，點(diǎn) p0運(yùn)動了 v0 △ t ， ,圖像點(diǎn) pi運(yùn)動了 vi △ t 。速度可由下式表示 ?r0和 ri之間的關(guān)系 dtddtd iirvrv ?? 0000 ?11 rzrr??? if?當(dāng)物體運(yùn)動時，在圖像上對應(yīng)物體的亮度模式也在運(yùn)動。光流 (optical flow)是指圖像亮度模式的表觀（或視在）運(yùn)動 (apparent motion)。使用 “ 表觀運(yùn)動 ” 這個概念的主要原因是光流無法由運(yùn)動圖像的局部信息唯一地確定，比如，亮度比較均勻的區(qū)域或亮度等值線上的點(diǎn)都無法唯一地確定其點(diǎn)的運(yùn)動對應(yīng)性，但運(yùn)動是可以觀察到的。 基于塊的運(yùn)動分析 ? 基于塊 (Blockbased))的運(yùn)動分析在圖像運(yùn)動估計和其它圖像處理和分析中得到了廣泛的應(yīng)用，比如在數(shù)字視頻壓縮技術(shù)中，國際標(biāo)準(zhǔn) MPEG12采用了基于塊的運(yùn)動分析和補(bǔ)償算法。塊運(yùn)動估計與光流計算不同，它無需計算每一個像素的運(yùn)動，而只是計算由若干像素組成的像素塊的運(yùn)動，對于許多圖像分析和估計應(yīng)用來說，塊運(yùn)動分析是一種很好的近似。 ? 塊運(yùn)動通常分為平移、旋轉(zhuǎn)、仿射、透視等運(yùn)動形式，一般情況下，塊運(yùn)動是這些運(yùn)動的組合，稱為變形運(yùn)動(deformation motion) ?步驟 ?在基于塊的運(yùn)動分析中最為重要的就是塊的匹配。 ?塊匹配的基本思想：在第幀中選擇以為中心、大小為的塊，然后在第幀中的一個較大的搜索窗口內(nèi)尋找與塊尺寸相同的最佳匹配塊的中心的位移矢量。搜索窗口一般是以第幀中的塊為中心的一個對稱窗口，其大小常常根據(jù)先驗(yàn)知識或經(jīng)驗(yàn)來確定。 匹配準(zhǔn)則 ?匹配準(zhǔn)則－最大互相關(guān)準(zhǔn)則，最小均方差準(zhǔn)則，最小平均絕對值差，最大匹配像素數(shù)量準(zhǔn)則 ? 最小均方差準(zhǔn)則 (mean square error， MSE)定義如下 ???????????WyxkyyxxIkyxImnyxM S E),(2)]1,(),([1),(通過求上式的極小化可以估計出位移矢量 ),( yx ???r),(m i na r g],[ ),( yxM S Eyx yxT ????? ???對 MSE求極小化的準(zhǔn)則可以認(rèn)為是給窗口內(nèi)的所有象素強(qiáng)加一個光流約束。最小均方差準(zhǔn)則很少通過超大規(guī)模集成電路 (VLSI)來實(shí)現(xiàn)，主要原因是用硬件實(shí)現(xiàn)平方運(yùn)算有相當(dāng)?shù)睦щy。通過超大規(guī)模集成電路 (VLSI)來實(shí)現(xiàn)的準(zhǔn)則是最小平均絕對差。 ?最小平均絕對差準(zhǔn)則 (mean absolute difference，MAD)定義如下 ?位移矢量的估計值為 ???????????WyxkyyxxIkyxImnyxM A D),(|)1,(),(|1),(),(m i na r g],[ ),( yxMA Dyx yxT ????? ???最大匹配像素數(shù)量準(zhǔn)則 (matching pel count，MPC) －這種方法是將窗口內(nèi)的匹配象素和非匹配象素根據(jù)下式分類： ?T是預(yù)先確定的閾值．這樣，最大匹配像素數(shù)量準(zhǔn)則為 ??? ??????????其它如果 0|)1,(),(|1),( TkyyxxIkyxIyxyxT? ? ??????? Wyx yyxxTyxM P C ),( ),(),(),(m i na r g],[ ),( yxMP Cyx yxT ????? ??搜索策略 ?為了求得最佳位移估計，可以計算所有可能的位移矢量對應(yīng)的匹配誤差，然后選擇最小匹配誤差對應(yīng)的矢量就是最佳位移估計值，這就是全搜索策略。這種策略的最大優(yōu)點(diǎn)是可以找到全局最優(yōu)值，但十分浪費(fèi)時間，因此，人們提出了各種快速搜索策略。盡管快速搜索策略得到的可能是局部最優(yōu)值，但由于其快速計算的實(shí)用性，在實(shí)際中得到了廣泛的應(yīng)用。下面討論一種快速搜索方法：步搜索或?qū)?shù)搜索。 ? 設(shè)窗口大小為 15 15 ，當(dāng)前象素值位于窗口中心，用“ 0”來標(biāo)記，第一步，選擇標(biāo)記為 “ 0”和 “ 1”的 9個象素計算匹配準(zhǔn)則函數(shù)，如果最佳匹配仍在 “ 0”處，則無運(yùn)動。第二步，以第一步最佳匹配對應(yīng)的象素點(diǎn)為中心