【正文】 ce檢測 : ∑|h1(z)h2(z)| z 如果檢測結果小于某個給定的閾值，則將兩區(qū)域合并 對上述兩種方法有兩點說明： 小區(qū)域的尺寸對結果可能有較大的影響， 尺寸太小時檢測可靠性降低 ，尺寸太大時則得到的 區(qū)域形狀不 理想，小的目標 也可能漏掉 KS檢測和 SD檢測方法在檢測直方圖相似性方面較優(yōu)，因為它考慮了所有灰度值 基于區(qū)域形狀 ?在決定對區(qū)域的合并時，也可以利用對目標形狀的檢測結果，常用的方法有兩種： （ 1）把圖像分割成 灰度固定 的區(qū)域，設兩鄰接區(qū)域的 周長 分別為 P1和 P2，把兩區(qū)域共同的 邊界線兩側灰度差小于給定閾值的那部分長度設為 L，如圖（ T1為閾值） L/min{P1,P2}T1 則兩區(qū)域合并 (2) 把圖像分割成灰度固定的區(qū)域，設兩鄰域區(qū)域的共同邊界長度 為 B，把兩區(qū)域共同邊界線兩側灰度差小于給定閾值得那部分長度設為 L，如果（ T2為閾值） L/BT2 則兩區(qū)域合并 兩種方法的區(qū)別： 第一種是合并兩鄰接區(qū)域的 共同邊界 中 對比度較低 部分占整個區(qū)域邊界份額較大 的區(qū)域 第二種是合并兩鄰接區(qū)域的共同邊界中 對比度較低 部分 比較多 的區(qū)域 實例 原始圖像及種子象素點 開始增長階段的結果 中間結果 最后結果 分裂合并 ?基本方法 生長方法 －先從 單個種子 象素開始通過不斷接納新象素，最后得到整個區(qū)域 另外一種分割的想法－先從 整幅圖像 開始通過不斷分裂，得到各個區(qū)域（在實際中，先將圖像分成任意大小且不重疊的區(qū)域，然后再合并或分裂這些區(qū)域，以滿足分割的要求），在這類方法中，常根據 圖像的統(tǒng)計特性 設定圖像區(qū)域屬性的一致性測度 基于灰度統(tǒng)計特性 區(qū)域的邊緣信息來決定是否對區(qū)域進行合并或分裂 分裂合并方法 －利用了圖像數(shù)據的 金字塔或四叉樹結構 的層次概念，將圖像劃分為一組任意 不相交的初始 區(qū)域，即可以從圖像的這種金字塔或四叉樹數(shù)據結構的 任一中間層開始，根據給定的 均勻性檢測準則 ，進行 分裂和合并 這些區(qū)域，逐步 改善區(qū)域劃分 的性能，直到最后將圖像分成數(shù)量最少的 均勻區(qū)域 為止 ?簡單了解圖像的金字塔或四叉樹數(shù)據結構 設原始圖像 f(x,y)的尺寸大小為 2N 2N，在金字塔數(shù)據結構中，最底層就是 原始圖像 ，上一層的圖像數(shù)據結構的每一個象素灰度值就是該層圖像數(shù)據 相鄰四點的平均值 ，因此在上一層的圖像尺寸比下層的圖像尺寸小，分辨率低，但上層圖像所包含的信息更具有概括性。 ?利用圖像四叉樹表達方式的簡單分裂合并算法 設 R代表整個正方形圖像區(qū)域， P代表邏輯謂詞。從最高層開始，把 R連續(xù)分裂成越來越小的 1/4的正方形子區(qū)域 Ri，并且始終使 P(Ri)=，如果 P(R) =FALSE,那么就將圖像分成四等分。如果 P(Ri)=FALSE，那么就將 Ri分成四等分，如此類推，直到 Ri為單個象素 R1 R2 R3 R41 R42 R43 R44 R R1 R2 R3 R4 R41 R42 R43 R44 0層 1層 2層 如果僅僅允許使用分裂，最后有可能出現(xiàn) 相鄰的 兩個區(qū)域， 具有相同的性質 ，但并沒有合成一體的情況。為解決這個問題，在每次分裂后，允許其后繼續(xù)分裂或合并。這里合并只合并那些相鄰且合并后組成的新區(qū)域滿足邏輯謂詞 P的區(qū)域。也就是說，如果能滿足條件 P(Ri∪ Rj)=TRUE,則將 Ri和 Rj合并 ?分裂合并算法步驟： （ 1）對任一區(qū)域 Ri，如果 P(Ri)=FALSE,就將其分裂成不重疊的四等分 （ 2）對相鄰的兩個區(qū)域 Ri和 Rj（它們可以大小不同，即不在同一層），如果條件 P(Ri∪ Rj)=TRUE，就將它們合并 （ 3）如果進一步的分裂或合并都不可能，則結束 示例 (a) (b) (c) (d) 圖中紅色區(qū)域為目標，其它區(qū)域為背景，它們都具有常數(shù)灰度值 對整個圖像 R， P(R)=FALSE， (P(R)=TRUE代表在 R中的所有象素都具有相同的灰度值 )，所以先將其分裂成 如圖 (a)所示的四個正方形區(qū)域 ，由于左上角區(qū)域滿足 P，所以不必繼續(xù)分裂，其它三個區(qū)域繼續(xù)分裂而得到 (b)，此時除包括目標下部的兩個子區(qū)域外，其它區(qū)域都可分別按目標和背景合并。對下面的兩個子區(qū)域繼續(xù)分裂可得到 ( c)，因為此時所有區(qū)域都已滿足 P ，所以最后一次合并可得到 (d)的分割結果 對下圖所示的起始區(qū)域使用方差最小的測試準則進行區(qū)域的分裂合并 (a)第一次操作 (b)第二次操作 (c)第三次操作 (d)最后結果 在某個區(qū)域 R上，其方差為： Sn2=∑(i,j)∈ R[f(i,j)C]2， C為區(qū)域 R中 N個點的平均值 目標和背景灰度值均勻，已確定了允許界限 E，使得每個區(qū)域上的方差不超過 E，足以保證尋找區(qū)域分隔為盡可能少的那種劃分，即當子區(qū)域 Ri中所有象素同為目標或背景時，均勻性測量準則 P(R)=TRUE (a)原始圖像 (b)模糊濾波處理結果 (c)分裂合并結果 (d)分裂擴張結果 運動圖像分割 ?隨著多媒體技術的發(fā)展，視頻圖像得到廣泛應用，由一系列時間上連續(xù)的 2D圖像組成 ?從空間分割的角度來看，視頻圖像分割主要是希望把其中獨立運動的區(qū)域 (目標 )逐幀檢測處理 ?從時間分割的角度來看，主要是把連續(xù)的序列分解為時間片斷 這兩種都同時利用時域信息 (幀間灰度等的變化 )和空域信息 (幀內灰度等的變化 ) ?運動圖像的分割可直接利用時 空圖像的灰度和梯度信息進行分割，也可采用在兩幀視頻圖像間估計光流場，然后基于光流場進行。前者稱為直接方法，后者稱為間接方法 差分法 在序列圖像中，通過 逐象素比較 可直接求取前后兩幀圖像之間的差別 假設 照明條件 在多幀圖像間基本 不變化 ，那么差圖像的不為 0處表明該處的象素發(fā)生了移動 也就是說，對時間上相鄰的 兩幅圖像求差 ，可以將圖像中 目標的位置和形狀變化 突出出來 如圖所示，設目標的灰度比背景亮，則在 差分的圖像 中，可以得到在 運動前方位正值 的區(qū)域，而在 運動后方為負值 的區(qū)域，這樣可以獲得 目標的運動矢量 ，也可以得到目標上一定 部分的形狀 ，如果對一系列圖像 兩兩求差 ，并把差分圖像中值為正或負的區(qū)域 邏輯和 起來，就可以得到 整個目標的形狀 。 正負( a )( b )設 ti和 tj時刻采集到兩幅圖像 f(x,y,ti)和 f(x,y,tj)，則可得差圖像： dij(x,y)= 1 如 |f(x,y,ti)f(x,y,tj)|T 0 其它 由于噪聲的影響，沒有發(fā)生象素變化的地方也可能檢測出圖像間差別不為 0的情況，另外由于噪聲產生的為 1的象素一般比較孤立，可以用連通體分析而去除他們，但這樣可能將慢運動和尺寸小的目標去除 利用一系列多幅圖像進行差運算，將第一幅圖像作為參考圖，通過將參考圖與其后的每一幅圖比較可得到累積差圖像 ? 在應用視覺系統(tǒng)中，檢測運動目標常用差分圖像的方法，一般有兩種情況一是當前圖像與固定背景圖像之間的差分稱為減背景法，二是當前連續(xù)兩幅圖像 (時間間隔 Δｔ )之間的差分稱為相鄰幀差分法 ? 從實驗結果可以看出，減背景差分法對于運動目標能很好的檢測出來，然而自然景物環(huán)境永遠不會很靜止 (例如，風吹動樹枝和樹葉，太陽位置改變導致陰影的變化 )，因此該方法抑制噪聲能力較差。這種目標檢測方法的優(yōu)點是計算簡單、易于實時，位置準確，但它要求背景絕對靜止或基本無變化（噪聲較?。?，不適用于攝像頭運動或者背景灰度變化很大的情況，因而適用場合有限， ? 另外其不足之處還在于受環(huán)境光線變化的影響較大，在非受控環(huán)境下需要加入背景圖像更新機制。而對于相鄰幀差分法對運動目標很敏感，但檢測出的物體的位置不精確，其外接矩形在運動方向上被拉伸，這實際上是由相對運動與物體位置并非完全一致引起的 間接方法 估計光流場 ?假設有 K個獨立的運動目標，每個光流矢量對應一個透明目標在 3D空間進行剛體運動所得到的投影，這樣每個獨立的運動都可準確的用一組映射參數(shù)來描述 ?從光流場計算方法可知，在光流場中，不同的物體會有不同的速度，大面積背景的運動會在圖像上產生較為均勻的速度矢量區(qū)域，這為具有不同速度的其它運動物體的分割提供了方便。 ?給圖像中的每一像素點賦予一個速度向量，就形成了圖像運動場 (motion field)。在運動的一個特定時刻，圖像上某一點 pi對應三維物體上某一點 P0，這種對應關系可以由投影方程得到。在透視投影情況下，圖像上一點與物體上對應一點的連線經過光學中心，該連線稱為圖象點連線 (Point ray)。 ?設物體上一點 p0相對于攝像機具有速度 v0，從而在圖像平面上對應的投影點 pi具有速度 vi。在時間間隔△ t時，點 p0運動了 v0 △ t ， ,圖像點 pi運動了 vi △ t 。速度可由下式表示 ?r0和 ri之間的關系 dtddtd iirvrv ?? 0000 ?11 rzrr??? if?當物體運動時，在圖像上對應物體的亮度模式也在運動。光流 (optical flow)是指圖像亮度模式的表觀（或視在）運動 (apparent motion)。使用 “ 表觀運動 ” 這個概念的主要原因是光流無法由運動圖像的局部信息唯一地確定，比如，亮度比較均勻的區(qū)域或亮度等值線上的點都無法唯一地確定其點的運動對應性，但運動是可以觀察到的。 基于塊的運動分析 ? 基于塊 (Blockbased))的運動分析在圖像運動估計和其它圖像處理和分析中得到了廣泛的應用，比如在數(shù)字視頻壓縮技術中，國際標準 MPEG12采用了基于塊的運動分析和補償算法。塊運動估計與光流計算不同，它無需計算每一個像素的運動，而只是計算由若干像素組成的像素塊的運動，對于許多圖像分析和估計應用來說，塊運動分析是一種很好的近似。 ? 塊運動通常分為平移、旋轉、仿射、透視等運動形式，一般情況下，塊運動是這些運動的組合，稱為變形運動(deformation motion) ?步驟 ?在基于塊的運動分析中最為重要的就是塊的匹配。 ?塊匹配的基本思想：在第幀中選擇以為中心、大小為的塊，然后在第幀中的一個較大的搜索窗口內尋找與塊尺寸相同的最佳匹配塊的中心的位移矢量。搜索窗口一般是以第幀中的塊為中心的一個對稱窗口，其大小常常根據先驗知識或經驗來確定。 匹配準則 ?匹配準則－最大互相關準則，最小均方差準則，最小平均絕對值差，最大匹配像素數(shù)量準則 ? 最小均方差準則 (mean square error， MSE)定義如下 ???????????WyxkyyxxIkyxImnyxM S E),(2)]1,(),([1),(通過求上式的極小化可以估計出位移矢量 ),( yx ???r),(m i na r g],[ ),( yxM S Eyx yxT ????? ???對 MSE求極小化的準則可以認為是給窗口內的所有象素強加一個光流約束。最小均方差準則很少通過超大規(guī)模集成電路 (VLSI)來實現(xiàn)，主要原因是用硬件實現(xiàn)平方運算有相當?shù)睦щy。通過超大規(guī)模集成電路 (VLSI)來實現(xiàn)的準則是最小平均絕對差。 ?最小平均絕對差準則 (mean absolute difference，MAD)定義如下 ?位移矢量的估計值為 ???????????WyxkyyxxIkyxImnyxM A D),(|)1,(),(|1),(),(m i na r g],[ ),( yxMA Dyx yxT ????? ???最大匹配像素數(shù)量準則 (matching pel count，MPC) －這種方法是將窗口內的匹配象素和非匹配象素根據下式分類： ?T是預先確定的閾值．這樣，最大匹配像素數(shù)量準則為 ??? ??????????其它如果 0|)1,(),(|1),( TkyyxxIkyxIyxyxT? ? ??????? Wyx yyxxTyxM P C ),( ),(),(),(m i na r g],[ ),( yxMP Cyx yxT ????? ??搜索策略 ?為了求得最佳位移估計，可以計算所有可能的位移矢量對應的匹配誤差，然后選擇最小匹配誤差對應的矢量就是最佳位移估計值，這就是全搜索策略。這種策略的最大優(yōu)點是可以找到全局最優(yōu)值，但十分浪費時間，因此，人們提出了各種快速搜索策略。盡管快速搜索策略得到的可能是局部最優(yōu)值，但由于其快速計算的實用性，在實際中得到了廣泛的應用。下面討論一種快速搜索方法：步搜索或對數(shù)搜索。 ? 設窗口大小為 15 15 ，當前象素值位于窗口中心，用“ 0”來標記，第一步，選擇標記為 “ 0”和 “ 1”的 9個象素計算匹配準則函數(shù)，如果最佳匹配仍在 “ 0”處，則無運動。第二步，以第一步最佳匹配對應的象素點為中心