【文章內容簡介】 素是最重要和最基本的概念。結構元素在形態(tài)變換中的作用相當于信號處理的“濾波窗口”。(1) 膨脹膨脹有幾種不同的定義形式，通常其運算符用表示，比如：A用B來膨脹寫作，最直觀的定義形式如下： （）其中表示為集合B的映射。上式表明用B膨脹A的過程：先對B做關于原點的映射，再將其映像平移x，這里A與B映像的交集不為空集。即是B來膨脹A得到的集合是的位移與A至少有1個非零元素相交時B的原點位置的集合。膨脹運算在數(shù)學形態(tài)學中的作用是修復原屬于一個整體的分開的若干個像素點集合，即把圖像周圍的背景點合并到物體中。如果兩個物體之間距離比較近，那么膨脹運算可能會使這兩個物體連通在一起，它可以用來填補物體中的空洞。例如，一個物體顯示在二值圖像上可能受到噪聲等干擾，使得物體本身像素值為1的點相互分散又靠得很近，那么膨脹運算可能會使這些像素點連通在一起，最終獲得完整的物體。膨脹的結構單元B可以根據(jù)需要進行定義。(2) 腐蝕在數(shù)學形態(tài)學實際應用過程中，腐蝕的運算符用來表示。比如：A用B來腐蝕，就寫作。其概念常定義為： （）上式表明對每一個像素，以該像素點為原點的腐蝕結構B完全屬于A，則該像素屬于腐蝕結果的像素集合。即是用B來腐蝕A得到的集合是B完全包括在A中時B的原點位置的集合。腐蝕是一種消除所有邊界點，使邊界向內部收縮的過程，可以用來消除小且無意義的物體。(3) 開閉運算開閉運算是膨脹和腐蝕兩種基本操作按不同順序的組合。先腐蝕后膨脹的過程為開運算，先膨脹后腐蝕的過程為閉運算。集合A被結構元素B做開運算，記為AB。換句話說，A被B開運算就是A被B腐蝕后的結果再被B膨脹。其定義為： （）開運算一般具有消除細小的突出、削弱狹窄的部分、在纖細點處分離物體、平滑圖像輪廓時又不明顯改變其面積的作用。集合A被結構元素B作閉運算，記為AB。即A被B作閉運算就是A被B膨脹后的結果再被B腐蝕。其定義為： （）閉運算也是平滑圖像的輪廓，但與開運算相反，它具有填充物體內細小空洞、連接鄰近物體、在不明顯改變物體面積的情況下平滑其邊界的作用。開運算和閉運算具有等冪性，即重復一次與多次沒有區(qū)別。通常，由于噪聲的影響，圖像在閾值化后所得到的邊界往往是很不平滑的，物體區(qū)域具有一些噪聲孔，背景區(qū)域上散布著一些小的噪聲物體，連續(xù)的開運算和閉運算可以有效的改善這種情況。(4) 輪廓提取物體的輪廓就是邊界點組成的集合，使用腐蝕操作處理后，物體所有邊界點就消除了。設圖像集合的邊界為edge (A)，先用一個結構元素B腐蝕A，再求取腐蝕結果和A差集就可得到edge (A)，則輪廓提取通過下式得到： （）第三章 運動目標的檢測 引言運動目標檢測（MovingObjectives Detecting, MOD）是指將圖像序列中發(fā)生變化的區(qū)域從背景中分割出來。MOD的基本任務是判斷圖像序列中是否存在運動目標，并確定運動目標的位置。MOD處于整個視頻監(jiān)視系統(tǒng)的最底層，是各種后續(xù)高級應用如目標跟蹤、目標分類、目標行為識別和理解等的基礎。因此MOD成為視頻監(jiān)控系統(tǒng)研究中最重要的課題，也是陰影去除算法研究的基礎。 運動目標檢測算法概述運動目標檢測是整個智能視頻監(jiān)控系統(tǒng)的第一部分，其目的是將運動目標(如車輛，行人等)從圖像中提取出來，檢測效果的好壞直接關系到后續(xù)步驟，而且也關系到整個系統(tǒng)的優(yōu)劣和實用性。運動目標的檢測常常受到光線變化、背景變化以及其它背景運動物體等因素的影響，因此選用一種穩(wěn)定并可靠的檢測方法尤為重要。目前常用的運動檢測方法有光流法、相鄰幀差法、背景差分法。 光流法光流是空間運動物體在觀測成像面上的像素運動的瞬時速度。光流的研究是利用圖像序列中的像素強度數(shù)據(jù)的時域變化和相關性來確定各自像素位置的“運動”，即研究圖像灰度在時間上的變化與景象中物體結構及其運動的關系。一般情況下，光流由相機運動、場景中目標運動或兩者的共同運動產生。對于視頻監(jiān)控系統(tǒng)來說，所用的圖像基本都是攝像機靜止狀態(tài)下攝取得，所以對有實時性和準確性要求的系統(tǒng)來說，純粹使用光流法來檢測運動目標不太實際。更多的是利用光流法與其它方法綜合之后來實現(xiàn)對運動目標檢測。 相鄰幀差法相鄰幀差法即圖像序列差分法，它利用兩幀圖像亮度差的絕對值來分析視頻和圖像序列的運動特性，確定圖像序列中是否有物體運動。這是一種直接簡單的運動檢測方法。其基本思想：如果一幅圖像的某一位置物體發(fā)生變化，那么對應位置的灰度也將發(fā)生變化；而物體沒有發(fā)生變化的部分，其灰度則不發(fā)生變化或變化很小。因此該方法只需比較圖像序列中相鄰兩幅圖像的對應像素灰度的差別。相鄰幀差法的優(yōu)點就是相鄰兩幀的時間間隔很短，用前一幀圖像作為后一幀圖像的背景模型具備較好的實時性，而且其背景不積累、更新速度快、算法計算量小。其缺點是閾值選擇相當關鍵，閾值過低，則不足以抑制背景噪聲，容易將其誤檢測為運動目標；閾值過高，則容易漏檢，將有用的運動信息忽略掉了。另外，當運動目標面積較大，顏色一致時，容易在目標內部產生空洞，無法完整地提取運動目標。因此，相鄰幀差法不能完全提取所有相關的特征像素點，得到的檢測結果不夠精確，在運動目標內部產生的空洞不利于進一步的目標跟蹤等。 背景差法背景差法相對于相鄰幀差法和光流法來說簡單且易于實現(xiàn)，是一種有效的運動目標檢測算法，是固定攝像機對固定場景進行視頻監(jiān)控時檢測運動目標最常用的方法。它的本質思想是利用當前圖像與背景圖像進行比較，選擇區(qū)別較大的像素區(qū)域作為運動目標；而區(qū)別較小的像素區(qū)域則被認為是背景區(qū)域。背景差法必須要有背景圖像，并且背景圖像要隨著光照和外部環(huán)境的變化而實時更新，因此背景差法關鍵是背景建模及其更新。傳統(tǒng)的背景差算法包括二大步驟：(1) 確定背景模型，并建立背景圖像。最簡單的背景模型是時間平均圖像。在背景圖像的初始化算法中，求取一段較長的時間段內，視頻序列圖像每一像素的平均色彩值，作為初始的背景估計圖像。(2) 在像素模式下，用當前圖像減去已知背景圖像來得到差分圖像。如果定義圖像序列為I(x，y，i)，其中x，y代表空間坐標，i表示幀數(shù)，i=(1...N)，N為視頻序列總數(shù)。背景圖像為B(x，y)，則差分圖像可以表示為 （）(3) 對差分圖像做二值化處理,得到運動區(qū)域： （）其中，p為差分圖像中的任何一點，T為閾值。如果M(xp，yp，i)=1，則表示象素點p在第i幀屬于運動區(qū)域(前景區(qū)域)；如果M(xp，yp，i)=0，則表示象素點p在第i幀屬于背景區(qū)域。這種固定背景算法是假定背景在相當長的一段時間內是不會發(fā)生變化的，然后以此為基礎求解運動區(qū)域。事實上，即使是室內環(huán)境，也存在光線等各種變化所造成的干擾，所以固定背景的方法存在很大的局限性。通常的解決辦法是系統(tǒng)需要時常對背景重新初始化，以防止錯誤隨著時間不停地積累造成背景的失效。因此，作為固定背景，它只適用于變化較小的短期的跟蹤問題。 基于RGB顏色空間的混合高斯模型在靜止攝像機條件下，運動目標檢測的關鍵是背景圖像的描述模型即背景模型，它是背景差方法分割前景目標的基礎。背景模型分為單模態(tài)和多模態(tài)兩種。前者在每個背景點上的顏色分布是比較集中的，可以用單個概率分布模型來描述（即只有一個模態(tài)）；后者的分布則比較分散的，需要多個分布模型來共同描述（即具有多個模態(tài)）。自然界中許多的景物和很多的人造物體，如水面的波紋、飄揚的旗幟、搖擺的樹枝等，都呈現(xiàn)出多模態(tài)特性，可以利用混合高斯分布（正態(tài)分布）對背景建模，再進行背景差提取運動目標。這種基于混合高斯模型算法（MoG算法）的運動目標檢測算法即繼承了大多背景差算法簡單易于實現(xiàn)的特點，同時對背景中每個像素建立統(tǒng)計模型，進行學習和更新，完全可以克服多模態(tài)的問題，獲得比較準確實時的背景，從而有效進行運動目標前景的提取[6]。如果背景是完全靜止的，背景圖像的每個像素點，可以用一個高斯分布來描述。但背景場景往往不是絕對靜止的，例如由于樹枝的搖擺運動，背景圖像上的某一像素點在某一時刻可能是樹葉，可能是樹枝，也可能是天空，每一種狀態(tài)的像素點顏色值都是不同的。所以，用一個高斯模型來描述背景并不能反映實際背景。因此，對每個像素點用多個高斯模型混合表示。設t時刻，圖像中像素點(i, j)的觀察值可寫為Xt，則可以認為Xt是一個隨機過程，并且假設任意兩個像素點之間統(tǒng)計獨立，則X(i, j)的特征向量在RGB顏色空間為： （）其中，t時刻，像素的近期彩色歷史可以由K個高斯分布模型的混合去模擬描述這個隨機過程。K值的選取一般由計算能力和內存來決定，K值越大，模型雖然能體現(xiàn)越復雜的場景，但同時計算量也將大幅增加，消耗更多的計算時間?？紤]到計算速度的快慢，一般情況下取3~5個。在當前時刻t點(i, j)的概率分布可用下面的公式來表示： （） （）其中，ωij,k,t是t時刻第k個混合高斯分布的權值，μij,k,t、Σij,k,t分別為第k個高斯分布的均值和方差，η是高斯概率密度函數(shù)。當采用RGB顏色空間進行建模時，認為R、G、B三個通道的分量值是相互獨立且具有相同的方差，則μij,k,t、Σij,k,t可寫成如下形式： （） （）各高斯分布按照優(yōu)先級高低排列，優(yōu)先級qk計算如下： （） 背景模型的更新由于周圍環(huán)境的變化，如光照、風強度等，已經建立好的背景模型可能不再適應變化過之后的環(huán)境。為了增強背景模型的適應性，需要根據(jù)實際的情況，對背景模型進行實時地更新。背景模型的更新就是指不斷利用新的當前時刻視頻圖像更新背景圖像，使背景實時準確反應真實的監(jiān)控場景。更新方法的思想是對于圖像給定點的最新值Xt，與K個高斯分布分別進行匹配，如果有某個高斯分布ηk與它匹配，則用當前值Xt去更新這個ηk的各項參數(shù)；如果沒有任何一項分布ηk與它匹配，就用一個代表當前值Xt的新的分布去代替現(xiàn)有混合高斯分布中的一個分布項。(1) 如果Xt服從某個高斯分布，則用當前值Xt去更新這個高斯分布ηk的均值μ、方差σ和權值ωk,t。匹配的方法是把高斯分布ηk按權值與方差之比ω/σ從大到小排列，然后選擇Xt與均值μj,t1,k足夠接近的第一個高斯分布作為匹配的高斯分布，即Xt滿足下列判別式： （）其中，上式表示Xt服從第j個高斯分布(1＜j＜K)。然后按以下等式對該高斯分布ηk的均值μ、方差σ和權值ωk,t進行更新： （） （） （） （）其中，α為模型分布學習速率，0≤α≤1。對于匹配的模型Mk,j=1，其余的模型（不匹配的分布）為0。經過更新后，權值的總和保持不變，仍然為1。1/α為表示變化快慢的時間常數(shù)，α越小，權值更新的越慢，時間常數(shù)越大；α越大，權值更新的越快，時間常數(shù)越小，混合高斯模型中主高斯分布對背景適應性越好，更有利于背景模型的更新，但對于內部顏色比較一致的運動目標，則目標的運動方向后半部分容易檢測為背景（因為前半部分可能已經更新為背景了），這樣就造成了目標的漏檢。β為調整當前分布的學習速率，當前值匹配分布的程度越好，β越大，參數(shù)調整（學習）的越快，但β太大的話也會引起前面目標漏檢。(2) 如果在K個分布中沒有找到與當前像素匹配的高斯分布，那么可能性最小的高斯分布將被新的高斯分布所替代。新的高斯分布的均值為當前的像素值Xt，具有較大的方差和較小的權值。這種方法的一個顯著優(yōu)點：當某些值被歸為到背景時，現(xiàn)存的背景模型并沒有被破壞，原來的背景顏色一直存在于混合模型中直到被新的背景顏色所取代。因此，當一個物體剛剛靜止下來后一段足夠長的時間內使其被歸為到背景中就開始運動，由于描述以前背景的分布仍然存在于混合模型中，只是可能性較低，這樣的話，以前的背景就會很快就能恢復回來。 運動目標的檢測與提取由于有噪聲的影響，背景圖像庫中某些圖像的有些像素點并不能真正地代表背景，用這類像素建立的高斯分布模型是應該被去除。場景中像素值是屬于前景還是屬于背景可以通過分析混合高斯模型中相應的權值和方差得出：一般來說，我們可以認為運動中物