【文章內(nèi)容簡(jiǎn)介】 素是最重要和最基本的概念。結(jié)構(gòu)元素在形態(tài)變換中的作用相當(dāng)于信號(hào)處理的“濾波窗口”。(1) 膨脹膨脹有幾種不同的定義形式，通常其運(yùn)算符用表示，比如：A用B來(lái)膨脹寫(xiě)作，最直觀的定義形式如下： （）其中表示為集合B的映射。上式表明用B膨脹A的過(guò)程：先對(duì)B做關(guān)于原點(diǎn)的映射，再將其映像平移x，這里A與B映像的交集不為空集。即是B來(lái)膨脹A得到的集合是的位移與A至少有1個(gè)非零元素相交時(shí)B的原點(diǎn)位置的集合。膨脹運(yùn)算在數(shù)學(xué)形態(tài)學(xué)中的作用是修復(fù)原屬于一個(gè)整體的分開(kāi)的若干個(gè)像素點(diǎn)集合，即把圖像周圍的背景點(diǎn)合并到物體中。如果兩個(gè)物體之間距離比較近，那么膨脹運(yùn)算可能會(huì)使這兩個(gè)物體連通在一起，它可以用來(lái)填補(bǔ)物體中的空洞。例如，一個(gè)物體顯示在二值圖像上可能受到噪聲等干擾，使得物體本身像素值為1的點(diǎn)相互分散又靠得很近，那么膨脹運(yùn)算可能會(huì)使這些像素點(diǎn)連通在一起，最終獲得完整的物體。膨脹的結(jié)構(gòu)單元B可以根據(jù)需要進(jìn)行定義。(2) 腐蝕在數(shù)學(xué)形態(tài)學(xué)實(shí)際應(yīng)用過(guò)程中，腐蝕的運(yùn)算符用來(lái)表示。比如：A用B來(lái)腐蝕，就寫(xiě)作。其概念常定義為： （）上式表明對(duì)每一個(gè)像素，以該像素點(diǎn)為原點(diǎn)的腐蝕結(jié)構(gòu)B完全屬于A，則該像素屬于腐蝕結(jié)果的像素集合。即是用B來(lái)腐蝕A得到的集合是B完全包括在A中時(shí)B的原點(diǎn)位置的集合。腐蝕是一種消除所有邊界點(diǎn)，使邊界向內(nèi)部收縮的過(guò)程，可以用來(lái)消除小且無(wú)意義的物體。(3) 開(kāi)閉運(yùn)算開(kāi)閉運(yùn)算是膨脹和腐蝕兩種基本操作按不同順序的組合。先腐蝕后膨脹的過(guò)程為開(kāi)運(yùn)算，先膨脹后腐蝕的過(guò)程為閉運(yùn)算。集合A被結(jié)構(gòu)元素B做開(kāi)運(yùn)算，記為AB。換句話說(shuō)，A被B開(kāi)運(yùn)算就是A被B腐蝕后的結(jié)果再被B膨脹。其定義為： （）開(kāi)運(yùn)算一般具有消除細(xì)小的突出、削弱狹窄的部分、在纖細(xì)點(diǎn)處分離物體、平滑圖像輪廓時(shí)又不明顯改變其面積的作用。集合A被結(jié)構(gòu)元素B作閉運(yùn)算，記為AB。即A被B作閉運(yùn)算就是A被B膨脹后的結(jié)果再被B腐蝕。其定義為： （）閉運(yùn)算也是平滑圖像的輪廓，但與開(kāi)運(yùn)算相反，它具有填充物體內(nèi)細(xì)小空洞、連接鄰近物體、在不明顯改變物體面積的情況下平滑其邊界的作用。開(kāi)運(yùn)算和閉運(yùn)算具有等冪性，即重復(fù)一次與多次沒(méi)有區(qū)別。通常，由于噪聲的影響，圖像在閾值化后所得到的邊界往往是很不平滑的，物體區(qū)域具有一些噪聲孔，背景區(qū)域上散布著一些小的噪聲物體，連續(xù)的開(kāi)運(yùn)算和閉運(yùn)算可以有效的改善這種情況。(4) 輪廓提取物體的輪廓就是邊界點(diǎn)組成的集合，使用腐蝕操作處理后，物體所有邊界點(diǎn)就消除了。設(shè)圖像集合的邊界為edge (A)，先用一個(gè)結(jié)構(gòu)元素B腐蝕A，再求取腐蝕結(jié)果和A差集就可得到edge (A)，則輪廓提取通過(guò)下式得到： （）第三章 運(yùn)動(dòng)目標(biāo)的檢測(cè) 引言運(yùn)動(dòng)目標(biāo)檢測(cè)（MovingObjectives Detecting, MOD）是指將圖像序列中發(fā)生變化的區(qū)域從背景中分割出來(lái)。MOD的基本任務(wù)是判斷圖像序列中是否存在運(yùn)動(dòng)目標(biāo)，并確定運(yùn)動(dòng)目標(biāo)的位置。MOD處于整個(gè)視頻監(jiān)視系統(tǒng)的最底層，是各種后續(xù)高級(jí)應(yīng)用如目標(biāo)跟蹤、目標(biāo)分類、目標(biāo)行為識(shí)別和理解等的基礎(chǔ)。因此MOD成為視頻監(jiān)控系統(tǒng)研究中最重要的課題，也是陰影去除算法研究的基礎(chǔ)。 運(yùn)動(dòng)目標(biāo)檢測(cè)算法概述運(yùn)動(dòng)目標(biāo)檢測(cè)是整個(gè)智能視頻監(jiān)控系統(tǒng)的第一部分，其目的是將運(yùn)動(dòng)目標(biāo)(如車輛，行人等)從圖像中提取出來(lái)，檢測(cè)效果的好壞直接關(guān)系到后續(xù)步驟，而且也關(guān)系到整個(gè)系統(tǒng)的優(yōu)劣和實(shí)用性。運(yùn)動(dòng)目標(biāo)的檢測(cè)常常受到光線變化、背景變化以及其它背景運(yùn)動(dòng)物體等因素的影響，因此選用一種穩(wěn)定并可靠的檢測(cè)方法尤為重要。目前常用的運(yùn)動(dòng)檢測(cè)方法有光流法、相鄰幀差法、背景差分法。 光流法光流是空間運(yùn)動(dòng)物體在觀測(cè)成像面上的像素運(yùn)動(dòng)的瞬時(shí)速度。光流的研究是利用圖像序列中的像素強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性來(lái)確定各自像素位置的“運(yùn)動(dòng)”，即研究圖像灰度在時(shí)間上的變化與景象中物體結(jié)構(gòu)及其運(yùn)動(dòng)的關(guān)系。一般情況下，光流由相機(jī)運(yùn)動(dòng)、場(chǎng)景中目標(biāo)運(yùn)動(dòng)或兩者的共同運(yùn)動(dòng)產(chǎn)生。對(duì)于視頻監(jiān)控系統(tǒng)來(lái)說(shuō)，所用的圖像基本都是攝像機(jī)靜止?fàn)顟B(tài)下攝取得，所以對(duì)有實(shí)時(shí)性和準(zhǔn)確性要求的系統(tǒng)來(lái)說(shuō)，純粹使用光流法來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)不太實(shí)際。更多的是利用光流法與其它方法綜合之后來(lái)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)。 相鄰幀差法相鄰幀差法即圖像序列差分法，它利用兩幀圖像亮度差的絕對(duì)值來(lái)分析視頻和圖像序列的運(yùn)動(dòng)特性，確定圖像序列中是否有物體運(yùn)動(dòng)。這是一種直接簡(jiǎn)單的運(yùn)動(dòng)檢測(cè)方法。其基本思想：如果一幅圖像的某一位置物體發(fā)生變化，那么對(duì)應(yīng)位置的灰度也將發(fā)生變化；而物體沒(méi)有發(fā)生變化的部分，其灰度則不發(fā)生變化或變化很小。因此該方法只需比較圖像序列中相鄰兩幅圖像的對(duì)應(yīng)像素灰度的差別。相鄰幀差法的優(yōu)點(diǎn)就是相鄰兩幀的時(shí)間間隔很短，用前一幀圖像作為后一幀圖像的背景模型具備較好的實(shí)時(shí)性，而且其背景不積累、更新速度快、算法計(jì)算量小。其缺點(diǎn)是閾值選擇相當(dāng)關(guān)鍵，閾值過(guò)低，則不足以抑制背景噪聲，容易將其誤檢測(cè)為運(yùn)動(dòng)目標(biāo)；閾值過(guò)高，則容易漏檢，將有用的運(yùn)動(dòng)信息忽略掉了。另外，當(dāng)運(yùn)動(dòng)目標(biāo)面積較大，顏色一致時(shí)，容易在目標(biāo)內(nèi)部產(chǎn)生空洞，無(wú)法完整地提取運(yùn)動(dòng)目標(biāo)。因此，相鄰幀差法不能完全提取所有相關(guān)的特征像素點(diǎn)，得到的檢測(cè)結(jié)果不夠精確，在運(yùn)動(dòng)目標(biāo)內(nèi)部產(chǎn)生的空洞不利于進(jìn)一步的目標(biāo)跟蹤等。 背景差法背景差法相對(duì)于相鄰幀差法和光流法來(lái)說(shuō)簡(jiǎn)單且易于實(shí)現(xiàn)，是一種有效的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，是固定攝像機(jī)對(duì)固定場(chǎng)景進(jìn)行視頻監(jiān)控時(shí)檢測(cè)運(yùn)動(dòng)目標(biāo)最常用的方法。它的本質(zhì)思想是利用當(dāng)前圖像與背景圖像進(jìn)行比較，選擇區(qū)別較大的像素區(qū)域作為運(yùn)動(dòng)目標(biāo)；而區(qū)別較小的像素區(qū)域則被認(rèn)為是背景區(qū)域。背景差法必須要有背景圖像，并且背景圖像要隨著光照和外部環(huán)境的變化而實(shí)時(shí)更新，因此背景差法關(guān)鍵是背景建模及其更新。傳統(tǒng)的背景差算法包括二大步驟：(1) 確定背景模型，并建立背景圖像。最簡(jiǎn)單的背景模型是時(shí)間平均圖像。在背景圖像的初始化算法中，求取一段較長(zhǎng)的時(shí)間段內(nèi)，視頻序列圖像每一像素的平均色彩值，作為初始的背景估計(jì)圖像。(2) 在像素模式下，用當(dāng)前圖像減去已知背景圖像來(lái)得到差分圖像。如果定義圖像序列為I(x，y，i)，其中x，y代表空間坐標(biāo)，i表示幀數(shù)，i=(1...N)，N為視頻序列總數(shù)。背景圖像為B(x，y)，則差分圖像可以表示為 （）(3) 對(duì)差分圖像做二值化處理,得到運(yùn)動(dòng)區(qū)域： （）其中，p為差分圖像中的任何一點(diǎn)，T為閾值。如果M(xp，yp，i)=1，則表示象素點(diǎn)p在第i幀屬于運(yùn)動(dòng)區(qū)域(前景區(qū)域)；如果M(xp，yp，i)=0，則表示象素點(diǎn)p在第i幀屬于背景區(qū)域。這種固定背景算法是假定背景在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)是不會(huì)發(fā)生變化的，然后以此為基礎(chǔ)求解運(yùn)動(dòng)區(qū)域。事實(shí)上，即使是室內(nèi)環(huán)境，也存在光線等各種變化所造成的干擾，所以固定背景的方法存在很大的局限性。通常的解決辦法是系統(tǒng)需要時(shí)常對(duì)背景重新初始化，以防止錯(cuò)誤隨著時(shí)間不停地積累造成背景的失效。因此，作為固定背景，它只適用于變化較小的短期的跟蹤問(wèn)題。 基于RGB顏色空間的混合高斯模型在靜止攝像機(jī)條件下，運(yùn)動(dòng)目標(biāo)檢測(cè)的關(guān)鍵是背景圖像的描述模型即背景模型，它是背景差方法分割前景目標(biāo)的基礎(chǔ)。背景模型分為單模態(tài)和多模態(tài)兩種。前者在每個(gè)背景點(diǎn)上的顏色分布是比較集中的，可以用單個(gè)概率分布模型來(lái)描述（即只有一個(gè)模態(tài)）；后者的分布則比較分散的，需要多個(gè)分布模型來(lái)共同描述（即具有多個(gè)模態(tài)）。自然界中許多的景物和很多的人造物體，如水面的波紋、飄揚(yáng)的旗幟、搖擺的樹(shù)枝等，都呈現(xiàn)出多模態(tài)特性，可以利用混合高斯分布（正態(tài)分布）對(duì)背景建模，再進(jìn)行背景差提取運(yùn)動(dòng)目標(biāo)。這種基于混合高斯模型算法（MoG算法）的運(yùn)動(dòng)目標(biāo)檢測(cè)算法即繼承了大多背景差算法簡(jiǎn)單易于實(shí)現(xiàn)的特點(diǎn)，同時(shí)對(duì)背景中每個(gè)像素建立統(tǒng)計(jì)模型，進(jìn)行學(xué)習(xí)和更新，完全可以克服多模態(tài)的問(wèn)題，獲得比較準(zhǔn)確實(shí)時(shí)的背景，從而有效進(jìn)行運(yùn)動(dòng)目標(biāo)前景的提取[6]。如果背景是完全靜止的，背景圖像的每個(gè)像素點(diǎn)，可以用一個(gè)高斯分布來(lái)描述。但背景場(chǎng)景往往不是絕對(duì)靜止的，例如由于樹(shù)枝的搖擺運(yùn)動(dòng)，背景圖像上的某一像素點(diǎn)在某一時(shí)刻可能是樹(shù)葉，可能是樹(shù)枝，也可能是天空，每一種狀態(tài)的像素點(diǎn)顏色值都是不同的。所以，用一個(gè)高斯模型來(lái)描述背景并不能反映實(shí)際背景。因此，對(duì)每個(gè)像素點(diǎn)用多個(gè)高斯模型混合表示。設(shè)t時(shí)刻，圖像中像素點(diǎn)(i, j)的觀察值可寫(xiě)為Xt，則可以認(rèn)為Xt是一個(gè)隨機(jī)過(guò)程，并且假設(shè)任意兩個(gè)像素點(diǎn)之間統(tǒng)計(jì)獨(dú)立，則X(i, j)的特征向量在RGB顏色空間為： （）其中，t時(shí)刻，像素的近期彩色歷史可以由K個(gè)高斯分布模型的混合去模擬描述這個(gè)隨機(jī)過(guò)程。K值的選取一般由計(jì)算能力和內(nèi)存來(lái)決定，K值越大，模型雖然能體現(xiàn)越復(fù)雜的場(chǎng)景，但同時(shí)計(jì)算量也將大幅增加，消耗更多的計(jì)算時(shí)間?？紤]到計(jì)算速度的快慢，一般情況下取3~5個(gè)。在當(dāng)前時(shí)刻t點(diǎn)(i, j)的概率分布可用下面的公式來(lái)表示： （） （）其中，ωij,k,t是t時(shí)刻第k個(gè)混合高斯分布的權(quán)值，μij,k,t、Σij,k,t分別為第k個(gè)高斯分布的均值和方差，η是高斯概率密度函數(shù)。當(dāng)采用RGB顏色空間進(jìn)行建模時(shí)，認(rèn)為R、G、B三個(gè)通道的分量值是相互獨(dú)立且具有相同的方差，則μij,k,t、Σij,k,t可寫(xiě)成如下形式： （） （）各高斯分布按照優(yōu)先級(jí)高低排列，優(yōu)先級(jí)qk計(jì)算如下： （） 背景模型的更新由于周圍環(huán)境的變化，如光照、風(fēng)強(qiáng)度等，已經(jīng)建立好的背景模型可能不再適應(yīng)變化過(guò)之后的環(huán)境。為了增強(qiáng)背景模型的適應(yīng)性，需要根據(jù)實(shí)際的情況，對(duì)背景模型進(jìn)行實(shí)時(shí)地更新。背景模型的更新就是指不斷利用新的當(dāng)前時(shí)刻視頻圖像更新背景圖像，使背景實(shí)時(shí)準(zhǔn)確反應(yīng)真實(shí)的監(jiān)控場(chǎng)景。更新方法的思想是對(duì)于圖像給定點(diǎn)的最新值Xt，與K個(gè)高斯分布分別進(jìn)行匹配，如果有某個(gè)高斯分布ηk與它匹配，則用當(dāng)前值Xt去更新這個(gè)ηk的各項(xiàng)參數(shù)；如果沒(méi)有任何一項(xiàng)分布ηk與它匹配，就用一個(gè)代表當(dāng)前值Xt的新的分布去代替現(xiàn)有混合高斯分布中的一個(gè)分布項(xiàng)。(1) 如果Xt服從某個(gè)高斯分布，則用當(dāng)前值Xt去更新這個(gè)高斯分布ηk的均值μ、方差σ和權(quán)值ωk,t。匹配的方法是把高斯分布ηk按權(quán)值與方差之比ω/σ從大到小排列，然后選擇Xt與均值μj,t1,k足夠接近的第一個(gè)高斯分布作為匹配的高斯分布，即Xt滿足下列判別式： （）其中，上式表示Xt服從第j個(gè)高斯分布(1＜j＜K)。然后按以下等式對(duì)該高斯分布ηk的均值μ、方差σ和權(quán)值ωk,t進(jìn)行更新： （） （） （） （）其中，α為模型分布學(xué)習(xí)速率，0≤α≤1。對(duì)于匹配的模型Mk,j=1，其余的模型（不匹配的分布）為0。經(jīng)過(guò)更新后，權(quán)值的總和保持不變，仍然為1。1/α為表示變化快慢的時(shí)間常數(shù)，α越小，權(quán)值更新的越慢，時(shí)間常數(shù)越大；α越大，權(quán)值更新的越快，時(shí)間常數(shù)越小，混合高斯模型中主高斯分布對(duì)背景適應(yīng)性越好，更有利于背景模型的更新，但對(duì)于內(nèi)部顏色比較一致的運(yùn)動(dòng)目標(biāo)，則目標(biāo)的運(yùn)動(dòng)方向后半部分容易檢測(cè)為背景（因?yàn)榍鞍氩糠挚赡芤呀?jīng)更新為背景了），這樣就造成了目標(biāo)的漏檢。β為調(diào)整當(dāng)前分布的學(xué)習(xí)速率，當(dāng)前值匹配分布的程度越好，β越大，參數(shù)調(diào)整（學(xué)習(xí)）的越快，但β太大的話也會(huì)引起前面目標(biāo)漏檢。(2) 如果在K個(gè)分布中沒(méi)有找到與當(dāng)前像素匹配的高斯分布，那么可能性最小的高斯分布將被新的高斯分布所替代。新的高斯分布的均值為當(dāng)前的像素值Xt，具有較大的方差和較小的權(quán)值。這種方法的一個(gè)顯著優(yōu)點(diǎn)：當(dāng)某些值被歸為到背景時(shí)，現(xiàn)存的背景模型并沒(méi)有被破壞，原來(lái)的背景顏色一直存在于混合模型中直到被新的背景顏色所取代。因此，當(dāng)一個(gè)物體剛剛靜止下來(lái)后一段足夠長(zhǎng)的時(shí)間內(nèi)使其被歸為到背景中就開(kāi)始運(yùn)動(dòng)，由于描述以前背景的分布仍然存在于混合模型中，只是可能性較低，這樣的話，以前的背景就會(huì)很快就能恢復(fù)回來(lái)。 運(yùn)動(dòng)目標(biāo)的檢測(cè)與提取由于有噪聲的影響，背景圖像庫(kù)中某些圖像的有些像素點(diǎn)并不能真正地代表背景，用這類像素建立的高斯分布模型是應(yīng)該被去除。場(chǎng)景中像素值是屬于前景還是屬于背景可以通過(guò)分析混合高斯模型中相應(yīng)的權(quán)值和方差得出：一般來(lái)說(shuō)，我們可以認(rèn)為運(yùn)動(dòng)中物