【文章內(nèi)容簡介】 存的讀寫。對持續(xù)采集大量圖像數(shù)據(jù)的攝像頭來說，用mmap的內(nèi)存映射方式來傳送數(shù)據(jù)，更能體現(xiàn)效率。mmap調(diào)用的格式是:void* mmap(void* start,size t length,int prot,int flags,int fd,off t offset)。參數(shù)fd是被映射到內(nèi)存文件的描述符。start指向欲對應(yīng)的內(nèi)存起始地址。length為映射到內(nèi)存的文件大小。offset為目標文件中被映射部分起始點距文件開頭的偏移量。mmap調(diào)用成功后，其返回值就是指向內(nèi)存映射區(qū)域的指針，該內(nèi)存區(qū)域的大小就是由length參數(shù)指定的字節(jié)長度，接著應(yīng)用程序就可以對該區(qū)域進行存取操作。V4L視頻程序設(shè)計時必須聲明兩個頭文件sys/,}然后，遵循V4L給出video device數(shù)據(jù)結(jié)構(gòu)的定義:typedef struct v41 input] int fd。 struct video capability capability。/*設(shè)備的基本信息*/ struct video_picture picture。/*設(shè)備采集的圖象的各種屬性*/ struct video mmap mmap。/*用于設(shè)置~ap*/ struct video一 mbuf mbuf。/*利用~ap進行映射的幀的信息*/ unsigned char *map。/*存放返回地址*/ char device[256]。 int width。 int height。 struct frame * f。 pthreadwe tthread。 int cur frame。 int framestat[2]。/*雙緩沖*/ }video_ device。主要用到的采集操作函數(shù)定義如下: int v41_ open(char *name } video device *vd)。/*打開設(shè)備文件*/ int v41_ close(video_device *vd)。/*關(guān)閉設(shè)備文件*/ int v41get capability(video一evice *vd)。 /*取得設(shè)備文件的相關(guān)信息*/ int v41get_pictwe(video_ device *vd)。 /*取得輸入到攝像頭的影像信息*/ int v41_ set}alette(v4ldevice *vd, int palette)/*設(shè)置采集圖片格式*/ int v41_grab_ init(v41_ device *vd, int width, int height)。/*采集初始化*/ int v41grab frame(video一evice *vd, int frame)。 /*將影像放到mmap()映射的內(nèi)存*/ int v41grab_ sync(v41_ device *vd)。 /*同步，等待一幀影像采集的完成*/ int v41_ mmap(v41一evice *vd)。 /*內(nèi)存映射*/ int v41get mbuf(v41_ device *vd)。 /*得到用于內(nèi)存映射的緩沖區(qū)信息*/ unsigned char *v41_get address(v41_ device *vd)/*將采集數(shù)據(jù)的起始地址以指針返回*/圖4. 2 V4L視頻采集流程圖下面給出幾個主要函數(shù)的實現(xiàn):(1)v41_ open()函數(shù) define DEFAULT DEVICE /dev/video0int v41_ open(char *named video一 device *vd){if (!dev) dev=DEFAULTse DEVICE。 if ((vdfd=open(dev} O RDWR))0) return一1。 if (v4lJget capability(vd)) return一1。 if (v41_,getpicture(vd)) return一1。 return 0。 } 這里先定義了常量DEFAULT DEVICE，作為默認的視頻設(shè)備，當應(yīng)用程序輸入的dev設(shè)備文件參數(shù)不存在時，就使用“/dev/video0”這個默認值，設(shè)備文件開啟后，將回傳的文件描述符放到vdfd里。(2 ) v41get一 capability()函數(shù) int v41}et capability(video device *vd)if (ioctl(vdfd} VIDIOCGCAP, amp。(vdcapability))0) return一1。else return 0。 } 在v41 open()函數(shù)中可以看到，成功開啟設(shè)備文件后，通過調(diào)用v41_get capability()和v41_get}icture()兩個函數(shù)來實現(xiàn)對設(shè)備的信息以及圖像信息的獲取。v41get capability()函數(shù)通過調(diào)用ioctl()函數(shù)來取得設(shè)備文件的相關(guān)信息，并將取得的信息放到video capability結(jié)構(gòu)里。v41_getpicture()與此類似。(3 ) v41 mmap()函數(shù) int v41一 mmap(v4ldevice *vd)if(v4lJget mbuf(vd)0) return一1。if((vdmap=mmap(0, vd, PROT_READ}PROTes WRITE, MAP SHARED, vdfd,0))0) return一I。else return 0。這里首先用要v41_getes mbuf()函數(shù)得到映射緩沖區(qū)的信息，如緩沖區(qū)的大小mbuf. size，然后，利用前面介紹的~ap()函數(shù)將攝像頭文件和內(nèi)存緩沖區(qū)建立連接。捕捉到的圖像幀被存放到內(nèi)存映射區(qū)后，要對其進行處理就必須訪問該內(nèi)存映射區(qū)，包括圖像識別或壓縮處理。根據(jù)系統(tǒng)應(yīng)用功能設(shè)計，本監(jiān)控系統(tǒng)要對實時圖像進行檢測，當有異常發(fā)生時，通過GPRS模塊的Internet無線接入，將異常圖像以彩信郵件方式及時、準確的發(fā)送到用戶的手機屏幕上、電子郵箱中或監(jiān)控中心的電腦屏幕上，達到無線遠程監(jiān)控以及智能報警的目的。4. 2. 1基本結(jié)構(gòu)與算法原理。其中圖像識別單元，聲音報警單元是下面將要介紹的。圖4. 3圖像識別報警單元模塊基本結(jié)構(gòu)可以看出比較關(guān)鍵的部分是圖像識別單元。這部分需要對監(jiān)控范圍內(nèi)的對象變化進行判斷，因此要滿足如下要求:(1)實時性好。能夠?qū)崟r對闖入監(jiān)控范圍的內(nèi)的對象進行判斷。(2)異常報警準確性高。能夠濾掉一些錯誤信息，如蒼蠅等小飛蟲:(3)環(huán)境適應(yīng)能力強。系統(tǒng)能在各種光照條件下工做適應(yīng)日光、燈光強度變化的影響。實現(xiàn)這種自動監(jiān)控系統(tǒng)的圖像識別算法通常有三種:(1)幀間相減技術(shù)。幀間相減技術(shù)較為簡單，它的原理是系統(tǒng)首先獲得外部靜態(tài)環(huán)境的原始圖像，當監(jiān)控啟動后，在一定間隔內(nèi)采集一幅圖像與原始圖像進行像素值比較，設(shè)定一閡值，當超過它時表明有物體進入觀察區(qū)域，通過調(diào)整閉值的大小來改變報警的級別。(2)相關(guān)性檢測技術(shù)。相關(guān)性檢測技術(shù)是指當給定一幅圖像大小為MxN的數(shù)字圖像法f (x,y)，與另一幅圖像相同大小的數(shù)字圖像w (x, y)比較，求它們之間的相關(guān)性(。l。它們之間相關(guān)定義下式所示:其中m=O}M1,n=O}N1。再對(1)式進行歸一化由(2)式表示:值越大表示兩幅圖像越近似，通過對幾的閉值設(shè)置來判別是否報警， (3)當物體進入監(jiān)控范圍后，通過提取它的邊、角、峰、谷等局部視圖區(qū)域中最富有結(jié)構(gòu)、紋理和運動信息來判別【’“]。通過邊緣提取技術(shù)(如Sobel濾波等)來獲得目標的邊緣圖像。然后將獲得的目標輪廓抽象成圓柱幾何模型，并利用數(shù)學(xué)幾何方法求出每一部分圓柱的質(zhì)心，表示為特征向量。根據(jù)人體生理特征和運動特征，各特征點間存在著一定的距離比例關(guān)系和方位關(guān)系。在檢測過程中將各目標的特征點間的距離比例參數(shù)和方位參數(shù)與人體相應(yīng)的標準參數(shù)比較，若在一定的誤差允許范圍內(nèi)，則表明該目標是人，系統(tǒng)發(fā)出預(yù)警。由于檢測算法是在嵌入式平臺上運行，因此算法不能過于復(fù)雜，所以這里結(jié)合(1) (3)兩種方法，提出基于邊緣的背景去除算法?；谶吘壍谋尘叭コ惴ㄊ紫纫诒O(jiān)控范圍內(nèi)將目標從背景中提取出來，因此背景的去除在整個處理中十分重要，由于背景圖像是靜止的，用實時圖像與背景圖像相減即可濾掉背景而只保留圖像變化信息，不過由于光照情況時刻都在變化，背景圖像也跟著變化，因此做差所用的背景圖像也必須實時進行更新。背景更新通常采用某一時段多幀圖像加權(quán)和，其主要目的是減少噪聲的影響，但這樣得到的背景與實時背景有一定差異當背景圖像發(fā)生緩慢或者劇烈變化時，對于確定形成原因是由背景劇烈變化引起的還是有人進入引起的，還是有一定的誤差。在光線變化的情況下，圖像的邊緣信息是恒定的，因此可以避免普通的背景差因光線強度的變化而造成的誤報警。圖4. 4基于邊緣的背景去除算法的流程圖對圖像的邊緣提取是采用Sobel算子來完成，Sobel算子很容易在空間上實現(xiàn)，而且可以產(chǎn)生較好的邊緣檢測效果，受噪聲的影響也比較小。9]。在利用V4L采集圖像時，調(diào)用v41_ setpalette()函數(shù)，將vd PALETTE_ YUV420，即采用YUV420的圖像采集格式，好處是色差通道可以比亮度通道用更低的采樣率。YUV420表示采樣率為4:2:0，它表示2:1水平向下采樣，2:1垂直向下采樣。假設(shè)采640 X 480大小的圖像，則其在內(nèi)存映射區(qū)數(shù)據(jù)存儲形式為Y ( 640 X 480 ) U(320 X 240) V(320 X240)。取Y 640 X 480)存儲成PGM格式文件，即得到一幀640 X 480的灰度圖像。圖4. 5 Sobe 1算子模板設(shè)圖像中的象素是f(i,j )，根據(jù)下列公式進行計算: 然后根據(jù)一定的閉值來取舍s,大于閩值的點設(shè)為255，小于閡值的點為0，就得到了底為黑(0)邊緣為白(255)的圖像。取十幀背景圖像疊加作為參考的背景圖像，實時邊緣圖像一定是包含背景邊緣的，因此需要進行背景去除，而背景邊緣同時存在于背景圖像和實時圖像中，因此設(shè)實時圖像為f(x,y)，背景圖像為b(x,y),那么只需按如下公式處理便可得到去除背景的目標圖像。經(jīng)過提取之后得到的目標圖像會產(chǎn)生很多噪聲點，影響下一步的判斷，因此有必要將這些噪聲點去除。噪聲點是離散的，而目標邊緣圖像是連續(xù)的。因此，可以通過判斷圖像中的白點是否離散確定噪聲點。對圖像中的每一個像素值m為255的點，取其周圍八個像素點的平均值m，滿足下式:即如果m=255/4，那么就認為這個點是離散的。這樣得到的結(jié)果是去除背景的人的邊緣二值圖像。根據(jù)得到的邊緣圖像信息，可以通過統(tǒng)計圖像邊緣的像素數(shù)來決定是否進行報警，通常情況下，如果邊緣的像素數(shù)超過整個圖像的1/100，就認為有目標出現(xiàn)。這樣可以通過設(shè)定閉值來過濾一些不用關(guān)心的小目標，比如說小飛蟲等進入監(jiān)控范圍內(nèi)所造成的圖像變化。此算法來去除實時圖像中的背景是簡單而高效的，非常適用于實時處理。4. 2. 3語音采集與報警的實現(xiàn)在面向多媒體的嵌入式處理器中，大多帶有音頻總線控制器，例如PXA255。利用處理器的這一特點，可以設(shè)計出語音采集與報警的功能。PXA255內(nèi)置I2S音頻控制器，I2S是同步串行總線接口，總線上最多只能有一個主控設(shè)備，由它產(chǎn)生所有的時鐘MCLK, LRCLK, SCLK信號。數(shù)據(jù)總是在時鐘的觸發(fā)下從發(fā)送端流向接收端。圖4. 7 I2S總線上的設(shè)備I2S接口的解碼芯片選擇Philips公司的UDA1341TS編解碼芯片。它價格低廉，支持全雙工采樣。采樣精度支持16, 18, 20位，采樣頻率最高為48kHz由于聲音報警對音量要求高，所以，設(shè)計硬件時就要使用功放芯片，系統(tǒng)設(shè)計時使用了yamaha公司的YDA 144音頻功放芯片來增加音頻接口的驅(qū)動能力。系統(tǒng)啟動時首先初始化解碼器芯片，然后申請2個DMA通道用于音頻傳輸，系統(tǒng)通過總線控制音頻數(shù)據(jù)流的輸入輸出，并通過一個FIFO隊列作為緩沖。播放音頻數(shù)據(jù)時，系統(tǒng)一次設(shè)置完成DMA控制器的源數(shù)據(jù)地址、目的地址、數(shù)據(jù)長度信息，DMA控制器會自動發(fā)送源緩沖區(qū)中的數(shù)據(jù)填充FIFO，直到發(fā)送完成設(shè)定的數(shù)據(jù)長度才向系統(tǒng)申請中斷。在UDA1341TS驅(qū)動程序中配置I2S寄存器為標準數(shù)據(jù)幀來配合PXA255中的I2S編碼器通信，即數(shù)據(jù)的第一個有效位(MSB)發(fā)生在LRCLK跳變以后的第二個SCLK時鐘。圖4. 8工2S總線上標準數(shù)據(jù)幀格式UDA 1341 TS驅(qū)動程序采用Linux上的音頻編程接口OSS ( Open Sound System ) o在音頻驅(qū)動初始化的過程中，使用register sound dsp()函數(shù)將音頻設(shè)備注冊為設(shè)備文件/dev/dsp oint register soundes dsp(struct file operations *fops,int dev)參數(shù)fops指定了設(shè)備驅(qū)動程序的操作方法，dev是設(shè)備的編號，如果是一1，則系統(tǒng)會自動分配一個未使用的音頻設(shè)備編號。DSP設(shè)備驅(qū)動包括的方法主要有open, write,read, release, ioctl, poll。音頻設(shè)備驅(qū)動設(shè)計時首先實現(xiàn)的是open方法，主要的任務(wù)是負責(zé)DMA緩沖區(qū)的初始化。初始化四個默認的全局變量: audio rate音頻采樣頻率 audio channels—音頻通道數(shù)量 audio一 fragsiz一音頻緩沖區(qū)片大小