【文章內(nèi)容簡介】 明顯，從而使圖片更容易被算法識別出來。然后利用 OpenCV 自帶的 Haar 特征來分類 器，可以快速的提取出人臉器官。 視頻挖掘方案 我們采用基于人臉的幾何特征識別方案進(jìn)行人臉識別，即通過 OpenCV 的分類器定位出人臉器官的七個特征點，即四個眼角點、鼻尖點和兩個嘴角點，利用它們的相對位置和角度確定十個特征向量，并對其進(jìn)行運算。用加權(quán)函數(shù)來計算特征相似度，通過設(shè)定閥值來確保準(zhǔn)確率。然后與數(shù)據(jù)庫中預(yù)存的特征進(jìn)行匹配，從而得出相關(guān)人物的視頻文件。 第三章 視頻預(yù)處理 視頻預(yù)處理 視頻預(yù)處理的主要步驟：實現(xiàn)從視頻文件提取出幀圖片，然后對幀圖片進(jìn)行理，包括：光線補(bǔ)償技術(shù)、高斯平滑技術(shù)、圖片灰度化、 灰度均衡技術(shù)、對比度增強(qiáng)技術(shù)和圖片尺寸縮放。流程圖如下圖： 幀提取 從視頻文件中提取幀圖片，根據(jù) OpenCV 提供的函數(shù)對視頻文件進(jìn)行幀提取，本系統(tǒng)對視頻文件處理后，將每一幀存儲為 jpg 文件。 視頻預(yù)處理 獲取幀圖像 光線補(bǔ)償 高斯平滑 圖片灰度化 灰度均衡 對比度增強(qiáng) 圖片尺寸縮放 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 9 光線補(bǔ)償技術(shù) 因為在不同的環(huán)境中，光線對圖像會產(chǎn)生干擾，圖像就會變得或明或暗，我們就要對其進(jìn)行調(diào)整，所以采用光線補(bǔ)償來處理圖像的亮度變化。 高斯平滑技術(shù) 在視頻圖像的采集過程中，由于外界條件的干擾，則采集的圖片中會出現(xiàn)一些噪音，這就會使圖像在進(jìn)行轉(zhuǎn)化、識別時發(fā)生的數(shù)據(jù)的遺失和損壞等，這些會對以后圖片的訓(xùn)練產(chǎn)生干擾，所以將圖片進(jìn)行平滑處理來消除噪聲的干擾。 圖片灰度化 進(jìn)行灰度轉(zhuǎn)換時，我們要保證圖像信息保持不變。我們在使用灰度轉(zhuǎn)換時，先對圖像數(shù)據(jù)進(jìn)行統(tǒng)計，經(jīng)過比較后得出一個合適的灰度值，然后對圖像進(jìn)行灰度變換。 灰度均衡技術(shù) 經(jīng)過灰度轉(zhuǎn)換后，就要進(jìn)行灰度均衡化操作，最后通過灰度分布來對圖像進(jìn)行灰度均衡。 對比度增強(qiáng)技術(shù) 通過對某個圖片的點進(jìn)行 定位，然后將其周圍的像素值進(jìn)行統(tǒng)計，再通過聚集技術(shù)將相鄰的像素值拉開，使他們之間的差距拉大。 圖片尺寸縮放 把處理后的圖片縮放到固定的尺寸，從而保證圖像信息的一致性，提升計算速度和準(zhǔn)確度。 第四章 特征提取 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 10 特征提取 特征提取的主要步驟：首先根據(jù) Haar 分類器和 Adaboost 算法進(jìn)行人臉檢測和面部器官進(jìn)行特征提取，然后對得到的特定器官（眼角、鼻尖、嘴角、眉角）的位置進(jìn)行處理，最終得到人臉的標(biāo)準(zhǔn)化特征值。流程圖如下： 特征提取方案 我們使用基于人臉的幾何特征識別算法進(jìn)行特征提取。首先利用 Haar 特征分類器和 AdaBoost 算法來定位人臉，和提取出人臉的特定器官：兩個眼角、鼻尖、兩個嘴角、兩個眉角。最后計算它們的相對位置從而得出人臉的幾何特征值，最后通過特征值的運算得到相似臉。 分類器算法 Haar 分類器算法的主要步驟包括： ? 使用 Haarlike 特征做檢測。 ? 使用積分圖（ Integral Image）對 Haarlike 特征求值進(jìn)行加速。 ? 使用 AdaBoost 算法訓(xùn)練區(qū)分人臉和非人臉的強(qiáng)分類器。 使用篩選式級聯(lián)把強(qiáng)分類器級聯(lián)到一起，提高準(zhǔn)確率。 特征 AdaBoost 算法的實現(xiàn)，采用的是輸入圖像的矩形特征，也叫 Haar 特征。下面簡要介紹矩形特征的特點。 影響 Adaboost 檢測訓(xùn)練算法速度很重要的兩方面是特征的選取和特征值的計算。臉部的一些特征可以由矩形特征簡單地描繪。用下圖示范： 人臉檢測 特征提取 特征處理 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 11 上圖中兩個矩形特征，表示出人臉的某些特征。比如中間一幅表示眼睛區(qū)域的顏色比臉頰 區(qū)域的顏色深，右邊一幅表示鼻梁兩側(cè)比鼻梁的顏色要深。同樣，其他目標(biāo)，如眼睛等，也可以用一些矩形特征來表示。使用特征比單純地使用像素點具有很大的優(yōu)越性，并且速度更快。 在給定有限的數(shù)據(jù)情況下，基于特征的檢測能夠編碼特定區(qū)域的狀態(tài)，而且基于特征的系統(tǒng)比基于象素的系統(tǒng)要快得多。矩形特征對一些簡單的圖形結(jié)構(gòu)，比如邊緣、線段，比較敏感，但是其只能描述特定走向（水平、垂直、對角）的結(jié)構(gòu)，因此比較粗略。如上圖，臉部一些特征能夠由矩形特征簡單地描繪，例如，通常，眼睛要比臉頰顏色更深；鼻梁兩側(cè)要比鼻梁顏色要深；嘴巴要比周圍顏 色更深。 算法 Adaboost 是一種迭代算法，其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的分類器 (弱分類器 )，然后把這些弱分類器集合起來，構(gòu)成一個更強(qiáng)的最終分類器 (強(qiáng)分類器 )。 整個過程如下所示： 1. 先通過對 N 個訓(xùn)練樣本的學(xué)習(xí)得到第一個弱 分類器 ； 2. 將分錯的樣本和其他的新數(shù)據(jù)一起構(gòu)成一個新的 N 個的訓(xùn)練樣本，通過對這個樣本的學(xué)習(xí)得到第二個弱分類器 ； 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 12 3. 將 1 和 2 都分錯了的樣本加上其他的新樣本構(gòu)成另一個新的 N 個的訓(xùn)練樣本，通過對這個樣本的學(xué)習(xí)得到第三個弱分類器； 4. 最終經(jīng)過提升的強(qiáng)分類器 。即某個數(shù)據(jù)被分為哪一類要通過 ， ……的多數(shù)表決。 其算法本身是通過改變數(shù)據(jù)分布來實現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來確定每個樣本的權(quán)值。 將修改過權(quán)值的新數(shù)據(jù)集送給下層分類器進(jìn)行訓(xùn)練，最后將每次訓(xùn)練得到的分類器最后融合起來，作為最后的決策分類器。使用 adaboost 分類器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特徵，并將關(guān)鍵放 在關(guān)鍵的訓(xùn)練數(shù)據(jù)上面。 特征提取 利用 OpenCV 提供的人臉檢測分類器獲取人臉的特定器官：眼角、鼻尖、嘴角、眉角。例如：根據(jù) OpenCV 提供的人眼檢測分類器： ，可以檢測出人眼位置。然后記錄下人眼的大小和相對位置。 特征處理（標(biāo)準(zhǔn)化特征值） 特征值依次為：左眼的寬度 d鼻尖到雙眼連線的垂直距離 d2,、人臉左右邊界的距離 d嘴巴的寬度 d兩眼中心與左嘴角水平距離 d兩眼外側(cè)的水平距離 d右眼的外側(cè)眼角與鼻頂?shù)乃骄嚯x d左眼的內(nèi)側(cè)眼角與鼻頂?shù)乃骄嚯x d嘴巴中點與鼻尖的垂直距離 d鼻尖與嘴角的距離 d10。并將這些距離特征值與眼睛中點到嘴巴終點間垂直距離 L 之比定義為標(biāo)準(zhǔn)化特征值。 標(biāo)準(zhǔn)化特征值： Vi = di/L, i=1,2,3...10 第五章 視頻挖掘 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 13 視頻挖掘 視頻挖掘的主要步驟：首先對人臉圖像樣本的標(biāo)準(zhǔn)化特征值和數(shù)據(jù)庫已有的標(biāo)準(zhǔn)化特征值進(jìn)行加權(quán)歐式距離計算，得到人臉樣本與已有視頻的相似度，其中相似度在閥值范圍內(nèi)的視頻文件即為要搜索的視頻文件。流程圖如下： 視頻挖掘方案 首先對目標(biāo)人物和數(shù)據(jù)庫中已有的視頻文件進(jìn)行特征提取和特征處理，然后利用加權(quán)的歐式距離計算公式計算相似度，從而計算出目標(biāo)人物與數(shù)據(jù)庫中已有人物的相似度，最后得出誤差允許范圍內(nèi)的視頻文件，即為與目標(biāo)人物匹配的視頻文件。 相似度計算 根據(jù)目標(biāo)人物的視頻提取出人物特征，查找視頻集中相關(guān)的人物視頻 對已知人物的視頻文件進(jìn)行分析和預(yù)處理，然后提取出人物的標(biāo)準(zhǔn)化特征值vi(i=1,2...10)。 對已有的視頻集中的視頻文件進(jìn)行同樣的分析和處理，提取出人物的標(biāo)準(zhǔn)化特征值組，并將數(shù)據(jù)存儲到數(shù)據(jù)庫中。 根據(jù)歐式距離的公式 d=sqrt( ∑(xi1xi2)^2 ) 這里 i=1,2..n 計算出人物的相似程度， d 的閥值月小，誤碼率越低。 考慮到上面計算誤差較大，充分考慮到各個特征至的大小差異和重要程度，采用加權(quán)的歐式距離公式來計算相似度： d=sqrt( ∑wi(xi1xi2)^2 ) 這里i=1,2..n,wi 表示權(quán)值。 標(biāo)準(zhǔn)化特征值計算 數(shù)據(jù)庫 檢索 獲取對應(yīng)視頻文件 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 14 數(shù)據(jù)庫檢索 本論文使用的數(shù)據(jù)庫中存儲了需要檢索的視頻集，其中某些視頻文件中包含了目標(biāo)人物。我們首先需要對視頻進(jìn)行預(yù)處理，然后進(jìn)行基于人臉的幾何特征提取和特征值處理，從而為每個視頻文件設(shè)置一個基于人臉幾何特征值的標(biāo)簽。當(dāng)進(jìn)行視頻檢索時只需要要把目標(biāo)人物與視頻文件的特征值標(biāo)簽進(jìn)行相似度計算。 獲取對應(yīng)視頻文件 數(shù)據(jù)庫中符合誤差標(biāo)準(zhǔn)的特征值標(biāo)簽所對應(yīng)的視頻文件即為想要尋找的視頻文件。 第六章 系統(tǒng)測試及運行結(jié) 果 測試原則 (1)根據(jù)前期寫的功能需求進(jìn)行整個系統(tǒng)的測試。 (2)需要清晰明了的書寫測試文檔和測試結(jié)果。 (3)程序員需要根據(jù)測試文檔對自己的系統(tǒng)進(jìn)行改進(jìn)和說明 測試方案及結(jié)果 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘解決方案主要由視頻文件的預(yù)處理、人臉的檢測、特征的提取、視頻挖掘四個部分組成。其中視頻挖掘的算法對識別精度有較大影響，因此需要重點測試，并根據(jù)測試結(jié)果進(jìn)行進(jìn)一步的算法改進(jìn)。 視頻文件的預(yù)處理 提取出視頻文件的幀圖片，然后對圖像進(jìn)行處理：光線補(bǔ)償、高斯平滑、 圖片灰度化、灰度均衡、對比度增強(qiáng)（直方圖均衡化）、圖片尺寸縮放 （ 1）視頻文件取幀 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 15 （ 2）圖像處理 人臉檢測和臉部器官檢測 通過 OpenCV 自帶的分類器： 檢測出人臉位置，通過 等，檢測出人眼、鼻子、眉毛、嘴等位置信息。 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 16 人視頻挖掘 通過人臉的幾何特征算法，利用人臉器官的七個特征點，即四個眼角點、鼻尖點和兩個嘴角點，利用它們的相對位置和角度作為特征值，進(jìn)行加權(quán)的歐氏距離計算，與數(shù)據(jù)庫中預(yù)存的特你們征信息進(jìn)行匹配，得到與人物相關(guān)的視頻文件。 第七章 結(jié)束語 應(yīng)用程序特點 （ 1）基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘以 Windows， VS20xx 為開發(fā)平臺，使用OpenCV 提供的視覺處理接口，采用面向?qū)ο蟮姆椒?，?C++及 C 語言編寫程序。 （ 2）本解決方案采用封裝思想，把各個功能模塊獨立封裝起來，提高了代碼的耦合性，是程序的設(shè)計更加簡潔，代 碼運行更加高效 （ 3）本程序的改進(jìn)和擴(kuò)展。本系統(tǒng)中許多結(jié)構(gòu)和算法需要進(jìn)一步改進(jìn)的優(yōu)化，因為模塊的獨立性所以可以方便的添加功能而不影響原有功能。 心得體會 在這段時間的程序編寫和算法研究過程中遇到了很多的問題和考驗，在指導(dǎo)