【正文】 ntf( video to image ... n)。 未來(lái)展望 本系統(tǒng)的改進(jìn)方向，主要是對(duì)視頻文件進(jìn)行幀提取后大量圖片進(jìn)行計(jì)算的效率問題，以及對(duì)人臉幾何特征識(shí)別算法的優(yōu)化，以達(dá)到在不犧牲運(yùn)算速度的前提下，進(jìn)一步提高視頻挖掘的準(zhǔn)確率。雖然本次畢業(yè)設(shè)計(jì)還存在一些問題，但是我相信在以后的不斷學(xué)習(xí)中，可以把這套系統(tǒng)做的更好。本系統(tǒng)中許多結(jié)構(gòu)和算法需要進(jìn)一步改進(jìn)的優(yōu)化，因?yàn)槟K的獨(dú)立性所以可以方便的添加功能而不影響原有功能。 第七章 結(jié)束語(yǔ) 應(yīng)用程序特點(diǎn) （ 1）基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘以 Windows， VS20xx 為開發(fā)平臺(tái)，使用OpenCV 提供的視覺處理接口，采用面向?qū)ο蟮姆椒?，?C++及 C 語(yǔ)言編寫程序。 視頻文件的預(yù)處理 提取出視頻文件的幀圖片，然后對(duì)圖像進(jìn)行處理：光線補(bǔ)償、高斯平滑、 圖片灰度化、灰度均衡、對(duì)比度增強(qiáng)（直方圖均衡化）、圖片尺寸縮放 （ 1）視頻文件取幀 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 15 （ 2）圖像處理 人臉檢測(cè)和臉部器官檢測(cè) 通過 OpenCV 自帶的分類器： 檢測(cè)出人臉位置，通過 等，檢測(cè)出人眼、鼻子、眉毛、嘴等位置信息。 (3)程序員需要根據(jù)測(cè)試文檔對(duì)自己的系統(tǒng)進(jìn)行改進(jìn)和說(shuō)明 測(cè)試方案及結(jié)果 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘解決方案主要由視頻文件的預(yù)處理、人臉的檢測(cè)、特征的提取、視頻挖掘四個(gè)部分組成。 第六章 系統(tǒng)測(cè)試及運(yùn)行結(jié) 果 測(cè)試原則 (1)根據(jù)前期寫的功能需求進(jìn)行整個(gè)系統(tǒng)的測(cè)試。當(dāng)進(jìn)行視頻檢索時(shí)只需要要把目標(biāo)人物與視頻文件的特征值標(biāo)簽進(jìn)行相似度計(jì)算。 標(biāo)準(zhǔn)化特征值計(jì)算 數(shù)據(jù)庫(kù) 檢索 獲取對(duì)應(yīng)視頻文件 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 14 數(shù)據(jù)庫(kù)檢索 本論文使用的數(shù)據(jù)庫(kù)中存儲(chǔ)了需要檢索的視頻集，其中某些視頻文件中包含了目標(biāo)人物。 根據(jù)歐式距離的公式 d=sqrt( ∑(xi1xi2)^2 ) 這里 i=1,2..n 計(jì)算出人物的相似程度， d 的閥值月小，誤碼率越低。 相似度計(jì)算 根據(jù)目標(biāo)人物的視頻提取出人物特征，查找視頻集中相關(guān)的人物視頻 對(duì)已知人物的視頻文件進(jìn)行分析和預(yù)處理，然后提取出人物的標(biāo)準(zhǔn)化特征值vi(i=1,2...10)。 標(biāo)準(zhǔn)化特征值： Vi = di/L, i=1,2,3...10 第五章 視頻挖掘 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 13 視頻挖掘 視頻挖掘的主要步驟：首先對(duì)人臉圖像樣本的標(biāo)準(zhǔn)化特征值和數(shù)據(jù)庫(kù)已有的標(biāo)準(zhǔn)化特征值進(jìn)行加權(quán)歐式距離計(jì)算，得到人臉樣本與已有視頻的相似度，其中相似度在閥值范圍內(nèi)的視頻文件即為要搜索的視頻文件。 特征處理（標(biāo)準(zhǔn)化特征值） 特征值依次為：左眼的寬度 d鼻尖到雙眼連線的垂直距離 d2,、人臉左右邊界的距離 d嘴巴的寬度 d兩眼中心與左嘴角水平距離 d兩眼外側(cè)的水平距離 d右眼的外側(cè)眼角與鼻頂?shù)乃骄嚯x d左眼的內(nèi)側(cè)眼角與鼻頂?shù)乃骄嚯x d嘴巴中點(diǎn)與鼻尖的垂直距離 d鼻尖與嘴角的距離 d10。例如：根據(jù) OpenCV 提供的人眼檢測(cè)分類器： ，可以檢測(cè)出人眼位置。使用 adaboost 分類器可以排除一些不必要的訓(xùn)練數(shù)據(jù)特徵，并將關(guān)鍵放 在關(guān)鍵的訓(xùn)練數(shù)據(jù)上面。 其算法本身是通過改變數(shù)據(jù)分布來(lái)實(shí)現(xiàn)的，它根據(jù)每次訓(xùn)練集之中每個(gè)樣本的分類是否正確，以及上次的總體分類的準(zhǔn)確率，來(lái)確定每個(gè)樣本的權(quán)值。 整個(gè)過程如下所示： 1. 先通過對(duì) N 個(gè)訓(xùn)練樣本的學(xué)習(xí)得到第一個(gè)弱 分類器 ； 2. 將分錯(cuò)的樣本和其他的新數(shù)據(jù)一起構(gòu)成一個(gè)新的 N 個(gè)的訓(xùn)練樣本，通過對(duì)這個(gè)樣本的學(xué)習(xí)得到第二個(gè)弱分類器 ； 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 12 3. 將 1 和 2 都分錯(cuò)了的樣本加上其他的新樣本構(gòu)成另一個(gè)新的 N 個(gè)的訓(xùn)練樣本，通過對(duì)這個(gè)樣本的學(xué)習(xí)得到第三個(gè)弱分類器； 4. 最終經(jīng)過提升的強(qiáng)分類器 。如上圖，臉部一些特征能夠由矩形特征簡(jiǎn)單地描繪，例如，通常，眼睛要比臉頰顏色更深；鼻梁兩側(cè)要比鼻梁顏色要深；嘴巴要比周圍顏 色更深。 在給定有限的數(shù)據(jù)情況下，基于特征的檢測(cè)能夠編碼特定區(qū)域的狀態(tài)，而且基于特征的系統(tǒng)比基于象素的系統(tǒng)要快得多。同樣，其他目標(biāo)，如眼睛等，也可以用一些矩形特征來(lái)表示。用下圖示范： 人臉檢測(cè) 特征提取 特征處理 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 11 上圖中兩個(gè)矩形特征，表示出人臉的某些特征。 影響 Adaboost 檢測(cè)訓(xùn)練算法速度很重要的兩方面是特征的選取和特征值的計(jì)算。 特征 AdaBoost 算法的實(shí)現(xiàn)，采用的是輸入圖像的矩形特征，也叫 Haar 特征。 ? 使用 AdaBoost 算法訓(xùn)練區(qū)分人臉和非人臉的強(qiáng)分類器。 分類器算法 Haar 分類器算法的主要步驟包括： ? 使用 Haarlike 特征做檢測(cè)。首先利用 Haar 特征分類器和 AdaBoost 算法來(lái)定位人臉，和提取出人臉的特定器官：兩個(gè)眼角、鼻尖、兩個(gè)嘴角、兩個(gè)眉角。 第四章 特征提取 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 10 特征提取 特征提取的主要步驟：首先根據(jù) Haar 分類器和 Adaboost 算法進(jìn)行人臉檢測(cè)和面部器官進(jìn)行特征提取，然后對(duì)得到的特定器官（眼角、鼻尖、嘴角、眉角）的位置進(jìn)行處理，最終得到人臉的標(biāo)準(zhǔn)化特征值。 對(duì)比度增強(qiáng)技術(shù) 通過對(duì)某個(gè)圖片的點(diǎn)進(jìn)行 定位，然后將其周圍的像素值進(jìn)行統(tǒng)計(jì)，再通過聚集技術(shù)將相鄰的像素值拉開，使他們之間的差距拉大。我們?cè)谑褂没叶绒D(zhuǎn)換時(shí)，先對(duì)圖像數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，經(jīng)過比較后得出一個(gè)合適的灰度值，然后對(duì)圖像進(jìn)行灰度變換。 高斯平滑技術(shù) 在視頻圖像的采集過程中，由于外界條件的干擾，則采集的圖片中會(huì)出現(xiàn)一些噪音，這就會(huì)使圖像在進(jìn)行轉(zhuǎn)化、識(shí)別時(shí)發(fā)生的數(shù)據(jù)的遺失和損壞等，這些會(huì)對(duì)以后圖片的訓(xùn)練產(chǎn)生干擾，所以將圖片進(jìn)行平滑處理來(lái)消除噪聲的干擾。流程圖如下圖： 幀提取 從視頻文件中提取幀圖片，根據(jù) OpenCV 提供的函數(shù)對(duì)視頻文件進(jìn)行幀提取，本系統(tǒng)對(duì)視頻文件處理后，將每一幀存儲(chǔ)為 jpg 文件。然后與數(shù)據(jù)庫(kù)中預(yù)存的特征進(jìn)行匹配，從而得出相關(guān)人物的視頻文件。 視頻挖掘方案 我們采用基于人臉的幾何特征識(shí)別方案進(jìn)行人臉識(shí)別，即通過 OpenCV 的分類器定位出人臉器官的七個(gè)特征點(diǎn)，即四個(gè)眼角點(diǎn)、鼻尖點(diǎn)和兩個(gè)嘴角點(diǎn)，利用它們的相對(duì)位置和角度確定十個(gè)特征向量，并對(duì)其進(jìn)行運(yùn)算。 把彩色圖片轉(zhuǎn)化為灰度圖可以降低數(shù)據(jù)量，然后將對(duì)比度增高，可以使圖片明暗區(qū)分更加明顯，從而使圖片更容易被算法識(shí)別出來(lái)。 特征提取方案 基于知識(shí)的方法主要利用先驗(yàn)知識(shí)將人臉看作器官特征的組合，根據(jù)眼睛、眉毛、嘴巴、鼻子等器官的特征以及相互之間的幾何位置關(guān)系來(lái)檢測(cè)人臉。相似度在規(guī)定閥值內(nèi)的視頻文件即為要查找的視頻文件。 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 7 最后進(jìn)行視頻挖掘。從人臉圖像中提取出特征點(diǎn)：包括兩個(gè)眼角、鼻尖、兩個(gè)嘴角、兩個(gè)眉角。從視頻文件中提取出幀圖片，然后對(duì)幀圖片進(jìn)行理，包括：光線補(bǔ)償技術(shù)、高斯平滑技術(shù)、圖片灰度化、灰度均衡技術(shù)、對(duì)比度增強(qiáng)技術(shù)和圖片尺寸縮放。 首先對(duì)視頻文件進(jìn)行預(yù)處理得到人臉圖片，然后對(duì)人臉進(jìn)行幾何特征提取，得到基于七個(gè)特征點(diǎn)（兩個(gè)眉毛、兩個(gè)眼角、兩個(gè)嘴角、鼻子尖角）的相對(duì)位置的特征值，最后把得到的特征信息作為視頻文件的標(biāo)簽存儲(chǔ)到數(shù)據(jù)庫(kù)中，以方便之后的視頻文件檢索。 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 6 論文主要內(nèi)容 本文主要介紹了基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘的解決方案。利用 Haar 特征分類器和 AdaBoost 算法來(lái)定位人臉，和提取出人臉的特定器官（兩個(gè)眼角、鼻尖、兩個(gè)嘴角、兩個(gè)眉角）的相對(duì)位置。視頻挖掘主要依靠的是人臉識(shí)別算法，常見的人臉識(shí)別方法有：面部幾何特征法、模板匹配法、神經(jīng)網(wǎng)絡(luò)法、隱馬爾科夫模型法、支持向量機(jī)制法、特征臉法、奇異值分解法、貝葉斯分類法和等灰度線法等。 本文使用的基于 OpenCV 的人臉幾何特征識(shí)別方法在在基于大數(shù)據(jù)的視頻挖掘中，可以通過人臉特征匹配找到與指定人物相關(guān)的視頻，從而挖掘出視頻的深層次信息。其中生物識(shí)別技術(shù)中人臉識(shí)別占有重要地位，和其他生物識(shí)別方法（指紋識(shí)別、虹膜識(shí)別和聲音識(shí)別）相比，人臉識(shí)別具有識(shí)別簡(jiǎn)單方便、用戶體驗(yàn)良好等特點(diǎn)，因?yàn)樗恍枰眢w接觸圖像捕捉設(shè)備（相機(jī)），不需要任何先進(jìn)的硬件。對(duì)于視頻的處理和分類，有助于我們分析出多媒體數(shù)據(jù)和人物的依賴關(guān)系，從而揭示視頻文件中更深層的意義。Facial feature extraction, and then to the relative position of the eyes, nose, mouth, eyebrows。 關(guān)鍵詞：視頻挖掘，面部特征提取，幾何特征識(shí)別 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 2 Abstract As more and more video files appear in people39。具體的原理是：首先對(duì)視頻集進(jìn)行幀提取和預(yù)處理，得到較為清晰的含人臉圖像；然后進(jìn)行面部特征提取，得到眼睛、鼻子、嘴、眉的相對(duì)位置；最后對(duì)得到的特征值進(jìn)行處理，根據(jù)加權(quán)的歐式距離計(jì)算出相似度，從而實(shí)現(xiàn)基于人臉的視頻挖掘?；谌宋锏南嚓P(guān)網(wǎng)絡(luò)視頻挖掘 1 摘要 隨著越來(lái)越多的視頻文件出現(xiàn)在人們的生活中，如何有效處理它們成為亟需解決的問題。本論文以基于人臉的視頻挖掘?yàn)檠芯糠较颍康氖峭ㄟ^分析大量視頻文件，得到視頻內(nèi)部隱含的深層信息。本系統(tǒng)已可以初步完成 基于人物的相關(guān)網(wǎng)絡(luò)視頻挖掘 ，然其準(zhǔn)確度有待提高。s life, how to effectively deal with them as a need to solve the this paper, based on human face video mining as the research direction, purpose is through the analysis of a large number of video files, get video hidden deep inside principle is: the first frame of video sets a