【文章內(nèi)容簡(jiǎn)介】 手工對(duì)圖像進(jìn)行標(biāo)注，根據(jù)標(biāo)注信息利用文本檢索技術(shù)對(duì)圖像進(jìn)行檢索。由于用戶更加習(xí)慣利用關(guān)鍵詞這種最為直接的方式來(lái)表達(dá)查詢需求，并且目前互聯(lián)網(wǎng)上主流圖像搜索引擎如Google、Baidu、Sougou等均采用基于文本的圖像檢索方式。因此基于文本的圖像檢索方式還是目前最主要的圖像檢索方式。然而隨著圖像數(shù)據(jù)量的不斷增加，人工標(biāo)注圖像的工作量非常巨大，而且標(biāo)注結(jié)果存在著很大的主觀性，容易產(chǎn)生歧義，特別是對(duì)日益增長(zhǎng)的海量圖片來(lái)說(shuō)，完全由人工標(biāo)注是不現(xiàn)實(shí)的。由此催生了自動(dòng)圖像標(biāo)注技術(shù)（Automatic Image Annotation AIA）的發(fā)展。北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 2 自動(dòng)圖像標(biāo)注就是讓計(jì)算機(jī)自動(dòng)給無(wú)標(biāo)注的圖像加上能夠反映圖像內(nèi)容的語(yǔ)義關(guān)鍵詞。它利用已標(biāo)注圖像集合或者其他可獲得的信息自動(dòng)練習(xí)語(yǔ)義概念空間與視覺(jué)特征空間的關(guān)系模型，并用此模型標(biāo)注未知語(yǔ)義的圖像。通過(guò)在圖像的高層語(yǔ)義信息和底層特征之間建立一種映射關(guān)系，在一定程度上解決語(yǔ)義鴻溝 [2]問(wèn)題。自動(dòng)圖像標(biāo)注技術(shù)是圖像檢索研究領(lǐng)域中非常具有挑戰(zhàn)性的工作，是實(shí)現(xiàn)圖像語(yǔ)義檢索的關(guān)鍵。一方面，自動(dòng)圖像標(biāo)注技術(shù)的出現(xiàn)，克服了人工標(biāo)注圖像費(fèi)時(shí)費(fèi)力的缺點(diǎn)，給用戶的使用帶來(lái)了極大的方便，同時(shí)也為基于語(yǔ)義的圖像檢索算法研究提供了語(yǔ)義級(jí)別上的技術(shù)支持。如果能夠?qū)崿F(xiàn)自動(dòng)圖像標(biāo)注，則圖像檢索問(wèn)題就可以轉(zhuǎn)化為相當(dāng)成熟的文本檢索問(wèn)題。自動(dòng)圖像標(biāo)注技術(shù)涉及了計(jì)算視覺(jué)、機(jī)器學(xué)習(xí)、信息檢索等多方面內(nèi)容，具有很強(qiáng)的研究?jī)r(jià)值。 研究目標(biāo)與內(nèi)容本文對(duì)基于語(yǔ)義的自動(dòng)圖像標(biāo)注技術(shù)進(jìn)行了全面的研究，以聯(lián)合媒體相關(guān)圖像標(biāo)注模型(CMRM，CrossMedia Relevance Mode)[3]為基礎(chǔ)，深入研究了自動(dòng)圖像標(biāo)注中的關(guān)鍵技術(shù)如圖像分割、圖像聚類以及視覺(jué)特征提取等，并引入語(yǔ)義相似語(yǔ)言模型，最后設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于圖像語(yǔ)義的自動(dòng)標(biāo)注檢索系統(tǒng)。在論文完成期間，主要的研究?jī)?nèi)容包括以下幾個(gè)部分：i. 基于普擴(kuò)散理論 [4][5]的圖像分割改進(jìn)算法圖像分割技術(shù)是圖像處理的關(guān)鍵技術(shù)也是當(dāng)今一個(gè)研究熱點(diǎn)問(wèn)題。圖像分割效果直接影響后續(xù)圖像聚類效果。本文圖像分割算法的選擇充分考慮圖像分割效果。論文中使用了基于普擴(kuò)散理論的圖像分割算法，該算法作為自動(dòng)圖像分割方法的一種輔助分割方法，實(shí)現(xiàn)了針對(duì)復(fù)雜圖像的準(zhǔn)確分割，保證了后續(xù)圖像處理步驟更精確，為圖像標(biāo)注算法獲得理想的標(biāo)注效果奠定了基礎(chǔ)。ii. 基于區(qū)域密度 [6]的 RPCL 的圖像聚類算法圖像聚類本質(zhì)就是將研究對(duì)象(視覺(jué)特征)分為相對(duì)同質(zhì)的群組的統(tǒng)計(jì)分析技術(shù)。圖像聚類結(jié)果的好壞直接影響到后續(xù)圖像標(biāo)注結(jié)果的精度?；诼?lián)合媒體相關(guān)模型自動(dòng)圖像標(biāo)注方法（CMRM ）中采用的 kmean 聚類算法，該算法實(shí)現(xiàn)簡(jiǎn)單，但是不能自動(dòng)確定聚類個(gè)數(shù)且對(duì)初始聚類中心的選取敏感。本文在充分分析 kmean 算法優(yōu)缺點(diǎn)的基礎(chǔ)上，提出了基于區(qū)域密度 RPCL(Rival Penalized Competitive Learning)聚類改進(jìn)算法，該算法不僅能夠自動(dòng)確定聚類個(gè)數(shù)，解決了 kmean 中對(duì)初始類中心選取敏感和 k 值自適應(yīng)問(wèn)題，而且能夠自動(dòng)調(diào)整次勝單元的學(xué)習(xí)率，進(jìn)而確保圖像聚類更加準(zhǔn)確。iii. 提出了語(yǔ)義相似語(yǔ)言模型與聯(lián)合媒體相關(guān)模型相結(jié)合的自動(dòng)圖像標(biāo)注算第 1 章 緒論 3 法將語(yǔ)義相似語(yǔ)言模型與聯(lián)合媒體相關(guān)模型相結(jié)合。不再假設(shè)標(biāo)注模型中各個(gè)標(biāo)注詞之間相互獨(dú)立，而是充分考慮標(biāo)注與上下文關(guān)鍵詞以及圖像視覺(jué)內(nèi)容之間的語(yǔ)義相關(guān)性。最后，通過(guò)實(shí)驗(yàn)驗(yàn)證了改進(jìn)模型算法的有效性。iv. 設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于圖像語(yǔ)義的自動(dòng)標(biāo)注及檢索應(yīng)用系統(tǒng)本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于圖像語(yǔ)義的自動(dòng)標(biāo)注檢索系統(tǒng)。該系統(tǒng)分為兩部分：自動(dòng)圖像標(biāo)注和圖像檢索。其中自動(dòng)圖像標(biāo)注部分能夠?qū)崿F(xiàn)對(duì)圖像進(jìn)行自動(dòng)標(biāo)注的功能，建立一個(gè)可查詢的圖像語(yǔ)義信息庫(kù)；圖像檢索部分實(shí)現(xiàn)了基于文本和內(nèi)容的兩種圖像檢索方式。 論文的結(jié)構(gòu)安排本文的結(jié)構(gòu)安排如下：第 1 章為緒論。介紹了圖像自動(dòng)標(biāo)注的課題背景及研究意義，研究?jī)?nèi)容和目標(biāo)，以及論文的安排。第 2 章回顧了自動(dòng)圖像標(biāo)注技術(shù)的研究發(fā)展歷程和現(xiàn)狀。分別介紹了基于全局特征的圖像自動(dòng)標(biāo)注算法、基于分類的圖像自動(dòng)標(biāo)注算法、基于概率關(guān)聯(lián)模型的圖像自動(dòng)標(biāo)注算法以及基于圖學(xué)習(xí)的圖像自動(dòng)標(biāo)注算法，并分析指出現(xiàn)有圖像自動(dòng)標(biāo)注技術(shù)尚存在的問(wèn)題。第 3 章對(duì)圖像標(biāo)注方法中的關(guān)鍵技術(shù)圖像分割進(jìn)行了深入研究。分析了CMRM 標(biāo)注方法中的圖像分割和圖像聚類算法存在的問(wèn)題，并詳細(xì)闡述了本文提出的改進(jìn)算法：基于普擴(kuò)散理論的圖像分割改進(jìn)方法以及基于區(qū)域密度的RPCL 圖像聚類改進(jìn)算法。最后，給出優(yōu)化過(guò)的 CMRM 圖像標(biāo)注方法與原方法的實(shí)驗(yàn)結(jié)果對(duì)比。第 4 章對(duì)基于 CMRM 圖像標(biāo)注方法中的研究重點(diǎn)標(biāo)注模型關(guān)鍵技術(shù)進(jìn)行了深入研究。在分析了 CMRM 標(biāo)注模型算法和基于詞間相關(guān)性改進(jìn)的圖像標(biāo)注算法的基礎(chǔ)上，提出了語(yǔ)義相似語(yǔ)言模型和 CMRM 相結(jié)合的圖像標(biāo)注改進(jìn)算法。該改進(jìn)算法在標(biāo)注過(guò)程中不再假定標(biāo)注詞為相互獨(dú)立，而是充分考慮標(biāo)注詞與其上下文關(guān)鍵以及圖像的視覺(jué)內(nèi)容之間的相關(guān)性。最后給出實(shí)驗(yàn)結(jié)果與分析。第 5 章對(duì)基于圖像語(yǔ)義的自動(dòng)標(biāo)注及檢索應(yīng)用系統(tǒng)的結(jié)構(gòu)進(jìn)行了設(shè)計(jì)和實(shí)現(xiàn)。首先介紹了系統(tǒng)的總體框架，然后對(duì)系統(tǒng)各個(gè)功能模塊進(jìn)行描述，并詳細(xì)說(shuō)明了后臺(tái)數(shù)據(jù)庫(kù)的設(shè)計(jì)以及系統(tǒng)性能的優(yōu)化方案。結(jié)論部分是本文的結(jié)論及工作展望，總結(jié)了本文完成的工作，以及今后工作的進(jìn)一步展望。之后是碩士期間發(fā)表的學(xué)術(shù)論文以及參加的科研項(xiàng)目和獲得的獎(jiǎng)勵(lì)。北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 4 最后是參考文獻(xiàn)和致謝。第 1 章 緒論 5 北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 6 第 2 章 圖像自動(dòng)標(biāo)注技術(shù)及發(fā)展?fàn)顩r 概述圖像自動(dòng)標(biāo)注通過(guò)建設(shè)底層視覺(jué)特征與高層語(yǔ)義之間的映射關(guān)系解決圖像檢索中存在的語(yǔ)義鴻溝問(wèn)題，從而在語(yǔ)義級(jí)別上對(duì)基于語(yǔ)義的圖像檢索做出支持。使用人工的方式進(jìn)行圖像標(biāo)注是最直接也是最有效的方式，但是這也是一件非常耗時(shí)耗力的工作。目前很多網(wǎng)站都為用戶提供了圖像自動(dòng)標(biāo)注服務(wù)，例如 MIT 提供了 Label Me 工具，用戶可以對(duì)圖像進(jìn)行標(biāo)注。然而隨著圖像數(shù)量的急速增長(zhǎng)，人工標(biāo)注已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足要求，所以，近年來(lái)關(guān)于自動(dòng)圖像標(biāo)注的研究越來(lái)越引起人們的重視?，F(xiàn)有的圖像自動(dòng)標(biāo)注算法大體上可以分為兩類：一是基于生成模型的標(biāo)注方法 [3]；一是基于判別分類的標(biāo)注方法 [7]。圖像自動(dòng)標(biāo)注的基本流程可以分為三部分：圖像分割、特征提取以及標(biāo)注算法。下面將對(duì)圖像標(biāo)注方法進(jìn)行詳細(xì)介紹，最后，我們探討并分析目前圖像自動(dòng)標(biāo)注算法存在的一些問(wèn)題以及改進(jìn)方向 圖像自動(dòng)標(biāo)注的基本框架自動(dòng)圖像標(biāo)注過(guò)程通常包含兩個(gè)階段：訓(xùn)練圖像庫(kù)的模型訓(xùn)練階段和待測(cè)圖像的自動(dòng)標(biāo)注階段。模型訓(xùn)練階段完成的工作包括對(duì)訓(xùn)練圖像集合進(jìn)行圖像分割、特征提取、圖像聚類等操作，構(gòu)建圖像視覺(jué)特征空間，再通過(guò)圖像標(biāo)注模型算法訓(xùn)練學(xué)習(xí)圖像視覺(jué)特征空間和高層語(yǔ)義概念空間之間的關(guān)系模型。完成模型的訓(xùn)練階段之后，在自動(dòng)標(biāo)注階段由用戶提交一幅未標(biāo)注圖像，并進(jìn)行相應(yīng)的圖像處理，再由上述得到的關(guān)系模型完成對(duì)待測(cè)圖像的自動(dòng)標(biāo)注。圖 21 給出了圖像自動(dòng)標(biāo)注的基本框架。測(cè)試圖像標(biāo)注結(jié)果關(guān)系模型語(yǔ)義概念空間視覺(jué)特征空間圖像處理人工標(biāo)注模型訓(xùn)練模型訓(xùn)練圖像處理自動(dòng)標(biāo)注訓(xùn)練圖像集合圖21 圖像自動(dòng)標(biāo)注基本框架第 2 章 圖像自動(dòng)標(biāo)注技術(shù)及發(fā)展?fàn)顩r 7 圖像自動(dòng)標(biāo)注方法綜述目前的自動(dòng)圖像標(biāo)注方法根據(jù)特征提取及表示機(jī)制的不同可以分為基于全局特征和基于區(qū)域劃分的自動(dòng)圖像標(biāo)注算法。自動(dòng)圖像標(biāo)注方法基于全局特征的自動(dòng)圖像標(biāo)注方法基于區(qū)域劃分的自動(dòng)圖像標(biāo)注方法 基于圖學(xué)習(xí)的自動(dòng)圖像標(biāo)注方法 基于概率關(guān)聯(lián)模型的自動(dòng)圖像標(biāo)注方法 基于分類的自動(dòng)圖像標(biāo)注方法 圖 22 自動(dòng)圖像標(biāo)注算法分類 基于全局特征的自動(dòng)圖像標(biāo)注方法早期的基于全局特征的自動(dòng)圖像標(biāo)注工作等同于圖像場(chǎng)景的自動(dòng)分類。Oliva等人使用面向圖像場(chǎng)景語(yǔ)義的方法對(duì)圖像進(jìn)行自動(dòng)標(biāo)注 [8][9]，該方法基于圖像的空間屬性( 如平均，深度，尺寸等) 產(chǎn)生現(xiàn)實(shí)場(chǎng)景（可以是人工場(chǎng)景也可以是自然場(chǎng)景，比如可以是房間內(nèi)或房間外的地方）的有意義描述。算法驗(yàn)證了全局統(tǒng)計(jì)特征（Gist）可以用于分析圖像場(chǎng)景中對(duì)象的存在與否，從而免去了對(duì)圖像進(jìn)行分割和進(jìn)行面向?qū)ο蠓治龅倪^(guò)程。文獻(xiàn) [10]提出的是面向顯著興趣點(diǎn)的方法，論文中使用顯著區(qū)域的局部描述子的向量空間表示來(lái)描述圖像，并通過(guò)相似的圖像傳播語(yǔ)義來(lái)實(shí)現(xiàn)自動(dòng)標(biāo)注。Yavlinsky 等人 [11]繼續(xù)探索了單純利用圖像的全局特征進(jìn)行語(yǔ)義標(biāo)注的可能。其建模框架基于魯棒的非參數(shù)密度估計(jì)方法， 并使用核平滑技術(shù)，研究了利用各類全局圖像特征對(duì)標(biāo)注性能的影響，也顯示EM D( Earth M overs Distance)距離標(biāo)準(zhǔn)可以與該框架有效整合利用。結(jié)果顯示其標(biāo)注性能與推理網(wǎng)絡(luò)方法和基于CRM [12]的方法性能相當(dāng)。此外算法也論證了在COREL數(shù)據(jù)集上單純利用全局的顏色信息就可以達(dá)到較好的標(biāo)注性能。在圖像數(shù)據(jù)集中兩幅圖像的視覺(jué)特征相似的情形下，全局顏色特征將是建模關(guān)鍵詞密度的堅(jiān)實(shí)基礎(chǔ)。盡管算法將每幅圖像劃分為3*3的矩形區(qū)域，但該類分割方式屬于硬劃分(不同于基于內(nèi)容的分割策略)，因而仍可以看成是基于全局特征的標(biāo)注算法。此類方法的優(yōu)點(diǎn)是可以免除對(duì)圖像的區(qū)域分割、區(qū)域聚類、三維注釋和面向?qū)ο蟮姆治龅戎T多過(guò)程。但通常來(lái)說(shuō)，圖像全局特征一北京工業(yè)大學(xué)工學(xué)碩士學(xué)位論文 8 般只適用于表示簡(jiǎn)單的圖像或背景較為單一的圖像，如紋理圖像、自然場(chǎng)景圖像、建筑物圖像等。由于人眼在觀察一幅圖像時(shí)，總是很自然地將圖像分為前景目標(biāo)和背景區(qū)域，因此用戶查詢時(shí)更注重圖像內(nèi)具有一定語(yǔ)義信息的特定目標(biāo)或者區(qū)域，而非背景區(qū)域。圖像的全局特征只提供粗粒度的語(yǔ)義描述，未考慮到圖像中前景物體與背景的差異，因而不能反映圖像豐富的細(xì)節(jié)語(yǔ)義內(nèi)容，標(biāo)注的性能也不甚理想。若能將圖像的前景目標(biāo)區(qū)域從背景中分割出來(lái)，實(shí)現(xiàn)對(duì)象級(jí)的語(yǔ)義描述，則可以減少由于目標(biāo)物體在圖像中的背景變化和場(chǎng)景變化帶來(lái)的影響，從而更接近語(yǔ)義檢索的目標(biāo)。因此提取區(qū)域級(jí)的低層視覺(jué)特征比全局的視覺(jué)特征更加貼近人對(duì)圖像的語(yǔ)義理解，基于區(qū)域劃分的圖像標(biāo)注技術(shù)( Region based Image annotation) 也就應(yīng)運(yùn)而生了。 基于分類的自動(dòng)圖像標(biāo)注方法現(xiàn)有的基于全局特征的自動(dòng)圖像標(biāo)注方法屬于典型的多標(biāo)記學(xué)習(xí)問(wèn)題(MultiLabel Learning[13])。其核心思想是利用已知的標(biāo)注數(shù)據(jù)建立某種模型來(lái)描述文本詞匯與圖像特征之間的潛在關(guān)聯(lián)或者映射關(guān)系，并據(jù)此預(yù)測(cè)未知圖像的標(biāo)注。文獻(xiàn) [14][15]將自動(dòng)圖像標(biāo)注問(wèn)題看作多標(biāo)記學(xué)習(xí)問(wèn)題，通過(guò)將多標(biāo)記學(xué)習(xí)問(wèn)題轉(zhuǎn)化為單標(biāo)記學(xué)習(xí)問(wèn)題，提出了基于支持向量機(jī)(Support Vector Machine， SVM) 的自動(dòng)圖像標(biāo)注算法。該算法為每個(gè)關(guān)鍵詞構(gòu)造一個(gè)二類分類器，將所有標(biāo)注該關(guān)鍵詞的訓(xùn)練樣本圖像作為正例樣本，而將所有未標(biāo)注該關(guān)鍵詞的訓(xùn)練樣本圖像作為反例；然后，分別提取正反例圖像的全局顏色直方圖特征，并據(jù)此為給定關(guān)鍵詞構(gòu)建SVM 分類器；最后給定未標(biāo)注圖像，利用每個(gè)關(guān)鍵詞的分類器實(shí)現(xiàn)對(duì)其的分類，選擇分類標(biāo)記結(jié)果值最高的前幾個(gè)關(guān)鍵詞作為未標(biāo)注圖像的最終標(biāo)注結(jié)果。由于訓(xùn)練樣本圖像只給出了關(guān)鍵詞與圖像的關(guān)聯(lián)，但并沒(méi)有關(guān)鍵詞與圖像中區(qū)域的對(duì)應(yīng)關(guān)系，即訓(xùn)練樣本圖像中存在不屬于該關(guān)鍵詞語(yǔ)義的區(qū)域，而現(xiàn)有的基于多標(biāo)記學(xué)習(xí)的自動(dòng)標(biāo)注算法未考慮到標(biāo)注信息的歧義性，因此最終的標(biāo)注性能并不理想。文獻(xiàn) [16]中提出了上下文相關(guān)的關(guān)鍵詞傳播方法，該方法使用了多標(biāo)記學(xué)習(xí)方法并借用線性規(guī)劃方法來(lái)提高標(biāo)注性能，該方法能夠同時(shí)傳播多個(gè)關(guān)鍵詞。由于訓(xùn)練圖像集合并不提供區(qū)域級(jí)別的標(biāo)注信息，即關(guān)鍵詞是與整幅圖像相關(guān)聯(lián)而不是與圖像中的區(qū)域關(guān)聯(lián)，因此在圖像標(biāo)注領(lǐng)域，標(biāo)注有某個(gè)關(guān)鍵詞的正例樣本圖像中也會(huì)存在偽示例。多示例學(xué)習(xí) [17]作為一種泛化的監(jiān)督學(xué)習(xí)算法， 能較好地處理這種歧義性問(wèn)題，因此很自然地被引入到自動(dòng)圖像標(biāo)注問(wèn)題中。文獻(xiàn) [18]提出了多示例學(xué)習(xí)領(lǐng)域經(jīng)典的多樣性密度(Diverse Density)算法來(lái)解決標(biāo)注問(wèn)題。算法的基本思想是，如果特征空間中某點(diǎn)最能表征某個(gè)給定關(guān)鍵第 2 章 圖像自動(dòng)標(biāo)注技術(shù)及發(fā)展?fàn)顩r 9 詞的語(yǔ)義， 那么正包中應(yīng)該至少存在一個(gè)示例靠近該點(diǎn)，而反包中的所有示例應(yīng)該遠(yuǎn)離該點(diǎn)。因此該點(diǎn)周圍應(yīng)當(dāng)密集分布屬于多個(gè)不同正包的示例，同時(shí)遠(yuǎn)離所有反包中的示例。特征空間中如果某點(diǎn)附近出現(xiàn)來(lái)自于不同正包中的示例越多，反包中的示例離得越遠(yuǎn)，則這點(diǎn)表征了給定關(guān)鍵詞語(yǔ)義的概率就越大。用多樣性密度來(lái)度量這種概率，具有最大概率的點(diǎn)即為要尋找的目標(biāo)點(diǎn)。算法的缺點(diǎn)在于：首先， 由于關(guān)鍵詞語(yǔ)義的豐富性，很難用唯一的特征向量來(lái)表征其語(yǔ)義；其次，多樣性密度算法需要將每一個(gè)正包示例都作為初始點(diǎn)進(jìn)行一次搜索，且要進(jìn)行多次梯度下降搜索以求解最優(yōu)值，因此其訓(xùn)練時(shí)間開(kāi)銷相當(dāng)大。文獻(xiàn) [19]提出了基于非對(duì)稱支持向量機(jī)的多示例學(xué)習(xí)(Asymmetrical Support Vector Machine Based Multiple Instance Learning，ASVMMIL) 算法，它將自動(dòng)圖像標(biāo)注任務(wù)轉(zhuǎn)化為監(jiān)督學(xué)習(xí)。算法考慮了包的歧義性，通過(guò)最小化包的分類誤差將SVM 直接應(yīng)用到多示例學(xué)習(xí)問(wèn)題中。文獻(xiàn) [20][21]也提出了基