【文章內容簡介】 面對如此大量的數字圖像信息，如何能夠快速、有效地從海量圖像信息中檢索出所需信息便成為當今 許多應用領域的重要研究課題。正是在這樣的背景下，圖像檢索技術應運而生。 傳統(tǒng)的圖 像檢 索 技術主 要可以 分為兩 種：基于 內容的 圖像檢索(ContentBased Image Retrieval， CBIR)和基于文本的圖像檢索 (TextBased Image Retrieval， TBIR)?；趦热莸膱D像檢索技術 本質思想就 是使用圖像底層視覺特征來計算圖像之間的相似度，然后根據用戶 提交的實例圖像的視覺特征間的相似性匹配來檢索圖像。例如基于顏色特征 的圖像檢索方法 ， 比如基于顏色直方圖的檢索方法，在一定的色彩空間對圖像各種色彩出現的頻率進行統(tǒng)計。還有基于紋理特征的圖像檢索方法，比如基于灰度共生矩陣的檢索 方 法，對圖像的二階組合條件概率密度函數進行估計，是一種空間域方法 [1]， 但是 現有的紋理特征與人的相似性感知之間還會存在較大差異，且依賴于具體的紋理圖像的性質，缺乏一定的通用性且計算量大。 基于內容的圖像檢索技術雖然解決了文本檢索的局限性，但是由于目前使用的相似度計算基本上是基于數學比較，與人的視覺感知特性還具有一定的差距， 低層次視覺特征（ 如紋理、顏色、形狀等）不能完全反應和匹配用戶的查詢意圖 ， 因此 檢索性能與應用的需求還相距甚遠 ，基于內容的圖像檢索技術的研究遇到了前所未有的巨大挑戰(zhàn)。 基于文本的圖像檢索技術 通過 手工對圖像進行標注，根據標注信息利用文本檢索技術對圖像進行檢索。 由于用戶更加 習慣利用關鍵詞這種最為直接的方式來表達查詢需求，并且 目前互聯(lián)網上主流圖像搜索引擎如 Google、 Baidu、 Sougou等均采用基于文本的圖像檢索方式。 因此基于文本的圖像檢索方式 還是目前最主要的圖像檢索方式。 然而隨著圖像數據量的不斷增加，人工標注圖像 的工作量非常巨大， 而且標注結果存在著很大的主觀性 ，容易產生歧義， 特別是對日益增長的海量圖片來說，完全由人工標注是不現實的。 由此催生了自動圖像標注技術（ Automatic Image Annotation AIA）的發(fā)展。 北京工業(yè)大學工學碩士學位論文 2 自動圖像標注就是讓計算機自動給無標注的圖像加上能夠反映圖像內容的語義關鍵詞。 它利用已標注圖像集合或者其他可獲得的信息自動練 習語義概念空間與視覺特征空間的關系模型，并用此模型 標注未知語義的圖像。通過在圖像的高層語義信息和底層特征之間建立一種映射關系，在一定程度上解決語義鴻溝 [2]問題。 自動圖像標注技術 是圖像檢索研究領域中非常具有挑戰(zhàn)性的工作，是實現圖像語義檢索的關鍵。一方面，自動圖像標注技術的出現，克服了人工標注圖像費時費力的缺點，給用戶的使用帶來了極大的方便，同時也為 基于語義的圖像檢索算法研究提供了語義級別上的技術支持。如果能夠實現自動圖像標注，則圖像檢索問題就可以轉化為相當成熟的文本檢索問題。 自動圖像標注技術涉及了計算視覺、機器學習、信息檢索等多方面內容，具有很強的研究價值。 研究目標與內容 本文對基于語義的自動圖像標注技術進行了全面的研究，以聯(lián)合媒體相關圖像標注模型 (CMRM， CrossMedia Relevance Mode)[3]為基礎，深入研究了自動圖像標注中的關鍵技術如圖像分割、圖像聚類以及視覺特征提取等，并 引入語義相似語言模型，最后設計并實 現了 一個基于 圖像語義的自動標注檢索系統(tǒng) 。 在論文完成期間， 主要的 研究內容包括以下幾個部分： i. 基于普擴散理論 [4][5]的圖像分割改進算法 圖像分割技術是圖像處理的關鍵技術 也是當今一個研究熱點問題。圖像分割效果直接影響后續(xù)圖像聚類效果 。 本文圖像分割算法的選擇充分考慮圖像分割效果。論文中使用了基于普擴散理論的圖像分割算法，該算法作為自動圖像分割方法的一種輔助分割方法 ，實現 了 針對復雜圖像的準確分割，保證了后續(xù)圖像處理步驟更精確，為圖像標注算法獲得理想的標注效果奠定了基礎。 ii. 基于 區(qū)域 密度 [6]的 RPCL 的圖像聚類算法 圖像聚類 本質就是將 研究對象 (視覺特征 )分為 相對同質 的群組的統(tǒng)計分析技術 。 圖像聚類結果的好壞直接影響到后續(xù)圖像標注結果的精度。 基于聯(lián)合媒體相關模型自動圖像標注方法（ CMRM） 中采用的 kmean 聚類算法，該算法實現簡單，但是不能自動確定聚類個數且對初始聚類中心的選取敏感。本文在充分分析 kmean 算法優(yōu)缺點的基礎上，提出了基于區(qū)域密度 RPCL(Rival Penalized Competitive Learning)聚類改進算法，該算法不僅能夠自動確定聚類個數，解決了 kmean 中對初始類中心選取敏感和 k 值自 適應問題，而且能夠自動調整次勝單元的學習率 ， 進而確保圖像聚類更加準確。 iii. 提出了語義相似語言模型與聯(lián)合媒體相關模型相結合的自動圖像標注算法 第 1 章 緒論 3 將語義相似語言模型與聯(lián)合媒體相關模型相結合。 不再假設標注模型中各個標注詞之間相互獨立，而是充分考慮標注與上下文關鍵詞以及圖像視覺內容之間的語義相關性。最后，通過實驗驗證了改進模型算法的有效性。 iv. 設計并實現了一個基于圖像語義的自動標注及檢索應用系統(tǒng) 本文設計并實現了一個基于圖像語義的自動標注檢索系統(tǒng)。該系統(tǒng)分為兩部分：自動圖像標注和圖像檢索 。其中自動圖像標注 部分 能夠實現對圖 像進行自動標注 的 功能，建立一個可查詢的圖像語義信息庫；圖像檢索 部分 實現了基于文本和內容的兩種圖像檢索方式。 論文的結構安排 本 文的結構安排如下： 第 1 章為緒論 。 介紹 了 圖像自動標注的 課題背景及研究意義，研究內容和目標，以及論文的安排。 第 2 章 回顧了自動圖像標注技術的研究發(fā)展歷程和現狀 。 分別 介紹了 基于 全局特征的圖像自動標注算法、基于分類的圖像自動標注算法、基于概率關聯(lián)模型的圖像自動標注算法以及基于圖學習的 圖像自動標注算法，并分析指出現有圖像自動標注技術尚存在的問題 。 第 3 章對 圖像標注方法中的關鍵技術圖 像分割進行了深入研究 。 分析了CMRM 標注方法中的圖像分割和圖像聚類算法存在的問題 ，并 詳細闡述了本文提出 的改進算法 ： 基于 普擴散理論的圖像分割 改進 方法 以及 基于區(qū)域密度的RPCL 圖像聚類改進算法 。 最后，給出優(yōu)化過的 CMRM 圖像標注方法與原方法的實驗結果對比。 第 4 章 對基于 CMRM 圖像標注方法中的研究重點標注模型關鍵技術進行了深入研究 。 在分析了 CMRM 標注模型算法和基于詞間相關性改進的圖像標注算法的基礎上，提出了語義相似語言模型和 CMRM 相結合的圖像標注改進算法。該改進算法在標注過程中不再假定標注詞為相互獨立， 而是 充分 考慮 標注詞與其上下文關鍵以及 圖像的視覺內容 之間的相關性 。最后給出實驗結果與分析。 第 5 章 對基于圖像語義的自動標注及檢索應用系統(tǒng)的結構進行了設計和實現 。 首先介紹了系統(tǒng)的總體框架，然后對系統(tǒng)各個功能模塊進行描述，并詳細說明了后臺數據庫的設計以及系統(tǒng)性能的優(yōu)化方案。 結論部分是本文的結論及工作展望， 總結了本文完成的工作 ， 以及今后工作的進一步展望 。 之 后是碩士期間發(fā)表的學術論文 以及 參加的科研項目 和獲得的獎勵 。 最后是 參考文獻和致謝。北京工業(yè)大學工學碩士學位論文 4 第 2 章 圖像自動標注技術及發(fā)展狀況 5 第 2 章 圖像自動標注 技術及發(fā)展狀況 概述 圖像自動標注通過建設底 層視覺特征與高層語義之間的映射關系 解決圖像檢索中存在的語義鴻溝問題，從而在語義級別上對基于語義的圖像檢索做出支持。使用人工的方式進行圖像標注 是 最直接也是最有效的方式，但是這也是一件非常耗時耗力的工作 。 目前很多網站都為用戶提供了圖像自動標注服務，例如MIT 提供了 Label Me 工具，用戶可以對圖像進行標注。然而隨著圖像數量的急速增長，人工標注已經遠遠不能滿足要求， 所以，近年來關于自動圖像標注的研究越來越引起人們的重視。 現有的圖像自動標注算法大體上可以分為兩類：一是基于生成模型的標注方法 [3]； 一是基于判別分類 的標注方法 [7]。 圖像自動標注的基本流程可以分為三部分：圖像分割、特征提取以及標注算法。下面將對圖像標注方法進 行詳細介紹，最后，我們探討并分析 目前圖像自動標注算法存在的一些問題以及改進方向 圖像自動標注的基本框架 自動圖像標注過程通常包含兩個階段：訓練圖像庫的模型訓練階段和待測圖像的自動標注階段。模型訓練階段完成的工作包括對訓練圖像集合進行圖像分割、特征提取、圖像聚類等操作，構建圖像視覺特征空間，再通過圖像標注模型算法訓練學習圖像視覺特征空間和高層語義概念空間之間的關系模型。完成模型的訓練階段之后 ，在自動標注階段由用戶提交一幅未標注圖像，并進行相應的圖像處理，再由上述得到的關系模型完成對待測圖像的自動標注。圖 21 給出了圖像自動標注的基本框架 。 測 試 圖 像標 注 結 果關 系 模 型語 義 概 念 空 間視 覺 特 征 空 間圖 像 處 理人 工 標 注模 型 訓 練模 型 訓 練圖像處理自 動 標 注訓 練 圖 像 集 合 圖 21 圖像自動標注基本框架 北京工業(yè)大學工學碩士學位論文 6 圖像 自動標注 方法 綜述 目前的自動圖像標注方法根據特征提取及表示機制的不同可以分為基于全局特征和基于區(qū)域劃分的自動圖像標注算法。 自 動 圖 像 標 注 方 法基 于 全 局 特 征 的自 動 圖 像 標 注 方 法基 于 區(qū) 域 劃 分 的自 動 圖 像 標 注 方 法 基 于 圖 學 習的 自 動 圖 像 標 注 方 法 基 于 概 率 關 聯(lián) 模 型的 自 動 圖 像 標 注 方 法 基 于 分 類的 自 動 圖 像 標 注 方 法 圖 22 自動圖像標注算法分類 基于 全局特征 的 自動 圖像 標注方法 早期的基于全局特征的自動圖像標注工作等同于圖像場景的自動分類。Oliva等人使用面向圖像場景語義的方法對圖像進行自動標注 [8][9]， 該方法基于圖像的空間屬性 ( 如平均 ， 深度 ， 尺寸等 ) 產生現實場景 （ 可以是人工場景也可以是自然場景 ， 比如可以是房間內或房間外的地方 ） 的有意義描述。算法驗證了全局統(tǒng)計特征 （ Gist） 可以用于分析圖像場景中對象的存在與否 ， 從而免去了對圖像進行分割和進行面向對象分析的過程。文獻 [10]提出的是面向顯著興趣點的方法 ， 論文中使用顯著區(qū)域的局部描述子的向量空間表示來描述圖像 ， 并通 過相似的圖像傳播語義來實現自動標注。 Yavlinsky 等人 [11]繼續(xù)探索了單純利用圖像的全局特征進行語義標注的可能。其建?？蚣芑隰敯舻姆菂得芏裙烙嫹椒?， 并使用核平滑技術 ， 研究了利用各類全局圖像特征對標注性能的影響 ， 也顯示 EM D( Earth M overs Distance)距離標準可以與該框架有效整合利用。結果顯示其標注性能與推理網絡方法和基于 CRM[12]的方法性能相當。 此外算法也論證了在COREL數據集上單純利用全局的顏色信息就可以達到較好的標注性能。在圖像數據集中兩幅圖像的視覺特征相似的 情形下 ， 全局顏色特征將是建模關鍵詞密度的堅實基礎。盡管算法將每幅圖像劃分為 3*3的矩形區(qū)域 ， 但該類分割方式屬于硬劃分 (不同于基于內容的分割策略 )， 因而仍可以看成是基于全局特征的標注算法。此類方法的優(yōu)點是可以免除對圖像的區(qū)域分割、區(qū)域聚類、三維注釋和面向對象的分析等諸多過程。但通常來說 ， 圖像全局特征一般只適用于表示簡單的圖第 2 章 圖像自動標注技術及發(fā)展狀況 7 像或背景較為單一的圖像 ， 如紋理圖像、自然場景圖像、建筑物圖像等。由于人眼在觀察一幅圖像時 ， 總是很自然地將圖像分為前景目標和背景區(qū)域 ， 因此用戶查詢時更注重圖像內具有一定語義信息的特定目標或者區(qū) 域 ， 而非背景區(qū)域。圖像的全局特征只提供粗粒度的語義描述 ， 未考慮到圖像中前景物體與背景的差異 ， 因而不能反映圖像豐富的細節(jié)語義內容 ， 標注的性能也不甚理想。若能將圖像的前景目標區(qū)域從背景中分割出來 ， 實現對象級的語義描述 ， 則可以減少由于目標物體在圖像中的背景變化和場景變化帶來的影響 ， 從而更接近語義檢索的目標。因此提取區(qū)域級的低層視覺特征比全局的視覺特征更加貼近人對圖像的語義理解 ， 基于區(qū)域劃分的圖像標注技術 ( Region based Image annotation) 也就應運而生 了 。 基于 分類 的 自 動 圖像標注 方法 現有的 基于全局特征的自動圖像標注方法屬于典型的多標記學習問題(MultiLabel Learning[13])。 其核心思想是 利用已知的標注數據建立某種模型來描述文本詞匯與圖像特征之間的潛在關聯(lián)或者映射關系 ， 并據此預測未知圖像的標注。 文獻 [14][15]將自動圖像標注問題看作多標記學習問題 ， 通過將多標記學習問題轉化為單標記學習問題 ， 提出了基于支持向量機 (Support Vector Machine， SVM) 的自動圖像標注算法。 該 算法 為每個關鍵詞構造一個