【文章內(nèi)容簡介】 致謝 .............................................................................................................................. 28 參考文獻 ...................................................................................................................... 29 I 摘要 研 究表明，許多圖像中里都包含著一定的感情色彩， 不同的圖像會喚起人類不同的情感。如何有效地模擬人觀察圖像后所引起的情感感覺，并使用帶有感情色彩的語義表述圖像，是一個具有很大挑戰(zhàn)性的前沿課題。 情感圖像檢索的研究在醫(yī)學、心理學、智能科學、社會學、計算機學、農(nóng)業(yè)學等等領域都有巨大的應用價值。 本文研究圖像的低層視覺特征與高層語義之間的關系，例如 情感的“靜態(tài)”“動態(tài)”與圖像之間的關系。首先，建立一個包含動靜態(tài)的圖像數(shù)據(jù)庫。在互聯(lián)網(wǎng)上收集 200幅包含“動感”和“靜感”內(nèi)容的藝術圖像（如油畫、水粉畫、中國畫。 包括東方和西方 作品 ）。然后請 3位同學對圖像的動感作出評估，進行打分，最后得到包含 200幅“靜感”類和“動感”類圖像的數(shù)據(jù)庫。其次， 利用線條方向直方圖提取圖像邊緣特征信息，再這基礎上可以改進算法，比較分類的正確性。并且結(jié)合 Weighted kNN、 kNN、 BP神經(jīng)網(wǎng)絡 三種分類器對情感圖像數(shù)據(jù)庫進行分類，分類提高了圖像檢索的正確率。 使用分類器的原理是： 如果分類器分類正確，那么檢索到的結(jié)果都是正確的，反之亦然。 通 過本次實驗證明，相對于 kNN、 Weighted kNN分類器， BP神經(jīng)網(wǎng)絡 分類器的分類正確率是比較高的，分 類率為 。 kNN、 Weighted kNN分別是 和 。通過改進訓練樣本可以改進提高分類率。 本文重點研究線條方向直方圖、 kNN、 Weighted kNN、 BP神經(jīng)網(wǎng)絡分類器的算法。 關鍵詞： 視覺特征計算 情感圖像檢索 線條方向直方圖 分類器 II Abstract Research shows that many images are included in a certain emotional colors, different images will evoke different human emotions. How to effectively simulate the emotional feeling of people caused by the observed image and the image using semantic representations emotionally, is leading subject of a great challenge. Emotional image retrieval research in medicine, psychology, smart science, sociology, puter science, etc. in the field of agricultural science has great value. Lowlevel visual features and the relationship between highlevel semantic image this study, such as static, dynamic relationship between the images and emotions. First, create the image database containing dynamic static. Collected 200 contains dynamic and static sense, the art of image content on the Inter (such as oil painting, watercolor painting, Chinese painting, including Eastern and Western works). Then ask students to make three dynamic image assessment, scoring, and finally get that contains 200 quiet sense of class and the dynamic class image database. Secondly, the use of lines to extract image edge direction histogram feature information, then it can be improved algorithm based on paring the classification accuracy. And bined Weighted kNN, kNN, BP neural work classifier three kinds of emotional image database categorize improve the image retrieval accuracy. Use classification principle is: if the classification accuracy, then retrieved the results are correct, and vice versa. Through this experiment proved that with respect to the kNN, Weighted kNN classifier, BP neural work classifier correct rate is relatively high, the classification was . kNN, Weighted kNN were and . Can be improved by improving the training samples to improve the classification rate. This paper focuses on the line direction histogram, kNN, Weighted kNN, BP neural work classifier algorithm. Keywords: Visual features calculation emotional image retrieval line direction histogram the classifier 基于情感圖像檢索系統(tǒng)的設計與實現(xiàn) 1 引言 隨著信息化時代的到來和信息傳播速度大力的提升，越來越多的圖像信息被人們所接觸。生活中，很多圖像不但帶有豐富的表面信息，而且蘊含了許多情感內(nèi)容，為了滿足用戶主觀的對于圖像信 息的需求，就興起了圖像檢索技術。近年來，圖像檢索技術已成為什么熱門的研究課題。 早在上個世紀 80 年代初期，就已經(jīng) 形成了基于文本的圖像檢索，它通過提取關鍵字信息，通過關鍵字與文本信息進行檢索的一門技術 [1]。雖然文本圖像檢索大大的提高了圖像檢索的效率，但是有些圖像的關鍵字比較抽象、難以描述，加之一千個讀者便有一千個哈姆雷特，中國漢字的多義性使得結(jié)果往往不如人意。直到上個世紀 90 年代初，伴隨著，互聯(lián)網(wǎng)圖像信息的突飛猛進，基于內(nèi)容的圖像檢索技術 (CRIR)成為圖像檢索的主要技術 [ 2 ]。其實， CRIR 就是采用圖 像的顏色、紋理、形狀以及本身包含的不同層次結(jié)構(gòu)和語義信息來對圖像進行檢索的，主要依據(jù)圖像的相似性進行判斷的。目前，人們一般采用形容詞描述圖像的情感語義，例如，燭光給人溫馨溫暖的氣氛等等，日本研究人員早早開展這方面的研究，他們將描述情感語義的形容詞稱作為 Kansei(感性的 )[ 3 ]。情感圖像檢索的研究與人類的視覺感受到的信息密切相關，通過研究這兩者之間的關系，對未來的發(fā)展具有什么重要的意義和作用。 基于情感圖像檢索系統(tǒng)的設計與實現(xiàn) 2 隨著因特網(wǎng)技術的不斷發(fā)展和電子產(chǎn)品的大量普及，可獲取的數(shù)字圖 像的數(shù)據(jù)規(guī)模越來越多，數(shù)據(jù)庫日益增大，極大地方便了用戶的需求，同時為社會創(chuàng)造了巨大的經(jīng)濟效益。為了滿足人們的需求，每天都會產(chǎn)生巨量的數(shù)字圖像，這樣確實是帶來了人們便利，但是用戶無論使用何種信息，首先都得面臨如何查詢自己所需的圖像信息，于是就出現(xiàn)了兩種圖像檢索方法即基于文本的圖像檢索和基于內(nèi)容的圖像檢索。 背景與現(xiàn)狀 現(xiàn)如今大多數(shù)的搜索引擎都是基于文本的關鍵詞搜索，即文本注釋。它是先對圖像進行文字內(nèi)容的注解，然后在圖像數(shù)據(jù)庫里進行檢索。但是這樣方法有一定的缺陷。雖然文字注解概括了抽象的圖像信息，但是由 于用戶對事物的主觀性和文化背景的差異，人們對同一件事物的描述可能存在不同的理解，那么，當用戶查詢時錄入的關鍵詞與數(shù)據(jù)庫中的關鍵詞不匹配或者不存在時，將會導致查詢失敗。另一方面，關鍵字對文本的描述能力有限，很難全面的反映圖像內(nèi)容的中心思想。再者，不同地區(qū)不同國籍之間的自然語言理解和表述問題對文本的描述也存在差異，這又給檢索造成了新的困難，盡管可以借用詞典或者互聯(lián)網(wǎng)得到簡化，但是，同時使得檢索的表達能力受到了極大的限制。接著出現(xiàn)了利用 Web 網(wǎng)頁中圖像的關鍵字信息來進行檢索的引擎技術。因此客觀上講，目前的圖像 搜索引擎，從本質(zhì)上并沒有解決這一難題，搜索結(jié)果不能達到預期的目標。 如圖 11 所示，利用搜狗圖像搜索引擎輸入關鍵字“企鵝”后得到的結(jié)果，圖 2 是利用百度圖像搜索引擎輸入關鍵字“小燕子”后得到的結(jié)果。 圖 11 搜狗圖像搜索示例 基于情感圖像檢索系統(tǒng)的設計與實現(xiàn) 3 由圖可以看出，圖 11 中的第二排最后一幅圖檢索到了大猩猩，第三排第 5列檢索到了海龜，這些圖片都是不符合要求的。圖 12 中，第二排和第三排檢索到了著名影星趙薇的照片，因為雖然關鍵詞的泛指性，這樣也造成了圖像檢索結(jié)果的不理想，檢索到的結(jié)果往往也不能令人滿意。 圖 12 百度圖 像搜索示例 另一種是基于內(nèi)容的圖像檢索 ，顧名思義，它是根據(jù)圖像的內(nèi)容進行檢索的。由于圖像依靠它的視覺特征來進行檢索，根據(jù)視覺特征的相似度進行比較，然后按照相似度進行排序并且將結(jié)果返回給用戶。根據(jù)實驗結(jié)果，基于內(nèi)容的圖像檢索比較以前的檢索系統(tǒng)有很大的進步。但是盡管如此，基于文本和內(nèi)容的圖像檢索仍然存在著許許多多等待人們?nèi)ヌ剿骱徒鉀Q的問題。加之，圖像內(nèi)容的豐富性和多樣性，用戶心理的變化的主觀性，對圖像檢索的研究提出了挑戰(zhàn)，因此情感圖像檢索的研究是目前十分熱門的具有挑戰(zhàn)性的研究課題，具有十分重要的意義。 圖 13是圖像檢索系統(tǒng)的框架。 圖 13 圖像檢索系統(tǒng)概念示例 基于情感圖像檢索系統(tǒng)的設計與實現(xiàn) 4 基于情感圖像檢索的概念 圖像語義有好幾層 [ 4， 5 ]。而我們討論的情感語義位于抽象語義的最高水平，它可以被定義為描述強度和情緒，感情或通過可視圖像誘發(fā)人類的情感類型的情感語義。它通常是以形容詞的形式表示，即快樂，浪漫，輝煌等等。情感語義的圖像檢索（ ESIR）可以被視為一個基于語義的圖像檢索和情感識別的分支。情感圖像語義的自動推導將延長圖像索引和檢索目前的可能性范圍。例如，我們將能夠?qū)Α耙粋€宜人的景觀”或“優(yōu)雅的服裝圖像”進行檢 索。此外，圖像檢索的結(jié)果也將隨著情感圖像內(nèi)容的參與而增強。 情感圖像檢索特征的分類 情感是一種微妙的心理表現(xiàn)，存在著很大的多義性和主觀性，不同圖像都會給人不同的感受 ,而不同的人對相同的圖像也會存在各色各樣的情感差異 [ 6 ]。圖像中的顏色、形狀、紋理與圖像中包含的情感是緊密相關的。本小節(jié)圍繞顏色、紋理、形狀等特征開展。 顏色中的情感 顏色是組成美麗圖像的元素之一。從色調(diào)上看，一般將色彩分為暖色調(diào)和冷色調(diào)，不同的色調(diào)帶給人不同的感受，性別的差異對相同色調(diào)的感知也是有差異的。同理，色彩 飽和度的差異也給人不同的感受。一言以蔽之，顏色基于其顯著的心理學反應，對圖像的情感語義的研究有著十分重要的作用 [ 7 ]，因此，在圖像情感檢索的研究中，一定要重視顏色特征且必須將其做為重要的特征加以研究。 顏色是最直接、最敏感的視覺特征，是描述情感圖像最有效的特征之一，具有鮮明性、獨特性、合適性、聯(lián)想性和穩(wěn)定性等特點，在外界環(huán)境（軟件和硬件）和自生特點等因素的變化下都表現(xiàn)出超強的健壯性。不同的事物有著不同的顏色特征，因此可以利用顏色特征來區(qū)別不同物體。例如，紅玫瑰代表熱情、興奮、強烈、好戰(zhàn)、希望、奮進，綠色 的草地代表新鮮、清新、和平，藍色的天空代表清爽、自由、寧靜。圖像的顏色特征細致的研究和分析有助于對人的心理情緒變化進行分析，對是情感圖像檢索的有著十分重要的意義。 紋理中的情感 實際上，紋理特征是顏色特征的另一種的表達形式的存在，它是一種表面的視覺屬性，表達了包含在物體表面的情感信息。例如，顆粒