【正文】 狀的沙灘給人粗糙的感覺，家具的木質(zhì)花紋又給人一安適感，這些紋理特征都帶給人們不同的視覺心基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 5 理效果，與人們情感息息相關(guān)。 形狀中的情感 形狀特征是情感圖像中最核心的特征，它可以清晰的反映出圖像的區(qū) 域、輪廓的基本特征。圖像中的形狀可以激發(fā)人的感性認(rèn)識(shí)，主要是由于形狀的美學(xué)價(jià)值之一作用的影響。例如，線條形態(tài)的不同會(huì)給人不同的感受，垂線給人以正直、公平、莊嚴(yán)、嚴(yán)肅；水平線給人寬廣、無線延伸、遐想、安靜、有活力；曲線給人以柔美、優(yōu)亞、有節(jié)奏感。不同的形狀傳達(dá)給人不同的視覺體驗(yàn)，人們會(huì)主觀的賦予它們不同的感情色彩 [ 8 ]。 未來的研究趨勢(shì) 三個(gè)關(guān)鍵問題的改進(jìn)依賴于對(duì)其他相關(guān)領(lǐng)域進(jìn)一步的了解，例如，使用認(rèn)知科學(xué)和心理學(xué)的輸出來設(shè)計(jì)更好的圖像特征，這與圖像的情感有著密切的關(guān)系并且可以表達(dá)圖像語義；使用最 新的研究人工智能成果和機(jī)器學(xué)習(xí)來改善情感的重組和推理效率。 個(gè)性化情感模型 至今大部分的情感研究工作是基于共同的情感，這意味著在一定程度上一定數(shù)量的人可能會(huì)同意。然而，情緒感受是非常主觀的，強(qiáng)烈依賴于個(gè)人的性格。這是考慮個(gè)體差異，增強(qiáng)檢索系統(tǒng)滿意度的一個(gè)重要方向。總的想法是建立一個(gè)特定的配置文件為特定用戶或用戶組，來記錄個(gè)人喜好和共同的情感之間的自適應(yīng)信息。 BianchiBerthouze [9,10]提出的 KDIME 系統(tǒng)，其中，感性自適應(yīng)個(gè)性化圖像檢索可以根據(jù)用戶的感性偏好來實(shí)現(xiàn)。在該系 統(tǒng)中，感性用戶模型提出了通過用戶評(píng)估該系統(tǒng)來建立相關(guān)的反饋錄入，以便來構(gòu)建記錄每個(gè)人的主觀性。然而，沒有性能數(shù)據(jù)是提出證明這種做法是多么的成功。 在產(chǎn)品的圖像檢索， BAEK[ 11 ]定義的用戶配置文件僅僅通過感性的重量，通過用戶反饋，這些關(guān)鍵的重量和感性可以學(xué)習(xí)和變化 。 在個(gè)性化檢索中挑戰(zhàn)有： 1）方法創(chuàng)建和處理配置文件是不夠的； 2）需要大量情感反饋量，數(shù)據(jù)難以收集和對(duì)于用戶來說過程是無聊的。 結(jié)合 Web 文本的關(guān)鍵字信息 現(xiàn)在越來越多的圖片來自于網(wǎng)絡(luò)。這些圖像的特征表現(xiàn)在結(jié)構(gòu)化的 Web 頁(yè)面的視覺 和語言信息。從文本和圖像梳理功能，從不同媒體的更多的信息可以被集成到推導(dǎo)出情感語義。在信息檢索技術(shù)和語言分析方面，如 WordNet 的，潛在基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 6 語義分析（ LSA）可能在將來被使用。 羅伯托 [12]提出了一種分類方法，叫做無監(jiān)督圖像分類法。它是通過語言描述的信息從網(wǎng)頁(yè)中提取集成視覺特征的意味著 LSA，為了獲取圖像語義。這種方法可用于提取圖像的情感語義理解之間的語義關(guān)系和一般情感語義。 結(jié)合影像美學(xué) 影像美學(xué)是一個(gè)新的方向，新出現(xiàn)的。彼得斯 [13]。提出了六個(gè)方面的視覺美學(xué)的基礎(chǔ)上人類視覺系統(tǒng)的模塊化。羅 斯 [ 14 ]研究基于美觀的圖像自動(dòng)合成拉爾夫的審美方式。和 Datta [15]提出了一種方法來自動(dòng)推斷出審美素質(zhì)的照片使用他們的視覺作為機(jī)器學(xué)習(xí)的內(nèi)容。一定的視覺特征的基礎(chǔ)上直覺是提取區(qū)分美學(xué)愉悅的和令人不快的圖像。因?yàn)閺?qiáng)烈的關(guān)系影像美學(xué)與情感之間，結(jié)論和提取圖像的美學(xué)的方法，將有助于在情感語義研究。 建筑實(shí)踐的目的一般系統(tǒng) 由于大多數(shù)的圖像檢索系統(tǒng)目前提出的情緒基于特定領(lǐng)域的知識(shí)和具體的畫廊喜歡繪畫，圖案，紡織品，工藝對(duì)象，背景或景觀，它們是簡(jiǎn)單的，在特定的領(lǐng)域有限公司。從用戶的角度來看，一 個(gè)通用的和靈活的解決方案，預(yù)計(jì)將使用方便，在實(shí)際應(yīng)用中的擴(kuò)展。這是一個(gè)具有挑戰(zhàn)性的課題，在未來隨著每一種解決方案特定領(lǐng)域的不斷提高。 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 7 線條方向直方圖 圖像的邊緣特征作為圖像的基本特征之一，包含著十分重要的圖像信息，而圖像的邊緣點(diǎn)的方向梯度與圖像的邊緣點(diǎn)方向垂直，那么如果我們求出邊緣點(diǎn)的方向梯度相角值，就能夠容易的解決圖像邊緣點(diǎn)的方向角度，從而統(tǒng)計(jì)出邊緣圖像角度的分布，得出圖像的特征。 原始的線條方向直方圖 對(duì)于某個(gè)圖像某點(diǎn)的方向梯度相角 ( ),xyq ，可以通過求它在某一點(diǎn)的導(dǎo)數(shù)，然后對(duì)它的正切取導(dǎo)數(shù)，例如 ? ?? ?? ?f x ,yxθ x ,y = a r c tg f x ,yy?????? ???? (21) 其中， ? ?90 90? ??? ， ，因?yàn)閳D像邊緣點(diǎn)的方向和此點(diǎn)的梯度方向垂直，所以此點(diǎn)的方向即此點(diǎn)的切線方向夾角范圍是 ? ? ? ? ? ?α x ,y = θ x ,y + 9 0 ,α 0 ,1 8 0? ? ??。 因此根據(jù)邊緣點(diǎn)的方向梯度相角度，我們可以得到此點(diǎn)的切線方向角度，并且繪制出邊緣點(diǎn)角度的方向直方圖，便于直觀，我們可以以 10176。為量化，統(tǒng)計(jì)出這些邊緣點(diǎn)的直方圖，例如下圖 2 2 23 所示，圖 2 23 為靜態(tài)圖像示例，圖 21 為動(dòng)態(tài)示例。然后根據(jù)直方圖，我們可以計(jì)算不同圖像之間的直方圖距離，距離差異越小，那么圖像的相似性就越高。 ? ? ? ? ? ?? ? 2nE Q I Q Ij 1d H ,H = H j H j? (22) (1)原圖 (2)線條圖 (3)直方圖 圖 21 動(dòng)感圖像特征 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 8 (1)原圖 (2)線條圖 (3)直方圖 圖 22 靜感圖像特征 (1) (1)原圖 (2)線條圖 (3)直方圖 圖 23 靜感圖像 特征 (2) 改進(jìn)的線條方向直方圖 根據(jù)研究表明，水平線和垂直線同樣給人以安靜溫馨的感覺，也就是說，在0176。、 180176。與 90176。的時(shí)候線條給人的感覺是相同的，那么我們就可以通過一次對(duì)折將 0176。與 180176。重合，直方圖成 0176。到 90176。，我們?cè)俅螌?duì)折一次直方圖成 0176。到 45176。，由大量實(shí)驗(yàn)可得，越是接近 45176。圖像的動(dòng)感越強(qiáng)烈，通過改進(jìn)后的直方圖，也可以發(fā)現(xiàn)圖像之間的同類之間的距離也越來越小，異類之間的距離也越來越大了。進(jìn)過 2 次對(duì)折后的直方圖，如 24 所示： 圖 24 改進(jìn)的線條方向直方圖 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 9 BP 神 經(jīng)網(wǎng)絡(luò)分類器 BP 神經(jīng)網(wǎng)絡(luò)的概念 BP 網(wǎng)絡(luò)簡(jiǎn)稱反相神經(jīng)網(wǎng)絡(luò)，是一種方向傳播的神經(jīng)網(wǎng)絡(luò)。它由輸入層、輸出層和隱含層組成。隱含層也可以包含為一個(gè)或多個(gè)。 BP 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖25 所示。 BP 神經(jīng)網(wǎng)絡(luò)的原理 BP 神經(jīng)網(wǎng)絡(luò)就是模擬生物的神經(jīng)元之間的傳遞。首先，信號(hào)傳遞到輸入端，通過第二隱含層的多層復(fù)雜的運(yùn)算加工，傳遞到輸出端，比較實(shí)際結(jié)果與輸出端的期望值，如果他們之間存在誤差，那么就將結(jié)果重新反饋回隱含層，經(jīng)過隱含層的多級(jí)處理，又重新反饋給輸入層，輸入層又重復(fù)第一次的過程，一次次運(yùn)算，減 少誤差率，已達(dá)到滿意的結(jié)果。 圖 25 BP 網(wǎng)絡(luò)神經(jīng)圖 kNN 分類器 在介紹 kNN 分類器之前我們先要理解什么叫做最近鄰法，顧名思義，最近鄰法就是已知一個(gè)待分類樣本 x，比較它和 N 個(gè)已分類樣本之間的距離，通常是歐式距離，選擇和它最相近的點(diǎn)，然后將 x 劃分為這個(gè)最近點(diǎn)的同類樣本中。 k近鄰法：如圖 26 所示是最近鄰法 的一個(gè)擴(kuò)展，基本思路是 :對(duì)于一個(gè)待分類樣本，比較它和 N 個(gè)已知分類樣本之間的距離，選取出 k 個(gè)和它距離最近的樣本，看這 k 個(gè)樣本中，那一類的樣本最多，那么就將 x 劃分到那一類去。換句話說，就是在 N個(gè)已知樣本中選擇 k個(gè)距離 x最近的樣本，設(shè) N 有 n1,n2,n3,n4...ni，i 個(gè)各類， k1,k2,k3,...ki 分別屬于 n1,n2,n3,n4...ni，那么 maxjj k 得到的類別就是 x的類。 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 10 Weighted kNN 分類器 圖 26 K近鄰法 圖 27 Wighted k近鄰法 k近鄰法中，當(dāng)樣本比較少時(shí)， kNN 法就不合適了。如 27 圖所示，由圖可知，盡管在 k 近鄰中類別 B 的樣本數(shù)多于類別 A，但類別 A 的樣本和待分類樣本距離更近，將待分類樣本分類為類別 A 可能更合理?？梢詫⒏鱾€(gè)樣本和待分類樣本之間的距離作為權(quán)重進(jìn)行計(jì)算，以確定類別：在得到待分類樣本 x 的 k 個(gè)近鄰的已知樣本 { ix , i= 1,2,..., k}后，用如下公式來計(jì)算其最終的類別號(hào) (式中 iw是距離權(quán)重 ): ? ? ? ?kiii=1kii=1w C xC x =w?? (23) ? ?i 2i1w=d x,x (24) 其中 ()Cx 表示樣本 x 的類別標(biāo)簽， ( ), idxx 表示待分類樣本 x 和已知樣本 ix 之間的距離（如可使用歐式距離計(jì)算）。 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 11 情感圖像的基本框架 圖像的情感檢索基于用戶的情感需求，最高層的情感語義和圖像的底層特征之間的聯(lián)系是研究者重點(diǎn)關(guān)注的，并且建立了人機(jī)交互式的情感圖像檢索，如圖31 給出了情感圖像檢索的基本框架 。 圖 31 基本框架 [ 16 ] 由圖 31 可知，情感圖像檢索系統(tǒng)主要研究如下四個(gè)方面的內(nèi)容 : 1) 建立圖像感性特征數(shù)據(jù)庫(kù)，即通過定義圖像的感性認(rèn)識(shí)，抽離概括引起人們情感變動(dòng)的重要特征； 2)收集用戶情感信息，利用形容詞的感性特點(diǎn)，讓其與情感數(shù)據(jù)庫(kù)進(jìn)行匹配； 3)通過圖像數(shù)據(jù)庫(kù)，提取特征子函數(shù)，然后將其與情感圖像數(shù)據(jù)庫(kù)進(jìn)行檢索； 4)通過學(xué)習(xí)能力，依據(jù)不同的情況，確保正確率提高的情況下，自主調(diào)節(jié)情感用戶模型。 實(shí)驗(yàn)平臺(tái) MATLAB介紹 MATLAB 最初是由 Cleve Moler 用 Fortran 語言設(shè)計(jì)的，有關(guān)矩陣算法來自Linpack 和 Eispack 課題的研究成果；現(xiàn)在的 MATLAB 程序是 MathWorks 公司用C 語言開發(fā)的。 MATLAB 作為美國(guó) MathWorks 公司的用于概念設(shè)計(jì)，算法開發(fā)，建模仿真，實(shí)現(xiàn)的理想的集成環(huán)境。是目前最好的科學(xué)計(jì)算類軟件之一 。MATLAB 軟件的圖標(biāo)如圖 32 所示。 任何一個(gè) MATLAB 程序的基本組成單元是數(shù)組。數(shù)組是一組數(shù)據(jù)值的集情感數(shù)據(jù)庫(kù)系統(tǒng) 圖像感性特征庫(kù) 用戶情感信息 學(xué)習(xí)機(jī)制 元數(shù)據(jù)檢索子系統(tǒng) （情感用戶模型） 特征提取子函數(shù) 圖像數(shù)據(jù)庫(kù) 用戶檢索要求 檢索到 的圖像 用戶反饋 圖像元數(shù)據(jù) 印象語元數(shù)據(jù) 檢索到元數(shù)據(jù) 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 12 合，這些數(shù)據(jù)被編上行號(hào)和列號(hào)，擁有唯一的名稱。數(shù)組中的單個(gè)數(shù)據(jù)是可以通過帶有小括號(hào)的數(shù)組名訪問，括號(hào)內(nèi)有這個(gè)數(shù)據(jù)的行標(biāo)和列標(biāo)，中間用逗號(hào)隔開。標(biāo)量也被 MATLAB 當(dāng)作數(shù)組，只不過只有一行和一列。當(dāng) MATLAB 運(yùn)行時(shí)，有多種類型的窗口，有的用于接收命令，有的用于顯示信息。三個(gè)重要的窗口有命令窗口；圖像窗口；編輯 /調(diào)試窗口；它們的作用分別為輸入命令；顯示圖形；充許使用者創(chuàng)建和修改 MATLAB 程序 。在本節(jié)課中我們將會(huì)看到這三個(gè)窗口的例子。當(dāng) MATLAB 程序啟動(dòng)時(shí)，一個(gè)叫做 MATLAB 桌面的窗口出現(xiàn)了。 MATLAB 的主要應(yīng)用領(lǐng)域有： (1)數(shù)值分析。（ 2）數(shù)值和符號(hào)計(jì)算。（ 3）工程與科學(xué)繪圖。（ 4）控制系統(tǒng)的設(shè)計(jì)。（ 5）數(shù)字圖像處理。（ 6）數(shù)字信號(hào)處理。（ 7）通訊系統(tǒng)設(shè)計(jì)與仿真。（ 8）財(cái)務(wù)和金融工程。 MATLAB 的主要功能有：數(shù)值計(jì)算功能、符號(hào)計(jì)算功能、繪圖功能結(jié)果的可視化、圖形化程序編制功能、 MATLAB工具箱、 MATLAB的兼容功能、 MATLAB的容錯(cuò)功能等等。 圖 32 MATLAB 圖標(biāo) 軟硬件環(huán)境的介紹 計(jì)算機(jī)軟硬件配置：主頻為 AMS Athlon(tm) II DualCore M320，內(nèi)存為，操作系統(tǒng)操作平臺(tái)： MATLAB R20xxa 基于情感圖像檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 13 情感圖像數(shù)據(jù)庫(kù)的建立 實(shí)驗(yàn)中搜集了風(fēng)景圖像、自然圖像，藝術(shù)類圖像，如兵馬俑、雕塑、油畫、國(guó)畫等等一些具有地方特色的圖像?？偣?200 幅，邀請(qǐng)了 3 位同學(xué)分別對(duì)圖像的動(dòng)靜態(tài)進(jìn)行評(píng)估。評(píng)分標(biāo)準(zhǔn)采用 10 分制， 15 分代表靜態(tài)， 1 時(shí)表示靜感最強(qiáng)烈，靜感強(qiáng)度依次減弱， 5 時(shí)靜感最低； 610 分代表動(dòng)態(tài)，動(dòng)感強(qiáng)度依次增強(qiáng)， 10時(shí)表示動(dòng)感最強(qiáng)烈。然后求平分的均