【文章內(nèi)容簡介】 可以直接以原始 數(shù)據(jù) 作為輸入 ， 不需要傳統(tǒng)識別算法中復(fù)制的人工特征提取過程。而且 CNN是建立在無標(biāo)數(shù)據(jù)數(shù)據(jù)基礎(chǔ)上的有監(jiān)督分類分類器，整個(gè)分類網(wǎng)絡(luò)的倒數(shù)第二層可以用來表示圖像信息， CNN 的網(wǎng)絡(luò)結(jié)構(gòu)使 CNN特征 得其具有一定的平移、傾斜、尺度 不變性 。 Autoencoder 是一種無監(jiān)督網(wǎng)絡(luò)，通過降低網(wǎng)絡(luò)的自恢復(fù)誤差， 完成 降緯過程。 2021 年 Hinton 發(fā)表文章 [3]， 將 Autoencoder用于 高緯度數(shù)據(jù)降緯， 引起 很大反響， Autoencoder很快被人們熟知。 2021 年 Hinton 等人，提出 Autoencoder Hash， 將 其用于文本情感語義 Hash 計(jì)算。 2021 年 Krizhevsky 和 Hinton 發(fā)表文章 [4]將 AutoencoderHash 用于圖片檢索，直接用用圖片做輸入，訓(xùn)練 Autoencoder Hash，在小圖片數(shù)據(jù)集上進(jìn)行檢索評測，取得了不錯(cuò)的效果。 論文研究內(nèi)容及 成果 本文主要完成一個(gè)實(shí)用的基于深度神經(jīng)網(wǎng)絡(luò)的圖像檢索系統(tǒng)， 實(shí)現(xiàn) 中需研究現(xiàn)有圖像 Hash 方法并對比實(shí)驗(yàn)，并設(shè)計(jì)綜合利用有標(biāo)圖片和無標(biāo)圖片、能夠進(jìn)行特征選擇的深度語義圖像檢索方案。 （ 1）實(shí)現(xiàn)基于深度神經(jīng)網(wǎng)絡(luò)的圖像檢索系統(tǒng) 一個(gè)完整的圖像檢索系統(tǒng)包括圖片爬取、存儲、建立索引、檢索系統(tǒng)等幾部分組成，其中最為關(guān)鍵的是索引和檢索兩部分， 本文 分別對兩部分進(jìn)行研究、 實(shí)現(xiàn) 。一個(gè)好的檢索系統(tǒng)既需要保證檢索的質(zhì)量，又需要在時(shí)間上可用，這對索引算法提出了很高的要求，現(xiàn)在來說基于 BOV 模型的檢索方法為主流，但是基于Hash 體系的算法擁有更好線性響應(yīng)速度，也得到了極大發(fā)展。本文在 CNN 特征基礎(chǔ)上對 Hash 體系方法進(jìn)行對比研究，設(shè)計(jì)符合要求的圖像檢索系統(tǒng)。 本文的最終目標(biāo)是實(shí)現(xiàn)一個(gè)實(shí)用的圖像檢索網(wǎng)站，是一個(gè)工程性的任務(wù)，除了對 Hash 索引實(shí)驗(yàn)對比選擇 ，還需要實(shí)現(xiàn)整個(gè)系統(tǒng)，能夠?yàn)橛脩籼峁┯押玫臋z索服務(wù)，保證檢索的質(zhì)量同時(shí)，又需要在時(shí)間上可用。此外，工程實(shí)現(xiàn)方面又包括兩方面：一方面，需要設(shè)計(jì)出符合要求且拓展性強(qiáng)的框架，采用優(yōu)秀的網(wǎng)絡(luò)框架實(shí)現(xiàn)，尤其是采用分布式及存儲相關(guān)技術(shù)構(gòu)建整個(gè)檢索系統(tǒng)；另一方面，最大的任務(wù)在于將神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)代碼與網(wǎng)絡(luò)檢索服務(wù)在工程上結(jié)合，完成基于深度神經(jīng)網(wǎng)絡(luò)的圖像檢索系統(tǒng)后臺服務(wù)，由于主流神經(jīng)網(wǎng)絡(luò)工具未考慮上線問題，本文修改相關(guān)代碼完成該任務(wù)。用到的 Caffe 工具有很好的速度、穩(wěn)定性和拓展性， 所以本文對 Caffe 框架進(jìn)行學(xué)習(xí)和修改，以完 成檢索任務(wù)。 （ 2） Hash 模型索引相關(guān)算法 在基于內(nèi)容的圖像檢索系統(tǒng)中，需要在圖像集中查找與某個(gè)給定圖像“相似”的圖像集合，這樣的查找過程叫“相似性檢索”。通常，是從圖像中提取“特征”，然后在圖像的“特征”上定義相似性。大多數(shù)情況下，特征用多維空間的點(diǎn)（或矢量）來描述，空間的維數(shù)可能低至幾維，也可能大至數(shù)千維?？臻g中特征向量之間的接近程度反映了對象內(nèi)容的相似程度，因此基于內(nèi)容的檢索就簡化為空間中點(diǎn)的快速搜索問題。在 Hash 體系中，它要做的任務(wù)就是找到一種 Hash 方程，完成高維特征到低維度 Hash 的映射，并 且原特征空間中接近的點(diǎn)，在 Hash 后目的空間中仍然接近，可以說，整個(gè) Hash 體系都延續(xù)這種思想發(fā)展而來。 Hash 模型主要有 Location Sensitive Hash （ LSH）、 Spectical Hash、神經(jīng)網(wǎng)絡(luò) Hash 三類，其中 LSH、 Spectical Hash 兩種方案可以說均是 Hash 體系具代表性的方方案，深度神經(jīng)網(wǎng)絡(luò)計(jì)算 Hash 方法為新方法，對這三種方法進(jìn)行實(shí)現(xiàn)、對比、 選擇 ， 進(jìn)而 用來實(shí)現(xiàn)檢索系統(tǒng)。 LSH 模型本身限制很多，對尺度、旋轉(zhuǎn)、視角變化的敏感，僅能用于高度相似搜索，很多應(yīng)用中，將其與 用于提升BOV 方案效果，但已經(jīng)成了一種輔助手段。 Spectical Hash 方法的難點(diǎn)在于對于數(shù)據(jù)分布的估計(jì)以及對積分約束方程的求解，雖然可以用均勻分布或者正態(tài)分布估計(jì)樣本，簡化了求解難度，但仍不是真實(shí)的分布。神經(jīng)網(wǎng)絡(luò) Hash 方法可以說通過大規(guī)模訓(xùn)練，使用很少的參數(shù)很好擬合函數(shù)分布，在提取圖片深層特征語義和數(shù)據(jù)維度降低上均有很好的表現(xiàn)，這些分別對應(yīng)圖像檢索的兩大核心問題：特征提取、索引建立。本文對深度神經(jīng)網(wǎng)絡(luò)進(jìn)行研究，主要研究檢索系統(tǒng)相關(guān)的圖片語義特征以及特征降維任務(wù)，完成檢索效果更強(qiáng)的圖像檢索系統(tǒng)。 （ 3）綜合利用有標(biāo)、無標(biāo)數(shù)據(jù)進(jìn)行檢索系統(tǒng)設(shè)計(jì) 本文對綜合利用有標(biāo)圖片和無標(biāo)圖片來實(shí)現(xiàn)圖像檢索系統(tǒng)進(jìn)行設(shè)計(jì)，利用有標(biāo)數(shù)據(jù)訓(xùn)練 CNN 神經(jīng)網(wǎng)絡(luò)，通過 CNN 神經(jīng)網(wǎng)絡(luò)提取出圖片的深層語義特征，然后利用無標(biāo)特征數(shù)據(jù)， 訓(xùn)練 Autoencoder Hash。建立索引時(shí)對離線數(shù)據(jù)計(jì)算 CNN特征， 然后 Hash 降緯到 32 維二進(jìn)制 Hash 索引，形成倒排； 檢索 時(shí)同樣網(wǎng)絡(luò)計(jì)算特征、 Hash， 對 相同 Hash 的圖片進(jìn)行 Rerank。這種方案與傳統(tǒng)的半監(jiān)督算法不同，他不是針對單一任務(wù)的有無監(jiān)督，而是對整個(gè)任務(wù)進(jìn)行切分，選擇適合的方案，分別用于圖 片特征提取和索引建立。最終本課題需要實(shí)現(xiàn)綜合利用有標(biāo)、無標(biāo)數(shù)據(jù)的圖像檢索系統(tǒng)。 CNN 特征是一種利用有標(biāo)數(shù)據(jù)獲得的全局特征， 更適合 注重整體的語義檢索，而不是高度相似的檢索，符合設(shè)計(jì)需求。其次，建立在有監(jiān)督分類數(shù)據(jù)上完成分類任務(wù)的 CNN 特征，保留了分類相關(guān)的信息，這種有監(jiān)督特征自動學(xué)習(xí)并保留圖像檢索中所需側(cè)重點(diǎn)的關(guān)鍵信息，使用 CNN 特征作為圖像表示， 則 可對系統(tǒng)進(jìn)行傾向性選擇， 使 檢索系統(tǒng)檢索效果更容易改善， 例如 ，檢索 系統(tǒng) 計(jì)算相似性時(shí)，若要 更多 關(guān)注長袖短袖， 則 可以增大分類部分長袖短袖的比例。 Autoencoder 是一種無監(jiān)督網(wǎng)絡(luò)，網(wǎng)絡(luò)中神經(jīng)元的個(gè)數(shù)逐層減小，到達(dá)最小 個(gè)數(shù)的中間層后，又對稱增加，通過網(wǎng)絡(luò)輸出預(yù)測輸入的方式，若能夠自恢復(fù)則說明中間層保留了原始輸入的信息。通過這種方式， Autoencode 實(shí)現(xiàn)了降低維度的目的。 Autoencoder Hash 是的數(shù)據(jù)相關(guān) Hash，對 Autoencoder 網(wǎng)絡(luò)中間增加一個(gè)二值化的過程，整體的訓(xùn)練目標(biāo)及訓(xùn)練過程不變，這就形成了一個(gè)等效的語義 Hash 模型，使用 Autoencoder Hash 擬合數(shù)據(jù)分布的， 表現(xiàn) 更優(yōu)秀。 論文結(jié)構(gòu)安排 本文各章節(jié) 安排如下： 第一章為 緒論， 該章首先描述 了 課題 的選題背景及選題意義 ，然后對本文 研究的 問題 的研究現(xiàn)狀 分別 進(jìn)行了分析 ， 展示了本文的研究 內(nèi)容、成果， 最后 描述論文的結(jié)構(gòu)安排。 第二章為基礎(chǔ)知識及技術(shù)，該章首先 介紹 卷積神經(jīng)網(wǎng)絡(luò)及SparseAutoencoder網(wǎng)絡(luò)， 為 后續(xù)實(shí)驗(yàn)提供基礎(chǔ)， 然后 介紹工程實(shí)現(xiàn)中需要用到的技術(shù) 第三章為圖像檢索算法研究，該章首先對檢索系統(tǒng)進(jìn)行定義，形式化描述檢索過程， 對 基于 Hash 的方法進(jìn)行形式化定義。其次基于綜合利用有標(biāo)、 無標(biāo) 數(shù)據(jù)的需求， 設(shè)計(jì)出 基于 CNN 特征的 Hash 檢索系統(tǒng)實(shí)驗(yàn)方法。最后針對 CNN 抽取出來的圖像數(shù)據(jù)集，實(shí)現(xiàn)并修改 LSH、 Spectical Hash、 Autoencoder Hash 三種Hash 索引算法，在該數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)、并對分析。 第四章 為 圖像檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)，該章首先利用第三章的結(jié)論， 對 檢索系統(tǒng)整體流程進(jìn)行設(shè)計(jì)。其次工程實(shí)現(xiàn)上， 介紹 圖像檢索的各部分實(shí)現(xiàn)中用到的技術(shù)框架。最后對檢索系統(tǒng)的性能、效果進(jìn)行橫向?qū)Ρ?、分析? 第五章 為總結(jié)與展望 ，該章對全篇 論文進(jìn)行了總結(jié) ， 分析當(dāng)前 系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)上的 優(yōu)劣，然后對未來可改進(jìn)的方向進(jìn)行了深 度 地 探討。 [1] 吳芳 . 面向購物圖像搜索的哈希索引結(jié)構(gòu)算法研究 [D]. 西南交通大學(xué) , 2021. [2] 李璟潔 . 基于參數(shù)統(tǒng)計(jì)量的圖片檢索系統(tǒng) [D]. 天津大學(xué) , 2021. [3] 唐俊華 , 閻保平 . 基于 LSH索引的快速圖像檢索 [J]. 計(jì)算機(jī)工程與應(yīng)用 , 2021, (24):2021. [4] 陳永權(quán) . 基于 Hadoop的圖像檢索算法研究與實(shí)現(xiàn) [D]. 華南理工大學(xué) , 2021. [5] Weiss, Yair, Antonio Torralba, and Rob Fergus. Spectral hashing. Advances in neural information processing systems. 2021. [6] Salakhutdinov R, Hinton G E. Semantic hashing[J]. International journal of approximate reasoning, 2021. [7]A. Krizhevsky and . Hinton. Using very deep autoencoders for contentbased image retrieval. In ESANN, 2021. [8] Alex Krizhevsky， Ilya Sutskever， Geoffrey E. Hinton Advances in Neural Information Processing Systems， 2021 [9] Osendorfer, Christian, et al. Unsupervised Feature Learning for lowlevel Local Image Descriptors. arXiv preprint arXiv: (2021). [10] Krizhevsky A, Sutskever I, Hinton G E. Image classification with deep convolutional neural works: Advances in neural information processing systems, 2021[C]. [Semantic hashingR Salakhutdinov， G Hinton《 International Journal of Approximate Reasoning》 , 2021, 50(7):969– 978] 【 G. E. Hinton and R. Salakhutdinov. Reducing the dimensionality of data with neural works. Science, 313(5786):504507, July 2021.】 第二章 基礎(chǔ)知識及技術(shù) 引言 卷積 神經(jīng)網(wǎng)絡(luò)（ CNN） 歷史 結(jié)構(gòu) 特性 訓(xùn)練 稀疏自編碼（ Autoencoder ） 歷史 Autoencoder 結(jié)構(gòu) Sparse Autoencoder 結(jié)構(gòu) 特性 訓(xùn)練 相關(guān)工程技術(shù) 隨著計(jì)算機(jī)技術(shù)的發(fā)展，尤其是互聯(lián)網(wǎng)技術(shù)和相關(guān)企業(yè)的興起，開源軟件在互聯(lián)網(wǎng)開發(fā)中所占比重越來越大，是大勢所趨。 本系統(tǒng) 開發(fā)過程中同樣用到很多開源軟件，本小節(jié)對所用到的開源軟件進(jìn)行介紹。 Caffe 機(jī)器學(xué)習(xí)工具 Caffe（ Convolutional Architecture for Fast Feature Embedding） 是 UC Berkeley 的賈揚(yáng)清博士完成了一個(gè)清晰而高效的深度學(xué)習(xí)框架 。 Caffe 是 純粹的 C++/CUDA架構(gòu) ，支持命令行、 Python 和 Matlab 接口，可以在 CPU 和 GPU 間直接切換 。 Caffe無論 在學(xué)術(shù)界還是在工業(yè)界都特別流行，是當(dāng)前主要的 深度 學(xué)習(xí)框架之一， 它 有著如下 五個(gè)優(yōu)點(diǎn) ： ? 上手快 。 模型與相應(yīng)優(yōu)化都是以文本形式而非代碼形式給出。 Caffe 給出了模型的定義、最優(yōu)化設(shè)置以及預(yù)訓(xùn)練的權(quán)重，方便立即 上手。 ? 速度快 。 能夠運(yùn)行最棒的模型與海量的數(shù)據(jù)。 Caffe 與 cuDNN 結(jié)合使用，測試 AlexNet 模型，在 K40 上處理每張圖片只需要 。 ? 穩(wěn)定性。 Caffe 可以說是各個(gè)框架中唯一能夠穩(wěn)定線上部署深度學(xué)習(xí)的框架。 ? 模塊化 。 方便擴(kuò)展到新的任務(wù)和設(shè)置上。 可以使用 Caffe 提供的各層類型來定義自己的模型。 ? 開放性 。 公開的代碼和參考模型用于再現(xiàn)。 ? 社區(qū)好 。 可以通過 BSD2 參與開發(fā)與討論。 Caffe 由于速度和穩(wěn)定的原因可以說非常適合本系統(tǒng)開發(fā)、實(shí)驗(yàn)， 作為 線上服務(wù)的不二選擇。 flann 近鄰檢索庫 Fast library for approximate nearest neighbors (FLANN)庫是 Opencv 的一個(gè)子項(xiàng)目， 用于 高維數(shù)據(jù)的快速最近鄰查詢算法，在計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)中，對于一個(gè)高維特征，找到訓(xùn)練數(shù)據(jù)中的最近鄰計(jì)算代價(jià)是昂貴的。目前來說， FLANN 可以較好地解決這些問題， 本系統(tǒng) 用其解決在 Hamming 空間中查找二進(jìn)制近鄰hash 碼問題， 提 高查找穩(wěn)定性及速度。 Cassandraamp。 LevelDB 數(shù)據(jù)庫 Apache Cassandra 是一套開源分布式 KeyValue 存儲系統(tǒng)。它最初由Facebook 開發(fā)，用于儲存特別大的數(shù)據(jù)。 Facebook 目前在使用此系統(tǒng)。它擁有