【正文】 eyValue：能夠更具 key 存儲文檔。 ? 穩(wěn)定性。其次基于綜合利用有標(biāo)、 無標(biāo) 數(shù)據(jù)的需求， 設(shè)計出 基于 CNN 特征的 Hash 檢索系統(tǒng)實(shí)驗(yàn)方法。 Hash 模型主要有 Location Sensitive Hash （ LSH）、 Spectical Hash、神經(jīng)網(wǎng)絡(luò) Hash 三類，其中 LSH、 Spectical Hash 兩種方案可以說均是 Hash 體系具代表性的方方案，深度神經(jīng)網(wǎng)絡(luò)計算 Hash 方法為新方法，對這三種方法進(jìn)行實(shí)現(xiàn)、對比、 選擇 ， 進(jìn)而 用來實(shí)現(xiàn)檢索系統(tǒng)。 Autoencoder 是一種無監(jiān)督網(wǎng)絡(luò)，通過降低網(wǎng)絡(luò)的自恢復(fù)誤差， 完成 降緯過程。 圖像檢索模型現(xiàn)狀 圖像檢索模型分為兩條發(fā)展線路 Bag of Visual Words（ BOV）檢索模型和基于 Hash 的檢索模型。圖像檢索是根據(jù)圖像信息， 在 圖像數(shù)據(jù)集合中找到相似的圖像子集，圖像檢索有兩大類，一類是基于關(guān)鍵字或描述來搜索圖片，這種方式需要人工標(biāo)注大量的數(shù)據(jù)，工作量太大，數(shù)據(jù)難收集，此外由于圖片本身表達(dá)的信息量遠(yuǎn)遠(yuǎn)大于文字，表達(dá)信息豐富，不同的人對圖片的描述不盡相同，具有主觀性和不準(zhǔn)確性等弊端，基于文本的檢索越來越不能滿足人們的需求。 本人簽名：日期： 關(guān)于論文使用授權(quán)的說明 學(xué)位論文作者完全了解北京郵電大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，即：研究生在校攻讀學(xué)位期間 論文工作的知識產(chǎn)權(quán)單位屬北京郵電大學(xué)。 互聯(lián)網(wǎng)上能夠爬取到的圖片大多是無標(biāo)注圖片數(shù)據(jù)，即沒有文字標(biāo)注的信息，僅能用于無監(jiān)督訓(xùn)練，而可用于有監(jiān)督訓(xùn)練的有標(biāo)圖片數(shù)據(jù)為很少，并且人工標(biāo)注數(shù)據(jù)成本大，一般任務(wù)很難承受其成本。 神經(jīng)網(wǎng)絡(luò) Hash 采用的是 Autoencoder Hash，使用深度 Autoencoder 計算Hash，其輸入為原始圖片像素值，通過大規(guī)模數(shù)據(jù)訓(xùn)練，求解到 Autoencoder 網(wǎng) 絡(luò)訓(xùn)最符合數(shù)據(jù)分布的模型。此外，工程實(shí)現(xiàn)方面又包括兩方面：一方面，需要設(shè)計出符合要求且拓展性強(qiáng)的框架，采用優(yōu)秀的網(wǎng)絡(luò)框架實(shí)現(xiàn)，尤其是采用分布式及存儲相關(guān)技術(shù)構(gòu)建整個檢索系統(tǒng)；另一方面，最大的任務(wù)在于將神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)代碼與網(wǎng)絡(luò)檢索服務(wù)在工程上結(jié)合，完成基于深度神經(jīng)網(wǎng)絡(luò)的圖像檢索系統(tǒng)后臺服務(wù)，由于主流神經(jīng)網(wǎng)絡(luò)工具未考慮上線問題，本文修改相關(guān)代碼完成該任務(wù)。 CNN 特征是一種利用有標(biāo)數(shù)據(jù)獲得的全局特征， 更適合 注重整體的語義檢索，而不是高度相似的檢索，符合設(shè)計需求。 Caffe 是 純粹的 C++/CUDA架構(gòu) ，支持命令行、 Python 和 Matlab 接口，可以在 CPU 和 GPU 間直接切換 。 Caffe 由于速度和穩(wěn)定的原因可以說非常適合本系統(tǒng)開發(fā)、實(shí)驗(yàn)， 作為 線上服務(wù)的不二選擇。 本系統(tǒng)分別采用了這兩種 KeyValue 數(shù)據(jù)庫，可以任意切換，實(shí)現(xiàn)分 布式環(huán)境和單機(jī)環(huán)境不同的檢索系統(tǒng)。Laravel 幾乎可以搞定任何 web 應(yīng)用，和 js的一些前端框架兼容得非常完美。這樣條件下， 如果 能夠 降低對檢索結(jié)果精確的要求， 近似 求解， 但是 檢索速度大幅提升， 尤其 是能夠設(shè)計出線性時間檢索的系統(tǒng)， 更 具有誘惑力。在原空間中的相近的點(diǎn)，在 hamming 空間中具有相同的 Hash 值為終極目標(biāo)。 【 Indyk P,Motwani nearest neighbortowards removing the curse of dimesionality】 LSH 的基本思想是， 選擇 超平面對數(shù)據(jù)進(jìn)行映射，原始數(shù)據(jù)空間中相鄰的數(shù)據(jù)點(diǎn)，通過 Hash 函數(shù)變換后，在新空間中 具有 相同值的概率很大，相反，不相鄰的數(shù)據(jù)點(diǎn)在新空間中具有相同值的概率很小。 R)，其中 R 是一個隨機(jī)向 量。 為了使 Hash 函數(shù)能夠覆蓋未觀測樣本，不直接使用樣本集， 而是 對樣數(shù)據(jù)實(shí)際分布進(jìn)行估計，假設(shè)數(shù)據(jù) nRX? 是概率分布 P（ x）的樣本， 則 這個問題就可以將原離散問題轉(zhuǎn)化為期望問題。對于 圖像檢索來說，二進(jìn)制 Hash 碼比原始像素的匹配耗時更短，檢索速度更快。文中深度 Autoencoder 采用的網(wǎng)絡(luò)結(jié)構(gòu)如圖所示，采用全連接神經(jīng)網(wǎng)絡(luò)，逐層減半直到目標(biāo)大小，訓(xùn)練中，采用 RBM 逐層訓(xùn)練得到初始 權(quán)值，再用其初始化 Autoencoder 網(wǎng)絡(luò)，通過 Autoencoder 整體調(diào)權(quán)的到最終模型，精細(xì)調(diào)整權(quán)值， 最終 得最優(yōu)網(wǎng)絡(luò)。為了簡化該問題的求解過程，現(xiàn)假設(shè)樣本分布為均勻分布，即分布 P（ x）為均勻分 布，則可以的到奇異方程和奇異值分別為： Spectral Hashing 方法通過統(tǒng)計現(xiàn)有樣本對數(shù)據(jù)分布進(jìn)行估計，根據(jù)預(yù)估分布，求出模型解析解的方法。 R可以看做是將向量 V在平面 R上進(jìn)行投影操作。同時 LSH 也保留的其他 Hash 的一些特征，原始圖片集合經(jīng)映射后， 分散于 整個 hash 表中，命中同一 Hash 值的數(shù)據(jù)就有很大概率在原空間相近。因?yàn)閳D像近似檢索系統(tǒng)，計算出 Hash 之后，只能算找出了較小的候選集，顯然候選集直接呈現(xiàn)給用戶是不合適的，需要按照相似度給出一個排序，這就是 ReRank 過程。 近似檢索的任務(wù)定義如下：映射 f將圖像集 O中的每張圖像映射到 N維特征向量集合 X，即 XOf ?: ，對于一點(diǎn)集 ,若對于其中任意一點(diǎn)若有? ?? ? prxqDP ??, ,即 P 中數(shù)據(jù)點(diǎn) x與查詢點(diǎn) q 之間的距離小于 r 的概率大于 ??,則 ??集合 為 q概率 p下的近似 r近鄰。 本 系統(tǒng)采用Laravel 實(shí)現(xiàn)邏輯層及表現(xiàn)層。 Thrift 用來進(jìn)行可擴(kuò)展且跨語言的服務(wù)的開發(fā)。目前來說， FLANN 可以較好地解決這些問題， 本系統(tǒng) 用其解決在 Hamming 空間中查找二進(jìn)制近鄰hash 碼問題， 提 高查找穩(wěn)定性及速度。 模型與相應(yīng)優(yōu)化都是以文本形式而非代碼形式給出。 Autoencoder 是一種無監(jiān)督網(wǎng)絡(luò)，網(wǎng)絡(luò)中神經(jīng)元的個數(shù)逐層減小，到達(dá)最小 個數(shù)的中間層后，又對稱增加，通過網(wǎng)絡(luò)輸出預(yù)測輸入的方式，若能夠自恢復(fù)則說明中間層保留了原始輸入的信息。 （ 2） Hash 模型索引相關(guān)算法 在基于內(nèi)容的圖像檢索系統(tǒng)中，需要在圖像集中查找與某個給定圖像“相似”的圖像集合，這樣的查找過程叫“相似性檢索”。 深度神經(jīng)網(wǎng)絡(luò)現(xiàn)狀 2021 年 Krizhevsky 等人 利用 CNN 在 ImageNet 數(shù)據(jù)庫 上 取得突破性成果 ，短短 四年 時間 里 ， CNN 就 已經(jīng)在分類、 檢測 、分割 等 各大領(lǐng)域取得 喜人 的突破。這兩方面的原因使得綜合利用有標(biāo)圖片和無標(biāo)圖片來提高圖片檢索系統(tǒng)效果變成一件非常有意義的事情。（保密的學(xué)位論文在解密后遵守此規(guī)定） 保密論文注釋：本學(xué)位論文屬于保密在年解密后適用本授權(quán)書。 LevelDB 數(shù)據(jù)庫 ......................................................................... 9 Thrift輕量級 RPC 接口 .............................................................................. 10 Laravel ...................................................................................................... 10 Bootstrap .................................................................................................. 11 本章小結(jié) .......................................................................................................... 11 第三章 圖像檢索算法研究 ........................................................................................ 11 基于 CNN 特征的圖像檢索 Hash 模型 .................................................................. 11 圖像檢索定義 .......................................................................................... 11 CNN 特征抽取 .......................................................................................... 12 Hash 索引建立 .......................................................................................... 12 ReRank 過程 .............................................................................. 13 Hash 模型圖像檢索分析小節(jié) ..................................................................... 13 基于 LSH 的圖像檢索索引算法研究 ..................................................................... 14 .................................................................................................. 14 實(shí)現(xiàn)及訓(xùn)練 ......................................................................................... 15 基于 Spectical Hash 的圖像檢索索引算法研究 ...................................................... 15 .................................................................................................. 15 Hashing 實(shí)現(xiàn)及訓(xùn)練 ....................................................................... 17 基于深度神經(jīng)網(wǎng)絡(luò) Hash 的圖像檢索索引算法研究 .............................................. 19 .................................................................................................. 19 Hash 實(shí)現(xiàn) .............................................................................. 20 Hash 訓(xùn)練 .............................................................................. 21 實(shí)驗(yàn)過程及結(jié)果分析 .......................................................................................... 22 .................................................................................................. 22 .................................................................................................. 23 ....................................................................................... 24 本章小結(jié) ........................................................................................................... 26 第四章 圖像檢索系統(tǒng)設(shè)計與實(shí)現(xiàn) .............................................................................. 26 系統(tǒng)介紹 ...........................................................................................................