【正文】 21 年 6月 15日 跟據(jù)導(dǎo)師意見(jiàn)認(rèn)真修改，校對(duì)論文 初稿，最后完成論文； 2021 年 6月 16日 2021 年 6月 21日 準(zhǔn)備畢業(yè)論文答辯； 七、 參考文獻(xiàn) [1] Ritendra Datta, Dhiraj Joshi, Jia Li et al. Image Retrieval: Ideas, Influences, and Trends of the New Age[J].ACM Comput. Surv. 40, 2, Article 5 .April 2021. [2] 李曉明，閆宏飛，王繼民 . 搜索引擎 原理 ,技術(shù)與系統(tǒng) [M].北京：科學(xué)出版社 ,2021. [3] 馬自萍 .形狀和顏色特征的混合圖像檢索 [D].銀川：北方民族大學(xué) ,. [4] 陳劍雄，張蓓．簡(jiǎn)析圖像檢索中的 CBIR技術(shù) [J].情報(bào)探索（第 7期） ,. [5] 邱哲，符滔滔，王學(xué)松．開(kāi)發(fā)自己的搜索引擎 Lucene + Heritrix[M].北京：人民郵電出版社 ,202101． [6] 李剛 .輕量級(jí) J2EE企業(yè)應(yīng)用實(shí)戰(zhàn) [M].北京：電子工業(yè)出版社 ,. [7] 周明全，耿國(guó)華，韋娜 .基于內(nèi)容圖像檢索技術(shù) [M].北京：清華大學(xué)出版社， . [8] 沈蘭蓀，張?bào)?，李曉光。開(kāi)發(fā)語(yǔ)言為 Java, 開(kāi)發(fā)工具為 MyEclipse 和MySQL 及 Tomcat. 關(guān)鍵詞： 圖像檢索，網(wǎng)絡(luò)爬蟲(chóng)， Heritrix, HTMLParser, 網(wǎng)頁(yè)信息提取 ABSTRACT With the rapid development of work information on the explosive growth of images, which makes it on the Inter more and more difficult to find the images, image search technology bee a very hot research topic. The collection of images and indexing for image retrieval is a very important aspect. Web crawler is used to collect Web pages and pictures of the program. This study focuses on using the Heritrix Web crawler framework to extend, from the Inter and download web pages and images for web use HTMLParser information extraction and image analysis. After pletion of the work, then the image directory location and the extracted information into a database. And a picture retrieval system for Web projects, to achieve search function. Development language for Java, and MySQL development tools for the MyEclipse and Tomcat. Keywords: image retrieval, web crawler, Heritrix, HTMLParser, Web information extraction 1 目 錄 第一章 文獻(xiàn)綜述 ????????????????? 1 圖像檢索的研究意義 ????????????? 1 圖像檢索的國(guó)內(nèi)外發(fā)展?fàn)顩r ?????????? 1 網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在搜索引擎中的應(yīng)用 ??????? 3 網(wǎng)頁(yè)分析和信息提取技術(shù) ??????????? 4 本文的研究重 點(diǎn)，系統(tǒng)結(jié)構(gòu)和內(nèi)容 ???????? 5 第二章 Heritrix 應(yīng)用開(kāi)發(fā)擴(kuò)展 ??????????? 7 Heritrix簡(jiǎn)介 ?? ??????????????? 7 Heritrix 抓取策略及改進(jìn) ???????????? 9 Heritrix抓取過(guò)程 ?????????????? 10 網(wǎng)頁(yè)爬結(jié)果 ???????????????? 13 第三章 HTMLParser 圖片相關(guān)信息提 取 ? ?? ??? 14 HTMLParser 簡(jiǎn)介 ??????????????? 14 圖片信息提取策略 ????????????? 14 圖片信息提取的實(shí)現(xiàn)方法 ??????????? 15 實(shí)驗(yàn)提取結(jié)果 ???????????????? 17 第四章 圖像檢索系統(tǒng)的搭建 ? ?????????? 18 數(shù)據(jù)庫(kù)的建立 ??????????????? 18 系統(tǒng)的實(shí)現(xiàn)框架和結(jié)構(gòu) ???????????? 21 檢索結(jié)果展示 ???????????????? 23 2 第五章 總結(jié)和展望 ?? ? ???????????? 25 參考文獻(xiàn) ???????????????????? 26 附錄 ?????????????????????? 27 外文資料 中文譯文 致謝 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論文） 1 第一章 文獻(xiàn)綜述 圖像檢索的研究意義 為了解決上述問(wèn)題，定向抓取相關(guān)網(wǎng)頁(yè)資源的網(wǎng)絡(luò)爬蟲(chóng)應(yīng)運(yùn)而生。 基于內(nèi)容的圖像檢索根據(jù)圖像特征、圖像的內(nèi)容語(yǔ)義以及上下文聯(lián)系進(jìn)行查找，以圖像語(yǔ)義特征為線索從圖像數(shù)據(jù)庫(kù)中檢出具有相似特性的其它圖像。 立足于圖像內(nèi)容，對(duì)圖像進(jìn)行分析和檢索。通過(guò)對(duì)博客及 SNS 等媒體公布的有關(guān)公司產(chǎn)品或宣傳活動(dòng)的評(píng)測(cè)進(jìn)行即時(shí)分析，可以為企業(yè)的市場(chǎng)運(yùn)營(yíng)提 供更多有益的參考。未來(lái)，全新的搜索服務(wù)模式將出現(xiàn)。用戶如果想在互聯(lián)網(wǎng)海量信息中快速、簡(jiǎn)便地尋找到自己想要的信息而不受干擾，需要搜索技術(shù)對(duì)檢索者的想法進(jìn)行臆 測(cè)。它提供的搜索圖像服務(wù)的特色在于，可以提取圖像中商品的形狀、顏色等信息。用戶在選擇服務(wù)提供商時(shí)，除了關(guān)注價(jià)格和功能指標(biāo)外，或許會(huì)更加關(guān)注服務(wù)商能否長(zhǎng)期提供本地化的服務(wù)。網(wǎng)絡(luò)爬蟲(chóng)是一個(gè)自動(dòng)下載網(wǎng)頁(yè)的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問(wèn)萬(wàn)維網(wǎng)上的網(wǎng)頁(yè)與相關(guān)的鏈接，獲取所需要的信息。 抓取目標(biāo)的描述和定義是決定網(wǎng)頁(yè)分析算法與 URL 搜索策略如何制訂的基礎(chǔ)。這就需要用到網(wǎng)頁(yè)分析及信息提取技術(shù)。在實(shí)際項(xiàng)目中，最常用的就是用正則表達(dá)式或 HTMLParser 來(lái)提取額網(wǎng)頁(yè)的內(nèi)容 。綜合運(yùn)用 java 語(yǔ)言，圖像檢索，網(wǎng)絡(luò)爬蟲(chóng)，網(wǎng)頁(yè)分析及 Web 開(kāi)發(fā)等相關(guān)技術(shù)。第一次正式發(fā)布實(shí)在 2021 年 1月。也就是說(shuō)，他要與 URL 之間有一種內(nèi)在的聯(lián)系。因此，如果使用了 HostnameQueueAssignmentPolicy,則會(huì)造成有一個(gè)隊(duì)列的長(zhǎng)度非常長(zhǎng)的情況，在 Heritrix 中，一個(gè)現(xiàn)成從一個(gè)隊(duì)列中取 URL 鏈接時(shí)，總是會(huì)先從隊(duì)列的頭部取出第一個(gè)鏈接，在這之后，這個(gè)被取出鏈接的隊(duì)列會(huì)進(jìn)入阻塞天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論文） 10 狀態(tài)，知道待該鏈接處理完，它才會(huì)從阻塞狀態(tài)中恢復(fù)。它對(duì)長(zhǎng)字符串和短字符串都很有效，字符串中每個(gè)字符都有同樣的作用。 long x = 0。 } } } 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論文） 11 Heritrix 抓取過(guò)程 在瀏覽器中輸入 之前設(shè)置的用戶名 / 密碼：admin/admin，進(jìn)入到 Heritrix 的管理界面，如圖 23所示。這里我們使用默認(rèn)值。 6） Select Writers：它主要用于設(shè)定將所抓取到的信息以何種形式寫(xiě)入磁盤(pán)。它能超高速解析 html，而且不會(huì)出錯(cuò)。 頁(yè)面內(nèi)容的監(jiān)控 2． 信息轉(zhuǎn)換 本章要從之前抓取的網(wǎng)頁(yè)中找出所需的圖片相關(guān)信息。 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論文） 17 （ 2） void getImgTag(NodeFilter img_filter) 獲取 img標(biāo)簽中 src 元素內(nèi)容 獲取 img標(biāo)簽中 alt 元素內(nèi)容 獲取 img標(biāo)簽中 title 元素內(nèi)容 獲取 img標(biāo)簽中 width 元素內(nèi)容 獲取 img標(biāo)簽中 height 元素內(nèi)容 String image_src=getProp(img[^]* src=\([^\]*)\[^]*, (i).toHtml(),1)。 Hibernate 是一個(gè)開(kāi)放源代碼的 對(duì)象 關(guān)系映射框架，它對(duì) JDBC 進(jìn)行了非常輕量級(jí)的對(duì)象封裝，使得 Java 程序員可以隨心所欲的使用對(duì)象編程 思維來(lái)操縱 數(shù)據(jù)庫(kù) 。 數(shù)據(jù)哭的發(fā)展并未與程序設(shè) 計(jì)語(yǔ)言同步，而且關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)的某些優(yōu)勢(shì)也是面向?qū)ο蟮恼Z(yǔ)言目前無(wú)法比擬的。 ORM 工具示意圖： 圖 41 ORM工具示意圖 數(shù)據(jù)表中的記錄行對(duì)應(yīng)持久化對(duì)象： 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論文） 20 圖 42 記錄對(duì)應(yīng)持久化對(duì)象 基于這種基本的映射方式， ORM 工具可完成對(duì)象模型和關(guān)系模型之前的相互映射。在以后的操作中不需對(duì)數(shù)據(jù)庫(kù)中記錄進(jìn)行操作，而對(duì) ImgK 類(lèi)的實(shí)例進(jìn)行操作即可得到數(shù)據(jù)庫(kù)中的信息。 （ 5） 配置處理結(jié)果和物理視圖資源之間的對(duì)應(yīng)關(guān)系。 由于大規(guī)模圖像數(shù)據(jù)庫(kù)的出現(xiàn)和應(yīng)用，每天都有大量額度圖像信息在不斷的生產(chǎn)（如衛(wèi)星，醫(yī)療，安全部門(mén)），這就迫切需要性能良好的檢索工具，能夠根據(jù)圖像的視覺(jué)特征和語(yǔ)義信息，從圖像庫(kù)中檢索所需的圖像，而傳統(tǒng)的基于關(guān)鍵字的信息查詢方法（ IR技術(shù)）不能有效的支 持多媒體信息的查詢和檢索。 根據(jù)圖片檢索技術(shù)的發(fā)展趨勢(shì)，未來(lái)基于文本的圖像檢索技術(shù)將越來(lái)越受到關(guān)注，尤其是基于語(yǔ)義的圖像檢索技術(shù)的發(fā)展?jié)摿κ蔷薮蟮?。鑒于目前的討論情況，一想到這個(gè)著名的引用所表達(dá)的是，在有時(shí)些時(shí)候和情況下，當(dāng)我們思考一下我們的想法時(shí)，卻無(wú)法用詞匯準(zhǔn)確表達(dá)這一想法。但是，當(dāng)涉及到組織圖片，人在傳統(tǒng)上，勝過(guò)大多數(shù)執(zhí)行任務(wù)的機(jī)器。此外，橫向之間的一些研究的一些空白的區(qū)正在逐步縮小作為副產(chǎn)品帶來(lái)的貢獻(xiàn)，其影響最 終也可能超越 CBIR 的。 感知鴻溝，現(xiàn)實(shí)物體和我們對(duì)世界的感知差距 語(yǔ)義鴻溝，人們從視覺(jué)數(shù)據(jù)中抽取的信息和某個(gè)用戶在特定情況下對(duì)相同數(shù)據(jù)的描述缺乏 一致性。我們將繼續(xù)簡(jiǎn)要總結(jié)早年主要貢獻(xiàn)及處理這些鴻溝的方法。 由這個(gè)圖可以看到 Google Scholar 可以檢索到一個(gè)科目的最新研究狀況，這是一個(gè)很有用的數(shù)據(jù)，附上這樣一幅圖，那么可以更好的將國(guó)內(nèi)外的研究狀況做一個(gè)分析。除此之外，還有理論認(rèn)為，人類(lèi)視覺(jué)系統(tǒng)已經(jīng)發(fā)展了幾百年。企圖表達(dá)什么使圖像“完美”，最終可能低估了圖像的美。以及圖像檢索技術(shù)中的網(wǎng)頁(yè)圖片爬去及數(shù)據(jù)庫(kù)的建立部分。 本 文基本完成了對(duì)一個(gè)圖像檢索系統(tǒng)的構(gòu)建，從利用網(wǎng)絡(luò)爬蟲(chóng)爬取圖片和相關(guān)網(wǎng)頁(yè)，對(duì)爬下來(lái)的網(wǎng)頁(yè)進(jìn)行分析，對(duì)圖片相關(guān)信息的提取，圖片數(shù)據(jù)庫(kù)的建立一直到圖像檢索 Web系統(tǒng)的搭建。 3 建立 Service類(lèi)，處理當(dāng)前頁(yè)，頁(yè)面總數(shù)，總頁(yè)數(shù)，總記錄數(shù)等參數(shù)。 系統(tǒng)框架采用 JSP+Struts2+Hibernate Struts2 應(yīng)用開(kāi)發(fā)步驟： （ 1） 在 Servlet或 Filter攔截用戶請(qǐng)求，通常這個(gè) Servlet或 Filter 是該框架的核心，負(fù)責(zé)攔截所有用戶請(qǐng)求。從而將開(kāi)發(fā)者從關(guān)系模型中釋放出來(lái)，使得開(kāi)發(fā)者能以面向?qū)ο蟮乃季S操作關(guān)系數(shù)據(jù)庫(kù)。 ? 集合數(shù)據(jù)連接操作，映射。 Hebernate 是輕量級(jí) JavaEE 應(yīng)用的持久層解決方案，可以大幅度縮短使用JDBC 處理數(shù)據(jù)持久化的時(shí)間。 （ 3） void getImgInfo() 獲取圖片周?chē)畔ⅲ闅v需尋找含該 img標(biāo)簽的第一個(gè)父 div節(jié)點(diǎn) 獲取該 div節(jié)點(diǎn)內(nèi)的文本信息 圖片解析提取結(jié) 果 將所有有效圖片的 title， keywords， url 等相關(guān)信息全部以 .txt 文檔的形式存儲(chǔ)到指定目錄下，如圖所示： 圖 31 解析的的 .txt文檔 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計(jì)（論文） 18 第四章 圖