【正文】 21 年 6月 15日 跟據導師意見認真修改，校對論文 初稿，最后完成論文； 2021 年 6月 16日 2021 年 6月 21日 準備畢業(yè)論文答辯； 七、 參考文獻 [1] Ritendra Datta, Dhiraj Joshi, Jia Li et al. Image Retrieval: Ideas, Influences, and Trends of the New Age[J].ACM Comput. Surv. 40, 2, Article 5 .April 2021. [2] 李曉明，閆宏飛，王繼民 . 搜索引擎 原理 ,技術與系統(tǒng) [M].北京：科學出版社 ,2021. [3] 馬自萍 .形狀和顏色特征的混合圖像檢索 [D].銀川：北方民族大學 ,. [4] 陳劍雄，張蓓．簡析圖像檢索中的 CBIR技術 [J].情報探索（第 7期） ,. [5] 邱哲，符滔滔，王學松．開發(fā)自己的搜索引擎 Lucene + Heritrix[M].北京：人民郵電出版社 ,202101． [6] 李剛 .輕量級 J2EE企業(yè)應用實戰(zhàn) [M].北京：電子工業(yè)出版社 ,. [7] 周明全，耿國華，韋娜 .基于內容圖像檢索技術 [M].北京：清華大學出版社， . [8] 沈蘭蓀，張箐，李曉光。開發(fā)語言為 Java, 開發(fā)工具為 MyEclipse 和MySQL 及 Tomcat. 關鍵詞： 圖像檢索，網絡爬蟲， Heritrix, HTMLParser, 網頁信息提取 ABSTRACT With the rapid development of work information on the explosive growth of images, which makes it on the Inter more and more difficult to find the images, image search technology bee a very hot research topic. The collection of images and indexing for image retrieval is a very important aspect. Web crawler is used to collect Web pages and pictures of the program. This study focuses on using the Heritrix Web crawler framework to extend, from the Inter and download web pages and images for web use HTMLParser information extraction and image analysis. After pletion of the work, then the image directory location and the extracted information into a database. And a picture retrieval system for Web projects, to achieve search function. Development language for Java, and MySQL development tools for the MyEclipse and Tomcat. Keywords: image retrieval, web crawler, Heritrix, HTMLParser, Web information extraction 1 目 錄 第一章 文獻綜述 ????????????????? 1 圖像檢索的研究意義 ????????????? 1 圖像檢索的國內外發(fā)展狀況 ?????????? 1 網絡爬蟲技術在搜索引擎中的應用 ??????? 3 網頁分析和信息提取技術 ??????????? 4 本文的研究重 點，系統(tǒng)結構和內容 ???????? 5 第二章 Heritrix 應用開發(fā)擴展 ??????????? 7 Heritrix簡介 ?? ??????????????? 7 Heritrix 抓取策略及改進 ???????????? 9 Heritrix抓取過程 ?????????????? 10 網頁爬結果 ???????????????? 13 第三章 HTMLParser 圖片相關信息提 取 ? ?? ??? 14 HTMLParser 簡介 ??????????????? 14 圖片信息提取策略 ????????????? 14 圖片信息提取的實現(xiàn)方法 ??????????? 15 實驗提取結果 ???????????????? 17 第四章 圖像檢索系統(tǒng)的搭建 ? ?????????? 18 數據庫的建立 ??????????????? 18 系統(tǒng)的實現(xiàn)框架和結構 ???????????? 21 檢索結果展示 ???????????????? 23 2 第五章 總結和展望 ?? ? ???????????? 25 參考文獻 ???????????????????? 26 附錄 ?????????????????????? 27 外文資料 中文譯文 致謝 天津大學 2021屆本科生畢業(yè)設計（論文） 1 第一章 文獻綜述 圖像檢索的研究意義 為了解決上述問題，定向抓取相關網頁資源的網絡爬蟲應運而生。 基于內容的圖像檢索根據圖像特征、圖像的內容語義以及上下文聯(lián)系進行查找，以圖像語義特征為線索從圖像數據庫中檢出具有相似特性的其它圖像。 立足于圖像內容，對圖像進行分析和檢索。通過對博客及 SNS 等媒體公布的有關公司產品或宣傳活動的評測進行即時分析，可以為企業(yè)的市場運營提 供更多有益的參考。未來，全新的搜索服務模式將出現(xiàn)。用戶如果想在互聯(lián)網海量信息中快速、簡便地尋找到自己想要的信息而不受干擾，需要搜索技術對檢索者的想法進行臆 測。它提供的搜索圖像服務的特色在于，可以提取圖像中商品的形狀、顏色等信息。用戶在選擇服務提供商時，除了關注價格和功能指標外，或許會更加關注服務商能否長期提供本地化的服務。網絡爬蟲是一個自動下載網頁的程序，它根據既定的抓取目標，有選擇的訪問萬維網上的網頁與相關的鏈接，獲取所需要的信息。 抓取目標的描述和定義是決定網頁分析算法與 URL 搜索策略如何制訂的基礎。這就需要用到網頁分析及信息提取技術。在實際項目中，最常用的就是用正則表達式或 HTMLParser 來提取額網頁的內容 。綜合運用 java 語言，圖像檢索，網絡爬蟲，網頁分析及 Web 開發(fā)等相關技術。第一次正式發(fā)布實在 2021 年 1月。也就是說，他要與 URL 之間有一種內在的聯(lián)系。因此，如果使用了 HostnameQueueAssignmentPolicy,則會造成有一個隊列的長度非常長的情況，在 Heritrix 中，一個現(xiàn)成從一個隊列中取 URL 鏈接時，總是會先從隊列的頭部取出第一個鏈接，在這之后，這個被取出鏈接的隊列會進入阻塞天津大學 2021屆本科生畢業(yè)設計（論文） 10 狀態(tài)，知道待該鏈接處理完，它才會從阻塞狀態(tài)中恢復。它對長字符串和短字符串都很有效，字符串中每個字符都有同樣的作用。 long x = 0。 } } } 天津大學 2021屆本科生畢業(yè)設計（論文） 11 Heritrix 抓取過程 在瀏覽器中輸入 之前設置的用戶名 / 密碼：admin/admin，進入到 Heritrix 的管理界面，如圖 23所示。這里我們使用默認值。 6） Select Writers：它主要用于設定將所抓取到的信息以何種形式寫入磁盤。它能超高速解析 html，而且不會出錯。 頁面內容的監(jiān)控 2． 信息轉換 本章要從之前抓取的網頁中找出所需的圖片相關信息。 天津大學 2021屆本科生畢業(yè)設計（論文） 17 （ 2） void getImgTag(NodeFilter img_filter) 獲取 img標簽中 src 元素內容 獲取 img標簽中 alt 元素內容 獲取 img標簽中 title 元素內容 獲取 img標簽中 width 元素內容 獲取 img標簽中 height 元素內容 String image_src=getProp(img[^]* src=\([^\]*)\[^]*, (i).toHtml(),1)。 Hibernate 是一個開放源代碼的 對象 關系映射框架，它對 JDBC 進行了非常輕量級的對象封裝，使得 Java 程序員可以隨心所欲的使用對象編程 思維來操縱 數據庫 。 數據哭的發(fā)展并未與程序設 計語言同步，而且關系數據庫系統(tǒng)的某些優(yōu)勢也是面向對象的語言目前無法比擬的。 ORM 工具示意圖： 圖 41 ORM工具示意圖 數據表中的記錄行對應持久化對象： 天津大學 2021屆本科生畢業(yè)設計（論文） 20 圖 42 記錄對應持久化對象 基于這種基本的映射方式， ORM 工具可完成對象模型和關系模型之前的相互映射。在以后的操作中不需對數據庫中記錄進行操作，而對 ImgK 類的實例進行操作即可得到數據庫中的信息。 （ 5） 配置處理結果和物理視圖資源之間的對應關系。 由于大規(guī)模圖像數據庫的出現(xiàn)和應用，每天都有大量額度圖像信息在不斷的生產（如衛(wèi)星，醫(yī)療，安全部門），這就迫切需要性能良好的檢索工具，能夠根據圖像的視覺特征和語義信息，從圖像庫中檢索所需的圖像，而傳統(tǒng)的基于關鍵字的信息查詢方法（ IR技術）不能有效的支 持多媒體信息的查詢和檢索。 根據圖片檢索技術的發(fā)展趨勢，未來基于文本的圖像檢索技術將越來越受到關注，尤其是基于語義的圖像檢索技術的發(fā)展?jié)摿κ蔷薮蟮?。鑒于目前的討論情況，一想到這個著名的引用所表達的是，在有時些時候和情況下，當我們思考一下我們的想法時，卻無法用詞匯準確表達這一想法。但是，當涉及到組織圖片，人在傳統(tǒng)上，勝過大多數執(zhí)行任務的機器。此外，橫向之間的一些研究的一些空白的區(qū)正在逐步縮小作為副產品帶來的貢獻，其影響最 終也可能超越 CBIR 的。 感知鴻溝，現(xiàn)實物體和我們對世界的感知差距 語義鴻溝，人們從視覺數據中抽取的信息和某個用戶在特定情況下對相同數據的描述缺乏 一致性。我們將繼續(xù)簡要總結早年主要貢獻及處理這些鴻溝的方法。 由這個圖可以看到 Google Scholar 可以檢索到一個科目的最新研究狀況，這是一個很有用的數據，附上這樣一幅圖，那么可以更好的將國內外的研究狀況做一個分析。除此之外，還有理論認為，人類視覺系統(tǒng)已經發(fā)展了幾百年。企圖表達什么使圖像“完美”，最終可能低估了圖像的美。以及圖像檢索技術中的網頁圖片爬去及數據庫的建立部分。 本 文基本完成了對一個圖像檢索系統(tǒng)的構建，從利用網絡爬蟲爬取圖片和相關網頁，對爬下來的網頁進行分析，對圖片相關信息的提取，圖片數據庫的建立一直到圖像檢索 Web系統(tǒng)的搭建。 3 建立 Service類，處理當前頁，頁面總數，總頁數，總記錄數等參數。 系統(tǒng)框架采用 JSP+Struts2+Hibernate Struts2 應用開發(fā)步驟： （ 1） 在 Servlet或 Filter攔截用戶請求，通常這個 Servlet或 Filter 是該框架的核心，負責攔截所有用戶請求。從而將開發(fā)者從關系模型中釋放出來，使得開發(fā)者能以面向對象的思維操作關系數據庫。 ? 集合數據連接操作，映射。 Hebernate 是輕量級 JavaEE 應用的持久層解決方案，可以大幅度縮短使用JDBC 處理數據持久化的時間。 （ 3） void getImgInfo() 獲取圖片周圍信息，遍歷需尋找含該 img標簽的第一個父 div節(jié)點 獲取該 div節(jié)點內的文本信息 圖片解析提取結 果 將所有有效圖片的 title， keywords， url 等相關信息全部以 .txt 文檔的形式存儲到指定目錄下，如圖所示： 圖 31 解析的的 .txt文檔 天津大學 2021屆本科生畢業(yè)設計（論文） 18 第四章 圖