【正文】 圖像檢索的研究意義 為了解決上述問題，定向抓取相關(guān)網(wǎng)頁資源的網(wǎng)絡(luò)爬蟲應(yīng)運(yùn)而生。 目前主流的圖像檢索方法大致可以分為兩大類 ,即基于文本的圖像檢索(TBIR)和基于內(nèi)容的圖像檢索 (CBIR)。 基于內(nèi)容的圖像檢索根據(jù)圖像特征、圖像的內(nèi)容語義以及上下文聯(lián)系進(jìn)行查找，以圖像語義特征為線索從圖像數(shù)據(jù)庫中檢出具有相似特性的其它圖像。 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 2 立足于文本，對圖像進(jìn)行檢索。 立足于圖像內(nèi)容，對圖像進(jìn)行分析和檢索。發(fā)揮各自的優(yōu)勢促進(jìn)圖像的高效、簡單檢索方式的實(shí)現(xiàn)，尤其是網(wǎng)絡(luò)環(huán)境下，結(jié)合圖像所 在 Web 文檔的特征分析，推斷圖像的特征，同時結(jié)合對圖像的內(nèi)容分析，共同標(biāo)引達(dá)到對圖像的分析和檢索。通過對博客及 SNS 等媒體公布的有關(guān)公司產(chǎn)品或宣傳活動的評測進(jìn)行即時分析，可以為企業(yè)的市場運(yùn)營提 供更多有益的參考。 2021 年以后 :階梯式搜索方法將投入使用。未來，全新的搜索服務(wù)模式將出現(xiàn)。 未來，搜索技術(shù)將朝著三個方向發(fā)展：包括聯(lián)想在內(nèi)的語義搜索，檢索圖像、天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 3 語音、動畫內(nèi)容的感性搜索，通過傳感技術(shù)搜索現(xiàn)實(shí)世界對象的現(xiàn)實(shí)挖掘。用戶如果想在互聯(lián)網(wǎng)海量信息中快速、簡便地尋找到自己想要的信息而不受干擾，需要搜索技術(shù)對檢索者的想法進(jìn)行臆 測。當(dāng)一個人提問之后，經(jīng)過一個或多個人的回答，此人就可以找到自己所需要的信息。它提供的搜索圖像服務(wù)的特色在于，可以提取圖像中商品的形狀、顏色等信息。這種技術(shù)能夠?qū)D像 的顏色、紋理、布局進(jìn)行分析并檢索。用戶在選擇服務(wù)提供商時，除了關(guān)注價格和功能指標(biāo)外，或許會更加關(guān)注服務(wù)商能否長期提供本地化的服務(wù)。 (2) 通用搜索引擎的目標(biāo)是盡可能大的網(wǎng)絡(luò)覆蓋率，有限的搜索引擎服務(wù)器資源與無限的 網(wǎng)絡(luò)數(shù)據(jù) 資源之間的矛盾將進(jìn)一步加深。網(wǎng)絡(luò)爬蟲是一個自動下載網(wǎng)頁的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問萬維網(wǎng)上的網(wǎng)頁與相關(guān)的鏈接，獲取所需要的信息。改進(jìn)后的網(wǎng)絡(luò)爬蟲的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的 URL 隊列。 抓取目標(biāo)的描述和定義是決定網(wǎng)頁分析算法與 URL 搜索策略如何制訂的基礎(chǔ)?；谀繕?biāo)網(wǎng)頁特征的爬蟲所抓取、存儲 并索引的對象一般為網(wǎng)站或網(wǎng)頁。這就需要用到網(wǎng)頁分析及信息提取技術(shù)。絕大多數(shù)元素是以一個其實(shí)標(biāo)記開始，一個結(jié)尾標(biāo)記結(jié)束，其實(shí)標(biāo)記和結(jié)尾標(biāo)記之間的部分是元素體。在實(shí)際項目中，最常用的就是用正則表達(dá)式或 HTMLParser 來提取額網(wǎng)頁的內(nèi)容 。正則表達(dá)式通過自定義的正則模式去精確的提取文本信息，但需要寫大量的正則表達(dá)式，編寫和調(diào)試正則表達(dá)式是一個繁瑣的過程。綜合運(yùn)用 java 語言，圖像檢索，網(wǎng)絡(luò)爬蟲，網(wǎng)頁分析及 Web 開發(fā)等相關(guān)技術(shù)。 第四章 ，圖像檢索系統(tǒng)的搭建：如何建立圖片信息數(shù)據(jù)庫， Web 頁面， Action及圖片檢索系統(tǒng)的實(shí)現(xiàn)和結(jié)果展示。第一次正式發(fā)布實(shí)在 2021 年 1月。 Heritrix 的工作 是不斷循環(huán)的，具體流程是： (1) 在線程池中，選擇一個預(yù)定的 URL 中 (2) 從選擇的 URL網(wǎng)址下載遠(yuǎn)程文件 (3) 分析，歸檔下載到的內(nèi)容，寫入磁盤鏡像目錄 (4) 從分析到的內(nèi)容里面根據(jù)策略選擇 URL，加入預(yù)定隊列 (5) 標(biāo)記已經(jīng)處理過的 URL (6) 從第一步繼續(xù)進(jìn)行，直到所有的 URL處理結(jié)束，抓去工作結(jié)束 Heritrix 的操作模型： 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 8 圖 21 Heritrix的模型操作圖 Heritrix 結(jié)構(gòu)分析： 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 9 圖 22 Heritrix的組件結(jié)構(gòu)圖 各個組件的作用： (1) CrawlController CrawlController(中央控制器 )是抓取任務(wù)的核心組件，他控制著整個抓取 的流程 （ 2） CrawlOrder CrawlOrder(抓取任務(wù) )是整個抓取工作的起點(diǎn)，它記錄了任務(wù)的所有屬性。也就是說，他要與 URL 之間有一種內(nèi)在的聯(lián)系。也就是說，相同 Host 名稱的所有 RL 都會被放置于同一個隊列中間。因此，如果使用了 HostnameQueueAssignmentPolicy,則會造成有一個隊列的長度非常長的情況，在 Heritrix 中，一個現(xiàn)成從一個隊列中取 URL 鏈接時，總是會先從隊列的頭部取出第一個鏈接，在這之后，這個被取出鏈接的隊列會進(jìn)入阻塞天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 10 狀態(tài)，知道待該鏈接處理完，它才會從阻塞狀態(tài)中恢復(fù)。因此，需要改變queueassignmentpolicy 來避免發(fā)生這種情況。它對長字符串和短字符串都很有效，字符串中每個字符都有同樣的作用。 long hash = ELFHash(uri)。 long x = 0。 if((x=hash amp。 } } } 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 11 Heritrix 抓取過程 在瀏覽器中輸入 之前設(shè)置的用戶名 / 密碼：admin/admin，進(jìn)入到 Heritrix 的管理界面，如圖 23所示。例如選擇 BroadScope 則表示當(dāng)前的抓取范圍不受限制，選擇 HostScope 則表示抓取的范圍在當(dāng)前的 Host 范圍內(nèi)。這里我們使用默認(rèn)值。 4） Select Fetchers：這個參數(shù)用于解析網(wǎng)絡(luò)傳輸協(xié)議，比如解析 DNS、 HTTP 或 FTP 等。 6） Select Writers：它主要用于設(shè)定將所抓取到的信息以何種形式寫入磁盤。這里我們使用默認(rèn)值。它能超高速解析 html，而且不會出錯。 文本信息抽取，例如對 HTML 進(jìn)行有效信息搜索 頁面內(nèi)容的監(jiān)控 2． 信息轉(zhuǎn)換 HTML 信息清洗，把本來亂七八糟的 HTML 信息格式化 本章要從之前抓取的網(wǎng)頁中找出所需的圖片相關(guān)信息。 title = getProp(title[^]*(.*)[^]*, ().parse(title_filter).elementAt(0).toHtml(),1)。 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 17 （ 2） void getImgTag(NodeFilter img_filter) 獲取 img標(biāo)簽中 src 元素內(nèi)容 獲取 img標(biāo)簽中 alt 元素內(nèi)容 獲取 img標(biāo)簽中 title 元素內(nèi)容 獲取 img標(biāo)簽中 width 元素內(nèi)容 獲取 img標(biāo)簽中 height 元素內(nèi)容 String image_src=getProp(img[^]* src=\([^\]*)\[^]*, (i).toHtml(),1)。而 2021 年， SUN 又被 Oracle 收購。 Hibernate 是一個開放源代碼的 對象 關(guān)系映射框架，它對 JDBC 進(jìn)行了非常輕量級的對象封裝，使得 Java 程序員可以隨心所欲的使用對象編程 思維來操縱 數(shù)據(jù)庫 。 ORM 的全程是 Obiger/Relation Mapping,對象 /關(guān)系數(shù)據(jù)庫映射。 數(shù)據(jù)哭的發(fā)展并未與程序設(shè) 計語言同步，而且關(guān)系數(shù)據(jù)庫系統(tǒng)的某些優(yōu)勢也是面向?qū)ο蟮恼Z言目前無法比擬的。 ? 數(shù)據(jù)庫的余數(shù)，隔離。 ORM 工具示意圖： 圖 41 ORM工具示意圖 數(shù)據(jù)表中的記錄行對應(yīng)持久化對象： 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 20 圖 42 記錄對應(yīng)持久化對象 基于這種基本的映射方式， ORM 工具可完成對象模型和關(guān)系模型之前的相互映射。 仔細(xì)看這個類的代碼，無法發(fā)現(xiàn)這個類與普通的 JavaBean 有任何區(qū)別。在以后的操作中不需對數(shù)據(jù)庫中記錄進(jìn)行操作，而對 ImgK 類的實(shí)例進(jìn)行操作即可得到數(shù)據(jù)庫中的信息。如果僅僅只是以 GET 方式發(fā)送請求，則無需經(jīng)過這一點(diǎn)。 （ 5） 配置處理結(jié)果和物理視圖資源之間的對應(yīng)關(guān)系。%+keyW+%39。 由于大規(guī)模圖像數(shù)據(jù)庫的出現(xiàn)和應(yīng)用，每天都有大量額度圖像信息在不斷的生產(chǎn)（如衛(wèi)星，醫(yī)療，安全部門），這就迫切需要性能良好的檢索工具，能夠根據(jù)圖像的視覺特征和語義信息，從圖像庫中檢索所需的圖像，而傳統(tǒng)的基于關(guān)鍵字的信息查詢方法（ IR技術(shù)）不能有效的支 持多媒體信息的查詢和檢索。 首先是圖片周圍文字信息的提取不夠充分，有效。 根據(jù)圖片檢索技術(shù)的發(fā)展趨勢，未來基于文本的圖像檢索技術(shù)將越來越受到關(guān)注，尤其是基于語義的圖像檢索技術(shù)的發(fā)展?jié)摿κ蔷薮蟮?。這項有意義的挑戰(zhàn) 還有很多路要走，還有很多理論要研究，還有很多技術(shù)要實(shí)現(xiàn)。鑒于目前的討論情況，一想到這個著名的引用所表達(dá)的是，在有時些時候和情況下，當(dāng)我們思考一下我們的想法時，卻無法用詞匯準(zhǔn)確表達(dá)這一想法。從集合中找出這樣的圖片可能會更容易。但是，當(dāng)涉及到組織圖片，人在傳統(tǒng)上，勝過大多數(shù)執(zhí)行任務(wù)的機(jī)器。然而，在過去的十年中，雄心勃勃的嘗試，已作出讓計算機(jī)學(xué)會理解，索引和注釋圖片，代表一個廣泛概念，且范圍很大的進(jìn)展。此外，橫向之間的一些研究的一些空白的區(qū)正在逐步縮小作為副產(chǎn)品帶來的貢獻(xiàn)，其影響最 終也可能超越 CBIR 的。在這一階段取得了高水平的的進(jìn)展。 感知鴻溝，現(xiàn)實(shí)物體和我們對世界的感知差距 語義鴻溝，人們從視覺數(shù)據(jù)中抽取的信息和某個用戶在特定情況下對相同數(shù)據(jù)的描述缺乏 一致性。 如上所述，通常狹義圖像域有限變異和較清晰的視覺特征（如航空相關(guān)的圖片 [ 2021]），這使得基于內(nèi)容的圖像搜索稍微有點(diǎn)比較容易形成。我們將繼續(xù)簡要總結(jié)早年主要貢獻(xiàn)及處理這些鴻溝的方法。因此，我們提供有關(guān)在描述新時代天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 2 圖像檢索的 想法，影響，以及早期幾年的趨勢摘要（其中很大一部分源于那些調(diào)查）。 由這個圖可以看到 Google Scholar 可以檢索到一個科目的最新研究狀況，這是一個很有用的數(shù)據(jù)，附上這樣一幅圖，那么可以更好的將國內(nèi)外的研究狀況做一個分析。這種基于內(nèi)容作為一個研究領(lǐng)域在一個獨(dú)特的地方特征在科學(xué)界的時刻了。除此之外，還有理論認(rèn)為，人類視覺系統(tǒng)已經(jīng)發(fā)展了幾百年。多年來，我們了解到，這是一個取得進(jìn)展的關(guān)鍵。企圖表達(dá)什么使圖像“完美”，最終可能低估了圖像的美。圖像檢索與壓縮域處理技術(shù)的研究 [M].北京：人名郵電出版 社 ,. [9] 李向陽 , 莊越挺 , 潘云鶴 . 基于內(nèi)容的圖像檢索技術(shù)與系統(tǒng) [J]. 計算機(jī)研究與發(fā)展 2021年第 3期 . [10]安志勇 .基于內(nèi)容的圖像檢索關(guān)鍵技術(shù)的研究 [D].西安：西安電子科技大學(xué)， 2021. [11]李偉，黃穎 。以及圖像檢索技術(shù)中的網(wǎng)頁圖片爬去及數(shù)據(jù)庫的建立部分。現(xiàn)在還沒有找到很好的算法能統(tǒng)一解決不同模式網(wǎng)頁的有效解析。 本 文基本完成了對一個圖像檢索系統(tǒng)的構(gòu)建，從利用網(wǎng)絡(luò)爬蟲爬取圖片和相關(guān)網(wǎng)頁，對爬下來的網(wǎng)頁進(jìn)行分析，對圖片相關(guān)信息的提取，圖片數(shù)據(jù)庫的建立一直到圖像檢索 Web系統(tǒng)的搭建。 檢索結(jié)果展示 圖 46 檢索結(jié)果展示 圖 47 分頁跳轉(zhuǎn)功能 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 24 實(shí)驗(yàn)結(jié)果分析： 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 25 第五章 總結(jié)和展望 隨著 Web技術(shù)的普及和信息技術(shù)的發(fā)展，推廣與應(yīng)用，以圖像，聲音和視頻為主的多媒體信息迅速成為信息交流和服務(wù)的主流，現(xiàn)代信息處理的對象和方法有了很大的變化，大量何種類型的信息在全球得到了采集，傳播，流通和應(yīng)用。 3 建立 Service類，處理當(dāng)前頁，頁面總數(shù)，總頁數(shù)，總記錄數(shù)等參數(shù)。 天津大學(xué) 2021屆本科生畢業(yè)設(shè)計（論文） 22 （ 4） 配置 Action。 系統(tǒng)框架采用 JSP+Struts2+Hibernate Struts2 應(yīng)用開發(fā)步驟： （ 1） 在 Servlet或 Filter攔截用戶請求，通常這個 Servlet或 Filter 是該框架的核心，負(fù)責(zé)攔截所有用戶請求。 這個普通的 JavaBean 目前不具備持久化操作的能力，為了時期具備持久化操作的能力， Hibernare 采用 XML 映射文件。從而將開發(fā)者從關(guān)系模型中釋放出來，使得開發(fā)者能以面向?qū)ο蟮乃季S操作關(guān)系數(shù)據(jù)庫。只要我們還是采用面向?qū)ο蟪绦蛟O(shè)計語言，底層依然采用關(guān)系數(shù)據(jù)庫，中間就少不了 ORM 工具。 ? 集合數(shù)據(jù)連接操作，映射。當(dāng) ORM 框架完成映射后，即可利用面向?qū)ο蟪绦蛟O(shè)計語言的簡單易用性，又可利用關(guān)系數(shù)據(jù)庫的技術(shù)優(yōu)勢。 Hebernate 是輕量級 JavaEE 應(yīng)用的持