【正文】 山東大學(xué)本科畢業(yè)論文 畢 業(yè) 論 文 (設(shè) 計 ) 論文（設(shè)計）題目 : 基于 Nutch 的 新聞主題 搜索引擎的設(shè)計與實現(xiàn) 姓 名 學(xué) 號 學(xué) 院 專 業(yè) 年 級 指導(dǎo)教師 20xx 年 5 月 20 日 山東大學(xué)本科畢業(yè)論文 1 目 錄 摘要 ........................................................ I ABSTRACT ................................................... II 第 1章 緒論 ................................................. 1 課題研究背景 .......................................................... 1 搜索引擎發(fā)展史 ........................................................................................ 1 通用搜索引擎面臨的問題 .......................................................................... 3 主題搜索引擎 .......................................................... 3 什么是主題搜索引擎 ................................................................................. 3 主題搜索引擎研究現(xiàn)狀 .............................................................................. 4 文本組織結(jié)構(gòu) .......................................................... 5 第 2章 主題搜索引擎相關(guān)技術(shù)介紹 ................................ 6 JavaCC 簡介 ............................................................ 6 Tomcat 簡介 ........................................................... 8 Nutch 介紹 ............................................................. 9 系統(tǒng)架構(gòu) ................................................................................................... 9 抓取過程詳解 ...........................................................................................11 中文分詞技術(shù) ......................................................... 13 基于字典匹配的分詞方法 ........................................................................ 14 基于詞頻統(tǒng)計的分詞方法 ........................................................................ 14 基于語義理解的分詞方法 ........................................................................ 15 IK 分詞器簡介 .......................................................................................... 15 本章小結(jié) ............................................................. 15 第 3章 爬蟲搜索策略的研究 .................................... 16 基于鏈接結(jié)構(gòu)特征 ..................................................... 16 PageRank 算法 .......................................................................................... 16 HITS 算法 ................................................................................................ 18 本文實現(xiàn)的算法 ...................................................................................... 19 基于內(nèi)容評價 ......................................................... 20 Fish Search 算法 ....................................................................................... 20 Shark Search 算法 ..................................................................................... 21 其他相關(guān)策略 ......................................................... 23 基于鞏固學(xué)習(xí)的聚焦搜索 ......................................................................... 23 基于 語境圖的聚焦搜索 ............................................................................ 23 本章小結(jié) ............................................................. 23 山東大學(xué)本科畢業(yè)論文 2 第 4章 主題搜索引擎的實現(xiàn) .................................... 24 開發(fā)環(huán)境介紹 ......................................................... 24 系統(tǒng)的體系結(jié)構(gòu) ....................................................... 24 主題爬蟲的配置 ....................................................... 25 配置 Java 環(huán)境 ......................................................................................... 25 配置 Nutch .............................................................................................. 25 Tomcat 的配置 ......................................................... 26 添加中文分詞 ......................................................... 28 系統(tǒng)測試 ............................................................. 30 本章小結(jié) ............................................................. 31 第 5章 總結(jié)與體會 ........................................... 32 致謝 ....................................................... 33 參考文獻 ................................................... 34 附錄： ..................................................... 35 山東大學(xué)本科畢業(yè)論文 I 摘要 互聯(lián)網(wǎng)上豐富的信息資源給人們的工作和生活帶來巨大效益和便利的同時，也帶來了巨大的信息冗余。我們在使用傳統(tǒng)的通用搜索引擎時，經(jīng)常會遇到這樣的問題，為了搜索到一些專業(yè)的基礎(chǔ)知識，不 得不在眾多的網(wǎng)站中，花費大量的時間去尋找，而主題搜索引擎的出現(xiàn)為解決這類問題提供了很好的方法。 另外，由于 Nutch 具有高透明度，任何單位或個人都可以查看搜索引擎的工作原理并且程序設(shè)置靈活，用戶可以根據(jù)自己需求定制，通過長時間的實際應(yīng)用，結(jié)果表明 Nutch 運行非常穩(wěn)定，因此選擇 Nutch 為愛好搜索引擎的人們提供了一個很好的研究平臺。 本課題 的主要內(nèi)容是基于 Nutch 的新聞主題 搜索引擎 的 設(shè)計 與實現(xiàn) 。 現(xiàn)在 很多人都喜歡從互聯(lián)網(wǎng)閱讀新聞，但是各大新聞網(wǎng)站為了獲得點擊率收錄了很多低質(zhì)量 新聞 ，而 報紙網(wǎng)站 很難滿足人們 對不 同 地域 和 不同類型新聞的需求 ， 所以一個新聞主題的搜索引擎是十分有必要的。 論文 首先介紹了搜索引擎的 發(fā)展歷史 、面臨的問題， 以及 主題搜索引擎的的優(yōu)勢 和 研究現(xiàn)狀 ， 并 在了解 Nutch 工作原理的基礎(chǔ)上 對 主題爬蟲抓取策略進了詳細的 討論， 分析 了新聞主題搜索引擎的 可行 方案， 接著介紹 了 Nutch、 Tomcat等 各組件的安裝配置，測試 運行 結(jié)果并與百度做比較。 最后對 論文 進行了總結(jié)分析。 關(guān)鍵字： Nutch； 搜索引擎； Crawler； 抓取策略 ； 新聞 山東大學(xué)本科畢業(yè)論文 II ABSTRACT Abundant Inter information resources bring enormous benefits and convenience for our work and life。 these also bring a great deal of redundant information. When we use general Search Engine, we often encounter this problem。 in order to search some basic professional knowledge, we had to spend a lot of time to find the knowledge in many websites. While the Vertical Search Engine will solve this problem. In addition, Nutch has highly transparent, any unit or individual can view the search engine work, and the program configuration flexibility, Users can customize according to their needs. Through a long period of practical application, the results show that Nutch runs very stable. Therefore, selecting the Nutch Search Engine can provide a good researching platform for the loving people. The object of this project is to set up a News Vertical Search Engine based on Nutch. Nowadays plenty of people read news from the Inter. While