【正文】 tics to [sort] list status sorted by hostdump out_dir [format normal|csv|crawldb] dump the whole db to a text file in out_dir[format csv] dump in Csv format[format normal] dump in standard format (default option)[format crawldb]dump as CrawlDB[regex expr] filter records with expression[status status] filter records by CrawlDatum status 江漢大學(xué)本科畢業(yè)論文（設(shè)計）25url urlprint information on url to topN nnnn out_dir [min] dump top nnnn urls sorted by score to out_dir[min] skip records with scores below this value.This can significantly improve performance.下面給出stats 的統(tǒng)計信息。 研究 Nutch 的目標nutch 致力于讓每個人能很容易, 同時花費很少就可以配置世界一流的 Web 搜索引擎. 為了完成這一宏偉的目標, nutch 必須能夠做到: ? 每個月取幾十億網(wǎng)頁 ? 為這些網(wǎng)頁維護一個索引 ? 對索引文件進行每秒上千次的搜索 ? 提供高質(zhì)量的搜索結(jié)果 ? 以最小的成本運作 Nutch 和 Lucene 比較 簡單的說，Lucene 不是完整的應(yīng)用程序，而是一個用于實現(xiàn)全文檢索的軟件庫。(2) 對搜索引擎的理解：我們并沒有 google 的源代碼，因此學(xué)習(xí)搜索引擎 Nutch是個不錯的選擇。接下來就是 Apache Solr所要做的。//會將索引合并為3段，這3段中被刪除的數(shù)據(jù)會被清空//特別注意：此處Lucene ，因為會消耗大量的開銷，Lucene會自動優(yōu)化(3)。(Index where id = 1 delete ok!)。} catch (Exception e) {()。} catch (Exception e) {()。 江漢大學(xué)本科畢業(yè)論文（設(shè)計）19(Index Reader Close Error ~!)。表 32 給出了通過檢索索引的一個例子。(new Field(name, names[i], , ))。writer = new IndexWriter(directory, iwc)。private String[] names = {tom, lily, john, jack, mike, bob}。第三步：搜索索引，得到符合語法樹的文檔。 第二步：對查詢語句進行詞法分析，語法分析，及語言處理。 那么什么叫做全文檢索呢？ 生活中的數(shù)據(jù)總體分為兩種：結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。 小結(jié)本章主要介紹了搜索引擎的相關(guān)理論。這樣形成的摘要存放在查詢子系統(tǒng)中，一旦相關(guān)文檔被選中與查詢項匹配，就讀出返回給用戶。通過在預(yù)處理階段為每篇網(wǎng)頁形成一個獨立于查詢詞（也就和網(wǎng)頁內(nèi)容無關(guān)）的重要性指標，將它和查詢過程中形成的相關(guān)性指標結(jié)合形成一個最終的排序，是目前搜索引擎給出查詢結(jié)果排序的主要方法。但是，有效地定義相關(guān)性本身是很困難的，從原理上講它不僅和查詢詞有關(guān)，而且還和用戶的背景，以及用戶的查詢歷史有關(guān)。然后需要刪除那些沒有查詢意義或者幾乎在每篇文檔中都會出現(xiàn)的詞（例如“的”），在本例中即為“與”。這是三種相當不同的需求。a: {(2, 2)}banana: {(2, 3)}is: {(0, 1), (0, 4), (1, 1), (2, 1)} 江漢大學(xué)本科畢業(yè)論文（設(shè)計）12it: {(0, 0), (0, 3), (1, 2), (2, 0)} what: {(0, 2), (1, 0)}如果執(zhí)行短語搜索what is it 將得到這個短語的全部單詞各自的結(jié)果所在文檔為文檔 0 和文檔 1。有兩種不同的反向索引形式：一條記錄的水平反向索引（或者反向檔案索引）包含每個引用單詞的文檔的列表。還有需要注意的是對于停用詞的過濾，停用詞即漢語中“的，了，和，么”等字詞，在搜索引擎中是忽略的，所以對于分詞后的結(jié)果，需要在用停用詞列表進行一下停用詞過濾。 江漢大學(xué)本科畢業(yè)論文（設(shè)計）9 分詞中文分詞是指將一個漢字序列切分成一個一個單獨的詞，從而達到計算機可以自動識別的效果。分析文本。 江漢大學(xué)本科畢業(yè)論文（設(shè)計）7 網(wǎng)頁預(yù)處理網(wǎng)頁預(yù)處理的主要目標是將原始網(wǎng)頁通過一步步的數(shù)據(jù)處理變成可方便搜索的數(shù)據(jù)形式。累積式抓取一般用戶數(shù)據(jù)集合的整體建立或大規(guī)模更新階段；而增量式抓取則主要針對數(shù)據(jù)集合的日常維護和及時更新。綜上，Spider 收集網(wǎng)頁的過程如下：從初始 URL 集合獲得目標網(wǎng)頁地址，通過網(wǎng)絡(luò)連接接收網(wǎng)頁數(shù)據(jù)，將獲得的網(wǎng)頁數(shù)據(jù)添加到網(wǎng)頁庫中并且分析該網(wǎng)頁中的其他 URL 鏈接，放入未訪問 URL 集合中用于網(wǎng)頁收集。 搜索引擎三段式工作流程三者的關(guān)系如圖 21：圖 21 搜索引擎三段式工作流程在介紹搜索引擎的整體結(jié)構(gòu)之前，現(xiàn)在借鑒《計算機網(wǎng)絡(luò)——自頂向下的方法描述因特網(wǎng)特色》一書的敘事方法，從普通用戶使用搜索引擎的角度來介紹搜索引擎的具體工作流程。 索引生成器對搜索器收集到的網(wǎng)頁和相關(guān)的描述信息經(jīng)索引組織后存儲在索引庫中。該課題要求設(shè)計一個 Web 應(yīng)用程序，學(xué)習(xí)搜索引擎的基本原理和設(shè)計方法，應(yīng)用開源的全文搜索引擎 Lucene 框架和 Lucene的子項目 Nutch 實現(xiàn)一個全文搜索引擎。 江漢大學(xué)本科畢業(yè)論文（設(shè)計）I全文搜索引擎的設(shè)計與實現(xiàn)畢業(yè)論文目錄1 緒論 ...................................................................................1 課題背景及介紹 ......................................................................1 課題研究目的及應(yīng)用 ..................................................................1 課題研究范圍 ........................................................................1 小結(jié) ................................................................................22 搜索引擎相關(guān)理論研究 ...................................................................3 WEB搜索引擎原理和結(jié)構(gòu) ...............................................................3 搜索引擎三段式工作流程 ..........................................................3 搜索引擎整體結(jié)構(gòu) ................................................................4 網(wǎng)頁收集 ............................................................................5 爬蟲的工作流程 ..................................................................5 爬蟲的抓取策略 ..................................................................5 鏈接數(shù)據(jù)庫的建立 ................................................................6 鏈接數(shù)據(jù)庫的更新 ................................................................6 網(wǎng)頁預(yù)處理 ..........................................................................6 建立索引頁面庫 ..................................................................7 分詞 ............................................................................9 倒排索引 .......................................................................10 查詢服務(wù) ...........................................................................12 查詢方式和匹配 .................................................................12 結(jié)果排序 .......................................................................13 文檔摘要 .......................................................................14 小結(jié) ...............................................................................153 NUTCH 相關(guān)框架研究 .....................................................................16 LUCENE研究 .........................................................................16 Lucene 概述 ....................................................................16 Lucene 如何對索引進行搜索 ......................................................16 Lucene 增刪改索引的 API.........................................................17 NUTCH研究 ..........................................................................21 Nutch 概述 .....................................................................21 研究 Nutch 的原因 ...............................................................21 研究 Nutch 的目標 ...............................................................22 Nutch 和 Lucene 比較 ............................................................22 Nutch 常用命令 .................................................................22 SOLR研究 ...........................................................................28 Solr 概述 ......................................................................28 江漢大學(xué)本科畢業(yè)論文（設(shè)計）II Solr 索引 ......................................................................28 Solr 搜索 .................