【正文】 { reader = (directory, false)。 } finally { try { ()。 try { iwc = new IndexWriterConfig(, new StandardAnalyzer())。 } catch (Exception e) { ()。 } } } } 表 34 強(qiáng)制合并索引 public void forceMerge(){ IndexWriter writer = null。 (Index where id = 1 delete ok!)。 (Index Writer Close Error ~~)。 Solr 是一個(gè)開源的全文搜索框架，通過(guò) Solr 能夠搜索 Nutch 已經(jīng)訪問(wèn)過(guò)的網(wǎng)頁(yè)。商業(yè)的搜索引擎排序算法都是保密的， 無(wú)法知道為什么搜索出來(lái)的排序結(jié)果是如何算出來(lái)的。了 解一個(gè)大型分布式的搜索引擎如何工作是一件讓人很受益的事情。 江漢大 學(xué)本科畢業(yè)論文（設(shè)計(jì)） 22 (3) 擴(kuò)展性：你是不是不喜歡其他的搜索引擎展現(xiàn)結(jié)果的方式呢？那就用 Nutch 寫你自己的搜索引擎吧。 Nutch 是一個(gè)應(yīng)用程序，可以以 Lucene 為基礎(chǔ)實(shí)現(xiàn)搜索引擎應(yīng)用。在這種情況下，最好的方式是直接從數(shù)據(jù)庫(kù)中取出數(shù)據(jù) 并用 Lucene API 建立索引。 輸入： [rootbogon local] bin/nutch readdb 圖 32 讀取連接數(shù)據(jù)庫(kù) 信息 江漢大 學(xué)本科畢業(yè)論文（設(shè)計(jì)） 25 通過(guò)截圖信息， 可 以 發(fā)現(xiàn)，剛才抓取的貓撲網(wǎng)，一共獲得 URL2687 個(gè)，最小分值 ，最大分值 ，平均分值 ，為抓取內(nèi)容的 URL2602 個(gè)。 進(jìn)入 segment 目錄后，使用 ls 命令 圖 33 數(shù)據(jù)段文件 [rootbogon local] bin/nutch readseg dump SegmentReader: dump segment: SegmentReader: done vi 圖 34 數(shù)據(jù)段 dump 后的文件信息 對(duì) dump 后的信息仍然可以提取，輸入 bin/nutch readseg dump。 [rootbogon local] bin/nutch readseg Usage: SegmentReader (dump ... | list ... | get ...) [general options] * General options: nocontent ignore content directory nofetch ignore crawl_fetch directory nogenerate ignore crawl_generate directory noparse ignore crawl_parse directory noparsedata ignore parse_data directory noparsetext ignore parse_text directory * SegmentReader dump segment_dir output [general options] Dumps content of a segment_dir as a text file to output. segment_dir name of the segment directory. output name of the (nonexistent) output directory. * SegmentReader list (segment_dir1 ... | dir segments) [general options] List a synopsis of segments in specified directories, or all segments in a directory segments, and print it on segment_dir1 ... list of segment directories to process dir segments directory that contains multiple segments * SegmentReader get segment_dir keyValue [general options] 江漢大 學(xué)本科畢業(yè)論文（設(shè)計(jì)） 26 Get a specified record from a segment, and print it on . segment_dir name of the segment directory. keyValue value of the key (url). Note: put doublequotes around strings with spaces. 下面給出 dump 參數(shù)的使用。 [rootbogon local] bin/nutch crawl Usage: Crawl urlDir solr solrURL [dir d] [threads n] [depth i] [topN N] 抓取 網(wǎng)站，將抓取內(nèi)容存 放在 目錄下，線程數(shù) 50，抓取深度為 5，抓取廣度為 50. 江漢大 學(xué)本科畢業(yè)論文（設(shè)計(jì)） 23 [rootbogon /] cd /install/[rootbogon local] bin/nutch crawl urls dir depth 5 topN 100 threads 50 solrUrl is not set, indexing will be skipped... crawl started in: rootUrlDir = urls threads = 50 depth = 5 solrUrl=null topN = 100 Injector: starting at 20200521 19:38:00 Injector: crawlDb: Injector: urlDir: urls Injector: Converting injected urls to crawl db entries. ? 圖 31 抓取過(guò)程 江漢大 學(xué)本科畢業(yè)論文（設(shè)計(jì)） 24 2. 數(shù)據(jù)庫(kù)查看命令 readdb, 輸入 bin/nutch readdb，顯示 readdb 命令參數(shù)選項(xiàng)。一個(gè)常見的問(wèn)題是；我應(yīng)該使用Lucene 還是 Nutch？最簡(jiǎn)單的回答是：如果你不需要抓取數(shù)據(jù)的話，應(yīng)該使用 Lucene。當(dāng)然，最簡(jiǎn)單的就是集成 Nutch 到你的站點(diǎn)，為你的用戶提供搜索服務(wù)。 Map Reduce 是一個(gè)分布式的處理模型，最先是從 Google 實(shí)驗(yàn)室提出來(lái)的。因此 nutch 對(duì)學(xué)術(shù)搜索和政府類站點(diǎn)的搜索來(lái)說(shuō)，是個(gè)好選擇，因?yàn)橐粋€(gè)公平的排序結(jié)果是非常重要的。這也消除了過(guò)去依賴于 Apache Tomcat 來(lái)運(yùn)行老的 Nutch 網(wǎng)絡(luò)應(yīng)用以及依賴于 Apache Lucene來(lái)進(jìn)行索引的麻煩。通過(guò)它， 就能夠自動(dòng)地找到網(wǎng)頁(yè)中的超鏈接，從而極大地減輕了維護(hù)工作的負(fù)擔(dān)，例如 檢查那些已經(jīng)斷開了的鏈接，或是對(duì)所有已經(jīng)訪問(wèn)過(guò)的網(wǎng)頁(yè)創(chuàng)建一個(gè)副本以便用于搜索。 } finally { if(writer != null){ try { ()。 writer = new IndexWriter(directory, iwc)。 } catch (Exception e) { ()。 ()。 (Index Reader Close Error ~!)。 //恢復(fù)所有索引 (All Index Undelte Ok~~!)。 (Index Writer Close Error ~~)。 (Index where id = 1 delete ok!)。 表 33 刪除、 恢復(fù) 、強(qiáng)制刪除 索引 public void delete(){ IndexWriter writer = null。 } catch (IOException e) { ()。 //通過(guò) reader可以獲取有效的文檔數(shù)量 // (numDocs: + ())。 } } } Lucene 查詢服務(wù)是根據(jù)通過(guò)的關(guān)鍵字，從已建立的索引中查詢符合分詞規(guī)則的信息。 } catch (Exception e) { ()。 (new Field(content, contents[i], , ))。 i。 try { iwc = new IndexWriterConfig(, new StandardAnalyzer())。 public IndexUtil(){ try { //directory = (new File(D:\\bs\\luceestdir01))。 private int[] attachs = {2, 3, 1, 4, 5, 3}。 表 41 給出了通過(guò)內(nèi)存建立文本信息索引的一個(gè)例子。 經(jīng)過(guò) 第二步， 得到一棵 經(jīng)過(guò)語(yǔ) 言 處 理的 語(yǔ) 法 樹 。 如果在 詞 法分析中 發(fā)現(xiàn) 不合法的 關(guān)鍵字， 則會(huì) 出 現(xiàn)錯(cuò)誤 。 說(shuō) 明用 戶 想找一 個(gè)包含 lucene 和 learned 然而不包括 hadoop 的文 檔 。 不同的查 詢語(yǔ) 句有不同的語(yǔ) 法，如 SQL 語(yǔ) 句就有一定的 語(yǔ) 法。所以在了解 Lucene 之前要了解一下全文檢索。其次分別用三個(gè)章節(jié)分別介紹三段式工作流程中涉及到的各個(gè)流程的主要工作，以及工作中所采用什么樣的工作策略。為了保證查詢的效率，需要在預(yù)處理階段分 江漢大 學(xué)本科畢業(yè)論文（設(shè)計(jì)） 15 詞的時(shí)候記住每個(gè)關(guān)鍵詞在文檔中出現(xiàn)的位置。 一篇網(wǎng)頁(yè)有可能是多個(gè)不同查詢的結(jié)果。因此搜索引擎在生成摘要時(shí)要簡(jiǎn)便許多，基本上可以歸納為兩種方式，一是靜態(tài)方式，即獨(dú)立于查詢，按照某種規(guī)則，事先在預(yù)處理階段從網(wǎng)頁(yè)內(nèi)容提取出一些文字，例如截取網(wǎng)頁(yè)正文的開頭 512 個(gè)字節(jié)（對(duì)應(yīng) 256個(gè)漢字），或者將每一個(gè)段落的第一個(gè)句子拼起來(lái)，等等。一般來(lái)講，從一篇文字中生成一個(gè)恰當(dāng)?shù)恼亲匀徽Z(yǔ)言理解領(lǐng)域的一個(gè)重要課題，人們已經(jīng)做了多年的工作并取得了一些成果。這方面最重要的成果就是前面提到過(guò)的 PageRank。大致上講就是一篇文檔中包含的查詢（ q）中的那些詞越多，則該文檔就應(yīng)該排在越前面；再精細(xì)一些的考慮則是若一個(gè)詞在越多的文檔中有出現(xiàn)，則該詞用于區(qū)分文檔相關(guān)性的作用就越小?；\統(tǒng)地講， ri和 q的相關(guān)性（ relevance）是形成這種順序的基本因素。有了這樣的 q，它的每一個(gè)元素都對(duì)應(yīng)倒排文件中的一個(gè)倒排表（文檔編號(hào)的集合），記作 L(ti)，它們的交集即為對(duì)應(yīng)查詢的結(jié)果文檔集合，從而實(shí)現(xiàn)了查詢和文檔的匹配。如上例，則為 “ 網(wǎng)絡(luò) 與 分布式 系統(tǒng) 實(shí)驗(yàn)室 ” （注意，不同的分詞軟件可能得出不同的結(jié)果）。這不僅是因?yàn)樗拇_代表了大多數(shù)的情況，還因?yàn)樗容^容易實(shí)現(xiàn)。 例如用戶輸入“江漢大學(xué)”，可能是他想了解江漢大學(xué)目前的招生狀況，可能需要找到江漢大學(xué)教務(wù)系統(tǒng)的網(wǎng)址，可能需要了解大家對(duì)江漢大學(xué)的評(píng)價(jià)。 查詢方式和匹配 查詢方式指的是系統(tǒng)允許用戶提交查詢的形式。所以， banana: {(2, 3)} 就是說(shuō) banana在第三個(gè)文檔里 ( )，而且在第三個(gè)文檔的位置是第四個(gè)單詞 (地址為 3)。 下面將以圖示和實(shí)例的方式分別說(shuō)明正向索引和倒排索引。它是 文檔索引系統(tǒng) 中最常用的 數(shù)據(jù)結(jié)構(gòu) 。在程序使用過(guò)程中，分詞字典可以放入一 個(gè)集合中，這樣就可以比較方便的進(jìn)行比對(duì)工作。 需要說(shuō)明的是，在第三步的起始， n 如果不為 1，則意味著有匹配到的詞；而如果 n 為 1， 默認(rèn) 1 個(gè)字是應(yīng)該進(jìn)入分詞結(jié)果的，所以第三步可以將前 n 個(gè)字作為一個(gè)詞而分割開來(lái)。 基于字符串匹配的方法又叫做機(jī)械分詞方法，它是按照一定的策略將待分析的漢字串與一個(gè) “ 充分大的 ” 機(jī)器詞典中的詞條進(jìn)行配，若在詞典中找到某個(gè)字符串，則匹配成功（識(shí)別出一個(gè)詞）。結(jié)果一般包括網(wǎng)頁(yè)標(biāo)題，正文，所屬住地址，主機(jī)，內(nèi)容摘要，時(shí)間戳，當(dāng)前 URL地址等，并更具具體需要建立索引和存儲(chǔ)。同樣的，也需要分析輸入的詞匯單元，一遍從詞語(yǔ)中去掉一些不必要的字母以找到他們的詞干。為此需要使用文檔解析器，將富媒體轉(zhuǎn)換成純文字字符流。之后，處理網(wǎng)頁(yè)數(shù)據(jù)，對(duì)于一個(gè)網(wǎng)頁(yè)，首先需要提取其網(wǎng)頁(yè)正文信息，其次對(duì)正文信息進(jìn)行分詞，之后再根據(jù)分詞的情況建立索