【正文】 NNIC 第 23 次報道，中國當(dāng)前擁有的網(wǎng)頁數(shù)己經(jīng)超過 160 億。搜索引擎首先通過信息采集器 (Crawler，又 名網(wǎng)絡(luò)蜘蛛 )從 Inter 中采集網(wǎng)頁數(shù)據(jù)，然后通過索引器 (Indexer)對采集的數(shù)據(jù)進(jìn)行分析，并創(chuàng)建索引。在信息量不大的情況下，傳統(tǒng)的信息檢索能夠滿足需求。 作者簽名： 日 期： III 目 錄 1 緒論 ............................................................................................................... 1 互聯(lián)網(wǎng)信息檢索系統(tǒng)的市場需求 ................................................. 1 搜索引擎技術(shù)現(xiàn)狀及發(fā)展動向 ...................................................... 2 搜索引擎技術(shù)現(xiàn)狀 ............................................................... 2 搜索引擎技術(shù)發(fā)展方向 ....................................................... 4 研究目的和研究內(nèi)容 ...................................................................... 6 文章內(nèi)容安排 ................................................................................... 6 2 搜索引擎技術(shù) ............................................................................................... 7 搜索引擎體系結(jié)構(gòu) ........................................................................... 7 Crawler .................................................................................. 8 Indexer .................................................................................. 9 Searcher .............................................................................. 10 搜索引擎的性能指標(biāo) .................................................................... 11 中文分詞算法 ................................................................................. 12 基于字符串匹配的分詞方法 ............................................ 12 基于理解的分詞方法 ......................................................... 15 基于統(tǒng)計的分詞方法 ......................................................... 15 實際系統(tǒng)研究 ................................................................................. 16 Google 的整體結(jié)構(gòu) ............................................................ 16 Google 的工作過程 ............................................................ 17 3 的分析研究 ........................................................................... 19 介紹 ............................................................................ 19 系統(tǒng)結(jié)構(gòu)分析 ........................................................... 20 系統(tǒng)結(jié)構(gòu)組織 ..................................................................... 20 索引文件分析 ..................................................................... 22 數(shù)據(jù)流分析 .......................................................................... 24 基于 的應(yīng)用開發(fā) ...................................................... 26 4 系統(tǒng)設(shè)計 ..................................................................................................... 29 系統(tǒng)特點 ......................................................................................... 29 IV 系統(tǒng)總體結(jié)構(gòu)設(shè)計 ......................................................................... 29 配置管理模塊 ..................................................................... 29 數(shù)據(jù)抓取模塊 ..................................................................... 30 數(shù)據(jù)索引模塊 ..................................................................... 30 數(shù)據(jù)檢索模塊 ..................................................................... 30 日志管理模塊 ..................................................................... 30 系統(tǒng)處理流程設(shè)計 ......................................................................... 31 數(shù)據(jù)抓取處理流程 ............................................................. 31 數(shù)據(jù)索引處理流程 ............................................................. 32 數(shù)據(jù)檢索處理流程 ............................................................. 34 5 系統(tǒng)實現(xiàn) ..................................................................................................... 35 多線程網(wǎng)頁數(shù)據(jù)抓取 .................................................................... 35 數(shù)據(jù)抓取主界面設(shè)計 ......................................................... 35 多線程的實現(xiàn) ..................................................................... 36 網(wǎng)頁文件下載 ..................................................................... 38 HTML 文檔 的掃描與分析 ............................................................... 40 數(shù)據(jù)的索引 ..................................................................................... 41 數(shù)據(jù)索引主界面設(shè)計 ......................................................... 41 索引網(wǎng)頁數(shù)據(jù) ..................................................................... 42 數(shù)據(jù)的檢索 ..................................................................................... 43 數(shù)據(jù)檢索主界面設(shè)計 ......................................................... 43 檢索索引數(shù)據(jù) ..................................................................... 43 6 系統(tǒng)測試 ..................................................................................................... 46 測試基礎(chǔ) ......................................................................................... 46 測試內(nèi)容 ......................................................................................... 46 模塊測試 .............................................................................. 46 集成測試 .............................................................................. 47 結(jié)束語 ............................................................................................................... 49 致 謝 .................................................................................................................. 50 參考文獻(xiàn) ........................................................................................................... 51 1 互聯(lián)網(wǎng)信息檢索系統(tǒng)的設(shè)計與實現(xiàn) 1 緒論 隨著互聯(lián)網(wǎng) (Inter)的出現(xiàn)和普及，人們的信息來源得到了極大的豐富，互聯(lián)網(wǎng)成為了人們獲取信息的主要來源之一。Information Retrieval I 畢業(yè)設(shè)計（論文）原創(chuàng)性聲明和使用授權(quán)說明 原創(chuàng)性聲明 本人鄭重承諾：所呈交的畢業(yè)設(shè)計（論文），是我個人在指導(dǎo)教師的指導(dǎo)下進(jìn)行的研究工作及取得的成果。 最后 ，詳細(xì)描述了一個基于 的互聯(lián)網(wǎng)信息檢索系統(tǒng)的設(shè)計與實現(xiàn)。文章從下面幾個方面進(jìn)行了討論： 首先，本文介紹搜索引擎的市場需求和研究狀態(tài)。 畢業(yè)論文 互聯(lián)網(wǎng)信息檢索系統(tǒng)的研究與實現(xiàn) I 摘 要 互聯(lián)網(wǎng)信息檢索系統(tǒng) (搜索引擎 )是專門提供信息檢索服務(wù)的平臺，它將互聯(lián)網(wǎng)上大量的網(wǎng)頁數(shù)據(jù)采集到服務(wù)器