【正文】 ....... 6 3 FTP 搜索引爬蟲(chóng)模塊擎詳細(xì)設(shè)計(jì) .......................................................................... 7 設(shè)計(jì)目的 ...................................................................................................... 7 功能模塊設(shè)計(jì) .............................................................................................. 7 網(wǎng)段掃描 ............................................................................................ 7 獲取數(shù)據(jù) ............................................................................................ 9 關(guān)于編碼問(wèn)題的解決 ...................................................................... 17 服務(wù)器兼容 ...................................................................................... 18 生成數(shù)據(jù)文件 .................................................................................. 22 II 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 生成站點(diǎn)列表 .................................................................................. 25 4 FTP 搜索引擎索引模塊詳細(xì)設(shè)計(jì) ........................................................................ 27 格式化數(shù)據(jù) ...................................................................................... 27 匯總屬性文件 .................................................................................. 29 雙字母建立索引 .............................................................................. 30 索引數(shù)據(jù)庫(kù) ...................................................................................... 32 字符編碼 .......................................................................................... 33 5 開(kāi)發(fā)環(huán)境和結(jié)論 ................................................................................................... 35 硬件環(huán)境 .................................................................................................... 35 軟件環(huán)境 .................................................................................................... 35 運(yùn)行環(huán)境 .................................................................................................... 35 運(yùn)行結(jié)果 .................................................................................................... 36 存在的問(wèn)題和不足 .................................................................................... 36 總結(jié) .............................................................................................................................. 37 致謝 .............................................................................................................................. 38 參考文獻(xiàn) ...................................................................................................................... 39 第 1 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 前言 本設(shè)計(jì)主要是研究中文分詞技術(shù)的實(shí)現(xiàn)。 生成站點(diǎn)列表 .................................................... 錯(cuò)誤 !未定義書(shū)簽。 數(shù)據(jù)分類(lèi) ............................................................ 錯(cuò)誤 !未定義書(shū)簽。 掃描站點(diǎn) ............................................................ 錯(cuò)誤 !未定義書(shū)簽。 設(shè)計(jì)思路 ...................................................................... 錯(cuò)誤 !未定義書(shū)簽。結(jié)合正向最大匹配法和逆向最大匹配法也能把句子比較正確的分成需要的一個(gè)個(gè)詞條。系統(tǒng)中的分詞算法采用基于分詞詞典的機(jī)械分詞方法，這種方法是按照正向最大匹配的方法將要分析的中文句子與字典中的詞條進(jìn)行匹配，從而把中 文句子拆分成一個(gè)個(gè)詞。能形成現(xiàn)在這樣的局面，是有一個(gè)重要的原因：英文和中文兩種語(yǔ)言自身的書(shū)寫(xiě)方式不相同，其中在計(jì)算機(jī)涉及的技術(shù)就是中文分詞技術(shù)。 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 摘要 隨著信息的快速速增長(zhǎng)，讓搜索引擎成了人們查找信息的首要工具。如今在中文搜索引擎領(lǐng)域，國(guó)內(nèi)搜索引擎已經(jīng)同國(guó)外搜索引擎效果上相差不大了。 本設(shè)計(jì)的主要目的是利用爬蟲(chóng)獲取的網(wǎng)頁(yè)，將網(wǎng)頁(yè)的內(nèi)容按照一定的分詞技術(shù)，拆分成一項(xiàng)項(xiàng)的詞條，并存儲(chǔ)到本地，供后期檢索使用 。 通過(guò)使用該分詞軟件可以自動(dòng)的把中文句子比較準(zhǔn)確的拆分成詞，并且拆分速度快。 關(guān)鍵詞： 中文分詞；詞典； 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) Abstract With the rapid growth of information, search engines bee the preferred tool for finding information. Chinese search engine in the field, domestic and foreign search engine has been the effect on the search engine to be close. Is able to develop this kind of situation, there is one important reason for this is that both Chinese and English language to write their own different ways, including the puter technology is the Chinese word segmentation technology. This design is the realization of a Chineseterm ponents. Through the Chinese word segmentation, and analysis of the Chinese sentence, will be split into its term. And its application in search engines so that the realization of the Chinese search engine search. System of the algorithm using the word dictionary based on the mechanicalterm approach, which is in accordance with the largest positive match will be the strategy of the Chinese phrases and terms in the dictionary to match, then split into the Chinese word sentence.. Through the use of the term of the subponents of the Chinese sentences can be automatically split into precise words, split fast. With the forward maximum matchmethodand the reverse maximum matching methodcan also put the sentences into one and one right entry. Keywords： Chinese word segmentation； dictionary 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 目錄 前言 ................................................................................................................................ 1 1 FTP 搜索引擎爬蟲(chóng)模塊介紹 .................................................. 錯(cuò)誤 !未定義書(shū)簽。 設(shè)計(jì)步驟 ...................................................................... 錯(cuò)誤 !未定義書(shū)簽。 獲取數(shù)據(jù) ............................................................ 錯(cuò)誤 !未定義書(shū)簽。 生成源文件 ........................................................ 錯(cuò)誤 !未定義書(shū)簽。 建立索引文件 .................................................... 錯(cuò)誤 !未定義書(shū)簽。通過(guò)使用中文分詞技術(shù)實(shí)現(xiàn)一個(gè)中文分詞軟件，把中文的詞條切分成有意義的一個(gè)一個(gè)詞，最后可以把切取的詞條保存下來(lái)，供以后使用。目前在中文分詞領(lǐng)域，已經(jīng)有很多成熟的分詞技術(shù)。因此實(shí)現(xiàn)中文分詞相對(duì)英語(yǔ)來(lái)講，更加的復(fù)雜、困難。 國(guó)內(nèi)和國(guó)外的科研院校，例如北京大學(xué)、清華大學(xué)、中科院、北京語(yǔ)言學(xué)院、等都一直關(guān)注并研究中文分詞技術(shù)。通過(guò)使用詞典 將要分析的中文語(yǔ)句與詞典中的詞條進(jìn)行匹配來(lái)提高分詞速度。將該分詞器應(yīng)用到搜索引擎中不但可以實(shí)現(xiàn)對(duì)中文的搜索，提高搜索信 息的功能，還可以對(duì)中文