【正文】 對(duì)于各個(gè) FTP 服務(wù)器的兼容也是一個(gè)巨大的困難，這些在設(shè)計(jì)之初，都是被我忽略的細(xì)節(jié)。所以對(duì)編碼進(jìn)行統(tǒng)一是很有必要的。 獲取這些信 息之后，在索引文件中插入一個(gè) 32位整數(shù)，這個(gè)數(shù)中的高 24位即為一個(gè)在匯總文件的索引編號(hào)，低 8位則對(duì)應(yīng)了該關(guān)鍵字的相對(duì)偏移量。 圖 42path文件 attr 文件是用來(lái)存放原始數(shù)據(jù)各個(gè)文件、文件夾屬性，包括文件類(lèi)型、大小、最后修改時(shí)間、文件名的長(zhǎng)度、 所在路徑在對(duì)應(yīng)的 path 文件中的偏移 、 文件名在對(duì)應(yīng)的 path 文件中的偏移 這幾項(xiàng)如圖 。 if ( != 0) { ( + ( / 1024 0 ? / 1024 : 1) + KB)。 break。 } } if (j == 3){ dirName = (i).Replace(\r, )。 IIS 回傳數(shù)據(jù)的開(kāi)頭始終是日期，而ServU 的開(kāi)頭始終是 Linux 風(fēng)格的權(quán)限標(biāo)識(shí)。下面簡(jiǎn)要介紹一下這兩款服務(wù)器軟件。,39。 下面為該部分的主要代碼： 圖 37 初始化文件讀取類(lèi) privatevoid GetInfo() { String strTmp。 if (bytes ) { break。 if (!(retValue == 150 || retValue == 125 || retValue == 226)) { thrownewIOException((4))。 if (!(retValue == 331 || retValue == 230)){ cleanup()。 } FtpWebRequest request = (FtpWebRequest)(serverUri)。 } 第 10 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 誤信息。轉(zhuǎn)換方式為（以 為例）192*2563+168*2562+0*256+1=3232235521。 3) 在所有操作完成之后，會(huì)生成該站點(diǎn)的目錄和源文件。相互出現(xiàn)概率表現(xiàn)了漢字之間結(jié)合關(guān)系的緊密程度。這就要求在對(duì)中文字段進(jìn)行分析之前，先要將句子切割成一個(gè)個(gè)的詞的序列，這就是中文分詞。通過(guò)使用中文分詞技術(shù)實(shí)現(xiàn)一個(gè)中文分詞軟件，把中文的詞條切分成有意義的一個(gè)一個(gè)詞，最后可以把切取的詞條保存下來(lái)，供以后使用。如今在中文搜索引擎領(lǐng)域，國(guó)內(nèi)搜索引擎已經(jīng)同國(guó)外搜索引擎效果上相差不大了。 生成站點(diǎn)列表 .................................................... 錯(cuò)誤 !未定義書(shū)簽。 第 2 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 1 中文分詞概述 隨著搜索引擎的發(fā)展，分詞技術(shù)也是運(yùn)用而生。因此字和字相鄰共現(xiàn)的頻率或概率能夠較好的反映成詞的準(zhǔn)確度。 第 5 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 2 FTP 搜索引擎概要設(shè)計(jì) 工作原理 用戶(hù)對(duì)在完成對(duì) FTP 搜索引擎的爬蟲(chóng)模塊配置文件的配置，便可執(zhí)行爬蟲(chóng)程序。 2) IP 地址分為四段（如： ），每一段的長(zhǎng)度為 256，由于系統(tǒng)本身并不支持 256 進(jìn)位的方式，雖然編程可以對(duì)其進(jìn)行認(rèn)為的進(jìn)位控制，但是仍然帶來(lái)一些不必要的麻煩。 i++) { resultIP = (())。 Socket 的 SendTimeOut 屬性中可以支持設(shè)置等待時(shí)間。 return。通過(guò)回傳字符串中的標(biāo)志位，獲取回傳的字符串中的目錄。 } mes = 。若匹配成功則返回類(lèi)型編號(hào)，若失敗，則返回一個(gè)默認(rèn)編號(hào)。)。而且這些亂碼也可在數(shù)據(jù)獲取完成后使用轉(zhuǎn)碼的方式進(jìn)行修正。 第 20 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) IIS： 圖 39 IIS返回的數(shù)據(jù) ServU： 圖 310 ServU返 回的數(shù)據(jù) 如上面所示，兩個(gè)服務(wù)其回傳的數(shù)據(jù)的差距是十分巨大的。 i++) { if (!flag){ if (blank == chars[i]) flag = true。 } else{ if (blank != chars[i]){ flag = false。 ()。 圖 41source文件存放路徑 那么現(xiàn)在就對(duì)這個(gè)文件進(jìn)行處理，之后將得到一個(gè) 第 28 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 文件，他們也都存放在 的目錄下。那么我們只對(duì) 212 和 220 這兩個(gè)數(shù)字建立索引，跳過(guò) 178,214。 實(shí)現(xiàn)方法 非數(shù)值信息和控制信息包括了字母、各種控制符號(hào)、圖形符號(hào)等 ，它們都以二進(jìn)制編碼方式存入計(jì)算機(jī)并得以處理，這種對(duì)字母和符號(hào)進(jìn)行編碼的二進(jìn)制代碼稱(chēng)為字符 編碼 （ Character Code） [15]。畢竟平時(shí)一直認(rèn)為網(wǎng)絡(luò)爬蟲(chóng)的實(shí)現(xiàn)都是一些高手才能實(shí)現(xiàn)的，而我自己僅僅是一個(gè)在校的大學(xué)生。劉老師倡導(dǎo)我們的獨(dú)立思考，不懂的問(wèn)題自己親自動(dòng)手查資料，實(shí)在是解決不了的問(wèn)他會(huì)細(xì)心耐心的給我們講解。 在文件讀入時(shí)我們以 GB2312 的格式將文件讀入，由于爬蟲(chóng)部分的數(shù)據(jù)是按照 GB2312 保存的，因此在此處不需要特殊的處理。 索引數(shù)據(jù)庫(kù) 設(shè)計(jì)思路 搜索引擎是對(duì)大量的數(shù)據(jù)進(jìn)行處理，因此用到數(shù)據(jù)庫(kù)是必然的。 第 29 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 圖 43attr文件 匯總屬性文件 設(shè)計(jì)思路 文件的 IO 操作通常會(huì)耗費(fèi)大量的時(shí)間，由于源文件分散在各個(gè)目錄中，因此在讀取是不可避免的會(huì)頻 繁的打開(kāi)和關(guān)閉文件進(jìn)行操作。 ( + )。由于前期已經(jīng)將實(shí)現(xiàn)將爬取的數(shù)據(jù)分目錄暫時(shí)存在內(nèi)存中。 } 第 22 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) ServU 部分的解析代碼： 圖 312 解析 ServU返回字符串 生成數(shù)據(jù)文件 生成的數(shù)據(jù)源文件主 要用于為后面的建立索引做準(zhǔn)備。經(jīng)過(guò)分析，各組數(shù)據(jù)都有一個(gè)共同的特點(diǎn)，就是其中的間隔數(shù)是相同的，利用這一點(diǎn)， 可以從字符串的指定位置提取出需要的數(shù)據(jù)。通過(guò)使用 ServU，用戶(hù)能夠?qū)⑷魏我慌_(tái) PC 設(shè)置成一個(gè) FTP 服務(wù)器，這樣，用戶(hù)或其他使用者就能夠使用 FTP 協(xié)議，通過(guò)在同一網(wǎng)絡(luò)上的任何一臺(tái) PC 與 FTP 第 19 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 服務(wù)器連接，進(jìn)行文件或目錄的復(fù)制，移動(dòng)，創(chuàng)建，和刪除等。 i 。 styleLength = (strTmp)。同樣，使用Socket 提供的命令 Receive，接收指定字節(jié)數(shù)的數(shù)據(jù)，并將數(shù)據(jù)存如緩沖區(qū)，此處指定的緩沖區(qū)大小為 512 個(gè)字節(jié)。 mes += (buffer, 0, bytes)。 sendCommand(PASS + remotePass)。 (Delete status: {0},)。因此后來(lái)放棄了這種方法，改用套接字的方式實(shí)現(xiàn)，向指定站點(diǎn)發(fā)送 FTP 命令，然后獲取其回傳的數(shù)據(jù)，由于這種方法可以自由的使用所有 FTP 命令，所以相對(duì)原有的方法更為靈活。在使用時(shí)，我們需要將這些數(shù)字再次轉(zhuǎn)化為 IP 地址。圖 21 搜索引擎系統(tǒng)工作圖 第 6 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 工作流程圖 圖 22 FTP 搜索引擎工作流程圖 第 7 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 3 FTP 搜索引爬蟲(chóng)模塊擎詳細(xì)設(shè)計(jì) 設(shè) 計(jì)目的 如今很多企業(yè)和個(gè)人都建立了自己的 FTP 站點(diǎn)，在各個(gè) FTP 站點(diǎn)中包含有大量的資源，如何才能快速的在浩如煙海的資源中找到自己需要的資源，已經(jīng)成為一個(gè)需要我們不得不解決的難題。但是這類(lèi)方法也是有一定的局限性的，會(huì)經(jīng)常抽出一些共現(xiàn)頻度高、但并不能構(gòu)成詞的常用字組，例如 “之一 ”、 “這一 ”、 “我的 ”、 “有的 ”、 “許多的 ”等等。按照掃描方向來(lái)區(qū)分，又可以分為正向匹配法和逆向匹配法；按照不同長(zhǎng) 度優(yōu)先匹配的情況，可以分為最大匹配法和最小匹配法；按照與詞性標(biāo)注過(guò)程是否相結(jié)合，又可以分為單純分詞方法和分詞與標(biāo)注相結(jié)合的一體化方法。 中文是由連續(xù)文字組成 ，缺乏有效的間隔，雖然有句、段分隔，但在進(jìn)行機(jī)器語(yǔ)言學(xué)習(xí)、文本語(yǔ)義理解分析過(guò)程中都需以詞組為最小單位的。系統(tǒng)中的分詞算法采用基于分詞詞典的機(jī)械分詞方法，這種方法是按照正向最大匹配的方法將要分析的中文句子與字典中的詞條進(jìn)行匹配，從而把中 文句子拆分成一個(gè)個(gè)詞。 獲取數(shù)據(jù) ............................................................ 錯(cuò)誤 !未定義書(shū)簽。將該分詞器應(yīng)用到搜索引擎中不但可以實(shí)現(xiàn)對(duì)中文的搜索，提高搜索信 息的功能，還可以對(duì)中文進(jìn)行分詞，提高搜索精度。但是由于漢語(yǔ)語(yǔ)言知識(shí)的籠統(tǒng)性和復(fù)雜性，不好對(duì)各類(lèi)語(yǔ)言信息變成機(jī)器可直接讀取的形式，所以暫時(shí)基于理解的分詞系統(tǒng)還處在試驗(yàn)階段。 第 4 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 中文分詞技術(shù)在 翻譯中 的應(yīng)用 這里所說(shuō)的中外文翻譯是指機(jī)器對(duì)中外文進(jìn)行翻譯，而不是人工進(jìn)行翻譯。 實(shí)現(xiàn)方法 根據(jù)網(wǎng)段生成 IP 地址的方法多種多樣，在本次設(shè)計(jì)時(shí)，我考慮過(guò)以下兩種方法。 resultIP。（如 ListDirectory 對(duì)應(yīng)的是FTP 命令中的 NLIST 命令， ListDirectoryDetails 對(duì)應(yīng)的是 FTP 命令中的 LIST命令）下面簡(jiǎn)要介紹一下這種方法的使用方式（以下代碼執(zhí)行了一次文件刪除操作） 第 11 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 圖 32FtpWebRequest 方式 2) 使用套接字（ Socket）方式： 如果編寫(xiě)過(guò)網(wǎng)絡(luò)程序，那么您對(duì)這種實(shí)現(xiàn)方法一定并不陌生，在 . 中Socket 類(lèi)為網(wǎng)絡(luò)提供了一套豐富的方法和屬性。 } catch (Exception ex) { thrownewIOException()。 在此處遇到了一個(gè)服務(wù)其兼容的問(wèn)題，測(cè)試時(shí)發(fā)現(xiàn) FTP 服務(wù)器返回的數(shù)據(jù)格式風(fēng)格不同，如 IIS 和 ServU， IIS 返回的數(shù)據(jù)為 Windows 風(fēng)格，而 ServU返回的數(shù)據(jù)則是 Linux 風(fēng)格，因此這里對(duì)于返回?cái)?shù)據(jù)的處理不可能用同樣的方法，具體解決方法請(qǐng)參見(jiàn) 服務(wù)器兼容中的描述。 下面是用于獲取數(shù)據(jù)的主要代碼： 圖 35 獲取目錄列表 Socket cSocket = createDataSocket()。 } else{ thrownewIOException((4))。因?yàn)?ASCII 編碼不支持漢字，而 GB2312 支持漢字。由于改動(dòng)這個(gè)FTP 類(lèi)會(huì)對(duì)本程序造成較大的改動(dòng)，所 以我仍然決定在現(xiàn)有的基礎(chǔ)上對(duì)程序進(jìn)行修改。 解決方法 如何解決兼容性問(wèn)題是程序開(kāi)發(fā)中的一個(gè)難題，在本次設(shè)計(jì)開(kāi)始之初，我就考慮過(guò)這個(gè)問(wèn)題，盡量的 使用了標(biāo)準(zhǔn)的命令來(lái)對(duì)服務(wù)器進(jìn)行操作。 Char[] chars = ()。 for (Int32 i = 0。 privatevoid show(DocumentData dd) { if (key) { key = false。因此，提前執(zhí)行一次數(shù)據(jù)處理，這樣在后面建立文件索引時(shí)效率會(huì)有效的提高。 由于我們采用 ASCII 碼建立索引，而漢字編碼 GB2312 編碼長(zhǎng)度為 ASCII 碼的 第 31 頁(yè) 西華大學(xué)畢業(yè)設(shè)計(jì)說(shuō)明書(shū) 兩倍。這次次設(shè)計(jì)中，利用雙字幕建立了一個(gè)文件系統(tǒng)，達(dá)到了快速搜索的要求。在以后的設(shè)計(jì)中對(duì)這類(lèi)問(wèn)題應(yīng)該盡可能的避免。這次畢業(yè)設(shè)計(jì)對(duì)我的自學(xué)能力也是一個(gè)驗(yàn)證，大學(xué)四年，最大的收獲就是老師培養(yǎng)了我們自我的學(xué)習(xí)的能力，在此對(duì)老師們表示感謝。 圖 11 索引運(yùn)行結(jié)果 經(jīng)過(guò)該程序的運(yùn)行在 /Index/目錄下自動(dòng)生成了 文件。 比如一個(gè)采用 MySQL存儲(chǔ)的客戶(hù)信息表數(shù)據(jù)記錄達(dá)到 500萬(wàn)行以上時(shí)，就算增加再多的索引，采用標(biāo)準(zhǔn) select語(yǔ)句執(zhí)行查詢(xún)時(shí)，所需時(shí)間至少也在 2分鐘以上， Ora