【正文】 忽略，其方法為將代碼 Encoding ASCII= Encoding. ASCII 改為 Encoding ASCCI = 。經(jīng)過幾天是嘗試和查閱網(wǎng)上資料，發(fā)現(xiàn)編碼問題應(yīng)該是可以解決的，網(wǎng)上也有人提供了使用其它方式實(shí)現(xiàn)的支持漢字的 FTP 類。 之后又嘗試將編碼方式改為 UTF8 編碼，結(jié)果仍然是不能解決漢字問題。 } } } return0。 i 。)。 //獲取信息 foreach (String str in styleNames) { tmp = (39。)。結(jié)果最終發(fā)現(xiàn)當(dāng)發(fā)送的字符轉(zhuǎn)換為 GB2312 后， FTP 服務(wù)器仍然不能正確解析，獲publicString GetStyle(String name) { String[] tmp = (39。 解決方法 . 提供了 Encoding 的方法進(jìn)行編碼的轉(zhuǎn)換，于是我嘗試將傳送數(shù)據(jù)的編碼由 ASCII 轉(zhuǎn)換 為 GB2312。 i++){ styleNames[i] = strTmp。 for (Int32 i = 0。 styleLength = (strTmp)。 Int32 styleLength。 從 FTP 站點(diǎn)上獲取的文件名中包含后綴名，使用 split()函數(shù)將文件的后綴名分離出來用于后綴名匹配。若匹配成功則返回類型編號(hào)，若失敗，則返回一個(gè)默認(rèn)編號(hào)。 } return size。 if (retValue == 213){ size = ((4))。 } } sendCommand(SIZE + fileName)。 下面為該部分的主要代碼： 圖 36 獲取文件大小 publiclong getFileSize(String fileName){ if (!logined){ try{ login()。同樣，使用Socket 提供的命令 Receive，接收指定字節(jié)數(shù)的數(shù)據(jù)，并將數(shù)據(jù)存如緩沖區(qū)，此處指定的緩沖區(qū)大小為 512 個(gè)字節(jié)。 } 第 15 頁 西華大學(xué)畢業(yè)設(shè)計(jì)說明書 獲取文件大小 1) 設(shè)計(jì)思路： 使用 SIZE 命令獲取指定目錄下指定文件的大小，根據(jù)回傳的數(shù)據(jù)中包含有標(biāo)志位，說明了該命令是否執(zhí)行成功，若執(zhí)行成功，則獲取了文件的大小。 mes += (buffer, 0, bytes)。 } mes = 。 sendCommand(LIST + mask)。通過回傳字符串中的標(biāo)志位，獲取回傳的字符串中的目錄。 2) 實(shí)現(xiàn)方法： 使用 Socket 中的 Send 命令，向 FTP 服務(wù)器發(fā)送 LIST 命令。 } 圖 34 獲取文件列表 第 14 頁 西華大學(xué)畢業(yè)設(shè)計(jì)說明書 獲取目錄列表 1) 設(shè)計(jì)思路： 使用 List 命令獲取文件和目錄列表，根據(jù)回傳的數(shù)據(jù)中包含有標(biāo)志位，說明了該文件名表示的是目錄還是文件。 mes += (buffer, 0, bytes)。 } mes = 。 sendCommand(LIST + mask)。通過回傳字符串中的標(biāo)志位，獲取回傳的字符串中的目錄。 2) 實(shí)現(xiàn)方法： 使用 Socket 中的 Send 命令，向 FTP 服務(wù)器發(fā) 送 LIST 命令。 } 第 13 頁 西華大學(xué)畢業(yè)設(shè)計(jì)說明書 獲取文件列表 1) 設(shè)計(jì)思路： 使用 List 命令獲取文件和目錄列表，根據(jù)回傳的數(shù)據(jù)中包含有標(biāo)志位，說明了該文件名表示的是目錄還是文件。 error = false。 thrownewIOException((4))。 sendCommand(PASS + remotePass)。 thrownewIOException((4))。 sendCommand(USER + remoteUser)。 return。 } Reply()。 try{ (ep)。 IPEndPoint ep = newIPEndPoint((remoteHost), remotePort)。 returntrue。 (Delete status: {0},)。 = 。 下面列舉出本次設(shè)計(jì)使用的幾條重要的 FTP 命令： LIST：獲取 FTP 站點(diǎn)的文件和目錄清單 SIZE：獲取 FTP 站點(diǎn)指定文件的大小 MDTM：獲取 FTP 站點(diǎn)文件的最后修改時(shí)間 USER：登錄 FTP 站點(diǎn)使用的用戶名 PASS：登錄 FTP 站點(diǎn)的用戶密碼 QUIT：關(guān)閉 FTP 連接publicstaticbool DeleteFileOnServer(Uri serverUri){ if ( != ){ returnfalse。 Socket 的 SendTimeOut 屬性中可以支持設(shè)置等待時(shí)間。本次設(shè)計(jì)使用面向連接的協(xié)議（ FTP），在進(jìn)行數(shù)據(jù)通訊時(shí)使用 Send 和 Receive 方法實(shí)現(xiàn)。經(jīng)過查閱資料，發(fā)現(xiàn)其內(nèi)部的實(shí)現(xiàn)方式仍然是使用 FTP 命令實(shí)現(xiàn)。當(dāng)需要指定用戶名和密 碼是，可通過設(shè)置 Credentials 屬性來制定用于連接服務(wù)器的憑據(jù)， 也可以將它們包含在傳遞給 Create 方法的 URI 的 UserInfo 部分中 。 1) 使用 FtpWebRequest 類： 用此方法，首先需要取得 FtpWebRequest 的實(shí)例。因此后來放棄了這種方法，改用套接字的方式實(shí)現(xiàn)，向指定站點(diǎn)發(fā)送 FTP 命令，然后獲取其回傳的數(shù)據(jù)，由于這種方法可以自由的使用所有 FTP 命令，所以相對(duì)原有的方法更為靈活。 實(shí)現(xiàn)方法 在前期準(zhǔn)備工作結(jié)束之后，由于使用的開發(fā)語言為 C，因此考慮使用 . Framework 中提供的 FtpWebRequest 類庫實(shí) 現(xiàn)該功能。 } eturn listIP。 i++) { resultIP = (())。 for (long i = startIP。 endIP = tos_num[0] * 256 * 256 * 256 + tos_num[1] * 256 * 256 + tos_num[2] * 256 + tos_num[3]。 long startIP, endIP。 核心代碼 圖 31 IP網(wǎng)段生成 獲取數(shù)據(jù) 設(shè)計(jì)思路 這一部分的實(shí)現(xiàn)雖然比較復(fù)雜，但是設(shè)計(jì)思路卻較為簡(jiǎn)單，首先需要向目標(biāo)站點(diǎn)發(fā)送數(shù)據(jù)請(qǐng)求。在使用時(shí)，我們需要將這些數(shù)字再次轉(zhuǎn)化為 IP 地址。同樣使用循環(huán)的方式，每次對(duì)轉(zhuǎn)換為十進(jìn)制的 IP 地址進(jìn)行加一操作，這樣就避免了人工編寫代碼控制進(jìn)位的麻煩，程 序的穩(wěn)定性和代碼編寫的效率都大大提高。在實(shí)現(xiàn)是我 IP 地址轉(zhuǎn)換為十進(jìn)制進(jìn)行操作。 2) IP 地址分為四段（如： ），每一段的長(zhǎng)度為 256，由于系統(tǒng)本身并不支持 256 進(jìn)位的方式，雖然編程可以對(duì)其進(jìn)行認(rèn)為的進(jìn)位控制，但是仍然帶來一些不必要的麻煩。 1) IP 地址分為四段（如： ）每一段可能出現(xiàn)的值為 0~255，用程序控制 IP 地址段的進(jìn)位（ 256 進(jìn) 1）。另一 第 8 頁 西華大學(xué)畢業(yè)設(shè)計(jì)說明書 方面，程序本身維護(hù)有一個(gè) IP 站點(diǎn)列表，該列表中會(huì)保存用戶手工配置的以及上一次掃描成功 的 IP 站點(diǎn)性息，該 IP 列表中包含有提供 FTP 服務(wù)站點(diǎn)的 IP 地址和端口號(hào)。在本次 Ftp 搜索引擎爬蟲模塊的設(shè)計(jì)里，我采用了 IP 掃描技術(shù)和手工添加技術(shù)的中和。本次設(shè)計(jì)的題目為 FTP 搜索引擎爬蟲模塊，其用途就是搜集各個(gè) FTP 站點(diǎn)的數(shù)據(jù)信息，并且組織成一個(gè)特定的數(shù)據(jù)格式，索引模塊得去這組數(shù)據(jù)之后，利用再次處理這些數(shù)據(jù)，建立索引數(shù)據(jù)庫。圖 21 搜索引擎系統(tǒng)工作圖 第 6 頁 西華大學(xué)畢業(yè)設(shè)計(jì)說明書 工作流程圖 圖 22 FTP 搜索引擎工作流程圖 第 7 頁 西華大學(xué)畢業(yè)設(shè)計(jì)說明書 3 FTP 搜索引爬蟲模塊擎詳細(xì)設(shè)計(jì) 設(shè) 計(jì)目的 如今很多企業(yè)和個(gè)人都建立了自己的 FTP 站點(diǎn)，在各個(gè) FTP 站點(diǎn)中包含有大量的資源，如何才能快速的在浩如煙海的資源中找到自己需要的資源，已經(jīng)成為一個(gè)需要我們不得不解決的難題。在掃描完用戶配置的站點(diǎn)之后，掃描成功的站點(diǎn)會(huì)寫入一個(gè)站點(diǎn)列表的文件，以便以后使用。 2) 當(dāng)程序成功登錄某個(gè) FTP 站點(diǎn)之后，程序會(huì)自動(dòng)獲取其各級(jí)目錄下的文件和目錄列表，并且會(huì)獲取各個(gè)文件的大小、最后修改時(shí)間，最后程序會(huì)根據(jù)對(duì)照表 對(duì)獲取的各個(gè)文件進(jìn)行分類。 第 5 頁 西華大學(xué)畢業(yè)設(shè)計(jì)說明書 2 FTP 搜索引擎概要設(shè)計(jì) 工作原理 用戶對(duì)在完成對(duì) FTP 搜索引擎的爬蟲模塊配置文件的配置，便可執(zhí)行爬蟲程序。把中 文翻譯成外文，最基礎(chǔ)的條件就是分詞要正確，才可以明白中文句段，然后才能做出正確的翻譯。分詞技術(shù)在信息檢索系統(tǒng)的運(yùn)用在系統(tǒng)的索引項(xiàng)實(shí)現(xiàn)了按詞索引，在系統(tǒng)和用戶的接口上，完成了自然語言的查詢。 中文分詞技術(shù)在中文信息檢索的應(yīng)用 在信息檢索系統(tǒng)中，人們是用自然語言輸入查詢信息的。在所有中文信息處理系統(tǒng)中，都需要用到中文分詞技術(shù)。但是這類方法也是有一定的局限性的，會(huì)經(jīng)常抽出一些共現(xiàn)頻度高、但并不能構(gòu)成詞的常用字組，例如 “之一 ”、 “這一 ”、 “我的 ”、 “有的 ”、 “許多的 ”等等。如果緊密程度高于某一個(gè)概率時(shí)，就可以認(rèn)為這兩個(gè)字可能構(gòu)成了一個(gè)詞了。定義兩個(gè)字的相互出現(xiàn)次數(shù)，計(jì)算兩個(gè)漢字相鄰共同出現(xiàn)的概率。因此字和字相鄰共現(xiàn)的頻率或概率能夠較好的反映成詞的準(zhǔn)確度。等待更好的完善。這種分詞方法需要充足的語言知識(shí)和信息。它通常分為三個(gè)部分：分詞子系統(tǒng)、句法語義子系統(tǒng)、總控部分。 基于 理 解的分詞方法 第 3 頁 西華大學(xué)畢業(yè)設(shè)計(jì)說明書 這種分詞方法是通過讓計(jì)算機(jī)模擬人對(duì)句子意思的理解，來完成識(shí)別詞的效果。按照掃描方向來區(qū)分，又可以分為正向匹配法和逆向匹配法；按照不同長(zhǎng) 度優(yōu)先匹配的情況，可以分為最大匹配法和最小匹配法；按照與詞性標(biāo)注過程是否相結(jié)合，又可以分為單純分詞方法和分詞與標(biāo)注相結(jié)合的一體化方法。 中文分詞算法的分類 現(xiàn)有的分詞算法大致可以分成三類：基于字符串匹配的分詞法、基于理解的分詞法和基于詞頻統(tǒng)計(jì)的分詞法 。 中文分詞簡(jiǎn)介 在英文的行文當(dāng)中，單詞與單詞之間是以空格符作為自然分界符的，但是中文只是字、句和段能夠通過明顯的分界符來簡(jiǎn)單分開，詞卻沒有一個(gè)表面上的分界符，雖然英文也同樣存在短語的劃分問題 ，但是在詞這一層上，中文比之英文要復(fù)雜的多、困難的多。 第 2 頁 西華大學(xué)畢業(yè)設(shè)計(jì)說明書 1 中文分詞概述 隨著搜索引擎的發(fā)展，分詞技術(shù)也是運(yùn)用而生。也可惜應(yīng)用到其它領(lǐng)域， 使得計(jì)算機(jī)能快速準(zhǔn)確的處理中文信息。通過使用正向最大匹配法提高分詞的準(zhǔn)確度。 研究中文分詞技術(shù)的主要目的是服務(wù)于搜索引擎。 這其中對(duì)于計(jì)算機(jī)涉及的技術(shù)就是中文分詞技術(shù)。 中文是由連續(xù)文字組成 ，缺乏有效的間隔，雖然有句、段分隔，但在進(jìn)行機(jī)器語言學(xué)習(xí)、文本語義理解分析過程中都需以詞組為最小單位的。 分詞技術(shù)發(fā)展至今，也已經(jīng)有十幾年的歷史。 2 FTP 搜索引擎概要設(shè)計(jì) .......................................................................................... 5 工作原理 ...................................................................................................... 5 工作流程圖 ...........................................................................................