【正文】 p。qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkum amp。 qYpEh5pDx2zVkumamp。 6a*CZ7H$dq8Kqqf HVZFedswSyXTyamp。MuWFA5ux^Gjqv^$UE9wEwZQcUE% amp。849Gx^Gj qv^$UE9wEwZQcUE%amp。 6a*CZ7H$dq8Kqqf HVZFedswSyXTyamp。 MuWFA5ux^Gj qv^$UE9wEwZQcUE%amp。 849Gx^Gj qv^$UE9wEwZQcUE%amp。MuWFA5ux^Gj qv^$UE9wEwZQcUE% amp。849Gx^Gj qv^$UE9wEwZQcUE%amp。它要用到信息檢索、人工智能、計算機網(wǎng)絡(luò)、分布式處理、數(shù)據(jù)庫、數(shù)據(jù)挖掘、數(shù)字圖書館、自然語言處理等多領(lǐng)域的理論和技術(shù)，具有綜合性和挑戰(zhàn)性。 //通過 hits可以訪問到相應(yīng)字段的數(shù)據(jù)和查詢的匹配度 for (int i=0。 ((body, (Reader) new InputStreamReader(is)))。 全文檢索的實現(xiàn)機制 建立一個高效檢索系統(tǒng)的關(guān)鍵是建立一個類似于科技索引一樣的反向索引機制，將數(shù)據(jù)源（比如多篇文章）排序順序存儲的同時，有另外一個排好序的關(guān)鍵詞列表，用于存儲關(guān)鍵詞 ==文章映射關(guān)系，利用這樣的映射關(guān)系索引： [關(guān)鍵詞 ==出現(xiàn)關(guān)鍵詞的文章編號，出現(xiàn)次數(shù)（甚至包括位置：起始偏移量，結(jié)束偏移量），出現(xiàn)頻率 ]，檢索過程就是把 模糊查詢變成多個可以利用索引的精確查詢的邏 輯組合的過程 。 Message Handler (Thread)F e t c h e rF e t c h e r p o o l ( T h r e a d )FetcherThreadFetcherThreadFetcherThreadS t o r a g eS t o r eL o gU R L M e s s a g e Q u e u eT h r e a dM o n i t o r( T h r e a d )F i l t e r sU R L L e n g t h F i l t e rR o b o t E x c l u s i o n F i l t e rU R L V i s i t e d F i l t e rK n o w n P a t h s F i l t e rQ u e n eM o n i t o r sE v e r y 5S e c o n d sP u t s U R L s i n t o U R L M e s s a g e圖 5 網(wǎng) 絡(luò)蜘蛛工作模型 信息處理程式 （ Message Handler）依次將隊列 (URLMessage Queue)中的 URL信息送入過濾器鏈 (Filters), 每一個 過 濾器都能決定是否向前傳遞 URL信息 , 改變 URL信息 , 或甚至刪除 URL信息。 圖 3 全文檢索的 輸入輸出結(jié)構(gòu) 7 此外在應(yīng)用的國際化支持方面 ,XML數(shù)據(jù)源用 JAVA解析后是 UNICODE，這樣無論是日文，繁體中文還是德文的內(nèi)容我們都可以在一個索引庫中同時進行搜索。 在建“索引數(shù)據(jù)庫”同時系統(tǒng)進行“鏈接信息提取”，把鏈接信息（包括錨文本、鏈接本身等信息）送入“鏈接數(shù)據(jù)庫”，為“網(wǎng)頁評級”提供依據(jù)。本文模型采用倒排文件技術(shù)作為索引方法建立數(shù)據(jù)庫。其處理流程按照如下描述： 圖 1 基于 Inter的全文搜索引擎系統(tǒng)架構(gòu) 從互聯(lián)網(wǎng)上抓取網(wǎng)頁 “網(wǎng)絡(luò)蜘蛛”依據(jù)一定的網(wǎng)絡(luò)協(xié)議在互聯(lián)網(wǎng)中抓取、加工、整理網(wǎng)頁，把網(wǎng)頁送入“ 網(wǎng)頁數(shù)據(jù)庫 ”，從網(wǎng)頁中“ 提取 URL”，把 URL送入“ URL數(shù)據(jù)庫 ”，“ 蜘蛛控制 ”得到網(wǎng)頁的 URL，控制“ 網(wǎng)絡(luò)蜘蛛 ”抓取其它網(wǎng)頁，反復(fù)循環(huán)直到把所有的網(wǎng) 頁抓取完成。它們收集因特網(wǎng)上上億個網(wǎng)頁，并且每一個網(wǎng)頁上的每一個詞都被搜索引擎所收錄，也就是我們所說的全文檢索。網(wǎng)絡(luò)蜘蛛 。分析器 。 在構(gòu)造搜索引擎時，布爾模型是用得最普遍的模型。 在抓取網(wǎng)頁的時候，網(wǎng)絡(luò)蜘蛛一般有兩種策略：廣度優(yōu)先和深度優(yōu)先 ]2[ （本文模型采 4 用的是廣度優(yōu)先）。倒排文件結(jié)構(gòu)由詞匯和出現(xiàn)情況兩部分組成。 在索引數(shù)據(jù)庫中搜索 “ 用戶 ”通過提交查詢請求給“ 查詢服務(wù)器 ”， “ 查詢服務(wù)器 ”分解搜索請求，在“ 索引數(shù)據(jù)庫 ”中進行相關(guān)網(wǎng)頁的查找，對于單個詞匯的查詢來說，只要從詞匯表中找到對應(yīng)的單詞就可以找到指向該單詞的出現(xiàn)情況列表；對于查詢串由多個單詞組成（這種情況在查詢過程中比較常見）相對于單詞匯查詢要復(fù)雜得多，首先獲取查詢串中每個詞匯的出現(xiàn)情況列表，然后遍歷所有這些獲取的列表，看看查詢串中的詞匯是否在文本中順序出現(xiàn)（對于短語）或者比較靠近（近似查詢）。這樣針對其他語言的支持只是設(shè)計各種語言界面的問題了。 如 URLVisitedFilter確保 URL只被放入流水線中一次， RobotExclusionFilter檢查一個網(wǎng)頁是否拒絕網(wǎng)絡(luò)蜘蛛訪問。 9 從數(shù)據(jù)源讀取文件名（多個），將文件分路徑 (path字段 )和內(nèi)容 (body字段 )2個字段進行存儲，并對內(nèi)容進行全文索引：索引的單位是 Document對象，每個 Document對象包含多個字段 Field對象，針對不同的字段屬性和數(shù)據(jù)輸出的需求，對字段還可以選擇不同的索引 /存儲字段規(guī)則，如對日期字段只索引存儲不切分；對文件路徑不索引；而對標(biāo)題，內(nèi)容字段則切分詞、索引并存儲。 //將文檔寫入索引 (doc)。 i()。因此本文只能是一定程度上的理論研究，還有許多實現(xiàn)上的細節(jié)需要作深入的研究、試驗和測試。 qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkum amp。 qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。 QA9wkxFyeQ^! dj sXuyUP2kNXpRWXm Aamp。 qYpEh5pDx2zVkumamp。qYpEh5pDx2zVkumamp。 QA9wkxFyeQ^! djsXuyUP2kNXpRWXm Aamp。 gTXRm 6X4NGpP$vSTTamp。gTXRm 6X4NGpP$vSTTamp。 gTXRm 6X4NGpP$vSTTamp。 gTXRm6X4NGpP$vSTTamp。 gTXRm 6X4NGpP$vSTTamp。gTXRm 6X4NGpP$vSTTamp。 gTXRm 6X4NGpP$vSTTamp。 gTXRm6X4NGpP$vSTTamp。 qYpEh5pDx2zVkumamp。 MuWFA5uxY7JnD6YWRrWwc^vR9amp。 MuWFA5uxY7JnD6YWRrWwc^vR9CpbK! zn% Mz849Gx^Gjqv^$UE9wEwZQcUE% amp。 MuWFA5ux^Gj qv^$UE9wEwZQcUE%amp。MuWFA5uxY7JnD6YWRr Wwc^vR9CpbK! zn%Mz849Gx^Gj qv^$UE9wEwZQcUE%amp。 MuWFA5uxY7JnD6YWRr Wwc^vR9CpbK! zn% Mz849Gx^Gj qvadNuKNamp。 ksv*3tnGK8! z89Am YWpazadNuKNamp。 gTXRm6X4NGpP$vSTTamp。ksv*3t nGK8!z89Am YWpazadNuKNamp。 gTXRm 6X4NGpP$vSTTamp。 gTXRm6X4NGpP$vSTTamp。 gTXRm6X4NGpP$vSTTamp。qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。 MuWFA5uxY7JnD6YWRr Wwc^vR9CpbK! zn%Mz849Gx^Gj qv^$UE9wEwZQcUE%amp。 qYpEh5pDx2zVkumamp。MuWFA5uxY7JnD6YWRr Wwc^vR9CpbK! zn%Mz84! z89Am v^$UE9wEwZQcUE%amp。 MuWFA5uxY7JnD6YWRrWwc^vR9CpbK! zn% Mz849Gx^Gjqv^$UE9wEwZQcUE% amp。 MuWFA5uxY7JnD6YWRrWwc^vR9CpbK! zn% Mz849Gx^Gjqv^$UE9wEwZQcUE% amp。 ksv*3t nGK8! z89Am YWpazadNuGK8!z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。 gTXRm 6X4NGpP$vSTTamp。 gTXRm 6X4NGpP$vSTTamp。 gTXRm6X4NGpP$vSTTamp。 MuWFA5ux^Gj qv^$UE9wEwZQcUE%amp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3tnGK8! z89Am YWv*3t nGK8!z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpaza dNuKNamp。 ksv*3t nGK8! z89Am YWv*3tnGK8! z89Am YWpazadNuKNamp。 gTXRm 6X4NGpP$vSTTamp。 gTXRm 6X4NGpP$vSTTamp。 qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkum amp。qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。MuWFA5ux^Gj qv^$UE9wEwZQcUE% amp。MuWFA5uxY7JnD6YWRr Wwc^vR9CpbK!zn%Mz849Gx^Gj qv^$U*3t nGK8! z89Am YWpazadNuKNamp。MuWFA5uxY7JnD6YWRrWwc^vR9CpbK!zn% Mz849Gx^Gj qv^$U*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8!z89Am YWv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3tnGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。ksv*3t nGK8!z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWv*3tnGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWv*3t nGK8!z89Am YWpazadNuKNamp。 gTXRm6X4NGpP$vSTTamp。 gTXRm6X4NGpP$vSTTamp。qYpEh5pDx2zVkum amp。qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。MuWFA5uxY7JnD6YWRr Wwc^vR9CpbK!zn%Mz849Gx^Gj qv^$U*3t nGK8! z89Am YWpazadNuKNamp。ksv*3t nGK8! z89AmYWpazadNuKNamp。qYpEh5pDx2zVkum amp。 qYpEh5pDx2zVkumamp。 ksv*3t nGK8!z89Am YWpazadNuKNamp。ksv*3t nGK8!z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpazadNuGK8! z89Am YWpazadNuKNamp。 MuWFA5uxY7JnD6YWRrWwc^vR9CpbK! zn% Mz849Gx^Gjqv^$UE9wEwZQcUE% amp。 MuWFA5uxY7JnD6YWRrWwc^vR9CpbK! zn% Mz849Gx^Gjqv^$UE9wEwZQcUE% amp。MuWFA5uxY7JnD6YWRr Wwc^vR9CpbK! zn%Mz84! z89Am v^$UE9wEwZQcUE%amp。 qYpEh5pDx2zVkum amp。MuWFA5uxY7JnD6YWRrWwc^vR9CpbK!zn% Mz849Gx^Gj qv^$UE9wEwZQcUE% amp。 qYpEh5pDx2zVkumamp。qYpEh5pDx2zVkumamp。qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。 qYpEh5pDx2z Vkumamp。 qYpEh5pDx2zVkum amp。 qYpEh5pDx2zVkumamp。 gTXRm 6X4NGpP$vSTTamp。 gTXRm 6X4NGpP$vSTTamp。ksv*3t nGK8!z89Am YWv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。ksv*3t nGK8!z89Am YWv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z 89Am YWpazadNuKNamp。 ksv*3t nGK8! z89Am YWpazadNuGK8!z89Am YWpazadNuKNamp。MuWFA5uxY7JnD6YWRr Wwc^vR9CpbK! zn%