【正文】 .............................................................. 17 2 第一章 垂直搜索引擎綜述 搜索引擎 (SearchEngines)就是指在 Web 環(huán)境中能夠響應(yīng)用戶提交的搜索請求 ， 返回相應(yīng)的查詢結(jié)果信息的技術(shù)和系統(tǒng) ， 是在互聯(lián)網(wǎng)上可以查詢網(wǎng)站或網(wǎng)頁信息的工具 。 它包括信息抓取 、 信息處理和用戶查詢?nèi)糠?。 搜索引擎的服務(wù) 方式分為兩種 ： 目錄服務(wù)和關(guān)鍵字檢索服務(wù) 。 目錄服務(wù)是由分類專家將網(wǎng)絡(luò)信息按照主題分成若干個大類 ， 用戶可以根據(jù)分類清晰地找到自己所需要的內(nèi)容 ； 關(guān)鍵字檢索服務(wù)可以查 找包含一個或多個特定關(guān)鍵字或詞組的 WWW 站點 。 搜索引擎是互聯(lián)網(wǎng)的第二大核心技術(shù) ， 涉及到信息檢索 、 人工智能 !計算機網(wǎng)絡(luò) 、 分布式處理 、 數(shù)據(jù)庫 、 數(shù)據(jù)挖掘 、 數(shù)字圖書館 、自然語言處理等多領(lǐng)域的理論和技。所以具有綜合性和挑戰(zhàn)性 1990年以前 ， 沒有任何人能實現(xiàn)搜索互聯(lián)網(wǎng)的功能 。 互聯(lián)網(wǎng)發(fā)展早期 ， 信 息量較少 ， 互聯(lián)網(wǎng)用戶多為專業(yè)人士 ， 那時查找信息要相對容易 。 伴隨互聯(lián)網(wǎng)爆 炸性的發(fā)展 ， 普通網(wǎng)絡(luò)用戶想找到所需的資料簡直如同大海撈針 。 這時為滿足大 眾信息檢索需求的搜索引擎便應(yīng)運而生了 。 所有搜索引擎的祖先 ， 都可以追溯到 1990 年由蒙特利爾 MeGill 大學(xué)學(xué)生 AlanEmtage， PeterDeutseh， Billwheelan發(fā)明的 Arehie(ArehieFAQ)。 雖然當(dāng)時 WorldWideWeb 還未出現(xiàn) ， 但因為當(dāng)時網(wǎng)絡(luò)的主要用途是傳輸文件 ， 網(wǎng)絡(luò)中的文件傳輸還是相當(dāng)頻繁 。 由于大量的文件散布在各個分散的 FTP主機中 ， 查詢起來非常不便 ， 因此 AlanEmtage想到了開發(fā)一個可以以文件名查找文件的系統(tǒng)于是便有了 Archie。 1993年 ， 美國內(nèi)華達 SystemComputingServiCeS 大學(xué)開發(fā)了一個與 Arehie 非常 相似的搜索工具 ， 這個搜索工具既能夠檢索文件也能夠檢索網(wǎng)頁 。 1994年 4月 ， 斯坦福 (Stanford)大學(xué)的兩名博士生 ： DavidFilo和美籍華人楊致遠 (GerryYang)共同創(chuàng)辦了超級目錄索引 Yahoo， 并成功地使搜索引擎的概念深入人心 ， 從此搜索引擎進入了高速發(fā)展時期 。 1998年 ， 斯坦福大學(xué)的兩位博士生 LarryPage和 SergeyBrin開發(fā)出了現(xiàn)在世界上最大的搜索引擎一代 ： oogle。 通過對 20多億網(wǎng)頁進行整理 ， Google可為世界各地的用戶提供所需的搜索結(jié)果 ， 而且搜索時間通常不到半秒 ， 現(xiàn)在 ， Google每天需要為世界各國用戶提供 。 1997年 10月 29日 ， 北大天網(wǎng)正式在 CERNET上向廣大 Inter用戶提供 Web信息導(dǎo)航服務(wù) ， 它是由北大計算機系網(wǎng)絡(luò)與分布式系統(tǒng)研究室開發(fā)的國家“ 九五 ” 重點科技攻關(guān)項目 “ 中文編碼和分布式中英文信息發(fā)現(xiàn) ” 的研究成果 。 受到學(xué)術(shù)界廣泛好評 。 3 2020年 1月 ， 兩位北大校友 ， 前工 nfoseek資深工程師李彥宏與加州大學(xué)伯 克利分校博士后徐勇在北京中關(guān)村創(chuàng)立了百度 (Baidu)公司 ， 歷經(jīng) 5年的高速發(fā)展后 ， 在近兩年時間里 ， 百度高居全球網(wǎng)站流 量前八名的位置 ， 已經(jīng)成為全球十大網(wǎng)站之一 。 百度每天接受著超過一億人次來自各個方面的內(nèi)容檢索請求 。 中國9400萬網(wǎng)民幾乎每天使用 1次百度 。“ 有問題百度一下 ” 已經(jīng)成為中國網(wǎng)絡(luò)流行語之一 。 2020年 ， 中國搜索 (原慧聰搜索 )正式進入中文搜索引擎市場 ， 在一年多的時間里 ， 就發(fā)展為全球著名的中文搜索引擎服務(wù)商 ， 為新浪 、 搜狐 、 網(wǎng)易 、 TOM 等知名門戶網(wǎng)站提供搜索引擎技術(shù) 。 慧聰搜索引擎的優(yōu)勢是從人工審核網(wǎng)站信息 源和設(shè)置禁查詞兩個方面入手 ， 有效地過濾了不良信息 ， 降低了垃圾信息的含量 。 在互聯(lián)網(wǎng)實時新聞搜索方面 ， 慧聰也實現(xiàn)了 網(wǎng)絡(luò)新聞的實時檢索 。 目前 ， 出現(xiàn)了 大量多方向的搜索引擎系統(tǒng) ， 搜索引擎進入了快速發(fā)展階段 。 從結(jié)構(gòu)上分析來看 ， 一個搜索引擎由抓取器 、 索引器 、 檢索器和用戶接口等 四個部分組成 。 抓取器的功能是在互聯(lián)網(wǎng)中漫游 ， 發(fā)現(xiàn)和搜集信息 。 它常常是一個計算機程 序 ， 日夜不停地運行 。 它要盡可能多 、 盡可能快地搜集各種類型的新信息 。 同時 因為互聯(lián)網(wǎng)上的信息更新很快 ， 所以還要定期更新已經(jīng)搜集過的舊信息 ， 以避免 死連接和無效連接 。 抓取器搜集的信息類型多種多樣 ， 包括 HTML、 XML、 Newsgroup 文章 、 4 FTP文件 、 字處理文檔 、 多媒體信息 。 抓取器的實現(xiàn)常常用分布式 、 并行計算技術(shù) ， 以提高信息發(fā)現(xiàn)和更新的速度 。 商業(yè)搜索引擎的信息發(fā)現(xiàn)可以達到每天幾百萬網(wǎng)頁 。 索引器的功能是理解抓取器所抓取的信息 ， 從中抽取出索引項 ， 用于表示文 檔以及生成文檔庫的索引表 。 索引項有客觀索引項和內(nèi)容索引項兩種 ： 客觀項與文檔的語意內(nèi)容無關(guān) ， 如 作者名 、 URL、 更新時間 、 編碼 、 長度 、 鏈接流行度 (LinkPopularity)等等 ； 內(nèi)容索引項是用來反映文檔內(nèi)容的 ： 如關(guān)鍵詞及其權(quán)重 、 短語 、 單字等等 。 內(nèi)容索引項可以 分為單索引項和多索引項 (或稱短語索引項 )兩種 。 單索引項對于英文來講是英語單詞 ， 比較容易提取 ， 因為單詞之間有天然的分隔符 (空格 )； 對于中文等連續(xù)書寫的語言 ， 必須進行詞語的切分 。 在搜索引擎中 ， 一般要給單索引項賦與一個權(quán)值 ， 以表示該索引項對文檔的 區(qū)分度 ， 同時用來計算查詢結(jié)果的相關(guān)度 。 使用的方法一般有統(tǒng)計法 、 信息論法 和概率法 。 而多索引項的提取方法有統(tǒng)計法 、 概率法和語言學(xué)法 。 索引表一般使用某種形式的倒排表 (InversionLISt)， 即由索引項查找相應(yīng)的文檔 。 索引表也可能要記錄索引項在文檔中出現(xiàn)的位置 ， 以便 檢索器計算索引項之間的相鄰或接近關(guān)系 (proximity)。 索引器可以使用集中式索引算法或分布式索引算法 。 當(dāng)數(shù)據(jù)量很大時 ， 必須 實現(xiàn)即時索引 (InstantJndexing)， 否則不能夠跟上信息量急劇增加的速度 。 索引算法對索引器的性能 (如大規(guī)模峰值查詢時的響應(yīng)速度 )有很大的影響 。 一個搜索引擎的有效性在很大程度上取決于索引的質(zhì)量 。 檢索器的功能是根據(jù)用戶的查詢在索引庫中快速檢出文檔 ， 進行文檔與查詢 的相關(guān)度評價 ， 對將要輸出的結(jié)果進行排序 ， 并實現(xiàn)某種用戶相關(guān)性反饋機制 。 用戶接口的作 用是輸入用戶查詢 、 顯示查詢結(jié)果 、 提供用戶相關(guān)性反饋機制 。 主要的目的是方便用戶使用搜索引擎 ， 高效率 、 多方式地從搜索引擎中得到有效 、 及時的信息 。 用戶接口