當今搜索引擎技術(shù)及發(fā)展趨勢-文庫吧資料
2024-08-09 18:05本頁面
【正文】 不過是買了一個搜索引擎的技術(shù)服務(wù)，然后再向那些網(wǎng)站的擁有者們拍賣他們網(wǎng)站在GoTo檢索結(jié)果中的排名，誰付的錢多，誰的網(wǎng)站就排在前面，而且付費是根據(jù)網(wǎng)民點擊該網(wǎng)站的情況來計算的，僅僅在搜索結(jié)果中出現(xiàn)并不需要付費。解決搜索引擎公司的生存和發(fā)展問題需要搜索引擎的第三定律競價排名定律。世事難料，2000年起網(wǎng)絡(luò)泡沫迅速破滅，各大搜索引擎要么遭人收購，要么推遲上市，所有使用人氣質(zhì)量定律的搜索引擎公司都未能幸免。 大約在96年底，斯坦福大學(xué)計算機系的兩位研究生想到了有效的解決方法，他們后來創(chuàng)立了一個叫Google的搜索引擎，Google的網(wǎng)站上至今仍然說他們的這項技術(shù)是Patentpending 。這就引出了搜索引擎的第二定律：人氣質(zhì)量定律。這個思路移植到網(wǎng)上就是誰的網(wǎng)頁被鏈接次數(shù)多，那個網(wǎng)頁就被認為是質(zhì)量高，人氣旺。就在聽一個毫不相干的論文演講的時候，我突然把科學(xué)引文索引的機制跟Web上的超級鏈接聯(lián)系起來了 感謝北大，她在我上大三的時候就教授了我科學(xué)引文索引的機制，美國恐怕沒有一所大學(xué)會在你本科的時候教這玩藝兒。 ■ 第二定律 人氣質(zhì)量定律 1996年4月，我到賭城拉斯維加斯開一個有關(guān)信息檢索方面的學(xué)術(shù)會議，會議的內(nèi)容就象拉斯維加斯的天氣一樣，照例比較枯燥乏味。為了能夠派在某些檢索結(jié)果的前幾位，許多網(wǎng)頁內(nèi)容的制作者絞盡腦汁，在其頁面上堆砌關(guān)鍵詞，搜索引擎對此防不勝防，苦不堪言。 詞頻統(tǒng)計其實根本沒有利用任何跟網(wǎng)絡(luò)有關(guān)的特性，是前網(wǎng)絡(luò)時代的技術(shù)。 那時的相關(guān)性都是基于詞頻統(tǒng)計的，也就是說，當用戶輸入檢索詞時，搜索引擎去找那些檢索詞在文章（網(wǎng)頁）中出現(xiàn)頻率較高的，位置較重要的，再加上一些對檢索詞本身常用程度的加權(quán)，最后排出一個結(jié)果來(檢索結(jié)果頁面) 。其實這第一定律是早在互聯(lián)網(wǎng)出現(xiàn)之前就被學(xué)術(shù)界廣泛研究過的，那就是所謂的相關(guān)性定律。另外象IEEE主辦的國際萬維網(wǎng)會議、人機交互會議已有越來越多關(guān)于搜索引擎技術(shù)研究的文章發(fā)表。著名的信息檢索會議TREC也從1998年開始增加了Web Track課題，以考察Web文檔與其它類型文檔在檢索性質(zhì)上的不同之處，并將測試在大規(guī)模的Web庫（如100G字節(jié)）上進行信息檢索的算法性能。 五、學(xué)術(shù)研究 目前搜索引擎領(lǐng)域的商業(yè)開發(fā)非常活躍，各大搜索引擎公司都在投巨資研制搜索引擎系統(tǒng)，同時也不斷地涌現(xiàn)出新的具有鮮明特色的搜索引擎產(chǎn)品，搜索引擎已經(jīng)成為信息領(lǐng)域的產(chǎn)業(yè)之一。該技術(shù)目前還處于初步研究階段，主要的困難在于語言之間在表達方式和語義對應(yīng)上的不確定性。 交叉語言信息檢索是指用戶用母語提交查詢，搜索引擎在多種語言的數(shù)據(jù)庫中進行信息檢索，返回能夠回答用戶問題的所有語言的文檔。但當系統(tǒng)規(guī)模到達一定程度（如網(wǎng)頁數(shù)達到億級）時，必然要采用某種分布式方法，以提高系統(tǒng)性能。它使用自動獲得的領(lǐng)域模型（如Web知識、信息處理、與用戶興趣相關(guān)的信息資源、領(lǐng)域組織結(jié)構(gòu)）、用戶模型（如用戶背景、興趣、行為、風格）知識進行信息搜集、索引、過濾（包括興趣過濾和不良信息過濾），并自動地將用戶感興趣的、對用戶有用的信息提交給用戶。對于一個查詢，傳統(tǒng)的搜索引擎動輒返回幾十萬、幾百萬篇文檔，用戶不得不在結(jié)果中篩選。又由于搜索引擎有大量的用戶，有很好的經(jīng)濟價值，所以引起了世界各國計算機科學(xué)界和信息產(chǎn)業(yè)界的高度關(guān)注，目前的研究、開發(fā)十分活躍，并出現(xiàn)了很多值得注意的動向。 四、未來動向 搜索引擎已成為一個新的研究、開發(fā)領(lǐng)域。 簡單接口只提供用戶輸入查詢串的文本框；復(fù)雜接口可以讓用戶對查詢進行限制，如邏輯運算（與、或、非； 、）、相近關(guān)系（相鄰、NEAR）、域名范圍（、.）、出現(xiàn)位置（如標題、內(nèi)容）、信息時間、長度等等。用戶接口的設(shè)計和實現(xiàn)使用人機交互的理論和方法，以充分適應(yīng)人類的思維習慣。 用戶接口的作用是輸入用戶查詢、顯示查詢結(jié)果、提供用戶相關(guān)性反饋機制。一個搜索引擎的有效性在很大程度上取決于索引的質(zhì)量 檢索器的功能是根據(jù)用戶的查詢在索引庫中快速檢出文檔，進行文檔與查詢的相關(guān)度評價，對將要輸出的結(jié)果進行排序，并實現(xiàn)某種用戶相關(guān)性反饋機制。當數(shù)據(jù)量很大時，必須實現(xiàn)即時索引（Instant Indexing），否則不能夠跟上信息量急劇增加的速度。索引表也可能要記錄索引項在文檔中出現(xiàn)的位置，以便檢索器計算索引項之間的相鄰或接近關(guān)系（proximity）。短語索引項的提取方法
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1