當(dāng)今搜索引擎技術(shù)及發(fā)展趨勢(shì)(編輯修改稿)
2024-08-23 18:05 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 已經(jīng)成為信息領(lǐng)域的產(chǎn)業(yè)之一?！EC美國(guó)研究所的Steve Lawrence和C. Lee Giles 1998年和1999年連續(xù)兩年在《自然》和《科學(xué)》雜志上撰文對(duì)搜索引擎技術(shù)的研究進(jìn)行評(píng)述。著名的信息檢索會(huì)議TREC也從1998年開始增加了Web Track課題，以考察Web文檔與其它類型文檔在檢索性質(zhì)上的不同之處，并將測(cè)試在大規(guī)模的Web庫(kù)（如100G字節(jié)）上進(jìn)行信息檢索的算法性能。 由美國(guó)Infornotics公司主辦的搜索引擎國(guó)際會(huì)議從1996年開始，每年舉行一次，對(duì)搜索引擎技術(shù)進(jìn)行總結(jié)、討論和展望，參加者有著名的搜索引擎公司、大學(xué)和研究機(jī)構(gòu)的學(xué)者，對(duì)搜索引擎技術(shù)起到了很好的推動(dòng)作用。另外象IEEE主辦的國(guó)際萬(wàn)維網(wǎng)會(huì)議、人機(jī)交互會(huì)議已有越來(lái)越多關(guān)于搜索引擎技術(shù)研究的文章發(fā)表。搜索引擎的三大定律第一定律 相關(guān)性定律 聽起來(lái)象是一篇學(xué)術(shù)論文，的確，就連第一，第二定律的提法以前也沒有過，但是第一，第二定律的內(nèi)容確早已在業(yè)界和學(xué)術(shù)界得到了公認(rèn)。其實(shí)這第一定律是早在互聯(lián)網(wǎng)出現(xiàn)之前就被學(xué)術(shù)界廣泛研究過的，那就是所謂的相關(guān)性定律。這個(gè)領(lǐng)域那時(shí)叫情報(bào)檢索，或信息檢索，也有叫全文檢索的。 那時(shí)的相關(guān)性都是基于詞頻統(tǒng)計(jì)的，也就是說，當(dāng)用戶輸入檢索詞時(shí)，搜索引擎去找那些檢索詞在文章（網(wǎng)頁(yè)）中出現(xiàn)頻率較高的，位置較重要的，再加上一些對(duì)檢索詞本身常用程度的加權(quán)，最后排出一個(gè)結(jié)果來(lái)(檢索結(jié)果頁(yè)面) 。早期的搜索引擎結(jié)果排序都是基于本文的第一定律的，如Infoseek，Excite，Lycos等，它們基本上是沿用了網(wǎng)絡(luò)時(shí)代之前學(xué)術(shù)界的研究成果，工業(yè)界的主要精力放在處理大訪問量和大數(shù)據(jù)量上，對(duì)相關(guān)性排序沒有突破。 詞頻統(tǒng)計(jì)其實(shí)根本沒有利用任何跟網(wǎng)絡(luò)有關(guān)的特性，是前網(wǎng)絡(luò)時(shí)代的技術(shù)。然而，網(wǎng)絡(luò)時(shí)代的主要文獻(xiàn)是以網(wǎng)頁(yè)的形式存在的，而幾乎每個(gè)人都可以隨心所欲地在網(wǎng)上發(fā)表各種內(nèi)容，詞頻相同的兩個(gè)網(wǎng)頁(yè)，質(zhì)量相差可以很遠(yuǎn)，可是按照搜索引擎的第一定律，對(duì)這兩個(gè)網(wǎng)頁(yè)的排序應(yīng)該是一樣的。為了能夠派在某些檢索結(jié)果的前幾位，許多網(wǎng)頁(yè)內(nèi)容的制作者絞盡腦汁，在其頁(yè)面上堆砌關(guān)鍵詞，搜索引擎對(duì)此防不勝防，苦不堪言。這種情況到了 1996年開始有了改變。 ■ 第二定律 人氣質(zhì)量定律 1996年4月，我到賭城拉斯維加斯開一個(gè)有關(guān)信息檢索方面的學(xué)術(shù)會(huì)議，會(huì)議的內(nèi)容就象拉斯維加斯的天氣一樣，照例比較枯燥乏味。但遠(yuǎn)離公司的我，卻難得有一個(gè)靜下心來(lái)認(rèn)真思考問題的機(jī)會(huì)。就在聽一個(gè)毫不相干的論文演講的時(shí)候，我突然把科學(xué)引文索引的機(jī)制跟Web上的超級(jí)鏈接聯(lián)系起來(lái)了 感謝北大，她在我上大三的時(shí)候就教授了我科學(xué)引文索引的機(jī)制，美國(guó)恐怕沒有一所大學(xué)會(huì)在你本科的時(shí)候教這玩藝兒。 科學(xué)引文索引的機(jī)制，就是誰(shuí)的論文被引用次數(shù)多，誰(shuí)就被認(rèn)為是權(quán)威，論文就是好論文。這個(gè)思路移植到網(wǎng)上就是誰(shuí)的網(wǎng)頁(yè)被鏈接次數(shù)多，那個(gè)網(wǎng)頁(yè)就被認(rèn)為是質(zhì)量高，人氣旺。在加上相應(yīng)的鏈接文字分析，就可以用在搜索結(jié)果的排序上了。這就引出了搜索引擎的第二定律：人氣質(zhì)量定律。根據(jù)這一定律，搜索結(jié)果的相關(guān)性排序，并不完全依賴于詞頻統(tǒng)計(jì)，而是更多地依賴于超鏈分析。 大約在96年底，斯坦福大學(xué)計(jì)算機(jī)系的兩位研究生想到了有效的解決方法，他們后來(lái)創(chuàng)立了一個(gè)叫Google的搜索引擎，Google的網(wǎng)站上至今仍然說他們的這項(xiàng)技術(shù)是Patentpending 。超鏈分析的方法98年以后逐漸被各大搜索引擎所接受，由于鏈接是網(wǎng)絡(luò)內(nèi)容的一個(gè)根本特性，這時(shí)候的搜索引擎才開始真正利用網(wǎng)絡(luò)時(shí)代的檢索技術(shù)。世事難料，2000年起網(wǎng)絡(luò)泡沫迅速破滅，各大搜索引擎要么遭人收購(gòu)，要么推遲上市，所有使用人氣質(zhì)量定律的搜索引擎公司都未能幸免。那么，搜索引擎的出路到底在哪兒？ ■ 第三定律 競(jìng)價(jià)排名定律 人氣質(zhì)量定律解決的還是一個(gè)技術(shù)層面的問題，然而搜索引擎從誕生的那一天起，從來(lái)就不是一個(gè)純技術(shù)現(xiàn)像，它融合了技術(shù)，文化，市場(chǎng)等各個(gè)層面的因素。解決搜索引擎公司的生存和發(fā)展問題需要搜索引擎的第三定律競(jìng)價(jià)排名定律。 1998年的時(shí)候，沒有太多的人拿一家遠(yuǎn)在硅谷500英里以外，剛剛成立的，（現(xiàn)已更名為Overture）的公司當(dāng)回事兒。它不過是買了一個(gè)搜索引擎的技術(shù)服務(wù)，然后再向那些網(wǎng)站的擁有者們拍賣他們網(wǎng)站在GoTo檢索結(jié)果中的排名，誰(shuí)付的錢多，誰(shuí)的網(wǎng)站就排在前面，而且付費(fèi)是根據(jù)網(wǎng)民點(diǎn)擊該網(wǎng)站的情況來(lái)計(jì)算的，僅僅在搜索結(jié)果中出現(xiàn)并不需要付費(fèi)。這
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1