google搜索引擎工作原理簡介(編輯修改稿)
2024-09-26 01:27 本頁面
【文章內(nèi)容簡介】 Indexer 然后將這些 hits 放到一系列的桶 barrels 中，建立了部分排序的好了的正向索引。 Indexer 還分離出網(wǎng)頁中的所有鏈接，將重要的信息存放在 Anchors 文件之中。這個(gè)文件包含的信息可以確定鏈接的指向和鏈接的描述文本。 URLresolver 讀取 Anchors 文件并將相對(duì) URLs 轉(zhuǎn)換為絕對(duì) URLs，并依次放到docIDs 中。它再將鏈接的描述文本放到正向索引，并將 docIDs 與鏈接的描述文本相對(duì)應(yīng)。同時(shí)，它也產(chǎn)生一個(gè)鏈接 links和 docIDs相對(duì)應(yīng)的數(shù)據(jù)庫。這個(gè) links數(shù)據(jù)庫將被用于計(jì)算所有網(wǎng)頁的 PageRanks。 然后，排序器 sorter 從 barrels 中取得按 docID 排序的網(wǎng)頁，再將其按照 wordID產(chǎn)生一個(gè)反向索引。 Sorter 還在反向索引產(chǎn)生一個(gè) wordIDs 及其偏移的列表。一個(gè)叫做 DumpLexicon 的程序?qū)⑦@個(gè)列表結(jié)合搜索引擎的詞庫再產(chǎn)生一個(gè)可以被搜索器 searcher 使用的新的詞庫 Lexicon。由網(wǎng)頁服務(wù)器構(gòu)成的搜索引擎Searcher 利用這個(gè)新的詞庫配合反向索引和 PageRanks 來回答查詢。 命中列表 Hit Lists 命種列表 Hit Lists 記錄了一系列的關(guān)鍵字出現(xiàn)在一個(gè)網(wǎng)頁中的信息，包括在網(wǎng)頁中的位置，字體的相對(duì)大小和字母的大小寫。 Hit Lists 占用了正向和反向索引里的絕大部分的空間。 命中分為兩類：特別命中 fancy hits 和普通命中 plain hits。 fancy hits 包括了在 URL, 標(biāo)題 , anchor text, or meta tag 出現(xiàn)的關(guān)鍵字， 所有在其它位置出現(xiàn)的關(guān)鍵字均為 plain hits。一個(gè) plain hit 由大小寫位 1 bit， 字體大小 3bits 和用來表示關(guān)鍵字在網(wǎng)頁的位置所組成 12位 bits 信息 (所有位置大于4095 的均表志為 4096)。
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1