【正文】 自動(dòng)的 選擇 數(shù)據(jù)集資源，并保證這些數(shù)據(jù)集資源中含有與提問式相關(guān)的文獻(xiàn)最多。 ?對(duì)于數(shù)據(jù)集選擇，最簡單的方法是用戶自己選擇信息資源庫。 39 分布式檢索中的數(shù)據(jù)集選擇 ?由于信息資源的海量性，對(duì)于一個(gè)信息需求，在指定檢索策略時(shí)，不可能在每一個(gè)信息資源中進(jìn)行檢索，但又必須保證所選擇的信息資源能夠搜索到適合的信息，這時(shí)就要用到數(shù)據(jù)集選擇。各個(gè) Web服務(wù)在各自的站點(diǎn)分別執(zhí)行，并將檢索結(jié)果以 SOAP消息響應(yīng)的形式返回給調(diào)用它的客戶端程序。這種檢索的基本思路是，以 Web服務(wù)的形式存在的服務(wù)器端檢索程序負(fù)責(zé)從各自的數(shù)據(jù)庫中檢索數(shù)據(jù)；具有代理功能的客戶端應(yīng)用程序負(fù)責(zé)向多個(gè) Web服務(wù)同時(shí)發(fā)出調(diào)用命令，并接收返回結(jié)果。客戶應(yīng)用程序正是通過SOAP協(xié)議來訪問網(wǎng)絡(luò)上的 Web服務(wù)。 ?SOAP是一種在分布式的環(huán)境中交換信息的簡單協(xié)議，也是一種基于 XML的不依賴傳輸協(xié)議的表示層協(xié)議。 WSDL文件中描述信息包括數(shù)據(jù)類型定義、服務(wù)所支持的操作、輸入輸出信息格式、網(wǎng)絡(luò)地址以及協(xié)議綁定等。 UDDI標(biāo)準(zhǔn)定義了一個(gè) Web服務(wù)發(fā)布與實(shí)現(xiàn)的方法。 ?UDDI是一套基于 Web的、分布式的、為 Web服務(wù)提供信息注冊(cè)的實(shí)現(xiàn)的標(biāo)準(zhǔn)規(guī)范，同時(shí)它也包含了一組使網(wǎng)絡(luò)用戶能夠?qū)⒆陨硖峁┑?Web服務(wù)注冊(cè)，并能夠被其他用戶發(fā)現(xiàn)的訪問協(xié)議。同時(shí)它還需要在現(xiàn)有的技術(shù)基礎(chǔ)上，通過制定新的協(xié)議和標(biāo)準(zhǔn)來實(shí)現(xiàn)。 36 分布式信息檢索模式 （四）基于 Web服務(wù)的分布式信息檢索 ?Web服務(wù)標(biāo)準(zhǔn)。 ?位于服務(wù)器端的 Web服務(wù)具有從數(shù)據(jù)庫中檢索數(shù)據(jù)的功能，同時(shí)還具有自描述功能，能夠向用戶提供調(diào)用參數(shù)、返回參數(shù)、端口地址等接口信息，方便用戶調(diào)用。某個(gè) Web服務(wù)在網(wǎng)絡(luò)上發(fā)布后，其他應(yīng)用程序可以發(fā)現(xiàn)或調(diào)用它。 35 分布式信息檢索模式 （四）基于 Web服務(wù)的分布式信息檢索 ?Web服務(wù)（ Web service）是一種可獨(dú)立的、模塊化的 Web應(yīng)用，它允許在 Web站點(diǎn)上放置可編程的元素，能進(jìn)行基于 Web的分布式計(jì)算和處理。各個(gè)信息網(wǎng)站的檢索程序接到代理程序傳來的 XML格式的檢索請(qǐng)求文檔，通過 XML DOM文檔對(duì)象解析出檢索條件，并將檢索條件形成 SQL語句，創(chuàng)建 ADODB對(duì)象連接后臺(tái)數(shù)據(jù)庫，執(zhí)行 SQL語句選出符合條件的記錄，將檢索結(jié)果用 XML文檔返回。同時(shí)，信息組織還需要提供一個(gè)客戶端代理程序，該代理程序除了能從本服務(wù)器數(shù)據(jù)庫中檢索數(shù)據(jù)外，還可以選定的多個(gè)其他數(shù)據(jù)庫中進(jìn)行檢索，并將從多處返回的結(jié)果進(jìn)行整理、排序，顯示給用戶。 ?行通信的標(biāo)準(zhǔn)協(xié)議， 實(shí)現(xiàn)了異構(gòu)機(jī)型、異種操作平臺(tái)的異質(zhì)數(shù)據(jù)源之間的相互操作，大大降低了異種數(shù)據(jù)庫之間查詢的復(fù)雜程度。當(dāng)用戶查詢一個(gè)關(guān)鍵詞時(shí)，它把用戶的查詢請(qǐng)求轉(zhuǎn)換成其他搜索引擎能夠接受的命令格式，并行地訪問多個(gè)搜索引擎來查詢這個(gè)關(guān)鍵詞，然后將返回的結(jié)果進(jìn)行合并、排序等處理后，作為自己的結(jié)果返回給用戶。移動(dòng)代理動(dòng)態(tài)分布于遠(yuǎn)端主機(jī)并可以在不同主機(jī)上進(jìn)行移動(dòng)，因此，移動(dòng)代理技術(shù)是目前分布式信息檢索中常用的技術(shù)手段。移動(dòng)代理是網(wǎng)絡(luò)計(jì)算技術(shù)的一種，是指使用代理通信協(xié)議進(jìn)行信息交換，以實(shí)現(xiàn)問題的自動(dòng)解決的一種軟件程序。 ? 把整理的結(jié)果提供給用戶。 ? 收集相應(yīng)的檢索結(jié)果。 ? 確定哪些信息資源包含與提問式最相關(guān)的信息。而代理技術(shù)同樣也可實(shí)現(xiàn)分布式信息的檢索。 28 分布式檢索處理技術(shù) ?由于不同的信息資源具有不同的數(shù)據(jù)庫結(jié)構(gòu)，因此在分布式環(huán)境下對(duì)于異構(gòu)數(shù)據(jù)庫的檢索和訪問并不簡單。 27 分布式信息檢索原理 ?由于一個(gè)代理服務(wù)器組成的分布式檢索系統(tǒng)存在局限性，目前大多數(shù)的分布式信息檢索系統(tǒng)都是由多個(gè)代理服務(wù)器組成多級(jí)代理的分布式信息檢索系統(tǒng)。但是，一個(gè)代理服務(wù)器進(jìn)行分布式的檢索系統(tǒng)，有許多局限性： 一個(gè)代理服務(wù)器難以管理大量的信息庫服務(wù)器。子集中的每個(gè)信息庫服務(wù)器反饋給 broker一個(gè)按相關(guān)度由大到小排列的信息列表。 26 分布式信息檢索原理 ?一個(gè)簡單的分布式信息檢索系統(tǒng)由多個(gè)數(shù)據(jù)集服務(wù)器和一個(gè)或多個(gè)代理處理器兩部分組成。這些分布式的信息資源在邏輯上是一個(gè)整體，從而構(gòu)成一個(gè)分布式檢索系統(tǒng)。 24 分布式信息檢索原理 1 分布式檢索處理技術(shù) 2 分布式信息檢索模式 3 3 分布式檢索中的數(shù)據(jù)集選擇 4 第三節(jié) 分布式信息檢索方法 25 分布式信息檢索原理 ?分布式信息檢索主要是指在分布式的環(huán)境中，利用分布式計(jì)算和移動(dòng)代理等技術(shù)從大量的、異構(gòu)的信息資源中檢索出對(duì)用戶有用的信息的過程。 ?一、將順排文檔分散存放在共享或不共享的存儲(chǔ)器中，檢索時(shí)，先將 p個(gè)提問依次讀入 p臺(tái)處理機(jī)，各自變換為提問展開表，得到前 p個(gè)提問的檢索結(jié)果后，接著讀入 p+1 ~ 2p個(gè)提問，直至所有提問處理完畢。對(duì)于不共享主存的情況，應(yīng)確保在每個(gè)處理機(jī)所帶的局部存儲(chǔ)器內(nèi)存存放各自常用的倒排索引，以免因分配不合理導(dǎo)致查不到的現(xiàn)象。在此硬件環(huán)境下，倒排索引及主文檔可以分割存放，如倒排索引分放在內(nèi)存各部分，主文檔分放在并行輔存中，以便在檢索時(shí)由各臺(tái)處理機(jī)同時(shí)查找數(shù)據(jù)。 ?對(duì)提問編輯與變換后形成的檢索指令表，因其中某些廣義檢索指令基本上屬于向量類指令，故需“播送”給各個(gè) PE，由它們并行地執(zhí)行該指令規(guī)定的操作，而對(duì)其中的標(biāo)量指令則由 CU自己執(zhí)行。由主文檔建立倒排索引可利用CU（控制部件）執(zhí)行建庫程序而完成。在進(jìn)行查詢時(shí)，查詢項(xiàng)將被分解成多個(gè)關(guān)鍵詞查詢，每個(gè)關(guān)鍵詞對(duì)應(yīng)不同的處理器分別進(jìn)行處理，處理結(jié)果按照查詢的語義進(jìn)行合并。 20 并行檢索中的索引文檔處理 （二）基于倒排表的分割處理 ?使用倒排表進(jìn)行查詢項(xiàng)分割時(shí)，要將每個(gè)關(guān)鍵詞項(xiàng)分割到不同的處理器上去。方法通常有兩種，一種是采用復(fù)制的方法，將全局信息復(fù)制多份到每個(gè)獨(dú)立的索引倒排表上去；另一種是在每個(gè)子集合檢索時(shí)分兩步，第一步獲取全局信息，第二步進(jìn)行檢索。 19 并行檢索中的索引文檔處理 （二）基于倒排表的分割處理 ?物理倒排表分割后，每個(gè)子集合具有自己獨(dú)立的倒排表結(jié)構(gòu)，因此可以供不同的處理器單獨(dú)使用，相對(duì)靈活。 ?物理倒排表分割和邏輯倒排表分割的不同之處在于，前者不僅將數(shù)據(jù)集分割，而且將倒排索引表也同時(shí)進(jìn)行分割，每個(gè)數(shù)據(jù)子集擁有自己獨(dú)立的索引倒排結(jié)構(gòu)。 ?使用倒排表進(jìn)行數(shù)據(jù)集分割有兩種實(shí)現(xiàn)方法：物理倒排表分割方法和邏輯倒排表分割方法。 17 并行檢索中的索引文檔處理 （一）倒排表索引結(jié)構(gòu) ?檢索系統(tǒng)通常采用倒排表（ inverted file）索引結(jié)構(gòu)，可直接從關(guān)鍵詞映射到所在文檔。在搜索模型為樹的搜索空間上搜索，采用的是從左到右訪問子節(jié)點(diǎn)的深度優(yōu)先搜索法，但如果要找的信息處于樹的右邊，則需要搜索大量的節(jié)點(diǎn)。任務(wù)分配技術(shù)則運(yùn)用在并行窗口搜索算法和分布式樹搜索算法上。 16 并行檢索中的索引文檔處理 （一）倒排表索引結(jié)構(gòu) ?在并行處理的機(jī)器上進(jìn)行檢索要考慮到搜索算法對(duì)并行處理能力的影響 .一些主要的并行技術(shù)包括人物分配、負(fù)載平衡和樹排序等。 ?處理機(jī)系列包括 CISC、 RISC、超標(biāo)量、 VLIW、超流水線、向量以及符號(hào)處理機(jī)。靜態(tài)網(wǎng)絡(luò)由點(diǎn) — 點(diǎn)直接相連而成，這種方式在程