【正文】 向外 擴(kuò)展 的 系統(tǒng) 在 系統(tǒng)管理 方面仍然不如向上擴(kuò)展 。一旦前 臺(tái)產(chǎn)生了 該 列表 ， 它會(huì)練習(xí)后臺(tái)根據(jù)索引目錄檢索文章的片段 。查詢(xún)引擎部分 包含一個(gè)或多個(gè)前臺(tái)， 一個(gè)或多個(gè) 后臺(tái) 。 首先， 將要建立的 數(shù)據(jù)分割成大致相同大小 的部分 。 爬行可以 同時(shí)在 內(nèi)部網(wǎng)絡(luò)（內(nèi)聯(lián)網(wǎng)）以及外部網(wǎng)絡(luò)（因特網(wǎng)） 內(nèi)執(zhí)行。 我們已經(jīng)習(xí)慣了 谷歌和雅虎 這樣 開(kāi)放互聯(lián)網(wǎng)運(yùn)作的搜索引擎。 大約一半的集群（ 4底盤(pán)）組成 JS21刀片。 BladeCenterH是最新的 IBM BladeCenter機(jī)架 。 它也有自己的專(zhuān)用 DS4100存儲(chǔ)控制器。 2 向上和向外擴(kuò)展系統(tǒng) 在 IBM的產(chǎn)品線，系統(tǒng) z,p和 i全部建立在具有跨度范圍廣泛的計(jì)算能力的多處理系統(tǒng)上。后一種做法 顯著 提高性能，同時(shí) 又能 保持單一系統(tǒng)形象，是一個(gè)很 具 優(yōu)勢(shì)的 對(duì)稱(chēng)多處理系統(tǒng) 。向外擴(kuò)展在過(guò)去好多年一直是大規(guī)模科學(xué)計(jì)算的唯一可行方案，我們可以觀察世界 500強(qiáng)系統(tǒng)的發(fā)展。 向外擴(kuò)展的解決方案是以網(wǎng)絡(luò)為中心高吞吐量的特別有效的應(yīng)用。 在本文中，我們調(diào)查了向上擴(kuò)展和向外擴(kuò)展這兩種相對(duì)的方法 在一個(gè)新興的搜索應(yīng)用程序 中并行的情況 。 向外擴(kuò)展：多個(gè)小相互服務(wù)器應(yīng)用程序的部署（ 網(wǎng)絡(luò) 集群）。 在此論文中，我們研究的是一個(gè)新興的商業(yè)應(yīng)用，非結(jié)構(gòu)化數(shù)據(jù)的 檢索，根 據(jù)兩個(gè)不同的系統(tǒng)：一個(gè)是以向上擴(kuò)展為基礎(chǔ)的超線程酷睿 POWER5處理器。 我們的另外一個(gè)結(jié)論是 ，同樣的價(jià)格尺度系統(tǒng) 的情況下， 向外擴(kuò)展的系統(tǒng)能夠?qū)崿F(xiàn) 4倍的性能。我們選擇了 Power5的 p5 575機(jī)器作為代表著 目前技術(shù)水平的系統(tǒng) 。（ 見(jiàn)下面的說(shuō)明 DS4100） 向外 擴(kuò)展系統(tǒng)有許多不同的形狀和形式 ， 但它們一般包括多個(gè)相互關(guān)聯(lián)的節(jié)點(diǎn)，每一個(gè)節(jié)點(diǎn) 代表 一個(gè)獨(dú)立的操作系統(tǒng)。 與之前的 BladeCenter – 1機(jī)架相比 ，它有 14個(gè)刀片插槽的刀片服務(wù)器。這是四處理器（雙插槽，雙核心）的 PowerPC 970片 ，運(yùn)行在 GHz。然而，搜索也是公司 局域網(wǎng)、 內(nèi)部網(wǎng)絡(luò)的 一個(gè)重要的運(yùn)作 。 檢索， 尤其 是在互聯(lián)網(wǎng)，是一個(gè)復(fù)雜的 工作 。每一部分， 按照既定的方式進(jìn)行處理 ，生成（鍵，值），其中 KEY 是查詢(xún)索引關(guān)鍵字， value是包含關(guān)鍵字的一整套文檔 （和 儲(chǔ)存關(guān)鍵字的文檔） 。 每個(gè) 后臺(tái)都包含該分類(lèi) 完整的數(shù)據(jù)集。只有 頂端文件的片段會(huì)被 檢索 。使用傳統(tǒng)的管理 觀念消耗的鏡像成本成比例的增加 ，很 明顯 ，向外擴(kuò)展的解決方案 比向上擴(kuò)展要耗費(fèi) 更高的管理成本。這些機(jī)器中，在 機(jī)器 中運(yùn)行 MPI（ 向外擴(kuò)展） 應(yīng)用往往比 依賴(lài)于共享內(nèi)存（ 向上 擴(kuò) 展 ）編程 更加有效 。 前臺(tái) 收集所有 后臺(tái)的回復(fù) 兩端產(chǎn)生一個(gè)單一的 頂端文件列表 （通常是10條 最佳匹配 結(jié)果 ）。Nutch / Lucene的并行查詢(xún)引擎的總體結(jié)構(gòu)如圖 3所示。MapReduce模式 的 并行索引 操作 如下 。 這一套文件在搜索術(shù)語(yǔ) 稱(chēng)為語(yǔ)料庫(kù) 。這是基于非結(jié)構(gòu)化數(shù)據(jù)（網(wǎng)頁(yè)）搜索的 應(yīng)用程序日益增多的表現(xiàn) 。在光纖通道適配器，兩個(gè)用于連 接 的 刀片光纖通道交換機(jī)， 都被 插入機(jī) 架 。 同時(shí)還提供有多達(dá) 8個(gè)處理器的雙寬葉片配置和 額外 的內(nèi)存。 另外， p5 575connects有 兩個(gè) Gigabit/s以太網(wǎng)接口。第 4節(jié)介紹我們的結(jié)論。在 這種情況下，多個(gè)實(shí)例方法同時(shí)運(yùn)行在一個(gè)單 操作系統(tǒng) 下 。另外，計(jì)算機(jī)制造商更容易部署基于機(jī)架最佳化和刀片服務(wù)器的向外擴(kuò)展解決方案。向上擴(kuò)展： 大型共享存儲(chǔ)服務(wù)器的部署應(yīng)用（ 多處理系統(tǒng) ） 。 主要的服務(wù)器供應(yīng)商繼續(xù)提供越來(lái)越 強(qiáng)悍的機(jī)器，而近期，向外擴(kuò)展的解決方案， 規(guī)模較小的機(jī)器集群的形式 ，更加被商業(yè)計(jì)算所接受。 我們的結(jié)論表明，向外擴(kuò)展的策略即使在向上擴(kuò)展的機(jī)器中依然可以表現(xiàn)良好。 在第一階段的 商業(yè)計(jì)算革命 中 ， 向上擴(kuò)展的 優(yōu)勢(shì)是顯而易見(jiàn)的。另一種是基于 IBMBlade Center刀片服務(wù)器向外擴(kuò)展系統(tǒng)。 在我們的應(yīng)用案例中， 這一業(yè)績(jī) 的 衡量 精確到了秒 。這 個(gè) 8位或 16位 系統(tǒng)已經(jīng)由于其低成本，高性能，小型化 （ 2U或 24英寸機(jī)架） 已經(jīng)吸引了不少客戶(hù) 。 我們選擇的 BladeCenter作為我們的向外 擴(kuò)展平臺(tái)。它也有 多 達(dá) 兩個(gè)管理單元， 4個(gè)交換機(jī)模塊，四橋模塊和四個(gè)高速交換機(jī)模塊 的 空間。每一個(gè)刀片有 8GiB的內(nèi)存。 Nutch / Lucene完全是基于 Java和其代碼 的開(kāi)源性 。 無(wú)論是 有意 還是 無(wú)意， 總有許多的網(wǎng)站 難以檢索 到 。這相當(dāng)于在地圖階段， 用 MapReduce 。 驅(qū)動(dòng)作為外圍 用戶(hù) 的 代表也是衡量查詢(xún) 性能的一個(gè)關(guān)鍵點(diǎn) ，每秒查詢(xún)（ qps） 。前臺(tái)一次只能與一個(gè)后臺(tái)建立聯(lián)系 ，從后臺(tái)數(shù)據(jù)段對(duì)應(yīng)的文檔中回復(fù)片段 。 外文文獻(xiàn)原文 : Abstract Scaleup solutions in the form of large SMPs have represented the mainstream of mercial puting for the past several years. The major server vendors continue to provide increasingly larger and more powerful machines. More recently, scaleout solutions,in the form of clusters of smaller machines, have gained increased acceptance for mercial puting. Scaleout solutions are particularly effective in highthroughput webcentric this paper, we investigate the behavior of two peting approaches to parallelism, scaleup and scaleout, in an emerging search application. Our conclusions show that a scaleout strategy can be the key to good performance even on a scaleup machine. Furthermore, scaleout solutions offer better price/performance, although at an increase in management plexity. 1 Introduction During the last 10 years of mercial puting,we have witnessed the plete replacement of uniprocessor puting systems by multiprocessor ones. The revolution that started in the early to mideighties in scientific and technical puting finally caught up with the bulk of the marketplace in the midniies. We can classify the different approaches to employmultiprocessor systems for puting (both mercial and technical/scientific) into two large groups: 這 與目前已有的 大型共享存儲(chǔ)系統(tǒng)的科 技 計(jì)算 已經(jīng)沒(méi)有太大的差別。每個(gè)文件返回 一個(gè)百分?jǐn)?shù)值 ， 以此 量化 查詢(xún)匹配度 。 執(zhí)行查詢(xún)功能的時(shí)候，索引格式被提交給搜索引擎， 然后檢索文件， 得到 最符合 要求的結(jié)果 。MapReduce在 2020年出版了谷歌 網(wǎng)站 ，并迅速成為這 類(lèi) 工作量 分析的 標(biāo)準(zhǔn)。 抓取操作是瀏覽和檢索信息的網(wǎng)頁(yè)， 然后輸入將要搜索的文本信息 。 3 Nutch / Lucene的工作量 Nutch / Luc