【正文】 Scaleup: The deployment of applications on large sharedmemory servers (large SMPs). 使用傳統(tǒng)的管理 觀念消耗的鏡像成本成比例的增加 ，很 明顯 ，向外擴(kuò)展的解決方案 比向上擴(kuò)展要耗費(fèi) 更高的管理成本。這些機(jī)器中，在 機(jī)器 中運(yùn)行 MPI（ 向外擴(kuò)展） 應(yīng)用往往比 依賴于共享內(nèi)存（ 向上 擴(kuò) 展 ）編程 更加有效 。 此外，即使在 向上擴(kuò)展 系統(tǒng) 中，在 處理器 利用 效率 方面采取“在單位空間內(nèi)向外擴(kuò)展”的方法比單純的向上擴(kuò)展效果要好的多 。 4 總結(jié) 我們的工作 的 第一個(gè) 結(jié)論是，相對(duì)于向上擴(kuò)展來(lái)說(shuō)，向外擴(kuò)展的解決方案在檢索工作量方面毋庸置疑有著很高的性價(jià)比 優(yōu)勢(shì)。只有 頂端文件的片段會(huì)被 檢索 。 前臺(tái) 收集所有 后臺(tái)的回復(fù) 兩端產(chǎn)生一個(gè)單一的 頂端文件列表 （通常是10條 最佳匹配 結(jié)果 ）。每個(gè) 后臺(tái) 負(fù)責(zé)執(zhí) 行對(duì)數(shù)據(jù)段 的 查詢 并 返回 最 符合查詢要求的結(jié)果 文件列表（通常是 10個(gè) ）。查詢操作的方式如下：驅(qū)動(dòng)程序 提交特定查詢（ 索引格式 ）的 任意一個(gè)前臺(tái) 。 每個(gè) 后臺(tái)都包含該分類 完整的數(shù)據(jù)集。Nutch / Lucene的并行查詢引擎的總體結(jié)構(gòu)如圖 3所示。 在大多數(shù)的搜索應(yīng)用程序中，查詢絕大多數(shù)代表 著運(yùn)算能力 。 在下一階段，在減少的階段，每一個(gè)減速任務(wù)收集所有對(duì)某一特定的關(guān)鍵 字 ，從而產(chǎn)生一個(gè)單一的指數(shù)表的關(guān)鍵 字 。每一部分， 按照既定的方式進(jìn)行處理 ，生成（鍵，值），其中 KEY 是查詢索引關(guān)鍵字， value是包含關(guān)鍵字的一整套文檔 （和 儲(chǔ)存關(guān)鍵字的文檔） 。MapReduce模式 的 并行索引 操作 如下 。 MapReduce提供了一個(gè)方便的方式處理一個(gè)重要的（盡管有限）類 ，通過(guò)程序員在現(xiàn)實(shí)生活中 的商業(yè)應(yīng)用并行和容錯(cuò)性問(wèn)題讓他們關(guān)注 問(wèn)題域。 檢索的性能通常是被檢索系統(tǒng)和被檢索系統(tǒng)之間的網(wǎng)絡(luò)帶寬給制約著。 檢索， 尤其 是在互聯(lián)網(wǎng)，是一個(gè)復(fù)雜的 工作 。 這一套文件在搜索術(shù)語(yǔ) 稱為語(yǔ)料庫(kù) 。 為了完整性 ，我們簡(jiǎn)要介紹了 其他組成部分。 Nutch / Lucene， 作為一個(gè)典型的搜尋工作，有三個(gè)主要部分組成：（ 1）檢索，（ 2）索引，和（ 3）查詢。然而，搜索也是公司 局域網(wǎng)、 內(nèi)部網(wǎng)絡(luò)的 一個(gè)重要的運(yùn)作 。這是基于非結(jié)構(gòu)化數(shù)據(jù)（網(wǎng)頁(yè)）搜索的 應(yīng)用程序日益增多的表現(xiàn) 。 盡管 每個(gè) DS4100是搭配一個(gè) 專門 的BladeCenterH機(jī)架 ， 但 由于我們 運(yùn)行的 光纖通道網(wǎng)絡(luò) ，集群中的 任何刀片 都可以 可以 查 看到存儲(chǔ)系統(tǒng) 的每個(gè)邏輯 單元 。在本文中 的結(jié)論報(bào)告中 ，我們 著重關(guān)注 這些 JS21刀片。這是四處理器（雙插槽，雙核心）的 PowerPC 970片 ，運(yùn)行在 GHz。在光纖通道適配器，兩個(gè)用于連 接 的 刀片光纖通道交換機(jī)， 都被 插入機(jī) 架 。 三種不同葉片中使用了我們的 集群 ： JS21（ PowerPC處理器）， HS21 （英特爾 Woodcrest處理器） 和 LS21（ AMD Opteron處理器）。 （在 機(jī)架上 交換機(jī)模塊 3與 4和橋梁模塊 3與 4均共享相同的插槽。 與之前的 BladeCenter – 1機(jī)架相比 ，它有 14個(gè)刀片插槽的刀片服務(wù)器。 同時(shí)還提供有多達(dá) 8個(gè)處理器的雙寬葉片配置和 額外 的內(nèi)存。 IBM BladeCenter，解決 方案 （和類似的系統(tǒng)公司，如惠普和戴爾） 引領(lǐng)著下一步 機(jī)架式集群 向外 擴(kuò)展系統(tǒng)的商業(yè)計(jì)算。這是這個(gè)平臺(tái) 基于向外 擴(kuò)展方向 的一個(gè)自然 選擇 。（ 見(jiàn)下面的說(shuō)明 DS4100） 向外 擴(kuò)展系統(tǒng)有許多不同的形狀和形式 ， 但它們一般包括多個(gè)相互關(guān)聯(lián)的節(jié)點(diǎn)，每一個(gè)節(jié)點(diǎn) 代表 一個(gè)獨(dú)立的操作系統(tǒng)。 另外， p5 575connects有 兩個(gè) Gigabit/s以太網(wǎng)接口。 每個(gè)核心是雙 線程，因此 這個(gè) 操作系統(tǒng) 相當(dāng)于一個(gè) 32位 的SMP。 POWER5的 p5 575是圖片如圖 1所示。我們選擇了 Power5的 p5 575機(jī)器作為代表著 目前技術(shù)水平的系統(tǒng) 。第 4節(jié)介紹我們的結(jié)論。 其余 部分 本文安排 如下 .Section 2敘述 了向上擴(kuò)展系統(tǒng)和向外擴(kuò)展系統(tǒng)榮在 我們的研究 中的配置 。 向外擴(kuò)展系統(tǒng)需要使用 多個(gè)系統(tǒng)的圖像，因此， 可以有效方便的降低 管理成本。 我們的另外一個(gè)結(jié)論是 ，同樣的價(jià)格尺度系統(tǒng) 的情況下， 向外擴(kuò)展的系統(tǒng)能夠?qū)崿F(xiàn) 4倍的性能。在 這種情況下，多個(gè)實(shí)例方法同時(shí)運(yùn)行在一個(gè)單 操作系統(tǒng) 下 。在純粹的向上擴(kuò)展中，我們只有一個(gè)實(shí)例運(yùn)行的應(yīng)用程序中的 SMP，并使用該實(shí)例的所有可用資源（處理器）。這兩個(gè)系統(tǒng)配置價(jià)格差不多（約 20萬(wàn)美元），從而可以公平的進(jìn)行性價(jià)比的比較。 在此論文中，我們研究的是一個(gè)新興的商業(yè)應(yīng)用，非結(jié)構(gòu)化數(shù)據(jù)的 檢索，根 據(jù)兩個(gè)不同的系統(tǒng)：一個(gè)是以向上擴(kuò)展為基礎(chǔ)的超線程酷睿 POWER5處理器。另外，計(jì)算機(jī)制造商更容易部署基于機(jī)架最佳化和刀片服務(wù)器的向外擴(kuò)展解決方案。 最 近，針對(duì)于商業(yè)計(jì)算的向外擴(kuò)展越來(lái)越被關(guān)注。 多處理系統(tǒng)規(guī)模 的 增加，處理器時(shí)鐘速率 的 提高 ， 提供 更高的 計(jì)算能力來(lái)處理 事物 的需要，即使是目前最大的 公司也面臨這 些問(wèn)題 . 對(duì)稱多處理系統(tǒng) 是目前的主流商業(yè)計(jì)算。 向外擴(kuò)展：多個(gè)小相互服務(wù)器應(yīng)用程序的部署（ 網(wǎng)絡(luò) 集群）。向上擴(kuò)展： 大型共享存儲(chǔ)服務(wù)器的部署應(yīng)用（ 多處理系統(tǒng) ） 。 80年代初期引發(fā)的計(jì)算機(jī)行業(yè)的科技革命導(dǎo)致它占領(lǐng)了 90年代商業(yè)計(jì)算大部分的市場(chǎng)。 此外，向外擴(kuò)展的解決方案提供更好的價(jià)格 /性能比，雖然增加了管理的復(fù)雜性。 在本文中，我們調(diào)查了向上擴(kuò)展和向外擴(kuò)展這兩種相對(duì)的方法 在一個(gè)新興的搜索應(yīng)用程序 中并行的情況 。 主要的服務(wù)器供應(yīng)商繼續(xù)提供越來(lái)越 強(qiáng)悍的機(jī)器，而近期，向外擴(kuò)展的解決方案， 規(guī)模較小的機(jī)器集群的形式 ，更加被商業(yè)計(jì)算所接受。 Scaleup x Scaleout: A Case Study using Nutch/Lucene Maged Michael, Jos233。 E. Moreira, Doron Shiloach, Robert W. Wisniewski IBM Thomas J. Watson Research Center Yorktown Heights, NY 105980218 向上向外 擴(kuò)展 ：關(guān)于研究 Nutch/Lucene的互操作性 摘 要 在過(guò)去幾年 中 ， 多處理系統(tǒng) 提高運(yùn)行能力 的解決方案 一直困擾著主流的商業(yè)計(jì)算。 向外擴(kuò)展的解決方案是以網(wǎng)絡(luò)為中心高吞吐量的特別有效的應(yīng)用。 我們的結(jié)論表明，向外擴(kuò)展的策略即使在向上擴(kuò)展的機(jī)器中依然可以表現(xiàn)良好。 1 簡(jiǎn)介 在過(guò)去 10年里的商業(yè)計(jì) 算 中 ，我們目睹了 計(jì)算機(jī)系統(tǒng) 單處理器 到 多處理器的全面 換代 。 我們可以 根據(jù) 不同的做法， 將 采用多處理器系統(tǒng)的運(yùn)算（包括商業(yè)和技術(shù) /科學(xué)）分為兩個(gè)大組： 在第一階段的 商業(yè)計(jì)算革命 中 ， 向上擴(kuò)展的 優(yōu)勢(shì)是顯而易見(jiàn)的。 IBM 、 惠普和 Sun這樣的 公司每一代人 都 投入巨資 以 建設(shè)更大 、 更好 多處理系統(tǒng) 。對(duì)于許多新的以網(wǎng)絡(luò)產(chǎn)品為主的企業(yè)（例如谷歌、雅虎、 eBay、亞馬遜），使用向外擴(kuò)展是是解決必要計(jì)算能力唯一的辦法。向外擴(kuò)展在過(guò)去好多年一直是大規(guī)模科學(xué)計(jì)算的唯一可行方案，我們可以觀察世界 500強(qiáng)系統(tǒng)的發(fā)展。另一種是基于 IBMBlade Center刀片服務(wù)器向外擴(kuò)展系統(tǒng)。 其中一個(gè)重要的結(jié)論，我們的工作是一個(gè)“純粹”的向上擴(kuò)展的方案而不是很有效的利用所有的處理器在一個(gè)大型的對(duì)稱多處理。 我們更擅長(zhǎng)于開(kāi)發(fā) Power5的 對(duì)稱多處理 與“ 基于 abox向外擴(kuò)展”的 方案 。后一種做法 顯著 提高性能，同時(shí) 又能 保持單一系統(tǒng)形象，是一個(gè)很 具 優(yōu)勢(shì)的 對(duì)稱多處理系統(tǒng) 。 在我們的應(yīng)用案例中， 這一業(yè)績(jī) 的 衡量 精確到了秒 。 不同 情況 下 ，這 點(diǎn)或許能 改善性能。第 3節(jié)介紹了 Nutch / Lucene在我們 的系統(tǒng)中 運(yùn)行 的工作量。 2 向上和向外擴(kuò)展系統(tǒng) 在 IBM的產(chǎn)品線，系統(tǒng) z,p和 i全部建立在具有跨度范圍廣泛的計(jì)算能力的多處理系統(tǒng)上。這 個(gè) 8位或 16位 系統(tǒng)已經(jīng)由于