【文章內(nèi)容簡(jiǎn)介】 20 SCSI都代表著一種具體的硬盤接口，各自的速度差異也較大。IDE的英文全稱為“Integrated Drive Electronics”，即“電子集成驅(qū)動(dòng)器”，它的本意是指把“硬盤控制器”與“盤體”集成在一起的硬盤驅(qū)動(dòng)器。SCSI的英文全稱為“Small Computer System Interface”（小型計(jì)算機(jī)系統(tǒng)接口），是同IDE（ATA）完全不同的接口，IDE接口是普通PC的標(biāo)準(zhǔn)接口，而SCSI并不是專門為硬盤設(shè)計(jì)的接口，是一種廣泛應(yīng)用于小型機(jī)上的高速數(shù)據(jù)傳輸技術(shù)。SCSI接口具有應(yīng)用范圍廣、多任務(wù)、帶寬大、CPU占用率低，以及熱插拔等優(yōu)點(diǎn)，但較高的價(jià)格使得它很難如IDE硬盤般普及，因此SCSI硬盤主要應(yīng)用于中、高端服務(wù)器和高檔工作站中。 光纖通道的英文拼寫是Fibre Channel，和SCIS接口一樣光纖通道最初也不是為硬盤設(shè)計(jì)開發(fā)的接口技術(shù)，是專門為網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)的，但隨著存儲(chǔ)系統(tǒng)對(duì)速度的需求，才逐漸應(yīng)用到硬盤系統(tǒng)中。光纖通道硬盤是為提高多硬盤存儲(chǔ)系統(tǒng)的速度和靈活性才開發(fā)的，它的出現(xiàn)大大提高了多硬盤系統(tǒng)的通信速度。光纖通道的主要特性有：熱插拔性、高速帶寬、遠(yuǎn)程連接、連接設(shè)備數(shù)量大等。光纖通道是為在像服務(wù)器這樣的多硬盤系統(tǒng)環(huán)境而設(shè)計(jì)，能滿足高端工作站、服務(wù)器、海量存儲(chǔ)子網(wǎng)絡(luò)、外設(shè)間通過集線器、交換機(jī)和點(diǎn)對(duì)點(diǎn)連接進(jìn)行雙向、串行數(shù)據(jù)通訊等系統(tǒng)對(duì)高數(shù)據(jù)傳輸率的要求。 SATA（Serial ATA）口的硬盤又叫串口硬盤，是現(xiàn)在硬盤的發(fā)展的趨勢(shì)。2001年，由Intel、APT、Dell、IBM、希捷、邁拓這幾大廠商組成的Serial ATA委員會(huì)正式確立了Serial ATA ，2002年，雖然串行ATA的相關(guān)設(shè)備還未正式上市，但Serial ATA委員會(huì)已搶先確立了Serial ATA 。Serial ATA采用串行連接方式，串行ATA總線使用嵌入式時(shí)鐘信號(hào)，具備了更強(qiáng)的糾錯(cuò)能力，與以往相比其最大的區(qū)別在于能對(duì)傳輸指令（不僅僅是數(shù)據(jù)）進(jìn)行檢查，如果發(fā)現(xiàn)錯(cuò)誤會(huì)自動(dòng)矯正，這在很大程度上提高了數(shù)據(jù)傳輸?shù)目煽啃浴４薪涌谶€具有結(jié)構(gòu)簡(jiǎn)單、支持熱插拔的優(yōu)點(diǎn)。其次，Serial ATA的起點(diǎn)更高、發(fā)展?jié)摿Ω?，Serial ATA ，這比目前最新的并行ATA（即ATA/133）所能達(dá)到133MB/s的最高數(shù)據(jù)傳輸率還高，而在Serial ATA ，最終SATA將實(shí)現(xiàn)600MB/s的最高數(shù)據(jù)傳輸率。目前又出現(xiàn)了SAS接口的硬盤，SAS(Serial Attached SCSI)即串行連接SCSI，是新一代的SCSI技術(shù)，和現(xiàn)在流行的Serial ATA(SATA)硬盤相同，都是采用串行技術(shù)以獲得更高的傳輸速度，并通過縮短連結(jié)線改善內(nèi)部空間等。SAS是并行SCSI接口之后開發(fā)出的全新接口。此接口的設(shè)計(jì)是為了改善存儲(chǔ)系統(tǒng)的效能、可用性和擴(kuò)充性，并且提供與SATA硬盤的兼容性。 SAS的接口技術(shù)可以向下兼容SATA。具體來說，二者的兼容性主要體現(xiàn)在物理層和協(xié)議層的兼容。在物理層，SAS接口和SATA接口完全兼容，SATA硬盤可以直接使用在SAS的環(huán)境中，從接口標(biāo)準(zhǔn)上而言，SATA是SAS的一個(gè)子標(biāo)準(zhǔn)，因此SAS控制器可以直接操控SATA硬盤，但是SAS卻不能直接使用在SATA的環(huán)境中，因?yàn)镾ATA控制器并不能對(duì)SAS硬盤進(jìn)行控制；在協(xié)議層，SAS由3種類型協(xié)議組成，根據(jù)連接的不同設(shè)備使用相應(yīng)的協(xié)議進(jìn)行數(shù)據(jù)傳輸。其中串行SCSI協(xié)議(SSP)用于傳輸SCSI命令；SCSI管理協(xié)議(SMP)用于對(duì)連接設(shè)備的維護(hù)和管理；SATA通道協(xié)議(STP)用于SAS和SATA之間數(shù)據(jù)的傳輸。因此在這3種協(xié)議的配合下，SAS可以和SATA以及部分SCSI設(shè)備無縫結(jié)合。綜合考慮硬盤的性能，我們選擇了IBM 146GB 10K SAS 熱插拔HDD 硬盤。 交換機(jī)的選擇對(duì)于現(xiàn)在微機(jī)集群，當(dāng)處理器的速度達(dá)到一定數(shù)值級(jí)之后，集群的整體性能很大程度是由節(jié)點(diǎn)之間的網(wǎng)絡(luò)傳輸速度決定的。因此，為了構(gòu)建高性能的集群，除了節(jié)點(diǎn)選擇好的網(wǎng)卡外，最重要的就是交換機(jī)的選擇。首先是交換機(jī)背板帶寬，這決定了交換機(jī)的速度。其次要考慮交換機(jī)的丟包率，丟包率也叫幀丟失。網(wǎng)絡(luò)就象一條交通要路，其傳輸?shù)臄?shù)據(jù)猶如行駛的車輛。車的流量隨時(shí)變化的，也就是數(shù)據(jù)流量在不停的變化，處理器的速度也隨之不停的改變，并且呈現(xiàn)很尖銳的曲線變化。丟包恰恰出現(xiàn)在負(fù)載變化率最大的時(shí)候。這是因?yàn)樘幚砥髟谔幚斫粨Q機(jī)緩存中的數(shù)據(jù)時(shí)，由于瞬間的數(shù)據(jù)量變化使緩存與處理器之間造成瞬間的傳輸擁塞或中斷，隨之出現(xiàn)了丟包現(xiàn)象，數(shù)據(jù)就從處理器和緩存之間的這條“縫”中漏掉了。為了解決這個(gè)問題，高端的交換機(jī)一般采用加大緩存和使用更快的處理器，%。為此，我們選擇了Force10 E1200作為數(shù)據(jù)中心交換機(jī)，是一款全線速萬兆以太網(wǎng)交換機(jī)，它的背板帶寬可達(dá)900Gbps,可提供672個(gè)全線速以太網(wǎng)端口或56個(gè)10GB的端口。Force10 E系列交換機(jī)提供高密度千兆以太網(wǎng)端口，匯接配置了千兆以太網(wǎng)適配器的服務(wù)器，提供無阻塞、高性能的服務(wù)器群之間的通信。Force10為追求更高性能和更低總體擁有成本的下一代數(shù)據(jù)中心提供了新型解決方案，產(chǎn)品已經(jīng)在Google、Yahoo、Amazon、RentACar、ESPN、Friendster、Microsoft、百度等數(shù)據(jù)中心中使用。作為集群高性能運(yùn)算系統(tǒng)，除了運(yùn)算部分外，集中網(wǎng)絡(luò)存儲(chǔ)是集群系統(tǒng)另一個(gè)重要的部分。網(wǎng)絡(luò)存儲(chǔ)的容量、速度和可靠性是存儲(chǔ)的重要指標(biāo)，同時(shí)對(duì)于集群的整體運(yùn)算性能起到至關(guān)重要的作用。集群在運(yùn)算過程中需要從集中存儲(chǔ)上讀取數(shù)據(jù)，而且運(yùn)算的中間數(shù)據(jù)和運(yùn)算結(jié)果存儲(chǔ)到網(wǎng)絡(luò)存儲(chǔ)上。目前集群常用的存儲(chǔ)結(jié)構(gòu)多位SAN結(jié)構(gòu)。由于地震資料數(shù)據(jù)量比較大，特別是隨著野外采集精度的不斷提高，僅吉林探區(qū)每年三維的數(shù)據(jù)量就有12TB左右，特別是進(jìn)幾年疊前時(shí)間偏移和深度偏移等處理技術(shù)的應(yīng)用，不但要耗費(fèi)大量的機(jī)器時(shí)間，而且需要大量存儲(chǔ)，這都對(duì)于存儲(chǔ)提出很高的要求。不但要求海量存儲(chǔ)，而且對(duì)磁盤的可靠性和速度提出了更高的要求。目前網(wǎng)絡(luò)存儲(chǔ)多維雙通到結(jié)構(gòu)，每個(gè)通道的帶寬達(dá)4GB，髙速緩存達(dá)8GB~16GB。我們選擇HDS AMS 1000存儲(chǔ)，該系列存儲(chǔ)產(chǎn)品采用最新的模塊化陣列系統(tǒng)結(jié)構(gòu)，與HDS USP產(chǎn)品同為HDS TagmaStore家族系列產(chǎn)品。其內(nèi)部采用內(nèi)外光纖通路設(shè)計(jì)、雙控制器管理、 高速緩存全部為NV－CACHE與鏡像寫設(shè)計(jì)模塊化設(shè)計(jì)以及部件級(jí)熱拔插設(shè)計(jì)能夠提供247的即時(shí)數(shù)據(jù)存取。其主要特點(diǎn)有：以中端價(jià)格，提供高端性能與容量。將服務(wù)器內(nèi)置的存儲(chǔ)遷移到可擴(kuò)展的外部存儲(chǔ)上，將多個(gè)存儲(chǔ)系統(tǒng)整合到一個(gè)存儲(chǔ)平臺(tái)，或構(gòu)建第一個(gè)SAN；支持iSCSI和/或光纖通道連接支持NAS連接，支持協(xié)作性的文件共享應(yīng)用將SAN、iSCSI和NAS整合到一個(gè)平臺(tái)中（同時(shí)支持任何兩種協(xié)議）；采用SATA和光纖通道磁盤，容量從幾個(gè)TB到超過300TB，跨系統(tǒng)提供應(yīng)用特有的性能、可用性和保護(hù)；具有Cache Partition Manager和RAID6等高級(jí)功能，幫助提高性能、可靠性和可用性分區(qū)和專用高速緩存可以使大數(shù)據(jù)流量的應(yīng)用獲得最佳性能。4096個(gè)邏輯單元 (LUN)為幾乎任何工作量提供卓越的性能；選擇SATA/光纖磁盤混插或單一光纖通道磁盤配置，采用最經(jīng)濟(jì)的存儲(chǔ)解決方案執(zhí)行任何存儲(chǔ)任務(wù)。整合存儲(chǔ)，預(yù)見增長(zhǎng)。進(jìn)行整合和集中管理以降低成本；SATA和光纖通道混插配置可最大擴(kuò)展為300TB，光纖通道磁盤配置可擴(kuò)展為135TB。符合法規(guī)要求，保護(hù)數(shù)據(jù)，減少恢復(fù)時(shí)間。增強(qiáng)的SATA數(shù)據(jù)保護(hù)提供了無與倫比的數(shù)據(jù)可用性和可恢復(fù)性；RAID6既確保了高可用性，又保證了RAID組重建靈活性；HiTrack174?！盎亟小狈?wù)/遠(yuǎn)程維護(hù)工具實(shí)現(xiàn)了724診斷服務(wù)，防止隱患成為故障；完全冗余的熱插拔功能可以保證應(yīng)用運(yùn)行；系統(tǒng)內(nèi)卷復(fù)制或增量復(fù)制可滿足頻繁的在線備份需求，Hitachi TrueCopy? Remote Replication軟件實(shí)現(xiàn)了遠(yuǎn)程復(fù)制。擴(kuò)展現(xiàn)有的SAN或部署到分層架構(gòu)中。使用存儲(chǔ)管理軟件和Hitachi HiCommand174。 Suite軟件來管理和配置系統(tǒng)，通過支持iSCSI連接（AMS1000支持雙協(xié)議），將SAN延伸到更小的服務(wù)器，采用歸檔和長(zhǎng)期防篡改數(shù)據(jù)保留解決方案，滿足監(jiān)管達(dá)標(biāo)要求，與日立企業(yè)級(jí)存儲(chǔ)系統(tǒng)結(jié)合，在分層存儲(chǔ)環(huán)境中組建完整的數(shù)據(jù)生命周期管理解決方案。17到此，集群的硬件部分選擇基本完成，圖22為集群結(jié)構(gòu)示意圖：接用戶局域網(wǎng)。用戶網(wǎng)絡(luò) KVM管理網(wǎng)絡(luò)Supervisor萬兆網(wǎng)絡(luò)交換機(jī)管理節(jié)點(diǎn)12I/O節(jié)點(diǎn)24計(jì)算節(jié)點(diǎn)656機(jī)柜（16）42U機(jī)柜(12)計(jì)算網(wǎng)絡(luò)42U機(jī)柜(1)…… 百兆網(wǎng)絡(luò)交換機(jī) 百兆網(wǎng)絡(luò)交換機(jī)機(jī)柜（20）機(jī)柜（222） 用戶網(wǎng)絡(luò)工作站光纖存儲(chǔ)交換機(jī) 管理網(wǎng)絡(luò) 計(jì)算網(wǎng)絡(luò) 圖22 HDSAMS1000 系統(tǒng)軟件的安裝首先進(jìn)行管理節(jié)點(diǎn)的安裝，為了保證系統(tǒng)的穩(wěn)定性和處理應(yīng)用軟件的需求，我們安裝Radhat ,對(duì)存儲(chǔ)節(jié)點(diǎn)的安裝可以和管理節(jié)點(diǎn)的安裝可以同時(shí)進(jìn)行，只不過在對(duì)存儲(chǔ)節(jié)點(diǎn)安裝時(shí)需要安裝HBA卡的驅(qū)動(dòng)，使得存儲(chǔ)節(jié)點(diǎn)可以掛接光纖存儲(chǔ)。 計(jì)算節(jié)點(diǎn)的安裝則是通過管理節(jié)點(diǎn)通過網(wǎng)絡(luò)進(jìn)行安裝的。具體安裝過程是，管理節(jié)點(diǎn)安裝完后，將安裝鏡像拷貝到管理節(jié)點(diǎn)的制定目錄中，其他節(jié)點(diǎn)就可以通過網(wǎng)絡(luò)同時(shí)進(jìn)行安裝。安裝通常在一至兩個(gè)小時(shí)內(nèi)完成安裝。在系統(tǒng)安裝完成后，通常需要進(jìn)行一些配置。我們的大部分配置工作是在管理節(jié)點(diǎn)上進(jìn)行的。對(duì)于一個(gè)較大的集群來說，節(jié)點(diǎn)機(jī)一多，網(wǎng)絡(luò)管理的任務(wù)也相當(dāng)繁重，即一些網(wǎng)絡(luò)參數(shù)如IP地址、子網(wǎng)掩碼、網(wǎng)關(guān)等的配置。最好能有一個(gè)集中式的管理，自動(dòng)進(jìn)行配置。這個(gè)問題的解決辦法就是dhcp。Dhcp是dynamic host configuration protocol的縮寫，即動(dòng)態(tài)主機(jī)配置協(xié)議。Dhcp的功能是客戶機(jī)通過dhcp服務(wù)器來獲取網(wǎng)絡(luò)的配置參數(shù)。Dhcp 服務(wù)器實(shí)際上是管理網(wǎng)絡(luò)參數(shù)的一個(gè)服務(wù)器。Dhcp服務(wù)器有三種IP地址分配方法。自動(dòng)分配，給客戶機(jī)分配一個(gè)固定地址；動(dòng)態(tài)分配；管理員手工分配。通常我們采取自動(dòng)分配的方式。Dhcp的守護(hù)進(jìn)程為dhcpd,配置文件為/etc/。我們通常配置Dhcp服務(wù)器只對(duì)允許的MAC地址做出相應(yīng)，即將每個(gè)節(jié)點(diǎn)的MAC地址和IP進(jìn)行綁定。下面是一個(gè)簡(jiǎn)單的配置文件的例子：Node0:/etc cat Serveridentifier 。Deny unknownclients。Subnet netmask {Usehostdeclname on。Optiong subnetmask 。Option routers 。Group { Servername “”。 Hostname node2 {hardware ethetnet 00:05:5b:ff:cf:76。fixedaddress 。}}}Node0:/etc.微機(jī)集群實(shí)質(zhì)上是一些微機(jī)用網(wǎng)絡(luò)連接起來，所以能不能進(jìn)行并行計(jì)算首先是網(wǎng)絡(luò)功能是否正常。檢測(cè)TCP/IP、NFS、NIS、遠(yuǎn)程shell命令、遠(yuǎn)程無口令登入功能是否正常。注意超級(jí)網(wǎng)絡(luò)服務(wù)器的配置文件為/etc/。必須保證在服務(wù)器和節(jié)點(diǎn)機(jī)上都確保shell、login服務(wù)已經(jīng)被激活、啟動(dòng). 微機(jī)集群的性能測(cè)試 我們通常使用 Linpack測(cè)試程序?qū)哼M(jìn)行速度測(cè)試。Linux 速度測(cè)試是世界超級(jí)計(jì)算機(jī)500強(qiáng)排序的依據(jù)，其測(cè)試速度只對(duì)線性代數(shù)有效。Linpack測(cè)試給出的是每秒中能達(dá)到的最大浮點(diǎn)運(yùn)算次數(shù)。得到的最大浮點(diǎn)運(yùn)算次數(shù)的大小與Linpack測(cè)試程序具體的計(jì)算類型有關(guān)，就是計(jì)算過程中數(shù)據(jù)交換的頻繁程度有關(guān)。就是與每單位次數(shù)的浮點(diǎn)計(jì)算中要進(jìn)行多少大小的數(shù)據(jù)交換，即通常所說的數(shù)據(jù)密集程度有關(guān)。 集群運(yùn)算系統(tǒng)的優(yōu)化集群在進(jìn)行運(yùn)算的時(shí)候一方面在計(jì)算節(jié)點(diǎn)之間要傳輸大量的數(shù)據(jù)和信息，同時(shí)需要從集中存儲(chǔ)中提取大量的數(shù)據(jù)，而從集中存儲(chǔ)中提取數(shù)據(jù)是通過I/O節(jié)點(diǎn)進(jìn)行的。這樣的數(shù)據(jù)傳輸可能是一個(gè)數(shù)據(jù)包含有大量的數(shù)據(jù)塊，也可能是一個(gè)數(shù)據(jù)包只有很少數(shù)據(jù)的的小數(shù)據(jù)包。大的數(shù)據(jù)包對(duì)網(wǎng)絡(luò)帶寬有較高的要求；而小的數(shù)據(jù)包則對(duì)網(wǎng)絡(luò)的延遲有較高的要求。對(duì)于并行計(jì)算來說，這兩者都有較高的要求。通常，機(jī)器性能的好壞決定這微機(jī)集群的性能。I/O節(jié)點(diǎn)與存儲(chǔ)之間是通過光纖交換機(jī)進(jìn)行連接的，并且在I/O節(jié)點(diǎn)上裝了專用的HBA卡，現(xiàn)在的HBA都是雙通道的，4GB的傳輸帶寬，傳輸速率很高。而I/O節(jié)點(diǎn)與計(jì)算節(jié)點(diǎn)之間則是通過本身的網(wǎng)卡經(jīng)過以集群的核心交換機(jī)進(jìn)行傳輸?shù)模虼藶榱颂岣哂?jì)算節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù)的速度，我們可以通過網(wǎng)卡捆綁的技術(shù)來提高計(jì)算節(jié)點(diǎn)和存儲(chǔ)（I/O）節(jié)點(diǎn)之間的數(shù)據(jù)傳輸速率來解決這個(gè)問題。具體的實(shí)現(xiàn)方法，就是在I/O節(jié)點(diǎn)配備雙千兆網(wǎng)卡，將兩塊網(wǎng)卡進(jìn)行捆綁，通過網(wǎng)線將兩塊網(wǎng)卡都連接至交換機(jī)，這樣通?？梢蕴岣?倍的傳輸速率。計(jì)算節(jié)點(diǎn)也可以進(jìn)行捆綁，實(shí)現(xiàn)過程一樣，但由于計(jì)算節(jié)點(diǎn)數(shù)目較多，所以成本比較高。1. 網(wǎng)卡捆綁的原理網(wǎng)卡捆綁的原理簡(jiǎn)單地說，就是數(shù)據(jù)平均分成N份，從N個(gè)通信信道上（Channel）上同時(shí)傳輸，以達(dá)到提高數(shù)據(jù)帶寬的目的。在LINUX系統(tǒng)中，網(wǎng)卡也是一種設(shè)備。網(wǎng)卡捆綁的原理與LINUX管理設(shè)備的方式有關(guān)。網(wǎng)卡捆綁的設(shè)備管理涉及到驅(qū)動(dòng)程序、虛擬設(shè)備，下面進(jìn)行簡(jiǎn)單的解釋：（1）驅(qū)動(dòng)程序：操作系統(tǒng)提供設(shè)備管理功能，即只有操作系統(tǒng)需要且能控制設(shè)備。用戶進(jìn)程只能通過系統(tǒng)調(diào)用來操作設(shè)備，不能直接設(shè)備讀寫數(shù)據(jù)。由于操作系統(tǒng)需要管理各種各樣的設(shè)備，而它對(duì)用戶程序則提供與具體設(shè)備無關(guān)的系統(tǒng)調(diào)用接口，因而可以把系統(tǒng)代碼分成兩部分，即設(shè)備相關(guān)和設(shè)備無關(guān)的。設(shè)備相關(guān)部分因不同設(shè)備而