【文章內(nèi)容簡介】 連接的RAID磁盤陣列還是有幫助的。SCSI的初始者和目標(biāo)SCSI總線的通訊在初始者和目標(biāo)這兩個實體之間進(jìn)行。初始者（Initiator）：負(fù)責(zé)選擇目標(biāo)，發(fā)出命令和數(shù)據(jù)，通常為SCSI卡目標(biāo)（Target）：采取正確的行動來響應(yīng)Initiator的命令，通常為磁盤或磁帶機(jī)，也可以是SCSI卡。SCSI的保留（Reserve）和釋放（Release）結(jié)構(gòu)在SCSI總線上，任何Initiator可以將一個目標(biāo)置于Reserve狀態(tài)以獨(dú)占使用。而處于Reserve狀態(tài)下的磁盤，只有這個Initiator才可以釋放它。AIX中通過varyonvg 命令實現(xiàn)SCSI的保留，通過varyoffvg 命令實現(xiàn)SCSI的釋放。SCSI總線的終結(jié)所有的SCSI總線必須在兩端都要終結(jié)。終結(jié)器一般是一端在SCSI卡上，另一端在最后一個設(shè)備上。在HACMP環(huán)境下，終結(jié)器不能放在SCSI卡上，而在放在總線上。這樣配置使得當(dāng)節(jié)點(diǎn)發(fā)生故障時，總線仍然是完整的，仍能正常終結(jié)，故障節(jié)點(diǎn)可以離開SCSI總線。SCSI IDSCSI總線上的每塊卡和每個設(shè)備必須有一個唯一的SCSI ID。同一條總線上的ID一定不能重復(fù)。SCSI總線上設(shè)備的優(yōu)先級取決于SCSI ID，SCSI ID高的設(shè)備優(yōu)先級高，具體順序是7 6 5 4 3 2 1 0 15 14 13 12 11 10 9 8。HACMP環(huán)境中SCSI卡的SCSI ID在SCSI總線上，SCSI卡應(yīng)該有最高的ID號，因此所有的SCSI卡的缺省ID為7。在HACMP環(huán)境中，由于一條總線上有多塊SCSI卡，這樣就會會發(fā)生沖突。因此必須修改SCSI卡的SCSI ID?？赡艿脑挘蠸CSI卡的ID都不要配置為7，因為從維護(hù)狀態(tài)重啟系統(tǒng)時，SCSI 卡的ID回到7，有可能發(fā)生沖突。在HACMP環(huán)境中，SCSI卡的ID一般用6 或5。使用SCSI磁盤的一般考慮 ★ 不要熱插拔SCSI總線★ SCSI總線長度有限制★ SCSI ID不能沖突★ 總線兩端要有終結(jié)器★ 在HACMP環(huán)境中，要從SCSI卡上拔下終結(jié)電阻★ 在HACMP環(huán)境中，維護(hù)SCSI設(shè)備時要確保其它機(jī)器沒有使用SCSI總線 RAID磁盤陣列和HACMP什么是RAID設(shè)備RAID（Redundant Array of Independent Disks），是通過跨磁盤保存數(shù)據(jù)的校驗信息在硬件級保護(hù)數(shù)據(jù)的技術(shù)。當(dāng)一個硬盤故障時，它上面的數(shù)據(jù)可以通過其它盤上的校驗數(shù)據(jù)重建。RAID技術(shù)有一些特點(diǎn)：★ RAID技術(shù)（RAID 5）比AIX的LVM鏡像便宜，且利用率高?！?冗余的子系統(tǒng)組件（電源、風(fēng)扇、陣列控制器）減少了單點(diǎn)故障?！?磁盤可熱插拔，易于維護(hù)，但總線不可熱插拔。★ 適用于HACMP環(huán)境IBM公司的RAID設(shè)備主要有7135磁盤陣列和7137磁盤陣列。RAID級別RAID 級別（05）定義了跨磁盤存放數(shù)據(jù)的方式。常用的有RAID0，1，5。RAID特點(diǎn)數(shù)據(jù)冗余優(yōu)點(diǎn)0數(shù)據(jù)跨磁盤分條存放無性能好1磁盤間鏡像鏡像保護(hù)數(shù)據(jù)，但利用率低（50%）5數(shù)據(jù)和校驗信息跨磁盤分條存放校驗信息分條存放于各個磁盤同時可以有多個I/O，適用于交易處理應(yīng)用IBM 7135 RAID子系統(tǒng)IBM 7135 RAID子系統(tǒng)是IBM的主打RAID產(chǎn)品。7135具有雙陣列控制器，可防止單點(diǎn)故障，并增加總體吞吐量。RS/6000可通過兩條獨(dú)立的SCSI總線連接7135，每條總線連接在一個陣列控制器上。7135軟件可以在一條總線故障時將應(yīng)用切換至另一條總線上。7135的磁盤、風(fēng)扇/電源模塊，陣列控制器和冷卻系統(tǒng)都可熱插拔。7135可配置成多邏輯單元（LUN），使用靈活。為避免單點(diǎn)故障，每臺RS/6000一定要配置兩塊SCSI卡。另外7135有三個電源模塊，建議將三個電源模塊分別連在不同的電源上。7135設(shè)備在AIX中的定義在一條總線上，整個7135磁盤陣列的所有磁盤只有一個SCSI ID，但7135的陣列控制器各有一個SCSI ID。7135是通過邏輯單元（LUN）管理的，每個LUN在AIX中被當(dāng)作一個普通物理磁盤（hdisk），只不過這種磁盤本身具有數(shù)據(jù)冗余性。7135的雙總線結(jié)構(gòu)可以增加可用性，而且同時使用時可提高性能。每個LUN可以被分配到一條總線上，LUN也可以在使用過程中切換至另一條總線。管理7135的SMIT快捷路徑是smit raidiant。7135的主菜單如圖5所示。在AIX查看7135設(shè)備用以下命令：lsdev –C | grep Array 圖5 7135主菜單 SSA磁盤子系統(tǒng)和HACMPSSA（Serial Storage Architecture）是指IBM倡導(dǎo)的串行存儲結(jié)構(gòu)。SSA設(shè)備之間通過一個高速的雙向環(huán)進(jìn)行通訊。SSA的特點(diǎn)如下：★ 全雙工、幀復(fù)用I/O，允許在任一指定的通道上進(jìn)行多個并發(fā)通訊★ 每個設(shè)備之間單向最大數(shù)據(jù)傳輸速度為20MB/S★ 每個連接的最大電纜長度為25M★ 熱插拔硬盤和電纜★ 自動配置和尋找替代路徑的能力★ 沒有設(shè)備地址，總線終結(jié)和電纜長度的限制SSA的拓?fù)浣Y(jié)構(gòu)如圖6所示。IBM公司的主要SSA設(shè)備是7133020和7133600，其中7133020是機(jī)柜設(shè)備，而7133600是桌邊型設(shè)備，兩種設(shè)備都能支持16塊磁盤。和7135相比，7133具有很多明顯的優(yōu)勢。無論從性能、靈活性、可用性、技術(shù)的先進(jìn)性以及產(chǎn)品本身的可靠性來說，7133都優(yōu)于7135。 圖6 SSA拓?fù)浣Y(jié)構(gòu)SSA增加了可用性SSA設(shè)備之間采用順序點(diǎn)到點(diǎn)的菊花鏈方式連接，每個設(shè)備都負(fù)責(zé)錯誤檢測和糾正。連接SSA設(shè)備的電纜是屏蔽的四芯銅線，分成兩對，每對線負(fù)責(zé)一個方向的傳輸。這樣在同一電纜上將讀寫通道分開，可以實現(xiàn)多個并發(fā)的、全雙工的I/O操作。當(dāng)硬盤或電纜故障時，SSA有自動loopback功能，可以維持通訊。SSA鏈路的故障對應(yīng)用來說通常是透明的，正在用這條路徑通訊的設(shè)備會自動用這個環(huán)上的反向路徑繼續(xù)通訊。SSA設(shè)備的旁路功能 圖7 7133020的內(nèi)部結(jié)構(gòu)圖圖7是7133020的內(nèi)部結(jié)構(gòu)圖。在7133020/600中有一種自動旁路（Bypass）功能：如果成對相鄰的兩個端口（4,8,12,13）都沒有連接7133電纜，則在7133內(nèi)部將兩個端口自動連接。這種設(shè)計簡化了連接難度，減少了連線。7133與RS/6000的連接為避免單點(diǎn)故障，建議在配置RS/6000應(yīng)配置兩塊SSA磁盤控制卡。在連接7133時，應(yīng)將磁盤分成兩個環(huán)路，分別連在兩塊SSA卡上。圖8是一個沒有單點(diǎn)故障的7133連接圖。 圖8 7133連接圖SSA設(shè)備的管理SSA設(shè)備的管理在診斷程序中進(jìn)行。按以下路徑進(jìn)入SSA設(shè)備的管理菜單：diag→Task Selection(Diagnostics, Advanced Diagnostics, Service Aids, etc.)→SSA Service Aids。圖9是SSA管理的主菜單。 圖9 SSA管理主菜單 HACMP環(huán)境下物理盤的注意事項Hdisk號和PVID在AIX中，cfgmgr檢測和配置磁盤時為每個磁盤分配一個hdisk號，hdisk號是從0開始指定的，順序由cfgmgr檢測的順序決定。當(dāng)磁盤被配置到卷組中后，在ODM庫中會得到一個唯一的標(biāo)識，這個標(biāo)識同時保存在硬盤上，叫做PVID。PVID和hdisk的關(guān)系由ODM維護(hù)，系統(tǒng)每次啟動時保持一致。當(dāng)兩個以上節(jié)點(diǎn)訪問同一組磁盤時，每個節(jié)點(diǎn)單獨(dú)檢測配置磁盤并指定hdisk號，所以每個節(jié)點(diǎn)上對應(yīng)同一磁盤的hdisk號可能不一致。導(dǎo)致hdisk號不一致的原因有兩個：內(nèi)置磁盤數(shù)目不同或磁盤卡插的位置不同。hdisk號不一致對于HACMP來說并不是一個問題。因為HACMP的磁盤資源是配置是在卷組級，所以HACMP并不關(guān)心hdisk號。但是如果hdisk號一致，HACMP管理起來會容易些。因此最好在配置HACMP之前將各個節(jié)點(diǎn)上的共享磁盤配置成相同的hdisk號。對于內(nèi)置磁盤數(shù)目不同的情況，可以在內(nèi)置磁盤較少的節(jié)點(diǎn)上配置一個不存在的硬盤。對于磁盤卡位置不同的情況，可以移動磁盤卡，使得cfgmgr按相同順序檢測和配置硬盤?！坝撵`”磁盤（Ghost Disks）在對共享磁盤非并發(fā)訪問的情況下，當(dāng)一個節(jié)點(diǎn)放棄磁盤時，它先umount 共享文件系統(tǒng)，然后Varyoff共享卷組。另一個節(jié)點(diǎn)接管磁盤時，先Varyon共享卷組，再mount共享文件系統(tǒng)。這些都是AIX的功能。但是，由于varyonvg命令將卷組中的所有磁盤置為RESERVE狀態(tài)，以獨(dú)占方式使用，所以當(dāng)一個節(jié)點(diǎn)出現(xiàn)故障時，它不能自動放棄它的資源。備份節(jié)點(diǎn)要想取得資源，必須發(fā)出SCSI RESET命令來解除RESERVE狀態(tài)，然后再Varyon共享卷組。當(dāng)故障節(jié)點(diǎn)修好后返回群集，系統(tǒng)啟動時運(yùn)行cfgmgr命令檢測到共享磁盤，但由于備份節(jié)點(diǎn)正在Varyon共享磁盤，磁盤處于RESERVE狀態(tài)，所以cfgmgr不能讀取PVID，也就不能確定檢測到的共享磁盤和ODM庫中的磁盤是同一個盤。此時系統(tǒng)為新檢測到的共享磁盤指定一些“幽靈”盤號，而實際上這些磁盤還是不存在的。如何處理“幽靈”磁盤對于“幽靈”磁盤，我們的建議是：什么也不做。HACMP事件腳本會在需要重新獲得磁盤資源時清理“幽靈”磁盤，步驟如下：★ Reset磁盤以清除RESERVE狀態(tài)★ 刪除新配置的（不存在的）盤（rmdev –dl hdiskx）★ 配置真正的盤，由defined狀態(tài)變成available狀態(tài)（mkdev –l hdiskx）當(dāng)看到“幽靈”磁盤時，只需明白“幽靈”磁盤為什么會存在，但不需要做任何工作，HACMP會自動清理“幽靈”磁盤。但是清理“幽靈”磁盤增加了重配置時間。對雙尾（TwinTailed）SCSI總線的維護(hù)會影響總線上所有的設(shè)備，此時應(yīng)注意：★ 不需要熱插拔磁盤、卡和電纜★ 先停止總線的活動★ 最好Varyoff共享卷組在群集中運(yùn)行診斷程序時，應(yīng)注意：★ 從診斷方式或“mksysb”磁帶啟動令導(dǎo)致系統(tǒng)內(nèi)所有SCSI卡的ID回到缺省值“7”，這時有可能會引起ID沖突，所以SCSI卡的ID最好都不設(shè)成7★ 如果必要，啟動時先斷開SCSI總線★ 從診斷方式啟動時，hdisk號可能和正常啟動時不一樣★ 磁盤正在另一節(jié)點(diǎn)訪問時，不要運(yùn)行診斷程序167。 LVM組件設(shè)計 LVM組件的設(shè)計目標(biāo)－沒有單點(diǎn)故障，★ 所有邏輯卷，包括JFS日志，均使用LVM鏡像★ 將鏡像放在不同的物理卷上★ 使用多塊磁盤卡★ 使用多個電源 LVM配置要點(diǎn)畫出草圖首先應(yīng)該畫出整個群集的設(shè)計草圖，在圖中為VG和LV指定有意義的且唯一的名字。如果VG包含輸出的NFS文件系統(tǒng)，那么在所有節(jié)點(diǎn)上VG的major number要一致。在一個節(jié)點(diǎn)上建立所有的LVM實體★ 共享VG只能使用外置磁盤★ 建文件系統(tǒng)之前，先建立JFS日志★ 將VG配置為系統(tǒng)啟動時非自動Varyon狀態(tài)★ 配置文件系統(tǒng)為系統(tǒng)啟動時非自動mount狀態(tài)★ VG、LV、FS都建立好后，執(zhí)行命令varyoffvg在其它節(jié)點(diǎn)上建立LVM實體★ 用SMIT導(dǎo)入VG的配置信息，SMIT路徑是smit vg→Import a Volume Group ★ 用chvg –a n命令禁止VG自動Varyon ★ Mount 文件系統(tǒng)，確認(rèn)操作成功配置鏡像的JFS日志通常，當(dāng)?shù)谝粋€文件系統(tǒng)添加到卷組時，系統(tǒng)自動建立JFS日志。在HACMP環(huán)境中，為確保JFS日志邏輯卷的名字唯一且邏輯卷鏡像，應(yīng)按如下方式建立JFS日志：★ 用smit mkvg來建立VG，指定唯一名字如“sharedvg”★ 建立一個邏輯卷，類型為“jfslog”，大小為1個LP，每個LP指定23個拷貝★ 指定唯一名字如“sharevglog”★ 用命令logform /dev/sharevglog將邏輯卷格式化為日志邏輯卷★ 建立另外的邏輯卷，指定唯一的名字★ 在LV上建文件系統(tǒng)維護(hù)HACMP LVM組件卷組的定義信息保存在以下位置：磁盤上的VGDA、ODM、/etc/vg/vg*和內(nèi)存中，在維護(hù)LVM時，要保證共享此VG的所有節(jié)點(diǎn)上，此信息必須一致。如果LVM實體需要改變，包括增加/刪除PV、增加/刪除LV、擴(kuò)展LV或FS、為LV或FS重命名等操作，應(yīng)遵循以下步驟進(jìn)行：★ 在一個節(jié)點(diǎn)上進(jìn)行配置，然后測試★ 在所有其它節(jié)點(diǎn)上輸出舊的VG定義：exportvg sharedvg★ 重新導(dǎo)入VG定義：impoitvg –v (major number) –y (VG name) –f (hdisk) ★ 修改VG的屬性：chvg –a n (VG name)★ 檢查、修改LV的屬主和權(quán)限167。 HACMP for AIX的網(wǎng)絡(luò)設(shè)計 服務(wù)（Sevice）網(wǎng)卡和備份（Standby）網(wǎng)卡在HACMP cluster中，每個節(jié)點(diǎn)在每個網(wǎng)絡(luò)上通常配置兩塊網(wǎng)卡：服務(wù)網(wǎng)卡和備份網(wǎng)卡。服務(wù)網(wǎng)卡服務(wù)網(wǎng)卡是節(jié)點(diǎn)和客戶機(jī)之間的基本路徑，節(jié)點(diǎn)在它連接的每個物理網(wǎng)絡(luò)上都應(yīng)有一塊服務(wù)網(wǎng)卡。服務(wù)網(wǎng)卡承擔(dān)標(biāo)準(zhǔn)的client/server業(yè)務(wù)，它的IP地址能夠被網(wǎng)上的其它系統(tǒng)訪問。備份網(wǎng)卡備份網(wǎng)卡由HACMP保留使用，用于節(jié)點(diǎn)或網(wǎng)卡故障時接管服務(wù)網(wǎng)卡。備份網(wǎng)卡通常不能被客戶端訪問。 網(wǎng)卡切換網(wǎng)卡切換當(dāng)網(wǎng)卡故障時，HACMP用網(wǎng)卡切換來恢復(fù)網(wǎng)卡的服務(wù)。網(wǎng)卡切換的過程是將服務(wù)地址切換至備份網(wǎng)卡上，同時將備份地址切換至故障網(wǎng)卡，如圖4所示。整個