【正文】 PowerHA完全手冊（一）前言自2008 年 4 月 02 日筆者在IBM DevelopWork網(wǎng)站首次發(fā)表《HACMP 完全手冊》以來， 加上各網(wǎng)站的轉(zhuǎn)載，應(yīng)該已過了10萬的閱讀量，在此非常感謝大家的認可和支持。 轉(zhuǎn)眼已經(jīng)5年過去了，期間非常感謝不少同仁指出了該文的各種不足，并且HACMP已經(jīng)改名為HACMP了，由于軟件版本的更新和本人當(dāng)時的技術(shù)水準有限，同時也存儲不少同仁的希望，在原文基礎(chǔ)上進行了補充和修訂完善，也就有了本文。 正是由于AIX專家俱樂部的興起，對AIX和HACMP的技術(shù)感興趣的技術(shù)人員又更多了。因此選擇本雜志作為原創(chuàng)發(fā)表，就是希望能對更多的同仁日常工作有所幫助。此外，雖然本文號稱“完全手冊”，一是為了吸引眼球，二也只是相對于其他只談安裝配置的文檔而言。由于HACMP現(xiàn)在已相當(dāng)復(fù)雜，本文范圍也主要關(guān)注于最常用的雙節(jié)點，還望大家諒解。 即便如此，本文篇幅可能仍然較長，雖然也建議大家先通讀一下，但實際使用使用時可根據(jù)具體目的按章節(jié)直接查閱操作。這是因為一方面本文所述操作筆者都加以 驗證過；一方面也是全中文，省得大家去查一大堆原版資料。希望能幫助大家在集成和運維HACMP的過程中節(jié)省精力、降低實施風(fēng)險，這也是本文編寫的初衷。 同時還望那些被部分摘抄文章的同仁也能理解，你們都是筆者的老師，這里也一一謝過。 雖筆者端正態(tài)度，盡力認真編寫，但由于能力有限，恐仍有錯漏之處，還望眾多同仁多多指正海涵，在此先行謝過。 1.為什么需要PowerHA/HACMP 隨著業(yè)務(wù)需求日益增加，IT的系統(tǒng)架構(gòu)中核心應(yīng)用必須一直可用，系統(tǒng)必須對故障必須有容忍能力，已經(jīng)是現(xiàn)代IT高可用系統(tǒng)架構(gòu)的基本要求。 10 年前各廠商現(xiàn)有的UNIX服務(wù)器就已擁有很高的可靠性，在這一點上IBM的Power系列服務(wù)器表現(xiàn)尤為突出。但所有UNIX服務(wù)器均無法達到如原來 IBM大型主機S/390那樣的可靠性級別，這是開放平臺服務(wù)器的體系結(jié)構(gòu)和應(yīng)用環(huán)境所決定的，這一點，即使科技發(fā)展到云計算的今天仍然如此。 因此，我們需要通過軟件提供這些能力，同時這個軟件還應(yīng)該是經(jīng)濟有效的。它可以有效確保解決方案的任何組件的故障都不會導(dǎo)致用戶無法使用應(yīng)用程序及其數(shù)據(jù)。實現(xiàn)這一目標的方法是通過消除單一故障點消除或掩蓋計劃內(nèi)和計劃外停機。另外，保持應(yīng)用程序高可用性并不需要特殊的硬件。 IBM高可用性集群軟件PowerHA/HACMP也就應(yīng)運而生，即使到了今天 ，對比x86平臺的linux、windows甚至包括其他UNIX操作系統(tǒng)的高可用性集群，至少從筆者20年的IT從業(yè)實際經(jīng)歷來看，IBM PowerHA/HACMP高可用性解決方案雖然復(fù)雜，需要更高水平工程師的精心維護，但的確相對更成熟更有效。 PowerHA的前身為HACMP ，或者說PowerHA 和 HACMP 這兩個詞對IBM來說可以互換使用。 基于這一點，也由于實際使用過程中PowerHA軟件的名稱、菜單名、日志等均仍為HACMP，因此后面論述時我們?nèi)跃Q為PowerHA為HACMP，以免造成理解的困難。 2.PowerHA的版本由于IBM對軟件的整合，目前PowerHA其實不僅僅只包含之前的HACMP軟件，我們先來看看下圖：大家可以看到，我們通常的HACMP其實現(xiàn)在準確名稱是PowerHASystemMirror，它有2個平臺4個主 要大版本，forAIX，i系統(tǒng)；企業(yè)版和標準版；企業(yè)版擴展了異地容災(zāi)相關(guān)的功能；而其他小版本，則是在其企業(yè)版和標準版基礎(chǔ) 之外的支持；比如最近比較熱的PowerHASystemMirrorHyperSwap174。的數(shù)據(jù)中心雙活的解決方案，就是利用HyperSwap版本對存儲DS8000容錯的擴展支持來得以實現(xiàn)。我們說的PowerHA pureScale，則是和類oracle RAC的IBMDB2 pureScale解決方案相配合的高可用性套件，不再是我們通常意義上的HACMP。由于本文的重點為AIX的本地高可用性，因此除非特別聲明，我們?nèi)笔≌fPowerHA時都是指PowerHA SystemMirror Standard的版本。 3.HACMP的工作原理 HACMP是High Availability Cluster MultiProcessing的縮寫；也就是IBM公司在P系列 AIX操作系統(tǒng)上的高可靠集群軟件，配置冗余，消除單點故障，保證整個系統(tǒng)連續(xù)可用性和安全可靠性。 HACMP是通過偵測主機及網(wǎng)卡的狀況，搭配 AIX所提供的LVM等管理功能，在主機、網(wǎng)卡、硬盤控制卡或網(wǎng)絡(luò)發(fā)生故障時，自動切換到另一套備用元件上重新工作。 若是主機故障還切換至備機上繼續(xù)應(yīng)用系統(tǒng)的運行。作為雙機系統(tǒng)的兩臺服務(wù)器同時運行HACMP軟件；u 兩臺服務(wù)器的備份方式大體有二種: n 一臺服務(wù)器運行應(yīng)用，另外一臺服務(wù)器做為備份 n 兩臺服務(wù)器除正常運行本機的應(yīng)用外，同時又作為對方的備份主機。 u 兩臺主機系統(tǒng)在整個運行過程中，通過 心跳線相互監(jiān)測對方的運行情況(包括系統(tǒng)的軟硬件運行、網(wǎng)絡(luò)通訊和應(yīng)用運行情況等)。 u 一旦發(fā)現(xiàn)對方主機的運行不正常(出故障)時，故障機上的應(yīng)用就會立即停止運行，本機(故障機的備份機)就會立即在自己的機器上啟動故障機上的應(yīng)用，把故障機的應(yīng)用及其資源(包括用到的IP地址和磁盤空間等)接管過來，使故障機上的應(yīng)用在本機繼續(xù)運行。 u 應(yīng)用和資源的接管過程由HACMP軟件自動完成，無需人工干預(yù)。 u 當(dāng)兩臺主機正常工作時，也可以根據(jù)需要將其中一臺機上的應(yīng)用人為切換到另一臺機(備份機)上運行。 4.HACMP術(shù)語： 為方便大家閱讀，我們這里簡單介紹一下HACMP 主要術(shù)語。它們可以分為拓撲組件和資源組件兩類。 拓撲組件(Cluster topology)基本上是物理組件。它們包括： 節(jié)點（Nodes)：運行AIX操作系統(tǒng)的Power服務(wù)器上的分區(qū)或微分區(qū)。實 際目前節(jié)點現(xiàn)分為2種，一個是服務(wù)器節(jié)點（Server 節(jié)點），運行核心服務(wù)和共享磁盤的應(yīng)用的機器；一個是客戶端節(jié)點（Client）節(jié) 點，前臺使用集群服務(wù)的應(yīng)用的機器。比如中間件軟件等無需共享磁盤安裝在客戶端節(jié)點的機器上，數(shù)據(jù)庫軟件安裝在服務(wù)器節(jié)點的機器上。 像監(jiān)控節(jié)點的信息收集程序clinfo就是只運行在客戶節(jié)點上。而對于2個節(jié)點的集群，則簡化掉這些分別，即節(jié)點為二合一。 網(wǎng)絡(luò)（Networks）：IP 網(wǎng)絡(luò)和非 IP 網(wǎng)絡(luò) 通信接口（Communication interfaces）：以太網(wǎng)或令牌環(huán)網(wǎng)適配器 通信設(shè)備（Communication devices)：RS232 或磁盤的心跳機制拓撲組件示意圖資源組件(Cluster resources)是需要保持高可用性的邏輯實體。它們包括： 應(yīng)用服務(wù)器（Application servers）：它涉及應(yīng)用程序的啟動/停止腳本。 服務(wù) IP 地址（Service IP labels / addresses）：最終用戶一般通過 IP 地址連接應(yīng)用程序。這個 IP 地址映射到實際運行應(yīng)用程序的節(jié)點。因為 IP 地址需要保持高可用性，所以它屬于資源組。 文件系統(tǒng)（File systems）：許多應(yīng)用程序需要掛載文件系統(tǒng)。 卷組（Volume groups）：許多應(yīng)用程序需要高可用的卷組。 所有資源一起組成資源組實體。HACMP 把資源組當(dāng)作單一單元處理。它會保持資源組高可用性。資源組件示意圖此外，還存在資源組有與其相關(guān)聯(lián)的策略。這些策略包括：1. 啟動策略（Cluster startup）：這決定資源組應(yīng)該激活哪個節(jié)點。2. 故障轉(zhuǎn)移策略（Resource /Node failure）：當(dāng)發(fā)生故障時，這決定故障轉(zhuǎn)移目標節(jié)點。 3. 故障恢復(fù)策略（Resource/Node recovery）：這決定資源組是否執(zhí)行故障恢復(fù)。當(dāng)發(fā)生故障時，HACMP 尋找這些策略并執(zhí)行相應(yīng)的操作。 5.實驗環(huán)境說明： 以雙機互備中相對復(fù)雜的多業(yè)務(wù)網(wǎng)絡(luò)的情況為例，其他類似設(shè)置可適當(dāng)簡化。1）機器一覽表 節(jié)點機器名操作系統(tǒng)應(yīng)用軟件HA版本host1ORACLE 11ghost2TUXEDO 11 2）磁盤和VG規(guī)劃表節(jié)點機器名磁盤VGVG MajorNumberhost1hdisk2host1vg101host2hdisk3host2vg201 3）用戶和組規(guī)劃表用戶USERID組組ID使用節(jié)點orarunc610dba601host1tuxrun301tux301host1bsx1302tux301host1x401dba601host1orarun609dba601host24）邏輯卷和文件系統(tǒng)規(guī)劃表PP size:128M節(jié)點機器名邏輯卷文件系統(tǒng) 大小(pp) 所有者用途host1ora11runclv/ora11runc40oraruncORACLE客戶端軟件tux11runlv/tux11run30tuxedoTuxedo軟件bsx1lv/bsx130bsx1寶信MES應(yīng)用程序xlv/x30x寶信x通信軟件host2ora11runlv/ora11run60orarunORACLE數(shù)據(jù)庫軟件oradatalv/oradata80orarun數(shù)據(jù)庫 5）路由規(guī)劃表節(jié)點名目的路由host1defaulthost2default 6）HACMP結(jié)構(gòu)表集群名: test_cluster適配器名功能網(wǎng)絡(luò)名網(wǎng)絡(luò)類型屬性節(jié)點名IP地址MAC地址host1_tty0heartbeathost1_net_rs232rs232serialhost1host1_l2_boot1boot1host2_net_ether_2etherpublichost1host1_l1_boot1boot1host2_net_ether_1etherpublichost1host1_l2_svcServicehost1_net_ether_2etherpublichost1host1_l1_svc1Servicehost1_net_ether_1etherpublichost1host1_l1_svc2Servicehost1_net_ether_1etherpublichost1host1_l2_boot2boot2host1_net_ether_2etherpublichost1host1_l1_boot2boot2host1_net_ether_1etherpublichost1host2_tty0heartbeathost2_net_rs232rs232serialhost2host2_l2_boot1boot1host2_net_ether_2etherpublichost2host2_l1_boot1boot1host2_net_ether_1etherpublichost2host2_l2_svcservicehost2_net_ether_2etherpublichost2host2_l1_svc1servicehost2_net_ether_1etherpublichost2host2_l1_svc2servicehost2_net_ether_1etherpublichost2host2_l2_boot2boot2host2_net_ether_2etherpublichost2host2_l1_boot2boot2host2_net_ether_1etherpublichost2 7）HACMP示意圖8）實驗環(huán)境示意圖 9）應(yīng)用腳本起停設(shè)計 216。 start_host1: 添加網(wǎng)關(guān) 運行start_host1_app216。 stop_host1: 運行stop_host1_app 清理vg進程216。 start_host2: 添加網(wǎng)關(guān) 運行start_host2_app216。 stop_host2: 運行stop_host1_app 清理vg進程216。 start_host1_app: 確認host2已啟動 整理路由 啟動主應(yīng)用程序 啟動通信程序216。 stop_host1_app: 停通信程序 停應(yīng)用主程序 清理路由216。 start_host2_app: 如在host1機器上執(zhí)行stop_host1_app 起Oracle數(shù)據(jù)庫及l(fā)istener 如在host1機器上執(zhí)行start_host1216。 stop_host2_app: 停數(shù)據(jù)庫及l(fā)istener第一部分規(guī)劃篇 萬事開頭難，對于一個有經(jīng)驗的HACMP工程師來說，會深知規(guī)劃的重要性，一個錯誤或混亂的規(guī)劃將直接導(dǎo)致實施的失敗和不可維護性。 HACMP實施的根本目的不是安裝測試通過，而是在今后運行的某個時刻突然故障中，能順利的發(fā)生自動切換或處理，使得服務(wù)只是短暫中斷即可自動恢復(fù)，使高可用性成為現(xiàn)實。. 規(guī)劃前的需求調(diào)研 在做規(guī)劃之前，或者說一個準備實施HACMP來保證高可用性的系統(tǒng)初步設(shè)計之前，至少需要調(diào)查了解系統(tǒng)的以下相關(guān)情況，這些都可能影響到HACMP的配置。216。 應(yīng)用特點1） 對負荷的需求，如CPU、內(nèi)存、網(wǎng)絡(luò)等特別是I/O的負載的側(cè)重。2） 對起停的要求，如數(shù)據(jù)庫重起可能需要應(yīng)用重起等等。3） 對于自動化的限制，如重起需要人工判斷或得到命令，需要在控制臺執(zhí)行。216。 網(wǎng)絡(luò)狀況和規(guī)劃 包括網(wǎng)段的劃分、路由、網(wǎng)絡(luò)設(shè)備的冗余等等在系統(tǒng)上線前的狀況和可提供條件，以及實施運行過程中可能出現(xiàn)的變更。216。 操作系統(tǒng)情況 目前IBM的HACMP除了AIX，還支持Linux。 。但如果安裝可能是在老機器上進行升級，需要仔細了解操作系統(tǒng)版本及補丁情況。216。 主機設(shè)計1） 可能實施的機器網(wǎng)卡的數(shù)量,網(wǎng)卡是否只能是雙口或更多。2） 是否有槽位增加異步卡3） 主機之間的距離，這影響到串口線的長度。 216。 預(yù)計實施高可用性的情況1） 希望實施HACMP的機器數(shù)量2） 希望方式，如一備一，雙機互備，一備多，環(huán)形互備等等。 . PowerHA/HACMP版本確定 IBM HACMP 版本后， ，并經(jīng)過我們自己充分的測試（見測試篇）和實踐證明（已有多個系統(tǒng)成功自動切換）。，功能增加多，穩(wěn)定性不夠。這也是本文出了第一版完全手冊之后一直沒有修訂的原因之一。 隨著Power主機和AIX的更新?lián)Q代，名稱也在變化，雖然目前最新版為PowerHA SystemMirror , 又增加了不少絢麗奪目的功能，但個人以為作為高可用性軟件，其成熟度為第一要素，其穩(wěn)定性有待進一步驗證。而經(jīng)過我們這2年來的充分實施經(jīng)驗，目前可以放心推薦版本為PowerHA 。. IP地址設(shè)計 IP地址切換(IPAT)方式有3種方式:圖1a，1b，和1c中描述了三個主要的IPAT配置場景。 u 第一個拓撲模式:IPAT via Replacement在分開的子網(wǎng)中包含boot 和standby網(wǎng)卡。當(dāng)集群服務(wù)啟動的時候boot 地址被換成service 地址。盡管這種方式有效性強，但是在需要實現(xiàn)多服務(wù)IP地址的環(huán)境下這種方式是不可取的。集群的管理員不得不利用pre 和 postevents 定制其環(huán)境建立額外的別名， 并且需要確認這些別名在下一次接管發(fā)生前被刪除。u 第二個拓撲模式：IPAT via Aliasing HACMP 開始引入了IPAT via Aliasing 作為缺省的拓撲模式。在這種新的模式中，standby網(wǎng)卡的功能被另外一個boot網(wǎng)卡替換。子網(wǎng)需求的不同點是還需要一個另外的子網(wǎng)，每一個boot 網(wǎng)卡需要它自己的子網(wǎng)，并且任何service 或 persistent 的IP 將在其本身的子網(wǎng)上操作，所以一共三個子網(wǎng)。當(dāng)集群服務(wù)啟動并且需要service IP 的時候，boot IP 并不消失。這個設(shè)計和第一種是不同的，在同一個HACMP網(wǎng)絡(luò)中有多個service IP存在并且通過別名來控制。 u 第三種模式:EthernetChannel（EC） 這種模式把底層的以太網(wǎng)卡藏到一個單一的“ent”接口之后。該模式不是對前述任何一種方式的替換，而是可以和前述的任一種模式共同存在。因為在每一個節(jié)點EC 都被配置成冗余方式，可以在HACMP中使用IP別名定義它們每一個作為單一網(wǎng)卡網(wǎng)絡(luò)。因為在每個節(jié)點只有一個網(wǎng)卡被定義，所以只有兩個子網(wǎng)，一個是用作 boot（每個節(jié)點的基本IP地址），另一個是用于提供高可用服務(wù)。 本文討論實際工作中使用最多的為第2種:別名方式(IPAT via Aliasing)，即使到今天，其使用仍然最為廣泛，對交換機要求也最低。對于新型核心交換機和網(wǎng)絡(luò)人員可緊密配合的，則推薦第3種，由于第3種更為簡單，切換時間更短。但本文這里以第2種為主加以討論。 這樣設(shè)計時就需要注意以下事情：1. 網(wǎng)段設(shè)計：一個服務(wù)地址需要3個網(wǎng)段對應(yīng)，boot地址網(wǎng)段不能和服務(wù)地址一致。避免網(wǎng)絡(luò)變更造成的系統(tǒng)不可用，boot地址的網(wǎng)段不要和實際其他系統(tǒng)的網(wǎng)段一致。在網(wǎng)段比較緊張的地方，建議設(shè)計時詢問網(wǎng)絡(luò)人員。 舉例來說，下面的地址將會由于網(wǎng)絡(luò)變更后打通合一后可能造成沖突：設(shè)計人機器名服務(wù)地址boot1地址boot2地址張三app1_db張三app1_app李四app2_db李四app2_app王五app3_db王五app3_app2. boot地址的設(shè)計：不要和實際其他同網(wǎng)段機器的boot地址沖突，最好不同網(wǎng)段。即這個規(guī)劃不能只考慮系統(tǒng)本身，還需要從同網(wǎng)段的高度考慮。 舉例來說，下面的地址由于2個系統(tǒng)分開設(shè)計，同時開啟將直接導(dǎo)致