【正文】 帶庫(kù)、光纖適配卡、光電收發(fā)設(shè)備以及群集軟件系統(tǒng)和群集管理系統(tǒng)等諸多方面，這些產(chǎn)品的成熟使得 SAN 的解決方案瓜熟蒂落。在下面的圖例中用集線器連接的環(huán)路被看作是一個(gè)有別與仲裁環(huán)路的環(huán)路拓?fù)浞绞健? ? 點(diǎn)對(duì)點(diǎn)連接 點(diǎn)對(duì)點(diǎn)連接是一個(gè)簡(jiǎn)單的 100MB/s 帶寬的在 HBA（ host bus adapter）和存儲(chǔ)系統(tǒng)之間的連接方式。在點(diǎn)對(duì)點(diǎn)連接中 HBA和存儲(chǔ)設(shè)備的端口之間的距離最大可達(dá) 500M（不使用附加設(shè)備），因?yàn)橥ǔＧ槟贤ㄉ虡I(yè)銀行基于 SAN 架構(gòu)的存儲(chǔ)解決方案技術(shù)建議書 中聯(lián)集團(tuán) 5 況下 HBA 和存儲(chǔ)設(shè)備的端口會(huì)采用銅連接或短波光信號(hào)的連接接口，采用銅連接端口的情況下最遠(yuǎn)連接距離是 30 米，采用短波光信號(hào)的連接情況 下連接距離是 500 米。 ? 光纖通道仲裁環(huán)路 光纖通道仲裁環(huán)路允許用戶可以在一個(gè)環(huán)路中配置 126 個(gè)設(shè)備。在一個(gè)單一環(huán)路連接而成的光纖通道仲裁環(huán)路中，如果某個(gè)節(jié)點(diǎn)或設(shè)備失效會(huì)引起整個(gè)環(huán)路的失效。當(dāng) 一個(gè)節(jié)點(diǎn)加入環(huán)路中時(shí)會(huì)產(chǎn)生一個(gè) LIP（ Loop Initialization ），通過(guò) LIP 會(huì)引起在環(huán)路中的所有節(jié)點(diǎn)進(jìn)入一種 openinit 狀況，在此狀況下它們的仲裁環(huán)路地址（ ALPA）會(huì)被從新分配。當(dāng)環(huán)路中的任一改變發(fā)生后，環(huán)路的各節(jié)點(diǎn)必須以 LIP的方式從新初始化。通過(guò)光纖通道集線器連接在一起的光纖環(huán)路是一種很經(jīng)濟(jì)光纖通道設(shè)備互連的實(shí)現(xiàn)方案。通過(guò)集線器，用戶的設(shè)備都連接在集線器的端口上。目前集線器主要有三種類型的產(chǎn)品：非管理型集線器、可管理型集線器和交換式集線器。交換式集線器還具有更好的帶寬特性，通過(guò)交換式集線器可以將集線器分成多個(gè)子環(huán)路，每個(gè)子環(huán)路有獨(dú)立的帶寬，盡管如此交換式集線器依然受 126 個(gè)節(jié)點(diǎn)的限制并且不支持交換式光纖網(wǎng)絡(luò)的特性如： Fabric Login, WW Names, Simple Name Server 等。 Fabric我們可以這樣理解，以交換連接的網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)連接的路線好象織物上 的經(jīng)緯線，這種類似織物網(wǎng)狀的網(wǎng)絡(luò)連接方式叫做 Fabric，我們稱為交換式光纖網(wǎng)絡(luò)。在交換式光纖網(wǎng)絡(luò)中的每對(duì)節(jié)點(diǎn)之間的連接帶寬是 100MB/s，并且在理論上在一個(gè)交換式光纖網(wǎng)絡(luò)中可以存在 16 百萬(wàn)個(gè)節(jié)點(diǎn)。具有 Fabric 登錄能力的端口登錄到交換式網(wǎng)絡(luò)中的交換機(jī)上交換信息并且得到交換機(jī)交換機(jī)分配給自己的地址。如果在兩個(gè)節(jié)點(diǎn)之間存在多于一個(gè)通道的連接，當(dāng)一個(gè)通道由于故障而不能進(jìn)行通信時(shí)，交換機(jī)會(huì)以“路游”的方式將數(shù)據(jù)體改變路徑進(jìn)行通信。環(huán)路通過(guò)一個(gè)特別的端口連接上交換式光纖網(wǎng)絡(luò) —— FL 端口。一個(gè)具有FL 端口的仲 裁環(huán)路連接在交換機(jī)上被看為是公共環(huán)路，交換機(jī)上的其它節(jié)點(diǎn)可以通過(guò) FL 端口以仲裁的方式訪問(wèn)環(huán)路中的設(shè)備。隨著集群系統(tǒng) 軟件不斷的完善，目前已經(jīng)可以支持更多的節(jié)點(diǎn)，例如 Veritas 的 VCS 已經(jīng)可以支持 128 個(gè)節(jié)點(diǎn)的集群系統(tǒng)。在傳統(tǒng)的雙機(jī)熱備系統(tǒng)中，往往其中一個(gè)節(jié)點(diǎn)的計(jì)算能力被浪費(fèi)，系統(tǒng)的冗余投資接近 50%，而且，對(duì)僅有兩個(gè)節(jié)點(diǎn)的系統(tǒng)，根本沒(méi)有配置靈活性可言。用戶可以根據(jù)實(shí)際需要，決定 集群系統(tǒng)的工作方式，既可以提供比雙機(jī)系統(tǒng)更高的可用性，又可以節(jié)約系統(tǒng)的冗余投資。 ? LAN_FREE 備份系統(tǒng) 磁帶的備份和恢復(fù)作為一種服務(wù)器的數(shù)據(jù)保護(hù)技術(shù)得到了廣泛應(yīng)用。問(wèn)題是，備份時(shí)間太長(zhǎng)和對(duì)通訊網(wǎng)絡(luò)影響。 SAN 則可以解南通商業(yè)銀行基于 SAN 架構(gòu)的存儲(chǔ)解決方案技術(shù)建議書 中聯(lián)集團(tuán) 8 決這種備份流量帶來(lái)的 LAN 交通擁塞問(wèn)題，并允許多個(gè)服務(wù)器共享一個(gè)磁帶庫(kù)。要實(shí)現(xiàn)這種共享結(jié)構(gòu)，每個(gè)服務(wù)器上都需要一個(gè)特殊的備份軟件，該軟件可以借助 LAN 中的消息傳送協(xié)議，協(xié)調(diào)對(duì)共享磁帶庫(kù)的訪問(wèn)。 PiT 技術(shù)的原理是在陣列系統(tǒng)內(nèi)部對(duì)正在使用的生產(chǎn)數(shù)據(jù)卷建立一個(gè)對(duì)應(yīng)的復(fù)制卷， 由于在陣列系統(tǒng)內(nèi)部由陣列系統(tǒng)自動(dòng)的執(zhí)行兩個(gè)數(shù)據(jù)卷之間的復(fù)制過(guò)程，因此在復(fù)制卷上能夠有與生產(chǎn)卷一模一樣的數(shù)據(jù)；也就是說(shuō)如果生產(chǎn)卷上有數(shù)據(jù)庫(kù)，那么在復(fù)制卷上就有了一份副本。目前利用這種技術(shù)最廣泛的是對(duì)服務(wù)器及應(yīng)用無(wú)干擾的高速備份。中聯(lián)公司人員在充分考慮南通商業(yè)銀行存儲(chǔ)網(wǎng)絡(luò)項(xiàng)目的技術(shù)要求和其 IT 系統(tǒng)發(fā)展的前提下提出的， 其中包括詳細(xì)的存儲(chǔ)系統(tǒng)方案介紹和我公司方案優(yōu)點(diǎn)分析。 方案設(shè)計(jì)原則 隨著金融服務(wù)事業(yè)的不斷發(fā)展，商業(yè)銀行已經(jīng)是目前我國(guó)在廣大鄉(xiāng)村和城鎮(zhèn)地區(qū)最重要的一支金融服務(wù)力量。對(duì)于金融企業(yè)來(lái)說(shuō)，其服務(wù)質(zhì)量和運(yùn)營(yíng)能力的根本保證就是其 IT 系統(tǒng)的可靠性和穩(wěn)定性；并且金融行業(yè)的 IT 系統(tǒng)建設(shè)開(kāi)始的比較早，系統(tǒng)復(fù)雜、應(yīng)用種類繁多，因此在集中存儲(chǔ)項(xiàng)目系統(tǒng)建設(shè)過(guò)程中也要充分考慮系統(tǒng)的廣泛的主 機(jī)支持能力和存儲(chǔ)系統(tǒng)自身的擴(kuò)展能力。替換現(xiàn)有的非智能的存儲(chǔ)系統(tǒng)，以解決這些系統(tǒng)在可靠性、可用性、可擴(kuò)展性、可管理性、性能等各方面都存在很多問(wèn)題。由于目前每個(gè)業(yè)務(wù)子系統(tǒng)都配置了自己的存儲(chǔ)設(shè)備，對(duì)每個(gè)系統(tǒng)都需要工程師進(jìn)行管理，加大了管理成本。 ? 針對(duì)用戶的目前狀態(tài)，中聯(lián)公司建議該項(xiàng)目目標(biāo)如下：重點(diǎn)解決目前系統(tǒng)的企業(yè)級(jí)數(shù)據(jù)整合，為貴行業(yè)務(wù)應(yīng)用系統(tǒng)集中管理打好基礎(chǔ)，建立統(tǒng)一的信息基礎(chǔ)架構(gòu)。其需求如下： ? 很好的異構(gòu)環(huán)境支持能力 ? 減少系統(tǒng)管理的難度和工作量。 南通商業(yè)銀行基于 SAN 架構(gòu)的存儲(chǔ)解決方案技術(shù)建議書 中聯(lián)集團(tuán) 11 ? 提高信息的共享性。信息的可用性、可靠性和可管理性將大大提高，系統(tǒng)的可擴(kuò)展性和靈活性將大大提高，以滿足目前及未來(lái)的業(yè)務(wù)發(fā) 展及科學(xué)管理的需要。 ? 將目前的關(guān)鍵業(yè)務(wù)系統(tǒng)數(shù)據(jù)遷移并建立在新的高端企業(yè)級(jí)智能存儲(chǔ)系統(tǒng)上。 ? 數(shù)據(jù)備份等工作將不占用生產(chǎn)主機(jī)資源，而由備份主機(jī)完成。提高信息的保護(hù)性、共享性和可管理性。首先，主機(jī)系統(tǒng)可能是有多套來(lái)實(shí)現(xiàn)集群技術(shù)，而存儲(chǔ)只有一套，存儲(chǔ)的可用性關(guān)系到整個(gè)系統(tǒng)的高可用性；此外，數(shù)據(jù)中心所有數(shù)據(jù)均保存在存儲(chǔ)設(shè)備上，數(shù)據(jù)的安全和可用性關(guān)系到整個(gè)企業(yè)的生存。存南通商業(yè)銀行基于 SAN 架構(gòu)的存儲(chǔ)解決方案技術(shù)建議書 中聯(lián)集團(tuán) 12 儲(chǔ)陣列的技術(shù)先進(jìn)性直接影響到整個(gè)系統(tǒng)運(yùn)行的效率和性價(jià)比。是否開(kāi)發(fā)與開(kāi)放程度，可能直接影響到系統(tǒng)投資的保護(hù)。因此，存儲(chǔ)的可擴(kuò)充能力是非常重要的指標(biāo)。 ? 可靠性和可用性 存 儲(chǔ)作為整個(gè) IT 系統(tǒng)的核心系統(tǒng)，其可靠性和可用性直接關(guān)系到整個(gè)系統(tǒng)的可靠性和可用性。而且，在關(guān)鍵系統(tǒng)的存儲(chǔ)設(shè)計(jì)時(shí)，災(zāi)難備份和災(zāi)難恢復(fù)的能力、成本，也是考慮的因素之一。 ? 可管理性和可維護(hù)性 在 SAN 上的所有存儲(chǔ)相關(guān)設(shè)備必須能夠有效而且直觀地管理，具有非常好的控制和監(jiān)控能力。 基于 SAN的解決方案 針對(duì)用戶的業(yè)務(wù)狀況和發(fā)展趨勢(shì)，我們建議用戶采用以數(shù)據(jù)和存儲(chǔ)為中心的系統(tǒng)結(jié)構(gòu)。降低管理難度，維護(hù)數(shù)據(jù)管理的統(tǒng)一性。數(shù)據(jù)的集中化管理，能夠確保數(shù)據(jù)的一致性和完整性，保證電子化數(shù)據(jù)的可靠性。存儲(chǔ)區(qū)域網(wǎng)是未來(lái)存儲(chǔ)系統(tǒng)發(fā)展的方向。而信息存儲(chǔ)則可通過(guò)存儲(chǔ)區(qū)域網(wǎng)通信，從而消除 I/O 瓶頸，提高系統(tǒng)性能。 SAN 的最終目標(biāo)是實(shí)現(xiàn)在異構(gòu)環(huán)境中最大限度的數(shù)據(jù)共享和可管理性。各主流廠商均遵循開(kāi)放的觀念，保證各家設(shè)備之間的互連性。而且最關(guān)鍵的是，基于 SAN 架構(gòu)，服務(wù)器和存儲(chǔ)設(shè)備之間的協(xié)議是專為數(shù)據(jù)密集型存取所設(shè)計(jì)。而且一旦 SAN 架構(gòu)構(gòu)建以后，可以很容易增加存儲(chǔ)設(shè)備，并且這些存儲(chǔ)設(shè)備均可以作為一個(gè)整體來(lái)共享，它們可以作為一個(gè)卷或多個(gè)卷來(lái)共享。 ? 具有無(wú)與倫比的可靠性 作為關(guān)鍵性應(yīng)用中，設(shè) 備的可靠性是必須考慮的。 SAN 的存儲(chǔ)設(shè)備內(nèi)部，本身也考慮很多系統(tǒng)的高可用性，系統(tǒng)中的磁盤是連接到兩個(gè)光纖環(huán)路上和兩個(gè)控制器上，電源，風(fēng)扇等等均是冗余的。它可以通過(guò)異地遠(yuǎn)程的兩 臺(tái)陣列實(shí)現(xiàn)數(shù)據(jù)的同步，獨(dú)立于操作系統(tǒng)和應(yīng)用，一旦某地的系統(tǒng)出現(xiàn)問(wèn)題，可以很快地切換到異地，保證系統(tǒng)的應(yīng)用。 ? 集中式管理 分布式的設(shè)備，包括主機(jī)系統(tǒng)、存儲(chǔ)系統(tǒng)、交換機(jī)等等，均可以通過(guò)圖形界面的管理程序進(jìn)行管理或者通過(guò) SNMP 協(xié)議，與網(wǎng)管軟件結(jié)合實(shí)現(xiàn)整個(gè)系統(tǒng)的中央管理。憑借在存儲(chǔ)專業(yè)知識(shí)和技術(shù)以及和其它備份存儲(chǔ)管理軟件供應(yīng)商的多年密切合作，我們提出了易于實(shí)現(xiàn)、能充分滿足用戶需求的基于 SAN 的無(wú)憂備份方案，該方案可以讓用戶將過(guò)分負(fù)載的應(yīng)用服務(wù)器和局域網(wǎng)從存儲(chǔ)管理任務(wù)中解放出來(lái)。 網(wǎng)絡(luò)備份模式需要使用一個(gè)專用的備份服務(wù)器，數(shù)據(jù)從目標(biāo)主機(jī)通過(guò)網(wǎng)絡(luò)移到備份服務(wù)器然后再到和備份服務(wù)器直接相連的磁帶庫(kù)和磁帶驅(qū)動(dòng)器。 在直接連接備份模式中，磁帶驅(qū)動(dòng)器是直接連到要備份的每一個(gè)服務(wù)器，這種方法雖然提供了高性能的磁帶存儲(chǔ)，但磁帶庫(kù)中所能有的磁帶驅(qū)動(dòng)器的數(shù)目是有限的，這就限制了所能備份的服務(wù)器的數(shù)量；而且因?yàn)槊總€(gè)磁帶驅(qū)動(dòng)器是專門南通商業(yè)銀行基于 SAN 架構(gòu)的存儲(chǔ)解決方案技術(shù)建議書 中聯(lián)集團(tuán) 15 配屬給某一個(gè)服務(wù)器的，當(dāng)那個(gè)服務(wù)器不使用其專用磁帶驅(qū)動(dòng)器時(shí)，其他服務(wù)器也不能使用，這也造成了大量的資源浪費(fèi)。它提供的是當(dāng)今網(wǎng)絡(luò)存儲(chǔ)環(huán)境所需要的先進(jìn)的功能和連接能力。 ? 具有全面功能的 CLARiiON 存儲(chǔ)，硬件結(jié)構(gòu)和軟件功能連續(xù)一致，可以運(yùn)行與 CX600 同樣的軟件功能 ? 前端支持四個(gè) 2Gb 光纖通道主機(jī)接口，支持連接 9 種 Windows 和 Unix服務(wù)器平臺(tái)，加速服務(wù)器整合 ? 通過(guò)使用 MirrorView和 SnapView智能化存儲(chǔ)功能軟件提供與主機(jī)無(wú)關(guān)的數(shù)據(jù)復(fù)制功能，從而釋放服務(wù)器資源 ? 通過(guò)使用 PowerPath 軟件的自動(dòng)故障切換，動(dòng)態(tài)負(fù)載均衡，和優(yōu)化數(shù)據(jù)信息訪問(wèn)能力來(lái)確保數(shù)據(jù)的高可用性和數(shù)據(jù)訪問(wèn)的高性能 ? 提供數(shù)據(jù)原地不動(dòng)地升級(jí)到 CX600 的能力滿足業(yè)務(wù)需求的增長(zhǎng)，延長(zhǎng)CX400 的使用壽命并且增加它的投資回報(bào) ? 具有同級(jí)產(chǎn)品中革命性的吞吐帶寬，驅(qū)動(dòng)新的寬帶經(jīng)濟(jì) ? 在網(wǎng)絡(luò)存儲(chǔ)環(huán)境中支持端到端的 2Gb 光纖通道連接 方案示意圖： 南通商業(yè)銀行基于 SAN 架構(gòu)的存儲(chǔ)解決方案技術(shù)建議書 中聯(lián)集團(tuán) 16 ? SAN 備份的實(shí)現(xiàn) 目前支持所有主流的磁帶庫(kù)生產(chǎn)廠商，如 IBM、 STK、 ATL、 ADIC 等。 ? 備份方法 對(duì)采用 LANFree 方式的數(shù)據(jù)備份，主要是基于 SAN 存儲(chǔ)系統(tǒng)來(lái)實(shí)現(xiàn)的，可采用如下兩種方法來(lái)進(jìn)行。示意圖如下： 南通商業(yè)銀行基于 SAN 架構(gòu)的存儲(chǔ)解決方案技術(shù)建議書 中聯(lián)集團(tuán) 17 方法二：采用 LANfree 備份結(jié)合在 EMC CX 400 運(yùn)行數(shù)據(jù)快速備份軟件（ SNAPVIEW）的方式 , 將需進(jìn)行備份的數(shù)據(jù)在 EMC CX 400 用數(shù)據(jù)快速備份軟件進(jìn)行數(shù)據(jù)備份 , 存儲(chǔ)在 SAN 的環(huán)境中 , 在數(shù)據(jù)備份是， EMC CX 400 把備份數(shù)據(jù)遞交給備份服務(wù)器 , 由備份服務(wù)器采用 LANfree 備份的方式進(jìn)行備份。從單一服務(wù)器到眾多臺(tái)服務(wù)器的備份 /恢復(fù)磁帶庫(kù)易于被所有的服務(wù)器所共享，磁帶庫(kù)本身作為一個(gè)結(jié)點(diǎn)，而不是作為外設(shè)，任何一臺(tái)服務(wù)器都可以將數(shù)據(jù)從磁盤直接寫入磁帶庫(kù)； 可擴(kuò)展性好，如果現(xiàn)有帶庫(kù)不能滿足要求，只 需增加一個(gè)結(jié)點(diǎn)的帶庫(kù)，就可實(shí)現(xiàn)容量的擴(kuò)展。 SAN 光纖通道交換機(jī) 我們建議使用兩臺(tái) 2109F16 型號(hào)的十六口光纖交換機(jī)，配置兩臺(tái)光纖通道交換機(jī)的目的是為了避免整個(gè)系統(tǒng)在這點(diǎn)上存在單點(diǎn)故障。 IBM 的企業(yè)存儲(chǔ)區(qū)域網(wǎng)絡(luò)為不同廠家的異構(gòu)服務(wù)器和存儲(chǔ)設(shè)備提供高速互聯(lián)和中心管理的光纖交換環(huán)境。 主要特點(diǎn)是： ? 為基于 Intel芯片的 Windows NT 系統(tǒng)和 UNIX 系統(tǒng)提供高速的光纖連接。通過(guò) IBM 和非 IBM 的光纖交換機(jī)和光纖 HUB 的級(jí)聯(lián)，可以使存儲(chǔ)區(qū)域網(wǎng)絡(luò)擁有上百個(gè)光纖接口。 IBM SAN 光纖交換機(jī)每個(gè)光纖接口支持 200MB/S 的全雙工數(shù)據(jù)傳輸，并且隨著端口的增加系統(tǒng)的性能也同步上升。 IBM SAN 光纖交換機(jī)可以智能地管理 SAN 并且自動(dòng)解決一些問(wèn)題。它還提供 Zoning 的功能對(duì)各個(gè)端口的訪問(wèn)權(quán)限進(jìn)行定義，從硬件級(jí)別保證系統(tǒng)的安全性。 服務(wù)器系統(tǒng)與 SAN 的連接，南通商業(yè)銀行服務(wù)器系統(tǒng)需要與 SAN 實(shí)現(xiàn)連接，在服務(wù)器中需要配置光纖通道卡，為 了保證高可靠性和負(fù)載均衡，每臺(tái)服務(wù)器推薦配置兩塊光纖通道卡。在此系統(tǒng)建設(shè)中，最重要的問(wèn)題就是數(shù)據(jù)遷移，即如何把存儲(chǔ)在現(xiàn)有的存儲(chǔ)系統(tǒng)（ IBM 7133）上數(shù)據(jù)遷移到建議的新存儲(chǔ)系統(tǒng)上，此數(shù)據(jù)遷移要保證不會(huì)影響現(xiàn)有的應(yīng)用系統(tǒng)的正常運(yùn)行、保證數(shù)據(jù)遷移過(guò)程的可靠性、安全性和一致性。 1 數(shù)據(jù)遷移流程 我們建議實(shí)施數(shù)據(jù)遷移按如下流程進(jìn)行。 ? 數(shù)據(jù)庫(kù)容量 ? 是否跨平臺(tái)：是否是跨越不同的系統(tǒng)平臺(tái)，對(duì)于跨平臺(tái)的遷移來(lái)說(shuō)，遷移手段和方法將有可能不同。 ? 數(shù)據(jù)庫(kù)版本：確定數(shù)據(jù)庫(kù)的版本，注意新的版本會(huì)有新的特性，而舊的版本就不一定能夠支持，所以在遷移前，應(yīng)考慮數(shù)據(jù)庫(kù)的版本，以定義相應(yīng)的遷移方式。同時(shí)也為測(cè)試提出了具體的要求和目標(biāo)，對(duì)于遷移的成功非常重要。如果客戶有特殊的要求和數(shù)據(jù)庫(kù)自身工具無(wú)法實(shí)現(xiàn)時(shí)，可以查詢第三方工具，選擇是否能夠滿足客戶要求。如果采用磁帶進(jìn)行拷貝，需要了解磁帶機(jī)或帶庫(kù)的處理速度。 ? 準(zhǔn)備工作 準(zhǔn)備好要遷移到的數(shù)據(jù)服務(wù)器，包括： ? 操作系統(tǒng)安裝 ? 數(shù)據(jù)庫(kù)系統(tǒng)安裝 ? 磁盤或盤陣劃分（如果是裸設(shè)備，還要提前設(shè)計(jì)好如