【正文】 第一篇：基本原理by jerrywjl @ 近在網(wǎng)絡(luò)上看到不少人熱衷于Linux集群的部署和配置。但是配置的思路和具體的步驟實在不敢恭維。為了解決一些新手在這方面存在的問題，特將本人原創(chuàng)的幾個文檔貢獻出來。希望高手指正，也希望給新手一些幫助。在調(diào)度器的實現(xiàn)技術(shù)中，IP負載均衡技術(shù)效率最高。在已有的IP負載均衡技術(shù)中有通過網(wǎng)絡(luò)地址轉(zhuǎn)換（Network Address Translation）將一組服務(wù)器構(gòu)成一個高性能的、高可用的虛擬服務(wù)器，我們稱之為VS/NAT技術(shù)（Virtual Server via Network Address Translation），大多數(shù)商品化的IP負載均衡調(diào)度器產(chǎn)品都是使用此方法，如Cisco的LocalDirector、F5的Big/IP和Alteon的ACEDirector。在分析VS/NAT的缺點和網(wǎng)絡(luò)服務(wù)的非對稱性的基礎(chǔ)上，我們提出通過IP隧道實現(xiàn)虛擬服務(wù)器的方法VS/TUN（Virtual Server via IP Tunneling），和通過直接路由實現(xiàn)虛擬服務(wù)器的方法VS/DR（Virtual Server via Direct Routing），它們可以極大地提高系統(tǒng)的伸縮性。所以，IPVS軟件實現(xiàn)了這三種IP負載均衡技術(shù)，它們的大致原理如下：Virtual Server via Network Address Translation（VS/NAT） 通過網(wǎng)絡(luò)地址轉(zhuǎn)換，調(diào)度器重寫請求報文的目標(biāo)地址，根據(jù)預(yù)設(shè)的調(diào)度算法，將請求分派給后端真實服務(wù)器；真實服務(wù)器的響應(yīng)報文通過調(diào)度器時，報文源地址被重寫再返回給客戶，完成整個負載調(diào)度過程。下面的基本結(jié)構(gòu)和三層結(jié)構(gòu)其實都是利用NAT這種方式。這種情況的配置比較簡單，但通常在流量比較大的情況下會造成調(diào)度器的瓶頸。因為服務(wù)數(shù)據(jù)的返回必須通過調(diào)度器出去。Virtual Server via IP Tunneling（VS/TUN） 采用NAT技術(shù)時，由于請求和響應(yīng)報文都必須經(jīng)過調(diào)度器地址重寫，當(dāng)客戶請求越來越多時，調(diào)度器的處理能力將成為瓶頸。為了解決這個問題，調(diào)度器把請求報文通過IP隧道轉(zhuǎn)發(fā)至真實服務(wù)器，而真實服務(wù)器將響應(yīng)直接返回給客戶，所以調(diào)度器只處理請求報文。由于一般網(wǎng)絡(luò)服務(wù)應(yīng)答比請求報文大許多，采用VS/TUN技術(shù)后，集群系統(tǒng)的最大吞吐量可以提高10倍。 Virtual Server via Direct Routing（VS/DR） VS/DR通過改寫請求報文的MAC地址，將請求發(fā)送到真實服務(wù)器，而真實服務(wù)器將響應(yīng)直接返回給客戶。同VS/TUN技術(shù)一樣，VS/DR技術(shù)可極大地提高集群系統(tǒng)的伸縮性。這種方法沒有IP隧道的開銷，對集群中的真實服務(wù)器也沒有必須支持IP隧道協(xié)議的要求，但是要求調(diào)度器與真實服務(wù)器都有一塊網(wǎng)卡連在同一物理網(wǎng)段上。也就是說，在這種結(jié)構(gòu)中，數(shù)據(jù)從外部到內(nèi)部真實服務(wù)器的訪問會通過調(diào)度器進來，但是真實服務(wù)器對其的應(yīng)答不是通過調(diào)度器出去。即在大多數(shù)情況下，真實服務(wù)器可以通過各自的網(wǎng)關(guān)或者專用的網(wǎng)關(guān)對數(shù)據(jù)進行外發(fā)，從而降低調(diào)度器負載。同時在LVS中提供了八種不同的調(diào)度算法以供按照實際需求選擇：輪叫（Round Robin） 調(diào)度器通過輪叫調(diào)度算法將外部請求按順序輪流分配到集群中的真實服務(wù)器上，它均等地對待每一臺服務(wù)器，而不管服務(wù)器上實際的連接數(shù)和系統(tǒng)負載。 加權(quán)輪叫（Weighted Round Robin） 調(diào)度器通過加權(quán)輪叫調(diào)度算法根據(jù)真實服務(wù)器的不同處理能力來調(diào)度訪問請求。這樣可以保證處理能力強的服務(wù)器處理更多的訪問流量。調(diào)度器可以自動問詢真實服務(wù)器的負載情況，并動態(tài)地調(diào)整其權(quán)值。 最少鏈接（Least Connections） 調(diào)度器通過最少連接調(diào)度算法動態(tài)地將網(wǎng)絡(luò)請求調(diào)度到已建立的鏈接數(shù)最少的服務(wù)器上。如果集群系統(tǒng)的真實服務(wù)器具有相近的系統(tǒng)性能，采用最小連接調(diào)度算法可以較好地均衡負載。 加權(quán)最少鏈接（Weighted Least Connections） 在集群系統(tǒng)中的服務(wù)器性能差異較大的情況下，調(diào)度器采用加權(quán)最少鏈接調(diào)度算法優(yōu)化負載均衡性能，具有較高權(quán)值的服務(wù)器將承受較大比例的活動連接負載。調(diào)度器可以自動問詢真實服務(wù)器的負載情況，并動態(tài)地調(diào)整其權(quán)值。 基于局部性的最少鏈接（LocalityBased Least Connections） 基于局部性的最少鏈接 調(diào)度算法是針對目標(biāo)IP地址的負載均衡，目前主要用于Cache集群系統(tǒng)。該算法根據(jù)請求的目標(biāo)IP地址找出該目標(biāo)IP地址最近使用的服務(wù)器，若該服務(wù)器是可用的且沒有超載，將請求發(fā)送到該服務(wù)器；若服務(wù)器不存在，或者該服務(wù)器超載且有服務(wù)器處于一半的工作負載，則用最少鏈接的原則選出一個可用的服務(wù)器，將請求發(fā)送到該服務(wù)器。 帶復(fù)制的基于局部性最少鏈接（LocalityBased Least Connections with Replication） 帶復(fù)制的基于局部性最少鏈接調(diào)度算法也是針對目標(biāo)IP地址的負載均衡，目前主要用于Cache集群系統(tǒng)。它與LBLC算法的不同之處是它要維護從一個目標(biāo)IP地址到一組服務(wù)器的映射，而LBLC算法維護從一個目標(biāo)IP地址到一臺服務(wù)器的映射。該算法根據(jù)請求的目標(biāo)IP地址找出該目標(biāo)IP地址對應(yīng)的服務(wù)器組，按最小連接原則從服務(wù)器組中選出一臺服務(wù)器，若服務(wù)器沒有超載，將請求發(fā)送到該服務(wù)器，若服務(wù)器超載；則按最小連接原則從這個集群中選出一臺服務(wù)器，將該服務(wù)器加入到服務(wù)器組中，將請求發(fā)送到該服務(wù)器。同時，當(dāng)該服務(wù)器組有一段時間沒有被修改，將最忙的服務(wù)器從服務(wù)器組中刪除，以降低復(fù)制的程度。 目標(biāo)地址散列（Destination Hashing） 目標(biāo)地址散列調(diào)度算法根據(jù)請求的目標(biāo)IP地址，作為散列鍵（Hash Key）從靜態(tài)分配的散列表找出對應(yīng)的服務(wù)器，若該服務(wù)器是可用的且未超載，將請求發(fā)送到該服務(wù)器，否則返回空。 源地址散列（Source Hashing） 源地址散列調(diào)度算法根據(jù)請求的源IP地址，作為散列鍵（Hash Key）從靜態(tài)分配的散列表找出對應(yīng)的服務(wù)器，若該服務(wù)器是可用的且未超載，將請求發(fā)送到該服務(wù)器，否則返回空。 上述八種負載均衡調(diào)度算法在實施中，節(jié)點的權(quán)重越高，在集群中使用的頻率就越高。比如說權(quán)重為2的節(jié)點在每接收兩個訪問請求之后，權(quán)重為1的節(jié)點才接收一個訪問請求。LVS集群采用IP負載均衡技術(shù)和基于內(nèi)容請求分發(fā)技術(shù)。調(diào)度器具有很好的吞吐率，將請求均衡地轉(zhuǎn)移到不同的服務(wù)器上執(zhí)行，且調(diào)度器自動屏蔽掉服務(wù)器的故障，從而將一組服務(wù)器構(gòu)成一個高性能的、高可用的虛擬服務(wù)器。整個服務(wù)器集群的結(jié)構(gòu)對客戶是透明的，而且無需修改客戶端和服務(wù)器端的程序。為此，在設(shè)計時需要考慮系統(tǒng)的透明性、可伸縮性、高可用性和易管理性。一般來說，LVS集群采用三層結(jié)構(gòu)，其體系結(jié)構(gòu)如圖1所示，三層主要組成部分為： 負載調(diào)度器（load balancer），它是整個集群對外面的前端機，負責(zé)將客戶的請求發(fā)送到一組服務(wù)器上執(zhí)行，而客戶認為服務(wù)是來自一個IP地址（我們可稱之為虛擬IP地址）上的。 服務(wù)器池（server pool），是一組真正執(zhí)行客戶請求的服務(wù)器，服務(wù)有WEB、MAIL、FTP和DNS等。 共享存儲（shared storage），它為服務(wù)器池提供一個共享的存儲區(qū)，這樣很容易使得服務(wù)器池擁有相同的內(nèi)容，提供相同的服務(wù)。 調(diào)度器是服務(wù)器集群系統(tǒng)的唯一入口點（Single Entry Point），它可以采用IP負載均衡技術(shù)、基于內(nèi)容請求分發(fā)技術(shù)或者兩者相結(jié)合。在IP負載均衡技術(shù)中，需要服務(wù)器池擁有相同的內(nèi)容提供相同的服務(wù)。當(dāng)客戶請求到達時，調(diào)度器只根據(jù)服務(wù)器負載情況和設(shè)定的調(diào)度算法從服務(wù)器池中選出一個服務(wù)器，將該請求轉(zhuǎn)發(fā)到選出的服務(wù)器，并記錄這個調(diào)度；當(dāng)這個請求的其他報文到達，也會被轉(zhuǎn)發(fā)到前面選出的服務(wù)器。在基于內(nèi)容請求分發(fā)技術(shù)中，服務(wù)器可以提供不同的服務(wù)，當(dāng)客戶請求到達時，調(diào)度器可根據(jù)請求的內(nèi)容選擇服務(wù)器執(zhí)行請求。因為所有的操作都是在Linux操作系統(tǒng)核心空間中將完成的，它的調(diào)度開銷很小，所以它具有很高的吞吐率。服務(wù)器池的結(jié)點數(shù)目是可變的。當(dāng)整個系統(tǒng)收到的負載超過目前所有結(jié)點的處理能力時，可以在服務(wù)器池中增加服務(wù)器來滿足不斷增長的請求負載。對大多數(shù)網(wǎng)絡(luò)服務(wù)來說，請求間不存在很強的相關(guān)性，請求可在不同的結(jié)點上并行執(zhí)行，所以整個系統(tǒng)的性能基本上可隨著服務(wù)器池的結(jié)點數(shù)目增加而線性增長。共享存儲通常是數(shù)據(jù)庫、網(wǎng)絡(luò)文件系統(tǒng)或者分布式文件系統(tǒng)。服務(wù)器結(jié)點需要動態(tài)更新的數(shù)據(jù)一般存儲在數(shù)據(jù)庫系統(tǒng)中，同時數(shù)據(jù)庫會保證并發(fā)訪問時數(shù)據(jù)的一致性。靜態(tài)的數(shù)據(jù)可以存儲在網(wǎng)絡(luò)文件系統(tǒng)（如NFS/CIFS）中，但網(wǎng)絡(luò)文件系統(tǒng)的伸縮能力有限，一般來說，NFS/CIFS服務(wù)器只能支持3~6個繁忙的服務(wù)器結(jié)點。對于規(guī)模較大的集群系統(tǒng)，可以考慮用分布式文件系統(tǒng)，如AFS[1]、GFS[]、Coda[4]和Intermezzo[5]等。分布式文件系統(tǒng)可為各服務(wù)器提供共享的存儲區(qū)，它們訪問分布式文件系統(tǒng)就像訪問本地文件系統(tǒng)一樣，同時分布式文件系統(tǒng)可提供良好的伸縮性和可用性。此外，當(dāng)不同服務(wù)器上的應(yīng)用程序同時讀寫訪問分布式文件系統(tǒng)上同一資源時，應(yīng)用程序的訪問沖突需要消解才能使得資源處于一致狀態(tài)。這需要一個分布式鎖管理器（Distributed Lock Manager），它可能是分布式文件系統(tǒng)內(nèi)部提供的，也可能是外部的。開發(fā)者在寫應(yīng)用程序時，可以使用分布式鎖管理器來保證應(yīng)用程序在不同結(jié)點上并發(fā)訪問的一致性。負載調(diào)度器、服務(wù)器池和共享存儲系統(tǒng)通過高速網(wǎng)絡(luò)相連接，如100Mbps交換網(wǎng)絡(luò)、Myrinet和Gigabit網(wǎng)絡(luò)等。使用高速的網(wǎng)絡(luò)，主要為避免當(dāng)系統(tǒng)規(guī)模擴大時互聯(lián)網(wǎng)絡(luò)成為整個系統(tǒng)的瓶頸。Graphic Monitor是為系統(tǒng)管理員提供整個集群系統(tǒng)的監(jiān)視器，它可以監(jiān)視系統(tǒng)的狀態(tài)。Graphic Monitor是基于瀏覽器的，所以無論管理員在本地還是異地都可以監(jiān)測系統(tǒng)的狀況。為了安全的原因，瀏覽器要通過HTTPS（Secure HTTP）協(xié)議和身份認證后，才能進行系統(tǒng)監(jiān)測，并進行系統(tǒng)的配置和管理。層次的體系結(jié)構(gòu)可以使得層與層之間相互獨立，每一個層次提供不同的功能，在一個層次可以重用不同的已有軟件。例如，調(diào)度器層提供了負載平衡、可伸縮性和高可用性等，在服務(wù)器層可以運行不同的網(wǎng)絡(luò)服務(wù)，如Web、Cache、Mail和Media等，來提供不同的可伸縮網(wǎng)絡(luò)服務(wù)。明確的功能劃分和清晰的層次結(jié)構(gòu)使得系統(tǒng)容易建設(shè)，以后整個系統(tǒng)容易維護，而且系統(tǒng)的性能容易被擴展。共享存儲如分布式文件系統(tǒng)在這個LVS集群系統(tǒng)是可選項。當(dāng)網(wǎng)絡(luò)服務(wù)需要有相同的內(nèi)容，共享存儲是很好的選擇，否則每臺服務(wù)器需要將相同的內(nèi)容復(fù)制到本地硬盤上。當(dāng)系統(tǒng)存儲的內(nèi)容越多，這種無共享結(jié)構(gòu)（Sharednothing Structure）的代價越大，因為每臺服務(wù)器需要一樣大的存儲空間，任何的更新需要涉及到每臺服務(wù)器，系統(tǒng)的維護代價會非常高。共享存儲為服務(wù)器組提供統(tǒng)一的存儲空間，這使得系統(tǒng)的內(nèi)容維護工作比較輕松，如Webmaster只需要更新共享存儲中的頁面，對所有的服務(wù)器都有效。分布式文件系統(tǒng)提供良好的伸縮性和可用性，當(dāng)分布式文件系統(tǒng)的存儲空間增加時，所有服務(wù)器的存儲空間也隨之增大。對于大多數(shù)Internet服務(wù)來說，它們都是讀密集型（Readintensive）的應(yīng)用，分布式文件系統(tǒng)在每臺服務(wù)器使用本地硬盤作Cache（如2Gbytes的空間），可以使得訪問分布式文件系統(tǒng)本地的速度接近于訪問本地硬盤。此外，存儲硬件技術(shù)的發(fā)展也促使從無共享的集群向共享存儲的集群遷移。存儲區(qū)域網(wǎng)（Storage Area Networks）技術(shù)解決了集群的每個結(jié)點可以直接連接/共享一個龐大的硬盤陣列，硬件廠商也提供多種硬盤共享技術(shù)，如光纖通道（Fiber Channel）、共享SCSI（Shared SCSI）。InfiniBand是一個通用的高性能I/O規(guī)范，使得存儲區(qū)域網(wǎng)中以更低的延時傳輸I/O消息和集群通訊消息，并且提供很好的伸縮性。InfiniBand得到絕大多數(shù)的大廠商的支持，如Compaq、Dell、HewlettPackard、IBM、Intel、Microsoft和SUN Microsystems等，它正在成為一個業(yè)界的標(biāo)準。這些技術(shù)的發(fā)展使得共享存儲變得容易，規(guī)模生產(chǎn)也會使得成本逐步降低。集群系統(tǒng)的特點是它在軟硬件上都有冗余。系統(tǒng)的高可用性可以通過檢測節(jié)點或服務(wù)進程故障和正確地重置系統(tǒng)來實現(xiàn)，使得系統(tǒng)收到的請求能被存活的結(jié)點處理。通常，我們在調(diào)度器上有資源監(jiān)測進程來時刻監(jiān)視各個服務(wù)器結(jié)點的健康狀況。當(dāng)服務(wù)器對ICMP ping不可達時或者探測她的網(wǎng)絡(luò)服務(wù)在指定的時間沒有響應(yīng)時，資源監(jiān)