【正文】 求發(fā)送到該服務(wù)器，否則返回空。3. 其他技術(shù)[1] 調(diào)度器它是整個集群對外面的前端機，負責將客戶的請求發(fā)送到一組服務(wù)器上執(zhí)行，而客戶認為服務(wù)是來自一個IP地址（我們可稱之為虛擬IP地址）上的。整個服務(wù)器集群的結(jié)構(gòu)對客戶是透明的，而且無需修改客戶端和服務(wù)器端的程序。在IP負載均衡技術(shù)中，需要服務(wù)器池擁有相同的內(nèi)容提供相同的服務(wù)。在基于內(nèi)容請求分發(fā)技術(shù)中，服務(wù)器可以提供不同的服務(wù)，當客戶請求到達時，調(diào)度器可根據(jù)請求的內(nèi)容選擇服務(wù)器 執(zhí)行請求。[2] 虛擬服務(wù)虛擬服務(wù)的設(shè)置數(shù)目沒有限制，每個虛擬服務(wù)有自己的服務(wù)器集。[3] 服務(wù)器池服務(wù)器池（server pool），是一組真正執(zhí)行客戶請求的服務(wù)器，執(zhí)行的服務(wù)有WEB、MAIL、FTP和DNS等。當整個系統(tǒng)收到的負載超過目前所有結(jié)點的處理能力時，可以在服務(wù)器池中增加服務(wù)器來滿足不斷增長的請求負載。共享存儲通常是數(shù)據(jù)庫、網(wǎng)絡(luò)文件系統(tǒng)或者分布式文件系統(tǒng)。靜態(tài)的數(shù)據(jù)可以存儲在網(wǎng)絡(luò)文件系統(tǒng)（如NFS/CIFS）中，但網(wǎng)絡(luò)文件系統(tǒng)的伸縮能力有限，一般來說，NFS/CIFS服務(wù)器只能 支持3~6個繁忙的服務(wù)器結(jié)點。分布式文件系統(tǒng)可為各服務(wù)器提供共享的存儲區(qū)，它們訪問分布式文件系統(tǒng)就像訪問本地文件系統(tǒng)一樣，同時分布式文件系統(tǒng)可提供良好的伸縮性和可用性。這需要一個分布式鎖管理器（Distributed Lock Manager），它可能是分布式文件系統(tǒng)內(nèi)部提供的，也可能是外部的。關(guān)鍵詞：網(wǎng)絡(luò)文件系統(tǒng)、分布式文件系統(tǒng)、數(shù)據(jù)的一致性、分布式鎖管理器。硬件廠商也提供多種硬盤共享技術(shù)，如光纖通道（Fiber Channel）、共享SCSI（Shared SCSI）。[5] 相關(guān)ICMP消息處理在IPVS內(nèi)部實現(xiàn)上，采用了高效的Hash函數(shù)和垃圾回收機制，能正確處理所調(diào)度報文相 關(guān)的ICMP消息（有些商品化的系統(tǒng)反而不能）。 內(nèi)核Layer7交換機KTCPVS1. IPVS根據(jù)4層信息進行調(diào)度（選擇服務(wù)器）。3. 在內(nèi)核中實現(xiàn)Layer7交換，稱之為KTCPVS（Kernel TCP Virtual Server）。5. 根據(jù)局部性原理，提高單臺服務(wù)器的Cache命中率在基于IP負載調(diào)度技術(shù)中，當一個TCP連接的初始SYN報文到達時，調(diào)度器就選擇一臺服務(wù)器，將報文轉(zhuǎn)發(fā)給它。這樣，IPVS無法檢查到請求的內(nèi)容再選擇服務(wù)器，這就要求后端服務(wù)器組提供相同的服務(wù)，不管請求被發(fā)送到哪 一臺服務(wù)器，返回結(jié)果都是一樣的。由于用戶空間TCP Gateway的開銷太大，我們提出在操作系統(tǒng)的內(nèi)核中實現(xiàn)Layer7交換方法，來避免用戶空間與核心空間的切換和內(nèi)存復(fù)制的開銷。目前，KTCPVS已經(jīng)能對HTTP請求進行基于內(nèi)容的調(diào)度，但它還不很成熟，在其調(diào)度算法和各種協(xié)議的功能支持等方面，有大量的工作需要做。一些研究[5]表明WEB訪問流中存在局部性。后端服務(wù)器可運行不同類型的服務(wù)，如文檔服務(wù)，圖片服務(wù)，CGI服務(wù)和數(shù)據(jù)庫服務(wù)等 集群管理軟件有相關(guān)的集群管理軟件對資源進行監(jiān)測，能及時將故障屏蔽，實現(xiàn)系統(tǒng)的高可用性。 通用網(wǎng)絡(luò)服務(wù)可以利用LVS框架實現(xiàn)高可伸縮的、高可用的Web、Cache、Mail和Media等網(wǎng)絡(luò)服務(wù)。 LVS的高可靠性集群系統(tǒng)的特點是它在軟硬件上都有冗余。 服務(wù)器失效管理服務(wù)器失效管理【服務(wù)器健康探測】通常，我們在調(diào)度器上有資源監(jiān)測進程來時刻監(jiān)視各個服務(wù)器結(jié)點的健康狀況。這樣，新的服務(wù)請求就 不會被調(diào)度到壞的結(jié)點。一旦監(jiān)測進程到服務(wù)器恢復(fù)工作，通知調(diào)度器將其加入調(diào)度列表進行調(diào)度。 調(diào)度器失效管理調(diào)度器失效管理【Heartbeat雙機熱備】現(xiàn)在前端的調(diào)度器有可能成為系統(tǒng)的單一失效點（Single Point of Failure）。為了避免調(diào)度器失效而導(dǎo)致整個系統(tǒng)不能工作，我們需要設(shè)立一個從調(diào)度器作為主調(diào)度器的備份。當從調(diào)度器不能聽得主調(diào)度器的心跳時，從調(diào)度器通過ARP欺騙 （Gratuitous ARP）來接管集群對外的Virtual IP Address，同時接管主調(diào)度器的工作來提供負載調(diào)度服務(wù)。這里，多條心跳線可以使得因心跳線故障導(dǎo)致誤判（即從調(diào)度器認為主調(diào)度器已經(jīng)失效，其實主調(diào)度器還在正常工作）的概論 降到最低?？蛻粜枰蛑匦逻B接，從調(diào)度器才會將新連接調(diào) 度到各個服務(wù)器上，這對客戶會造成一定的不便。當從調(diào)度器接管時，絕大部分已建立的連接會持續(xù)下去。靜態(tài)頁面，可以存儲在網(wǎng)絡(luò)文件系統(tǒng)或分布式文件系統(tǒng)中，如HTML文檔和圖片等。3. 保持性需求使用HTTP Cookie后連接必須被發(fā)送到同一Web服務(wù)器有些Web服務(wù)可能用到HTTP Cookie，它是將數(shù)據(jù)存儲在客戶的瀏覽器來追蹤和標識客戶的機制。SSL Key的生命周期內(nèi)連接必須被發(fā)送到同一Web服務(wù)器一些Web服務(wù)使用安全的HTTPS協(xié)議，它是HTTP協(xié)議加 SSL（Secure Socket Layer）協(xié)議。當客戶訪問HTTPS服務(wù)（HTTPS的缺省端口為 443）時，會先建立一個SSL連接，來交換對稱公鑰加密的證書并協(xié)商一個SSL Key，來加密以后的會話。針對這些需要，IPVS調(diào)度器提供了持久服務(wù)的功能，它可以使得在設(shè)定的時間內(nèi)，來自同一IP地 址的不同連接會被發(fā)送到集群中同一個服務(wù)器結(jié)點，可以很好地解決客戶連接的相關(guān)性問題。第二層是 Web服務(wù)器池，在每個結(jié)點上可以運行相應(yīng)的媒體服務(wù)。2. 保持性需求同一客戶的媒體TCP和UDP連接必須被發(fā)送到同一媒體服務(wù)器流媒體服務(wù)都會使用一個TCP連接（如RTSP協(xié)議：RealTime Streaming Protocol）進行帶寬的協(xié)商和流速的控制，通過UDP將流數(shù)據(jù)返回客戶。 Cache服務(wù)器負載均衡1. 兩層結(jié)構(gòu)第一層是負載調(diào)度器，一般采用IP負載均衡技術(shù)；使用IP隧道方法。2. IP隧道方法IPVS負載調(diào)度器一般使用IP隧道方法（即VS/TUN方法，將在以后文章中詳細敘述），來架構(gòu)Cache集群系統(tǒng)，因為Cache服務(wù)器可能被 放置不同的地方（例如在接近主干Internet連接處），而調(diào)度器與Cache服務(wù)器池可能不在同一個物理網(wǎng)絡(luò)中。在請求對象不能在本地命中的情況下，Cache服務(wù)器要向源服務(wù)器發(fā)請求，將結(jié)果取回，最 后將結(jié)果返回給客戶；若采用NAT技術(shù)的商品化調(diào)度器，需要四次進出調(diào)度器，完成這個請求。所以，這種方法對Cache集群系統(tǒng)特別有效。Cache服務(wù)器間有專用的多播通道（Multicast Channel），通過ICP協(xié)議（Internet Cache Protocol）來交互信息。 郵件服務(wù)器負載均衡1. 三層結(jié)構(gòu)第一層是一個采用IP負載均衡技術(shù)的負載調(diào)度器；第二層是服務(wù)器池，有LDAP目錄服務(wù)器和一組郵件服務(wù)器。2. 郵件服務(wù)介紹LDAP服務(wù)器：LDAP服務(wù)器中存儲用戶的信息如用戶名、口令、主目錄和郵件容量限額等，可以通過HTTPS讓管理員進行用戶管理。SMTP服務(wù)器：SMTP接受和轉(zhuǎn)發(fā)用戶的郵件，SMTP服務(wù)進程查詢LDAP服務(wù)器獲得用戶信息，再存儲郵件。這里，需要有機制避免不同服務(wù)器上的SMTP、POP3和IMAP4服務(wù)進程對用戶郵件的讀寫沖突。3. 性能瓶頸系統(tǒng)中可能的瓶頸是LDAP服務(wù)器，對LDAP服務(wù)中B+樹的參數(shù)進行優(yōu)化，再結(jié)合高端的服務(wù)器，可以獲得較高的性能。 地理分布LVS集群的體系結(jié)構(gòu)由于互聯(lián)網(wǎng)用戶分布在世界各地，通過地理分布的服務(wù)器讓用戶訪問就近的服務(wù)器，來節(jié)省網(wǎng)絡(luò)流量和提高響應(yīng)速度。216。 基于BGP的地理分布服務(wù)器集群調(diào)度216。三個LVS集群系統(tǒng)都有自己的分布式文件系統(tǒng)，它們的內(nèi)容是相互復(fù)制的，提供相同的網(wǎng)絡(luò)服務(wù)。當用戶通過VirtualIP Address訪問網(wǎng)絡(luò)服務(wù)，離用戶最近的LVS集群提供服務(wù)。
地理分布LVS集群系統(tǒng)可以帶來以下好處：使得用戶訪問離他們最近的系統(tǒng)，對用戶來說體驗到更快的響應(yīng)速度，對服務(wù)提供商來說節(jié)約網(wǎng)絡(luò)帶寬，降低成本。當一個地點發(fā)生地震、火災(zāi)等使得系統(tǒng)或者網(wǎng)絡(luò)連接癱瘓時，所有的用戶訪問可以很快由其他地點的LVS集群來提供。2. 基于BGP的地理分布服務(wù)器集群調(diào)度BGP（BorderGatewayProtocol）是用于自治系統(tǒng)（AutonomousSystems）之間交換路由信息的協(xié)議，BGP可以設(shè)置路由策略，如政策、安全和經(jīng)濟上的考慮。在不同區(qū)域的LVS集群向它附近的BGP路由器廣播到VirtualIPAddress的路由信息，這樣就存在多條到VirtualIPAddress的路徑，Internet的BGP路由器會根據(jù)評價函數(shù)選出最近的一條路徑。當一個LVS集群系統(tǒng)失效時，它的路由信息自然不會在Internet的BGP路由器中交換，BGP路由器會選擇其他到VirtualIPAddress的路徑。：基于BGP的地理分布服務(wù)器集群調(diào)度例子下面我們舉一個基于BGP的地理分布服務(wù)器集群調(diào)度例子，它也是我們在實驗室中測試的。兩個LVS集群系統(tǒng)分別放置在兩個不同數(shù)據(jù)中心IDC1和IDC2中，LB1和LB2分別是兩個LVS集群系統(tǒng)的負載調(diào)度器。在第二個集群中?！?→5。當我們關(guān)掉LB2后，在該BGP路由器上查到AS5的自治系統(tǒng)路徑變?yōu)?→1→5。例如，中國用戶在白天時間的一段訪問高峰使得在中國的鏡像服務(wù)器集群系統(tǒng)超載，而此時美國是晚上時間其鏡像服務(wù)器集群系統(tǒng)處于低負載狀態(tài)。在下一章中將詳細描述如何通過IP隧道作IP負載均衡調(diào)度。例如，調(diào)度器通過IP隧道將新的請求轉(zhuǎn)發(fā)到遠處的集群系統(tǒng)。也停止轉(zhuǎn)發(fā)請求，由本地服務(wù)器處理。即使兩個調(diào)度器間相互轉(zhuǎn)發(fā)一個請求報文的例外情況發(fā)生，報文的TTL會降到零，報文被丟掉。[2] 提供一個統(tǒng)一的、功能較完善、更靈活的LVS集群管理軟件。[4] 在TCP粘合（TCP Splicing）和TCP轉(zhuǎn)移（TCP Handoff）等方面，做一些嘗試性工作，進一步改進LVS集群中的應(yīng)用層調(diào)度。缺點：域名解析結(jié)果會緩存，負載均衡不及時。缺點：需要客戶端支持，需要人工干預(yù)。 客戶端將請求發(fā)送給代理服務(wù)器（位于服務(wù)器端）， 代理服務(wù)器代理向選擇的后臺的服務(wù)器發(fā)請求。缺點：開銷太大；對于不同的服務(wù)需要不同的代理服務(wù)器。真實服務(wù)器的回應(yīng)報文經(jīng)過負載調(diào)度器 時，將報文的源地址和源端口改為Virtual IP Address和相應(yīng)的端口，再把報文發(fā)給用戶。（2）快速報文插入技術(shù)MagicRouter是在Linux ，使得進行負載均衡調(diào)度的用戶進程訪問網(wǎng)絡(luò)設(shè)備接近核心空間的速度，降低了上下文切換的處理開銷，但并不徹底，它只是研究的原型系統(tǒng)，沒有成為有用的系統(tǒng)存活下來。（3）其他廠商技術(shù)IBM的TCP Router使用修改過的網(wǎng)絡(luò)地址轉(zhuǎn)換方法在SP/2系統(tǒng)實現(xiàn)可伸縮的WEB服務(wù)器。這種方法的好處是響應(yīng)報文可以直接返回給客戶，壞處是每臺服務(wù)器的操作系統(tǒng)內(nèi)核都需要修改。這種方法與LVS集群中的VS/DR類似，它具有很高的 可伸縮性，但一套在IBM SP/2和NetDispatcher需要上百萬美金。在貝爾實驗室的ONEIP中，每臺服務(wù)器都獨立的IP地址，但都用IP Alias配置上同一VIP地址，采用路由和廣播兩種方法分發(fā)請求，服務(wù)器收到請求后按VIP地址處理請求，并以VIP為源地址返回結(jié)果。通過廣播分發(fā)請求，同樣需要修改服務(wù)器操作系統(tǒng)的源碼來過濾報文，使得只 有一臺服務(wù)器處理廣播來的請求。WLBS作為過濾器運行在網(wǎng)卡驅(qū)動程序和TCP/IP協(xié)議棧之間，獲得目標地址 為VIP的報文，它的過濾算法檢查報文的源IP地址和端口號，保證只有一臺服務(wù)器將報文交給上一層處理。同時，WLBS需要所有的服務(wù)器有相同的配置，如網(wǎng)卡速度和處理能力。6. 基于IP隧道實現(xiàn)虛擬服務(wù)器技術(shù)采用NAT技術(shù)時，由于請求和響應(yīng)報文都必須經(jīng)過調(diào)度器地址重寫，當客戶請求越來越多時，調(diào)度器的處理能力將成為瓶頸。由于一般網(wǎng)絡(luò)服務(wù)應(yīng)答比請求報文大許多，采用 VS/TUN技術(shù)后，集群系統(tǒng)的最大吞吐量可以提高10倍。同VS/TUN技術(shù)一樣，VS/DR技術(shù)可極大地 提高集群系統(tǒng)的伸縮性。 負載均衡算法 靜態(tài)負載均衡算法八種調(diào)度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh） 動態(tài)負載均衡算法（1）在負載調(diào)度器上運行Monitor Daemon進程，Monitor Daemon來監(jiān)視和收集各個服務(wù)器的負載信息（2）Monitor Daemon將各個服務(wù)器的綜合負載值和當前權(quán)值算出一組新的權(quán)值，若新權(quán)值和當前權(quán)值的差值大于設(shè)定的閥值，（3）Monitor Daemon將該服務(wù)器的權(quán)值設(shè)置到內(nèi)核中的IPVS調(diào)度中，而在內(nèi)核中連接調(diào)度一般采用加權(quán)輪叫調(diào)度算法或者加權(quán)最小連接調(diào)度算法。Control Module主控服務(wù)器，掛接在LOCAL_IN和IP_FORWAD兩個HOOK點上；用于截取/改寫IP報文。則直接發(fā)送到目標服務(wù)器。FORWARD點工作： 改寫VS/NAT中服務(wù)器響應(yīng)報文的地址。 連接哈希表模塊：Connection Hash Table 用于記錄當前連接的Hash表。（2）連接Hash表的通的個數(shù)可由用戶自定義設(shè)置。（2）發(fā)送方式有VS/NAT、VS/TUN、VS/DR和本地階段。選擇Hash表、優(yōu)先Tree等復(fù)雜數(shù)據(jù)結(jié)構(gòu)的原因是Hash表的插入和刪除的復(fù)雜度為O(1)，而Tree的復(fù)雜度為O(log(n))。當對象在Hash表中均勻分布和Hash表的桶個數(shù)與對象個數(shù)一樣多時，Hash表的查找復(fù)雜度可以接近O(1)。連接Hash函數(shù)的選擇要考慮到兩個因素，一個是盡可能地降低Hash表的沖突率，另一個是Hash函數(shù)的計算不是很復(fù)雜。所以，我們選擇客戶的信息來計算HashKey 過期連接回收器模塊：Stale Connection Collector用于回收過時的連接為了將不再被使用的連接單元回收，我們在連接上設(shè)置一個定時器，當連接超時，將該連接回收。因為連接的回收并不需要很精確，我們可以讓系統(tǒng)的