【正文】 侵權(quán)必究All rights reserved 第6頁 ,共 39頁P(yáng)age 6 , Total39 網(wǎng)站的物理架構(gòu)I n t e r n e t服 務(wù) 器 2代 理 服 務(wù) 器 集 群（ N g i n x ）W e b 服 務(wù) 器 集 群 B負(fù) 載 均 衡 器 1. . .服 務(wù) 器 n服 務(wù) 器 2服 務(wù) 器 n服 務(wù) 器 1S q u i d 服 務(wù) 器 集 群服 務(wù) 器 1 服 務(wù) 器 2. . .用 戶 瀏 覽 頁 面服 務(wù) 器 2服 務(wù) 器 1服 務(wù) 器 1 服 務(wù) 器 2W e b 服 務(wù) 器 集 群 A服 務(wù) 器 1 服 務(wù) 器 2圖 片 服 務(wù) 器 集 群服 務(wù) 器 3公開 內(nèi)部公開機(jī)密 絕密√5/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第7頁 ,共 39頁P(yáng)age 7 , Total39 網(wǎng)站的開發(fā)架構(gòu)T o m a tA p a c h eW E B 服 務(wù) 器數(shù) 據(jù) 存 儲(chǔ)文 件 存 儲(chǔ)T o m a tH D F S. . .W E B容 器基 于 s t r u t s 的 M V C 框 架M o d e lV i e w持 久 層頁 面 緩 存 （ M e m c a c h e d ）通 訊 層S M SM M SW A P P U S H短 信 群發(fā) 器彩 信 群發(fā) 器數(shù) 據(jù) 庫消息中心消 息中 心O R Mi b a t i sD B 連 接 池C 3 p 0H T M L 靜態(tài) 化 模 塊后 臺(tái) 支撐 模 塊業(yè) 務(wù) 支 撐模 塊請 求數(shù) 據(jù)生 產(chǎn) 數(shù) 據(jù) 庫（ R A C ）生 產(chǎn) 數(shù) 據(jù) 庫（ R A C ）統(tǒng) 計(jì) 支 撐模 塊I / OC o n t r o l業(yè) 務(wù) 層 數(shù) 據(jù) 層J D B C查 詢 數(shù) 據(jù) 庫公開 內(nèi)部公開機(jī)密 絕密√5/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第8頁 ,共 39頁P(yáng)age 8 , Total39 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)I n t e r n e t主 防 火 墻主 交 換 機(jī)V R R P備 防 火 墻服 務(wù) 器 2服 務(wù) 器 1服 務(wù) 器 2服 務(wù) 器 n服 務(wù) 器 2服 務(wù) 器 2服 務(wù) 器 1 服 務(wù) 器 1代 理 服 務(wù) 器 集 群（ N g i n x ）網(wǎng) 站 服 務(wù) 器 集 群生 產(chǎn) D B 服 務(wù) 器 集 群 查 詢 D B 服 務(wù) 器 組光 纖 交 換 機(jī)光 纖 交 換 機(jī)磁 盤 陣 列 柜 磁 盤 陣 列 柜備 交 換 機(jī)負(fù) 載 均 衡 器 1負(fù) 載 均 衡 器 2. . .服 務(wù) 器 n服 務(wù) 器 2服 務(wù) 器 n服 務(wù) 器 1應(yīng) 用 服 務(wù) 器 集 群管 理 終 端服 務(wù) 器 1 服 務(wù) 器 n. . .服 務(wù) 器 2服 務(wù) 器 1 服 務(wù) 器 n圖 片 服 務(wù) 器 集 群備注：1) 采用雙防火墻雙交換機(jī)做網(wǎng)絡(luò)冗余，保障平臺(tái)服務(wù)采用雙防火墻通知接通2線路互聯(lián)網(wǎng)接入，設(shè)備之間采用VRRP協(xié)議，在任何一個(gè)防火墻、互聯(lián)網(wǎng)發(fā)生故障后均可自動(dòng)將流量切換到另一端，保證網(wǎng)站的正運(yùn)行，設(shè)備或網(wǎng)絡(luò)恢復(fù)后，自動(dòng)恢復(fù)。采用雙千兆交換機(jī)分別接在2臺(tái)防火墻上，當(dāng)某臺(tái)設(shè)備或者網(wǎng)絡(luò)鏈路發(fā)生故障后，好設(shè)備自動(dòng)接管已壞設(shè)備的工作，不影響網(wǎng)站的整體運(yùn)行，根據(jù)業(yè)務(wù)及真實(shí)服務(wù)器的數(shù)量，交換機(jī)可以隨時(shí)增加。2) 采用硬件設(shè)備負(fù)載均衡器，實(shí)現(xiàn)網(wǎng)絡(luò)流量的負(fù)載均衡使用硬件設(shè)備負(fù)載均衡器，將網(wǎng)絡(luò)流量均衡的分擔(dān)到WEB服務(wù)器集群各節(jié)點(diǎn)服務(wù)器，保障平臺(tái)服務(wù)器資源均衡的使用。3) 采用代理服務(wù)器，實(shí)現(xiàn)軟件級(jí)的網(wǎng)絡(luò)負(fù)載均衡。4) 數(shù)據(jù)庫服務(wù)器分離成生產(chǎn)數(shù)據(jù)庫集群和查詢數(shù)據(jù)庫集群，實(shí)現(xiàn)生產(chǎn)讀寫與后臺(tái)查詢統(tǒng)計(jì)進(jìn)行分離，同時(shí)生產(chǎn)數(shù)據(jù)庫采用rac技術(shù)進(jìn)行公開 內(nèi)部公開機(jī)密 絕密√5/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第9頁 ,共 39頁P(yáng)age 9 , Total39 架構(gòu)涉及技術(shù)的詳解 負(fù)載均衡1. 基于DNS的負(fù)載均衡 一個(gè)域名綁定多個(gè)IPDNS負(fù)載均衡技術(shù)是最早的負(fù)載均衡解決方案，它是通過DNS服務(wù)中的隨機(jī)名字解析來實(shí)現(xiàn)的，在DNS服務(wù)器中，可以為多個(gè)不同的地址配置同一個(gè)名字，而最終查詢這個(gè)名字的客戶機(jī)將在解析這個(gè)名字時(shí)得到其中的一個(gè)地址。因此，對于同一個(gè)名字，不同的客戶機(jī)會(huì)得到不同的地址，它們也就訪問不同地址上的Web 服務(wù)器，從而達(dá)到負(fù)載均衡的目的。這種技術(shù)的優(yōu)點(diǎn)是，實(shí)現(xiàn)簡單、實(shí)施容易、成本低、適用于大多數(shù)TCP/IP應(yīng)用；但是，其缺點(diǎn)也非常明顯，首先這種方案不是真正意義上的負(fù)載均衡，DNS 服務(wù)器將Http請求平均地分配到后臺(tái)的Web服務(wù)器上，而不考慮每個(gè)Web服務(wù)器當(dāng)前的負(fù)載情況；如果后臺(tái)的Web服務(wù)器的配置和處理能力不同，最慢的 Web服務(wù)器將成為系統(tǒng)的瓶頸，處理能力強(qiáng)的服務(wù)器不能充分發(fā)揮作用；其次未考慮容錯(cuò)，如果后臺(tái)的某臺(tái)Web服務(wù)器出現(xiàn)故障，DNS服務(wù)器仍然會(huì)把DNS 請求分配到這臺(tái)故障服務(wù)器上，導(dǎo)致不能響應(yīng)客戶端。最后一點(diǎn)是致命的，有可能造成相當(dāng)一部分客戶不能享受Web服務(wù)，并且由于DNS 緩存的原因，所造成的后果要持續(xù)相當(dāng)長一段時(shí)間(一般DNS 的刷新周期約為24小時(shí))。所以在國外最新的建設(shè)中心Web 站點(diǎn)方案中，已經(jīng)很少采用這種方案了。2. 通過硬件四層交換實(shí)現(xiàn)負(fù)載均衡在硬件四層交換產(chǎn)品領(lǐng)域，有一些知名的產(chǎn)品可以選擇，比如Alteon、F5等，這些產(chǎn)品很昂貴，但是物有所值，能夠提供非常優(yōu)秀的性能和很靈活的管理能力。Yahoo中國當(dāng)初接近2022臺(tái)服務(wù)器使用了三四臺(tái)Alteon就搞定了3. 通過軟件四層交換實(shí)現(xiàn)負(fù)載均衡軟件四層交換我們可以使用Linux上常用的LVS來解決，LVS就是Linux Virtual Server，他提供了基于心跳線heartbeat的實(shí)時(shí)災(zāi)難應(yīng)對解決方案，提高系統(tǒng)的魯棒性，同時(shí)可供了靈活的虛擬VIP配置和管理功能，可以同時(shí)滿足多種應(yīng)用需求，這對于分布式的系統(tǒng)來說必不可少。一個(gè)典型的使用負(fù)載均衡的策略就是，在軟件或者硬件四層交換的基礎(chǔ)上搭建squid集群，這種思路在很多大型網(wǎng)站包括搜索引擎上被采用，這樣的架構(gòu)低成本、高性能還有很強(qiáng)的擴(kuò)張性。4. 通過反向代理服務(wù)器實(shí)現(xiàn)負(fù)載均衡反向代理服務(wù)器又稱為 WEB 加速服務(wù)器，它位于 WEB 服務(wù)器的前端，充當(dāng)WEB服務(wù)器的內(nèi)容緩存器,反向代理服務(wù)器是針對 WEB 服務(wù)器設(shè)置的，后臺(tái) WEB 服務(wù)器對互聯(lián)網(wǎng)用戶是透明的，用戶只能看到反向代理服務(wù)器的地址，不清楚后臺(tái) WEB 服務(wù)器是如何組織架構(gòu)的。當(dāng)互聯(lián)網(wǎng)用戶請求 WEB 服務(wù)時(shí)， DNS 將請求的域名解析為反向代理服務(wù)器的 IP 地址，這樣 URL 請求將被發(fā)送到反向代理服務(wù)器，由反向代理服務(wù)器負(fù)責(zé)處理用戶的請求與應(yīng)答、與后臺(tái) WEB 服務(wù)器交互。利公開 內(nèi)部公開機(jī)密 絕密√5/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第10頁,共39 頁P(yáng)age 10 , Total39用反向代理服務(wù)器減輕了后臺(tái) WEB 服務(wù)器的負(fù)載，提高了訪問速度，同時(shí)避免了因用戶直接與 WEB 服務(wù)器通信帶來的安全隱患。目前有許多反向代理軟件，比較有名的有 Nginx 和 Squid 。Nginx 是由 Igor Sysoev 為俄羅斯訪問量第二的 站點(diǎn)開發(fā)的，是一個(gè)高性能的 HTTP 和反向代理服務(wù)器，也是一個(gè) IMAP/POP3/SMTP 代理服務(wù)器。Squid是由美國政府大力資助的一項(xiàng)研究計(jì)劃，其目的為解決網(wǎng)絡(luò)帶寬不足的問題，支持HTTP，HTTPS，F(xiàn)TP 等多種協(xié)議，是現(xiàn)在 Unix 系統(tǒng)上使用、最多功能也最完整的一套軟體。1） Squid Squid 是一個(gè)開源的軟件，利用它的反向代理技術(shù)可以提高網(wǎng)站系統(tǒng)的訪問速度,下面將重點(diǎn)介紹 Squid 反向代理的實(shí)現(xiàn)原理和在提高網(wǎng)站性能方面的應(yīng)用。Squid反向代理服務(wù)器位于本地 WEB 服務(wù)器和 Inter 之間 , 組織架構(gòu)如下圖：客戶端請求訪問 WEB 服務(wù)時(shí)，DNS 將訪問的域名解析為 Squid 反向代理服務(wù)器的 IP 地址，這樣客戶端的 URL 請求將被發(fā)送到反向代理服務(wù)器。如果 Squid 反向代理服務(wù)器中緩存了該請公開 內(nèi)部公開機(jī)密 絕密√5/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第11頁,共39 頁P(yáng)age 11 , Total39求的資源，則將該請求的資源直接返回給客戶端，否則反向代理服務(wù)器將向后臺(tái)的 WEB 服務(wù)器請求資源，然后將請求的應(yīng)答返回給客戶端，同時(shí)也將該應(yīng)答緩存在本地，供下一個(gè)請求者使用。Squid 反向代理一般只緩存可緩沖的數(shù)據(jù)（比如 html 網(wǎng)頁和圖片等），而一些 CGI 腳本程序或者 ASP、JSP 之類的動(dòng)態(tài)程序默認(rèn)不緩存。它根據(jù)從 WEB 服務(wù)器返回的 HTTP 頭標(biāo)記來緩沖靜態(tài)頁面, 有四個(gè)最重要 HTTP 頭標(biāo)記：? LastModified: 告訴反向代理頁面什么時(shí)間被修改? Expires: 告訴反向代理頁面什么時(shí)間應(yīng)該從緩沖區(qū)中刪除? CacheControl: 告訴反向代理頁面是否應(yīng)該被緩沖? Pragma: 用來包含實(shí)現(xiàn)特定的指令，最常用的是 Pragma:nocache 注：DNS 的輪詢機(jī)制將某一個(gè)域名解析為 多個(gè)IP地址。2） NginxNginx (“engine x”) 是俄羅斯人Igor Sysoev(塞索耶夫)編寫的一款高性能的 HTTP 和反向代理服務(wù)器。Nginx 已經(jīng)在俄羅斯最大的門戶網(wǎng)站 ── Rambler Media（）上運(yùn)行了4年時(shí)間，同時(shí)俄羅斯超過20%的虛擬主機(jī)平臺(tái)采用Nginx作為反向代理服務(wù)器。在國內(nèi)，已經(jīng)有新浪博客、新浪播客、搜狐通行證、網(wǎng)易新聞、網(wǎng)易博客、金山逍遙網(wǎng)、金山愛詞霸、校內(nèi)網(wǎng)、YUPOO相冊、豆瓣、迅雷看看等多家網(wǎng)站、頻道使用 Nginx 服務(wù)器。Nginx 特點(diǎn)如下：1) 工作在OSI模型的第7層（應(yīng)用層）2) 高并發(fā)連接官方測試能夠支撐5萬并發(fā)連接，在實(shí)際生產(chǎn)環(huán)境中跑到2～3萬并發(fā)連接數(shù)。 3) 內(nèi)存消耗少在3萬并發(fā)連接下，開啟的10個(gè)Nginx 進(jìn)程才消耗150M內(nèi)存（15M*10=150M）。 4) 配置文件非常簡單風(fēng)格跟程序一樣通俗易懂。 5) 成本低廉Nginx為開源軟件，可以免費(fèi)使用。而購買F5 BIGIP、NetScaler等硬件負(fù)載均衡交換機(jī)則需要十多萬至幾十萬人民幣。 6) 支持Rewrite重寫規(guī)則能夠根據(jù)域名、URL的不同，將 HTTP 請求分到不同的后端服務(wù)器群組。 7) 內(nèi)置的健康檢查功能如果 Nginx Proxy 后端的某臺(tái) Web 服務(wù)器宕機(jī)了，不會(huì)影響前端訪問。 8) 節(jié)省帶寬支持 GZIP 壓縮，可以添加瀏覽器本地緩存的 Header 頭。 9) 穩(wěn)定性高用于反向代理，宕機(jī)的概率微乎其微。 3） Nginx+squid頁面緩存來實(shí)現(xiàn)反向代理負(fù)載均衡通過Nginx反向代理和squid緩存實(shí)現(xiàn)動(dòng)靜分離的架構(gòu)圖如下所示：公開 內(nèi)部公開機(jī)密 絕密√5/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第12頁,共39 頁P(yáng)age 12 , Total395. Apache +tomcat集群實(shí)現(xiàn)負(fù)載均衡。使用 apache和多個(gè)tomcat 配置一個(gè)可以應(yīng)用的web網(wǎng)站，用Apache進(jìn)行分流，把請求按照權(quán)重以及當(dāng)時(shí)負(fù)荷分tomcat1,tomcat2...去處理，要達(dá)到以下要求：公開 內(nèi)部公開機(jī)密 絕密√5/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第13頁,共39 頁P(yáng)age 13 , Total391) Apache 做為HttpServer ，通過mod_jk連接器連接多個(gè) tomcat 應(yīng)用實(shí)例，并進(jìn)行負(fù)載均衡。2) 同時(shí)還要配置session復(fù)制，也就是說其中任何一個(gè)tomcat的添加的session，是要同步復(fù)制到其它tomcat， 集群內(nèi)的 tomcat都有相同的session，并為系統(tǒng)（包括 Apache 和 tomcat）設(shè)定 Session 超時(shí)時(shí)間。 緩存1. 系統(tǒng)架構(gòu)方面的緩存1） Squid緩存架構(gòu)方面使用Squid 進(jìn)行緩存。注： SQUID使用了 LM算法， LM就是頁面 Header里時(shí)間 (Date)和 LastModified時(shí)間的差。 Date一般是 Squid從后面取頁面的時(shí)間， LastModified 一般是頁面生成時(shí)間。2） Nginx的緩存功能，支持了類似Squid 的緩存功能；緩存把URL 及相關(guān)組合當(dāng)作 Key，用md5編碼哈希后保存；Nginx的Web緩存服務(wù)只能為指定URL或狀態(tài)碼設(shè)置過期時(shí)間，不支持類似Squid的PURGE指令，手動(dòng)清除指定緩存頁面；采用MMAP實(shí)現(xiàn)，設(shè)置的緩存區(qū)大小不能超過物理內(nèi)存+SWEB的值3） 基于mem cached的緩存nginx 對 memcached 有所支持，但是功能并不是特別之強(qiáng)，性能上還是非常之優(yōu)秀。location /mem/ { if ( $uri ~ ^/mem/([09AZaz_]*)$ ) { set $m