【正文】 ......................................48 增加存儲(chǔ) ..............................................................................................................48 升級(jí)服務(wù)器 ..........................................................................................................48 網(wǎng)絡(luò)擴(kuò)容 ..............................................................................................................485 附錄：一些主流網(wǎng)站的真實(shí)數(shù)據(jù) ...................................................................................49大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第1頁(yè)1 網(wǎng)站的性能瓶頸分析網(wǎng)站的性能影響因素很多，下面主要從如下4個(gè)方面進(jìn)行分析說(shuō)明：1) 網(wǎng)絡(luò)負(fù)載a) 公網(wǎng)負(fù)載b) 內(nèi)網(wǎng)負(fù)載2) WEB應(yīng)用服務(wù)器性能a) CPUb) 存儲(chǔ)，I/O訪問(wèn)c) 內(nèi)存d) 并發(fā)TCP/IP 連接數(shù)3) 數(shù)據(jù)庫(kù)服務(wù)器性能a) 數(shù)據(jù)庫(kù)參數(shù)配置b) 服務(wù)器性能（CPU、內(nèi)存、存儲(chǔ)）c) 數(shù)據(jù)結(jié)構(gòu)的合理性4) 不同WEB應(yīng)用的處理方式而對(duì)不同的性能瓶頸a) 對(duì)于靜態(tài)的網(wǎng)站：靜態(tài)的HTML頁(yè)面嚴(yán)格地由標(biāo)準(zhǔn)的HTML標(biāo)示語(yǔ)言構(gòu)成，并不需要服務(wù)器端即時(shí)運(yùn)算生成。這意味著，對(duì)一個(gè)靜態(tài)HTML文檔發(fā)出訪問(wèn)請(qǐng)求后，服務(wù)器端只是簡(jiǎn)單地將該文檔傳輸?shù)娇蛻?hù)端。對(duì)于靜態(tài)HTML的訪問(wèn)瓶頸為：網(wǎng)絡(luò)帶寬、磁盤(pán)I/O以及cache(高速緩沖存儲(chǔ)器)。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第3頁(yè)2 系統(tǒng)架構(gòu)設(shè)計(jì) 總體思路為提高網(wǎng)站的高并發(fā)性能,提高開(kāi)發(fā)效率及運(yùn)營(yíng)效率,主要按如下幾個(gè)思路進(jìn)行規(guī)劃設(shè)計(jì): 負(fù)載均衡1) 四層交換負(fù)載均衡：采用負(fù)載均衡器來(lái)實(shí)現(xiàn)硬件級(jí)的四層交換負(fù)載均衡，或采用LVS來(lái)實(shí)現(xiàn)軟件的四層交換負(fù)載均衡。通過(guò)Nginx實(shí)現(xiàn)反向代理服務(wù)器集群，同時(shí)搭建squid集群以作為靜態(tài)頁(yè)面和圖片的緩存。 WEB應(yīng)用開(kāi)發(fā)架構(gòu)思路1) 應(yīng)用開(kāi)發(fā)實(shí)現(xiàn)MVC架構(gòu)三層架構(gòu)進(jìn)行web應(yīng)用開(kāi)發(fā)2) 頁(yè)面盡可能靜態(tài)化以減少動(dòng)態(tài)數(shù)據(jù)訪問(wèn)，如果是資訊類(lèi)的網(wǎng)站可以考慮采用第三方開(kāi)源的CMS系統(tǒng)來(lái)生成靜態(tài)的內(nèi)容頁(yè)面。2) 采用高效的網(wǎng)絡(luò)文件共享策略，采用圖片服務(wù)器來(lái)實(shí)現(xiàn)頁(yè)面的圖大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第4頁(yè)片存儲(chǔ)。2) 在不同運(yùn)營(yíng)商機(jī)房部署服務(wù)器，通過(guò)鏡像技術(shù)來(lái)實(shí)現(xiàn)不同網(wǎng)絡(luò)服務(wù)商的接入速度問(wèn)題。采用雙千兆交換機(jī)分別接在2臺(tái)防火墻上，當(dāng)某臺(tái)設(shè)備或者網(wǎng)絡(luò)鏈路發(fā)生故障后，好設(shè)備自動(dòng)接管已壞設(shè)備的工作，不影響網(wǎng)站的整體運(yùn)行，根據(jù)業(yè)務(wù)及真實(shí)服務(wù)器的數(shù)量，交換機(jī)可以隨時(shí)增加。3) 采用代理服務(wù)器，實(shí)現(xiàn)軟件級(jí)的網(wǎng)絡(luò)負(fù)載均衡。因此，對(duì)于同一個(gè)名字，不同的客戶(hù)機(jī)會(huì)得到不同的地址，它們也就訪問(wèn)不同地址上的Web 服務(wù)器，從而達(dá)到負(fù)載均衡的目的。最后一點(diǎn)是致命的，有可能造成相當(dāng)一部分客戶(hù)不能享受Web服務(wù)，并且由于DNS緩存的原因，所造成的后果要持續(xù)相當(dāng)長(zhǎng)一段時(shí)間( 一般 DNS的刷新周期約為 24小時(shí))。2. 通過(guò)硬件四層交換實(shí)現(xiàn)負(fù)載均衡在硬件四層交換產(chǎn)品領(lǐng)域，有一些知名的產(chǎn)品可以選擇，比如Alteon、F5等，這些產(chǎn)品很昂貴，但是物有所值，能夠提供非常優(yōu)秀的性大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第10頁(yè)能和很靈活的管理能力。一個(gè)典型的使用負(fù)載均衡的策略就是，在軟件或者硬件四層交換的基礎(chǔ)上搭建squid集群，這種思路在很多大型網(wǎng)站包括搜索引擎上被采用，這樣的架構(gòu)低成本、高性能還有很強(qiáng)的擴(kuò)張性。當(dāng)互聯(lián)網(wǎng)用戶(hù)請(qǐng)求 WEB 服務(wù)時(shí)，DNS 將請(qǐng)求的域名解析為反向代理服務(wù)器的 IP 地址，這樣 URL 請(qǐng)求將被發(fā)送到反向代理服務(wù)器，由反向代理服務(wù)器負(fù)責(zé)處理用戶(hù)的請(qǐng)求與應(yīng)答、與后臺(tái) WEB 服務(wù)器交互。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第11頁(yè)目前有許多反向代理軟件，比較有名的有 Nginx 和 Squid 。Squid是由美國(guó)政府大力資助的一項(xiàng)研究計(jì)劃，其目的為解決網(wǎng)絡(luò)帶寬不足的問(wèn)題，支持HTTP，HTTPS，F(xiàn)TP 等多種協(xié)議，是現(xiàn)在 Unix 系統(tǒng)上使用、最多功能也最完整的一套軟體。Squid反向代理服務(wù)器位于本地 WEB 服務(wù)器和 Inter 之間 , 組織架構(gòu)如下圖：大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第12頁(yè)客戶(hù)端請(qǐng)求訪問(wèn) WEB 服務(wù)時(shí)，DNS 將訪問(wèn)的域名解析為 Squid 反向代理服務(wù)器的 IP 地址，這樣客戶(hù)端的 URL 請(qǐng)求將被發(fā)送到反向代理服務(wù)器。Squid 反向代理一般只緩存可緩沖的數(shù)據(jù)（比如 html 網(wǎng)頁(yè)和圖片等），而一些 CGI 腳本程序或者 ASP、JSP 之類(lèi)的動(dòng)態(tài)程序默認(rèn)不緩存。2） NginxNginx (“engine x”) 是俄羅斯人Igor Sysoev(塞索耶夫)編寫(xiě)的一大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第13頁(yè)款高性能的 HTTP 和反向代理服務(wù)器。在國(guó)內(nèi)，已經(jīng)有新浪博客、新浪播客、搜狐通行證、網(wǎng)易新聞、網(wǎng)易博客、金山逍遙網(wǎng)、金山愛(ài)詞霸、校內(nèi)網(wǎng)、YUPOO相冊(cè)、豆瓣、迅雷看看等多家網(wǎng)站、頻道使用 Nginx 服務(wù)器。 3) 內(nèi)存消耗少在3萬(wàn)并發(fā)連接下，開(kāi)啟的10個(gè)Nginx 進(jìn)程才消耗150M內(nèi)存（15M*10=150M）。 5) 成本低廉Nginx為開(kāi)源軟件，可以免費(fèi)使用。 6) 支持Rewrite重寫(xiě)規(guī)則能夠根據(jù)域名、URL的不同，將 HTTP 請(qǐng)求分到不同的后端服務(wù)器群組。 8) 節(jié)省帶寬支持 GZIP 壓縮，可以添加瀏覽器本地緩存的 Header 頭。 3） Nginx+squid頁(yè)面緩存來(lái)實(shí)現(xiàn)反向代理負(fù)載均衡通過(guò)Nginx反向代理和squid緩存實(shí)現(xiàn)動(dòng)靜分離的架構(gòu)圖如下所示：大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第14頁(yè)5. Apache +tomcat集群實(shí)現(xiàn)負(fù)載均衡。2)同時(shí)還要配置session復(fù)制，也就是說(shuō)其中任何一個(gè)tomcat的添加的session，是要同步復(fù)制到其它tomcat， 集群內(nèi)的tomcat都有相同的session，并為系統(tǒng)（包括 Apache 和 tomcat）設(shè)定 Session 超時(shí)時(shí)間。注： SQUID使用了 LM算法， LM就是頁(yè)面 Header里時(shí)間(Date)和 LastModified時(shí)間的差。2） Nginx的緩存功能 版本開(kāi)始，支持了類(lèi)似 Squid的緩存功能；緩存把URL及相關(guān)組合當(dāng)作Key ，用md5 編碼哈希后保存；Nginx的Web 緩存服務(wù)只能為指定 URL或狀態(tài)碼設(shè)置過(guò)期時(shí)間，不支持類(lèi)似Squid的PURGE指令，手動(dòng)清除指定緩存頁(yè)面；采用MMAP實(shí)現(xiàn)，設(shè)置的緩存區(qū)大小不能超過(guò)物理內(nèi)存+SWEB的值3） 基于memcached的緩存nginx 對(duì) memcached 有所支持，但是功能并不是特別之強(qiáng)，性能上還是非常之優(yōu)秀。 memcached_pass :11211。}這個(gè)配置會(huì)將 指明到 memcached 的abc 這個(gè) key 去取數(shù)據(jù)。Nginx傳統(tǒng)緩存的缺點(diǎn)也是它和 squid等緩存軟件的不同之特色，所以也可看作其優(yōu)點(diǎn)。nginx會(huì)非常老實(shí)地將鏈接形式保存到文件系統(tǒng)中，這樣對(duì)于一個(gè)鏈接，可以很方便地查閱它在緩存機(jī)器上的緩存狀態(tài)和內(nèi)容，也可以很方便地和別的文件管理器如 rsync等配合使用，它完完全全就是一個(gè)文件系統(tǒng)結(jié)構(gòu)。OSCache 有以下特點(diǎn)：緩存任何對(duì)象，你可以不受限制的緩存部分jsp頁(yè)面或HTTP請(qǐng)求，任何java對(duì)象都可以緩存。永久緩存緩存能隨意的寫(xiě)入硬盤(pán)，因此允許昂貴的創(chuàng)建大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第17頁(yè)（expensivetocreate ）數(shù)據(jù)來(lái)保持緩存，甚至能讓?xiě)?yīng)用重啟。緩存記錄的過(guò)期你可以有最大限度的控制緩存對(duì)象的過(guò)期，包括可插入式的刷新策略（如果默認(rèn)性能不需要時(shí)）。OSCache的特點(diǎn):1) 緩存任何對(duì)象：你可以不受限制的緩存部分jsp頁(yè)面或HTTP請(qǐng)求，任何java 對(duì)象都可以緩存。 3) 永久緩存：緩存能被配置寫(xiě)入硬盤(pán)，因此允許在應(yīng)用服務(wù)器的多次生命周期間緩存創(chuàng)建開(kāi)銷(xiāo)昂貴的數(shù)據(jù)。 5) 緩存過(guò)期：你可以有最大限度的控制緩存對(duì)象的過(guò)期，包括可插入式的刷新策略（如果默認(rèn)性能不能滿(mǎn)足需要時(shí)）。一般的使用目的是，通過(guò)緩存數(shù)據(jù)庫(kù)查詢(xún)結(jié)果，減少數(shù)據(jù)庫(kù)訪問(wèn)次數(shù)，以提高動(dòng)態(tài)Web應(yīng)用的速度、 提高可擴(kuò)展性。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第18頁(yè)3） 自主開(kāi)發(fā)的內(nèi)存數(shù)據(jù)緩存服務(wù)a） 獨(dú)立進(jìn)程方式的緩存服務(wù)對(duì)于一些常用的動(dòng)態(tài)數(shù)據(jù)通過(guò)開(kāi)發(fā)程序服務(wù)緩存在內(nèi)存中，提供給其他子系統(tǒng)調(diào)用，如下面的數(shù)據(jù)就可以通過(guò)這樣方式進(jìn)行緩存。4) 復(fù)雜一點(diǎn)的group，sum，count查詢(xún)，比如積分的分類(lèi)排名b） 集成在WEB應(yīng)用中的內(nèi)存緩存在web應(yīng)用中對(duì)于熱點(diǎn)的功能，考慮使用完全裝載到內(nèi)存，保證絕對(duì)的響應(yīng)速度，對(duì)于需要頻繁訪問(wèn)的熱點(diǎn)數(shù)據(jù)，采用集中緩存(多個(gè)可以采用負(fù)載均衡)，減輕數(shù)據(jù)庫(kù)的壓力，比如：很多配置信息，操作員信息等等。這意味著，對(duì)一個(gè)靜態(tài)HTML文檔發(fā)出訪問(wèn)請(qǐng)求后，服務(wù)器端只是簡(jiǎn)單地將該文檔傳輸?shù)娇蛻?hù)端。頁(yè)面靜態(tài)化就是采用效率最高、消耗最小的純靜態(tài)化的html頁(yè)面來(lái)替換動(dòng)態(tài)頁(yè)面。同時(shí)采用第三方開(kāi)源的CMS系統(tǒng)來(lái)實(shí)現(xiàn)網(wǎng)站內(nèi)容的管理。同時(shí)，HTML靜態(tài)化也是某些緩存策略使用的手段，對(duì)于系統(tǒng)中頻繁使用數(shù)據(jù)庫(kù)查詢(xún)但是內(nèi)容更新很小的應(yīng)用，可以考慮使用HTML靜態(tài)化來(lái)實(shí)現(xiàn)，比如論壇中論壇的公用設(shè)置信息，這些信息目前的主流論壇都可以進(jìn)行后臺(tái)管理并且存儲(chǔ)再數(shù)據(jù)庫(kù)中，這些信息其實(shí)大量被前臺(tái)程序調(diào)用，但是更新頻率很小，可以考慮將這部分內(nèi)容進(jìn)行后臺(tái)更新的時(shí)候進(jìn)行靜態(tài)化，這樣避免了大量的數(shù)據(jù)庫(kù)訪問(wèn)請(qǐng)求。為了提高靜態(tài)HTML的訪問(wèn)效率，主要可以對(duì)以下幾個(gè)方面進(jìn)行優(yōu)化：網(wǎng)絡(luò)帶寬、磁盤(pán)I/O 以及cache(高速緩沖存儲(chǔ)器)。2. 數(shù)據(jù)庫(kù)及表的散列把生產(chǎn)數(shù)據(jù)庫(kù)和查詢(xún)數(shù)據(jù)庫(kù)進(jìn)行分離，針對(duì)系統(tǒng)業(yè)務(wù)數(shù)據(jù)的特點(diǎn)，把大的表進(jìn)行拆分，對(duì)于訪問(wèn)較多的表采用分區(qū)表。但是多個(gè)數(shù)據(jù)庫(kù)意味著重復(fù)，除非你對(duì)數(shù)據(jù)進(jìn)行了分離。盡管概念上很簡(jiǎn)單，但是想要合理、精確地實(shí) 現(xiàn)并不容易，這可能需要大量的代碼工作。如果正確 地完成該項(xiàng)工作，那么系統(tǒng)就可以擴(kuò)展到2臺(tái)、 3臺(tái)甚至12 臺(tái)服務(wù)器，并具備高可用性和穩(wěn)定性。只有imp是不夠的，還需要進(jìn)行熱備份，從而得到超快的速度和超高的可靠性。另外還要確保擁有設(shè)計(jì)合理的、有用的關(guān)于安全、性能和穩(wěn)定性問(wèn)題的設(shè)定，包括防止數(shù)據(jù)敗壞，其中很多設(shè)定都是非常重要的。? 特性1) 硬件要求低2) 高容錯(cuò)性3) 易可擴(kuò)展4) 配置簡(jiǎn)單5) 超大文件HDFS采用master/slave架構(gòu)。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第22頁(yè)2） NFS與GFS比較首先從它們的功能上進(jìn)行分析。它是FreeBSD 支持的文件系統(tǒng)中的一種，允許一個(gè)系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。而GFS是Google 為了滿(mǎn)足本公司迅速增長(zhǎng)的數(shù)據(jù)處理要求而開(kāi)發(fā)的文件系統(tǒng)。它是針對(duì)Google的計(jì)算機(jī)集群進(jìn)行設(shè)計(jì)的，專(zhuān)門(mén)是為Google頁(yè)面搜索的存儲(chǔ)進(jìn)行了優(yōu)化。其次從結(jié)構(gòu)上比較，NFS至少包括兩個(gè)主要部分：一臺(tái)服務(wù)器，以及至少一臺(tái)客戶(hù)機(jī)。GFS則由一臺(tái)Master(通常有幾臺(tái)備份)和若干臺(tái)TrunkServer構(gòu)成。Master負(fù)責(zé)維護(hù) GFS中的 Metadata，即文件名及其Trunk信息。再?gòu)目缙脚_(tái)性上，NFS的基本原則是“容許不同的客戶(hù)端及服務(wù)端通過(guò)一組RPCs分享相同的文件系統(tǒng) ”，它是獨(dú)立于操作系統(tǒng)的，容許不同的操作系統(tǒng)共同地進(jìn)行文件的共享。最后從規(guī)模上比較，HDFS只應(yīng)用在大批量的數(shù)據(jù)共享上。集群的數(shù)據(jù)存儲(chǔ)規(guī)模可以達(dá)到5個(gè)PB ，并且集群中的數(shù)據(jù)讀寫(xiě)吞吐量可達(dá)到每秒40G。2. 文件的多服務(wù)器自動(dòng)同步使用Linux 監(jiān)控Linux 文件系統(tǒng)事件。3. 圖片服務(wù)器分離特別是如果程序與圖片都放在同一個(gè) APAHCE 的服務(wù)器下，每一個(gè)圖片的請(qǐng)求都有可能導(dǎo)致一個(gè) HTTPD 進(jìn)程的調(diào)用。還有就是，對(duì)于緩存的時(shí)間上，亦可以做獨(dú)立的調(diào)節(jié)。智 能 D N S解 析電 信 機(jī) 房服 務(wù) 器 1 服 務(wù) 器 n動(dòng)態(tài)內(nèi)容 （ 社區(qū) 、 投票 、 調(diào)查 、 搜索 、 點(diǎn)評(píng) 、 視頻 ）靜態(tài)內(nèi)容（ 靜態(tài)網(wǎng)頁(yè) 、 圖片 ）多 線 機(jī) 房服 務(wù) 器 1 服 務(wù) 器 n服 務(wù) 器 1 服 務(wù) 器 n網(wǎng) 通 機(jī) 房其 他用 戶(hù)網(wǎng) 通用 戶(hù)用戶(hù)C D N電 信用 戶(hù)1. 智能DNS解析我們可以在不同的網(wǎng)絡(luò)運(yùn)營(yíng)商部署web服務(wù)器，通過(guò)linux上的rsync工具自動(dòng)同步到不同網(wǎng)絡(luò)接入商的web服務(wù)器上，以作為主站的鏡像。2. CDN如果有足夠的投資，也可以采用CDN(內(nèi)容分發(fā)網(wǎng) )，把靜態(tài)內(nèi)容（靜態(tài)頁(yè)面和圖片）進(jìn)行CDN緩存，以減輕服務(wù)器壓力。它采取了分布式網(wǎng)絡(luò)緩存結(jié)構(gòu)（即國(guó)際上流行的 web cache技術(shù)），其目的是通過(guò)在現(xiàn)有的 Inter中增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站的內(nèi)容發(fā)布到最接近用戶(hù)的網(wǎng)絡(luò) 邊緣 ，使用戶(hù)可以就近取得所需的內(nèi)容，解決 Inter網(wǎng)絡(luò)擁擠的狀況