【正文】 500毫秒Test2 15565 秒 898 條/秒 500 萬 92987毫秒 毫秒完成測試，但 TomcatTomcat2 占用內(nèi)存到達(dá) Xmx 指定上限 ，無錯(cuò)包。Test1 742秒1727條/秒128萬42 500 200萬 200毫秒 Test2 2 744秒1608條/秒119萬服務(wù)端從第 740 秒左右開始，tomcat 占用內(nèi)存到達(dá) Xmx 指定上限，TestTest2 請(qǐng)求速度急劇下降，開始出現(xiàn)大量錯(cuò)包，測試終止，達(dá)到 前，錯(cuò)包率只有 %，達(dá)到 后，截止停止測試時(shí)，錯(cuò)包率增長到 %，且仍在在增加中。 如果系統(tǒng)很忙的時(shí)候可以申請(qǐng)更大的proxy_buffers 官方推薦*2 proxy_busy_buffers_size 64k。 打日志 access_log /usr/local/nginx/logs/ access。 proxy_redirect off。 gzip_p_level 2。 sendfile on。events 大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第36頁{ use epoll。Apache在配置 ContentType的時(shí)候可以盡量少支持，盡可能少的LoadModule，保證更高的系統(tǒng)消耗和執(zhí)行效率同時(shí)配置apache和tomcat的組合使之能作到動(dòng)靜分離，apache處理靜態(tài)頁面，tomcat處理動(dòng)態(tài)頁面。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第32頁maxKeepAliveRequests： 保持請(qǐng)求數(shù)量，默認(rèn)值 100。minSpareThreads： Tomcat 初始化時(shí)創(chuàng)建的線程數(shù)。例如： JAVA_OPTS=39。 系統(tǒng)軟件參數(shù)優(yōu)化在一定的架構(gòu)基礎(chǔ)上，要提高并發(fā)處理能力則需要調(diào)整服務(wù)器的操作系統(tǒng)內(nèi)核參數(shù)、web服務(wù)器（tomcat 的參數(shù)、 apache的參數(shù)、Nginx的參數(shù)），以使其性能達(dá)到最優(yōu)化。上圖描述了Struts框架的結(jié)構(gòu)，而下圖通過一個(gè)活動(dòng)圖更具體描述接受請(qǐng)求直至返回響應(yīng)的整個(gè)過程：大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第29頁大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第30頁2. 面向服務(wù)的應(yīng)用架構(gòu)面向服務(wù)的應(yīng)用架構(gòu)是指構(gòu)建可分布式的、去中心化的服務(wù)器平臺(tái)，以提供許多不同的應(yīng)用，數(shù)據(jù)庫被分成很多個(gè)小部分，圍繞每個(gè)部分都會(huì)創(chuàng)建一個(gè)服務(wù)接口(API), 并且該接口是訪問數(shù)據(jù)庫的唯一途徑。從技術(shù)上全面解決由于網(wǎng)絡(luò)帶寬小、用戶訪問量大、網(wǎng)點(diǎn)分布不均等原因所造成的用戶訪問網(wǎng)站響應(yīng)速度慢的問題。使用獨(dú)立的圖片服務(wù)器不但可以避免以上這個(gè)情況，更可以對(duì)不同的使用性質(zhì)的圖片設(shè)置不同的過期時(shí)間，以便同一個(gè)用戶在不同頁面訪問相同圖片時(shí)不會(huì)再次從服務(wù)器（基于是緩存服務(wù)器）取數(shù)據(jù)，不但快速，而且還省了帶寬。而GFS則沒有這一特點(diǎn)，文件只能被集群系統(tǒng)中的PC所訪問，而且這些PC 的操作系統(tǒng)一般是Linux 。所以從功能上看，它們兩者是完全不同的概念。一個(gè)HDFS集群是由一個(gè)Namenode和一定數(shù)目的Datanodes組成。因此，即便在開始時(shí)使用同一臺(tái)數(shù)據(jù)庫服務(wù)器，也要盡早計(jì)劃在PHP 中使用分離的 DB連接來進(jìn)行讀寫操作。在進(jìn)行html靜態(tài)化的時(shí)候還可以使用一種折中的方法，就是前端繼續(xù)使用動(dòng)態(tài)實(shí)現(xiàn)，在一定的策略下通過后臺(tái)模塊進(jìn)行定時(shí)把動(dòng)態(tài)網(wǎng)頁生成靜態(tài)頁面，并定時(shí)判斷調(diào)用，這個(gè)能實(shí)現(xiàn)很多靈活性的操作。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第19頁 頁面靜態(tài)化靜態(tài)的HTML頁面嚴(yán)格地由標(biāo)準(zhǔn)的HTML標(biāo)示語言構(gòu)成，并不需要服務(wù)器端即時(shí)運(yùn)算生成。 4) 支持集群：集群緩存數(shù)據(jù)能被單個(gè)的進(jìn)行參數(shù)配置，不需要修改代碼。擁有全面的APIOSCache API給你全面的程序來控制所有的OSCache特性。 } expires 70。使用 apache和多個(gè)tomcat 配置一個(gè)可以應(yīng)用的web網(wǎng)站，用Apache進(jìn)行分流，把請(qǐng)求按照權(quán)重以及當(dāng)時(shí)負(fù)荷分tomcat1,tomcat2...去處理，大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第15頁要達(dá)到以下要求：1)Apache 做為HttpServer ，通過mod_jk連接器連接多個(gè) tomcat 應(yīng)用實(shí)例，并進(jìn)行負(fù)載均衡。 4) 配置文件非常簡單風(fēng)格跟程序一樣通俗易懂。如果 Squid 反向代理服務(wù)器中緩存了該請(qǐng)求的資源，則將該請(qǐng)求的資源直接返回給客戶端，否則反向代理服務(wù)器將向后臺(tái)的 WEB 服務(wù)器請(qǐng)求資源，然后將請(qǐng)求的應(yīng)答返回給客戶端，同時(shí)也將該應(yīng)答緩存在本地，供下一個(gè)請(qǐng)求者使用。4. 通過反向代理服務(wù)器實(shí)現(xiàn)負(fù)載均衡反向代理服務(wù)器又稱為 WEB 加速服務(wù)器，它位于 WEB 服務(wù)器的前端，充當(dāng)WEB服務(wù)器的內(nèi)容緩存器,反向代理服務(wù)器是針對(duì) WEB 服務(wù)器設(shè)置的，后臺(tái) WEB 服務(wù)器對(duì)互聯(lián)網(wǎng)用戶是透明的，用戶只能看到反向代理服務(wù)器的地址，不清楚后臺(tái) WEB 服務(wù)器是如何組織架構(gòu)的。4) 數(shù)據(jù)庫服務(wù)器分離成生產(chǎn)數(shù)據(jù)庫集群和查詢數(shù)據(jù)庫集群，實(shí)現(xiàn)生大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第9頁產(chǎn)讀寫與后臺(tái)查詢統(tǒng)計(jì)進(jìn)行分離，同時(shí)生產(chǎn)數(shù)據(jù)庫采用rac技術(shù)進(jìn)行 架構(gòu)涉及技術(shù)的詳解 負(fù)載均衡1. 基于DNS的負(fù)載均衡 一個(gè)域名綁定多個(gè) IPDNS負(fù)載均衡技術(shù)是最早的負(fù)載均衡解決方案，它是通過DNS 服務(wù)中的隨機(jī)名字解析來實(shí)現(xiàn)的，在DNS服務(wù)器中，可以為多個(gè)不同的地址配置同一個(gè)名字，而最終查詢這個(gè)名字的客戶機(jī)將在解析這個(gè)名字時(shí)得到其中的一個(gè)地址。3) 采用Oscache實(shí)現(xiàn)頁面緩存,采用Memcached實(shí)現(xiàn)數(shù)據(jù)緩存4) 采用獨(dú)立的圖片服務(wù)器集群來實(shí)現(xiàn)圖片資源的存儲(chǔ)及WEB請(qǐng)求 數(shù)據(jù)存儲(chǔ)的設(shè)計(jì)思路1) 數(shù)據(jù)庫拆分,把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫分離，對(duì)生產(chǎn)數(shù)據(jù)庫采用RAC實(shí)現(xiàn)數(shù)據(jù)庫的集群。從服務(wù)器運(yùn)行的那個(gè)時(shí)間片來看，這個(gè)傳輸過程僅僅占用了很小的CPU資源。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第3頁2 系統(tǒng)架構(gòu)設(shè)計(jì) 總體思路為提高網(wǎng)站的高并發(fā)性能,提高開發(fā)效率及運(yùn)營效率,主要按如下幾個(gè)思路進(jìn)行規(guī)劃設(shè)計(jì): 負(fù)載均衡1) 四層交換負(fù)載均衡：采用負(fù)載均衡器來實(shí)現(xiàn)硬件級(jí)的四層交換負(fù)載均衡，或采用LVS來實(shí)現(xiàn)軟件的四層交換負(fù)載均衡。2) 在不同運(yùn)營商機(jī)房部署服務(wù)器，通過鏡像技術(shù)來實(shí)現(xiàn)不同網(wǎng)絡(luò)服務(wù)商的接入速度問題。最后一點(diǎn)是致命的，有可能造成相當(dāng)一部分客戶不能享受Web服務(wù)，并且由于DNS緩存的原因，所造成的后果要持續(xù)相當(dāng)長一段時(shí)間( 一般 DNS的刷新周期約為 24小時(shí))。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第11頁目前有許多反向代理軟件，比較有名的有 Nginx 和 Squid 。2） NginxNginx (“engine x”) 是俄羅斯人Igor Sysoev(塞索耶夫)編寫的一大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第13頁款高性能的 HTTP 和反向代理服務(wù)器。 6) 支持Rewrite重寫規(guī)則能夠根據(jù)域名、URL的不同，將 HTTP 請(qǐng)求分到不同的后端服務(wù)器群組。注： SQUID使用了 LM算法， LM就是頁面 Header里時(shí)間(Date)和 LastModified時(shí)間的差。Nginx傳統(tǒng)緩存的缺點(diǎn)也是它和 squid等緩存軟件的不同之特色，所以也可看作其優(yōu)點(diǎn)。緩存記錄的過期你可以有最大限度的控制緩存對(duì)象的過期，包括可插入式的刷新策略（如果默認(rèn)性能不需要時(shí)）。一般的使用目的是，通過緩存數(shù)據(jù)庫查詢結(jié)果，減少數(shù)據(jù)庫訪問次數(shù)，以提高動(dòng)態(tài)Web應(yīng)用的速度、 提高可擴(kuò)展性。頁面靜態(tài)化就是采用效率最高、消耗最小的純靜態(tài)化的html頁面來替換動(dòng)態(tài)頁面。2. 數(shù)據(jù)庫及表的散列把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫進(jìn)行分離，針對(duì)系統(tǒng)業(yè)務(wù)數(shù)據(jù)的特點(diǎn)，把大的表進(jìn)行拆分，對(duì)于訪問較多的表采用分區(qū)表。只有imp是不夠的，還需要進(jìn)行熱備份，從而得到超快的速度和超高的可靠性。它是FreeBSD 支持的文件系統(tǒng)中的一種，允許一個(gè)系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。GFS則由一臺(tái)Master(通常有幾臺(tái)備份)和若干臺(tái)TrunkServer構(gòu)成。集群的數(shù)據(jù)存儲(chǔ)規(guī)?？梢赃_(dá)到5個(gè)PB ，并且集群中的數(shù)據(jù)讀寫吞吐量可達(dá)到每秒40G。智 能 D N S解 析電 信 機(jī) 房服 務(wù) 器 1 服 務(wù) 器 n動(dòng)態(tài)內(nèi)容 （ 社區(qū) 、 投票 、 調(diào)查 、 搜索 、 點(diǎn)評(píng) 、 視頻 ）靜態(tài)內(nèi)容（ 靜態(tài)網(wǎng)頁 、 圖片 ）多 線 機(jī) 房服 務(wù) 器 1 服 務(wù) 器 n服 務(wù) 器 1 服 務(wù) 器 n網(wǎng) 通 機(jī) 房其 他用 戶網(wǎng) 通用 戶用戶C D N電 信用 戶1. 智能DNS解析我們可以在不同的網(wǎng)絡(luò)運(yùn)營商部署web服務(wù)器，通過linux上的rsync工具自動(dòng)同步到不同網(wǎng)絡(luò)接入商的web服務(wù)器上，以作為主站的鏡像。而一般的網(wǎng)站如果服務(wù)器在網(wǎng)通，電信用戶訪問很慢，如果服務(wù)器在電信，網(wǎng)通用戶訪問又很慢。面向服務(wù)的架構(gòu)提供給他們隔離特性，一個(gè)服務(wù)可能有很多臺(tái)數(shù)據(jù)庫服務(wù)器，他們之間的數(shù)據(jù)是相通的，而對(duì)外他們的接口只有一個(gè)，外面是無法知道這個(gè)服務(wù)后面的數(shù)據(jù)組織是如何搭建的。JDK 內(nèi)存優(yōu)化：當(dāng)應(yīng)用程序需要的內(nèi)存超出堆的最大值時(shí)虛擬機(jī)就會(huì)提示內(nèi)存溢出，并且導(dǎo)致應(yīng)用服務(wù)崩潰。連接器優(yōu)化： 在 tomcat 配置文件 中的配置中，和連接數(shù)相關(guān)的參數(shù)有：maxThreads： Tomcat 使用線程來處理接收的每個(gè)請(qǐng)求。默認(rèn)值 75。 其中和最大連接數(shù)相關(guān)的參數(shù)為 maxThreads 和 acceptCount。? 內(nèi)網(wǎng)ping包延遲： 2. 網(wǎng)絡(luò)拓?fù)涫疽? 9 2 . 1 6 8 . 1 3 1 . 5 7T o m c a t 11 9 2 . 1 6 8 . 1 3 1 . 5 6T o m c a t 21 9 2 . 1 6 8 . 1 3 1 . 6 0 : 8 1N g i n x 服 務(wù) 端W E B 服 務(wù) 高 可 用 測 試 網(wǎng) 絡(luò) 示 意 圖1 9 2 . 1 6 8 . 1 3 1 . 1 9t e s t 11 9 2 . 1 6 8 . 1 3 1 . 6 1t e s t 2W E B 服 務(wù)測 試 服 務(wù) 器千 兆 交 換 機(jī)大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第35頁 服務(wù)器配置設(shè)備 硬件配置 操作系統(tǒng)NginxIBM X3650CPU: Intel(R) Xeon(R) E5150 2核*2內(nèi)存：4G千兆網(wǎng)卡Redhat linux as4Tomcat1 Hp DL580 G4CPU: Intel(R) Xeon(TM) 4核*2內(nèi)存：8G千兆網(wǎng)卡Redhat linux as5Tomcat2Hp DL580 G4CPU: Intel(R) Xeon(TM) 4核*2內(nèi)存：8G千兆網(wǎng)卡Redhat linux as5Test1Hp DL580 G5CPU:Intel(R) Xeon(R) E7310 4核*2內(nèi)存：4G千兆網(wǎng)卡Redhat linux as5Test2IBM X3650CPU: Intel(R) Xeon(R) E5150 2核*2內(nèi)存：4G千兆網(wǎng)卡Redhat linux as4 軟件環(huán)境1. 操作系統(tǒng)網(wǎng)絡(luò)參數(shù)優(yōu)化用做測試的各臺(tái)服務(wù)器，均在/etc/ 配置文件中增加如下內(nèi)核參數(shù)： = 1 = 1 = 1 = 52. Nginx設(shè)置主要配置如下：user 。 default_type application/octetstream。 tcp_nodelay on。 upstream tomcats { server :8081。$remote_addr $remote_user [$time_local] $request 39。 跟后端服務(wù)器連接的超時(shí)時(shí)間_ 發(fā)起握手等候響應(yīng)超時(shí)時(shí)間 proxy_connect_timeout 600。Test1 6362秒 471 條/秒 300萬6 2 500 300萬 1000毫秒Test2 1 6351秒472 條/秒300萬在測試進(jìn)度到 80%左右時(shí)，tomcat1 占用內(nèi)存達(dá)到了 Xmx 指定上限 ，但TestTest2 請(qǐng)求速度并未下降，直到 600 萬次請(qǐng)求全部完成，兩個(gè)客戶端分別有 9 個(gè)丟包，丟包率只有 %，最長的響應(yīng)時(shí)長為 秒。Test1 379秒 7915 300 萬 9015 毫秒 毫秒3 2 500 300萬 50 毫秒Test2 1 384秒 7812 300 萬10234 毫秒 毫秒開啟 Nginx 緩存后，600萬次請(qǐng)求全部完成，無一錯(cuò)包。分析MaxThread雖能夠提高 tomcat并發(fā)能力，但前提是在一個(gè)合理的范圍內(nèi)，要確保服務(wù)器負(fù)載不會(huì)因?yàn)椴l(fā)線程過多而急劇升高，從而停止響應(yīng)。所以可以通過新加tomcat服務(wù)器來提升系統(tǒng)的并發(fā)能力，但在tomcat的總體處理能力超過nginx的處理能力時(shí)無效。第44頁3) Nginx+2tomcat架構(gòu)下，在持續(xù)超過2900 條/ 秒的并發(fā)請(qǐng)求下，能夠穩(wěn)定支撐約540萬次左右響應(yīng)，之后兩個(gè)Tomcat