【正文】 500毫秒Test2 15565 秒 898 條/秒 500 萬 92987毫秒 毫秒完成測試，但 TomcatTomcat2 占用內(nèi)存到達 Xmx 指定上限 ，無錯包。Test1 742秒1727條/秒128萬42 500 200萬 200毫秒 Test2 2 744秒1608條/秒119萬服務(wù)端從第 740 秒左右開始，tomcat 占用內(nèi)存到達 Xmx 指定上限，TestTest2 請求速度急劇下降，開始出現(xiàn)大量錯包，測試終止，達到 前，錯包率只有 %，達到 后，截止停止測試時，錯包率增長到 %，且仍在在增加中。 如果系統(tǒng)很忙的時候可以申請更大的proxy_buffers 官方推薦*2 proxy_busy_buffers_size 64k。 打日志 access_log /usr/local/nginx/logs/ access。 proxy_redirect off。 gzip_p_level 2。 sendfile on。events 大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第36頁{ use epoll。Apache在配置 ContentType的時候可以盡量少支持，盡可能少的LoadModule，保證更高的系統(tǒng)消耗和執(zhí)行效率同時配置apache和tomcat的組合使之能作到動靜分離，apache處理靜態(tài)頁面，tomcat處理動態(tài)頁面。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第32頁maxKeepAliveRequests： 保持請求數(shù)量，默認值 100。minSpareThreads： Tomcat 初始化時創(chuàng)建的線程數(shù)。例如： JAVA_OPTS=39。 系統(tǒng)軟件參數(shù)優(yōu)化在一定的架構(gòu)基礎(chǔ)上，要提高并發(fā)處理能力則需要調(diào)整服務(wù)器的操作系統(tǒng)內(nèi)核參數(shù)、web服務(wù)器（tomcat 的參數(shù)、 apache的參數(shù)、Nginx的參數(shù)），以使其性能達到最優(yōu)化。上圖描述了Struts框架的結(jié)構(gòu)，而下圖通過一個活動圖更具體描述接受請求直至返回響應(yīng)的整個過程：大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第29頁大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第30頁2. 面向服務(wù)的應(yīng)用架構(gòu)面向服務(wù)的應(yīng)用架構(gòu)是指構(gòu)建可分布式的、去中心化的服務(wù)器平臺，以提供許多不同的應(yīng)用，數(shù)據(jù)庫被分成很多個小部分，圍繞每個部分都會創(chuàng)建一個服務(wù)接口(API), 并且該接口是訪問數(shù)據(jù)庫的唯一途徑。從技術(shù)上全面解決由于網(wǎng)絡(luò)帶寬小、用戶訪問量大、網(wǎng)點分布不均等原因所造成的用戶訪問網(wǎng)站響應(yīng)速度慢的問題。使用獨立的圖片服務(wù)器不但可以避免以上這個情況，更可以對不同的使用性質(zhì)的圖片設(shè)置不同的過期時間，以便同一個用戶在不同頁面訪問相同圖片時不會再次從服務(wù)器（基于是緩存服務(wù)器）取數(shù)據(jù)，不但快速，而且還省了帶寬。而GFS則沒有這一特點，文件只能被集群系統(tǒng)中的PC所訪問，而且這些PC 的操作系統(tǒng)一般是Linux 。所以從功能上看，它們兩者是完全不同的概念。一個HDFS集群是由一個Namenode和一定數(shù)目的Datanodes組成。因此，即便在開始時使用同一臺數(shù)據(jù)庫服務(wù)器，也要盡早計劃在PHP 中使用分離的 DB連接來進行讀寫操作。在進行html靜態(tài)化的時候還可以使用一種折中的方法，就是前端繼續(xù)使用動態(tài)實現(xiàn)，在一定的策略下通過后臺模塊進行定時把動態(tài)網(wǎng)頁生成靜態(tài)頁面，并定時判斷調(diào)用，這個能實現(xiàn)很多靈活性的操作。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第19頁 頁面靜態(tài)化靜態(tài)的HTML頁面嚴格地由標準的HTML標示語言構(gòu)成，并不需要服務(wù)器端即時運算生成。 4) 支持集群：集群緩存數(shù)據(jù)能被單個的進行參數(shù)配置，不需要修改代碼。擁有全面的APIOSCache API給你全面的程序來控制所有的OSCache特性。 } expires 70。使用 apache和多個tomcat 配置一個可以應(yīng)用的web網(wǎng)站，用Apache進行分流，把請求按照權(quán)重以及當時負荷分tomcat1,tomcat2...去處理，大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第15頁要達到以下要求：1)Apache 做為HttpServer ，通過mod_jk連接器連接多個 tomcat 應(yīng)用實例，并進行負載均衡。 4) 配置文件非常簡單風格跟程序一樣通俗易懂。如果 Squid 反向代理服務(wù)器中緩存了該請求的資源，則將該請求的資源直接返回給客戶端，否則反向代理服務(wù)器將向后臺的 WEB 服務(wù)器請求資源，然后將請求的應(yīng)答返回給客戶端，同時也將該應(yīng)答緩存在本地，供下一個請求者使用。4. 通過反向代理服務(wù)器實現(xiàn)負載均衡反向代理服務(wù)器又稱為 WEB 加速服務(wù)器，它位于 WEB 服務(wù)器的前端，充當WEB服務(wù)器的內(nèi)容緩存器,反向代理服務(wù)器是針對 WEB 服務(wù)器設(shè)置的，后臺 WEB 服務(wù)器對互聯(lián)網(wǎng)用戶是透明的，用戶只能看到反向代理服務(wù)器的地址，不清楚后臺 WEB 服務(wù)器是如何組織架構(gòu)的。4) 數(shù)據(jù)庫服務(wù)器分離成生產(chǎn)數(shù)據(jù)庫集群和查詢數(shù)據(jù)庫集群，實現(xiàn)生大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第9頁產(chǎn)讀寫與后臺查詢統(tǒng)計進行分離，同時生產(chǎn)數(shù)據(jù)庫采用rac技術(shù)進行 架構(gòu)涉及技術(shù)的詳解 負載均衡1. 基于DNS的負載均衡 一個域名綁定多個 IPDNS負載均衡技術(shù)是最早的負載均衡解決方案，它是通過DNS 服務(wù)中的隨機名字解析來實現(xiàn)的，在DNS服務(wù)器中，可以為多個不同的地址配置同一個名字，而最終查詢這個名字的客戶機將在解析這個名字時得到其中的一個地址。3) 采用Oscache實現(xiàn)頁面緩存,采用Memcached實現(xiàn)數(shù)據(jù)緩存4) 采用獨立的圖片服務(wù)器集群來實現(xiàn)圖片資源的存儲及WEB請求 數(shù)據(jù)存儲的設(shè)計思路1) 數(shù)據(jù)庫拆分,把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫分離，對生產(chǎn)數(shù)據(jù)庫采用RAC實現(xiàn)數(shù)據(jù)庫的集群。從服務(wù)器運行的那個時間片來看，這個傳輸過程僅僅占用了很小的CPU資源。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第3頁2 系統(tǒng)架構(gòu)設(shè)計 總體思路為提高網(wǎng)站的高并發(fā)性能,提高開發(fā)效率及運營效率,主要按如下幾個思路進行規(guī)劃設(shè)計: 負載均衡1) 四層交換負載均衡：采用負載均衡器來實現(xiàn)硬件級的四層交換負載均衡，或采用LVS來實現(xiàn)軟件的四層交換負載均衡。2) 在不同運營商機房部署服務(wù)器，通過鏡像技術(shù)來實現(xiàn)不同網(wǎng)絡(luò)服務(wù)商的接入速度問題。最后一點是致命的，有可能造成相當一部分客戶不能享受Web服務(wù)，并且由于DNS緩存的原因，所造成的后果要持續(xù)相當長一段時間( 一般 DNS的刷新周期約為 24小時)。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第11頁目前有許多反向代理軟件，比較有名的有 Nginx 和 Squid 。2） NginxNginx (“engine x”) 是俄羅斯人Igor Sysoev(塞索耶夫)編寫的一大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第13頁款高性能的 HTTP 和反向代理服務(wù)器。 6) 支持Rewrite重寫規(guī)則能夠根據(jù)域名、URL的不同，將 HTTP 請求分到不同的后端服務(wù)器群組。注： SQUID使用了 LM算法， LM就是頁面 Header里時間(Date)和 LastModified時間的差。Nginx傳統(tǒng)緩存的缺點也是它和 squid等緩存軟件的不同之特色，所以也可看作其優(yōu)點。緩存記錄的過期你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認性能不需要時）。一般的使用目的是，通過緩存數(shù)據(jù)庫查詢結(jié)果，減少數(shù)據(jù)庫訪問次數(shù)，以提高動態(tài)Web應(yīng)用的速度、 提高可擴展性。頁面靜態(tài)化就是采用效率最高、消耗最小的純靜態(tài)化的html頁面來替換動態(tài)頁面。2. 數(shù)據(jù)庫及表的散列把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫進行分離，針對系統(tǒng)業(yè)務(wù)數(shù)據(jù)的特點，把大的表進行拆分，對于訪問較多的表采用分區(qū)表。只有imp是不夠的，還需要進行熱備份，從而得到超快的速度和超高的可靠性。它是FreeBSD 支持的文件系統(tǒng)中的一種，允許一個系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。GFS則由一臺Master(通常有幾臺備份)和若干臺TrunkServer構(gòu)成。集群的數(shù)據(jù)存儲規(guī)?？梢赃_到5個PB ，并且集群中的數(shù)據(jù)讀寫吞吐量可達到每秒40G。智 能 D N S解 析電 信 機 房服 務(wù) 器 1 服 務(wù) 器 n動態(tài)內(nèi)容 （ 社區(qū) 、 投票 、 調(diào)查 、 搜索 、 點評 、 視頻 ）靜態(tài)內(nèi)容（ 靜態(tài)網(wǎng)頁 、 圖片 ）多 線 機 房服 務(wù) 器 1 服 務(wù) 器 n服 務(wù) 器 1 服 務(wù) 器 n網(wǎng) 通 機 房其 他用 戶網(wǎng) 通用 戶用戶C D N電 信用 戶1. 智能DNS解析我們可以在不同的網(wǎng)絡(luò)運營商部署web服務(wù)器，通過linux上的rsync工具自動同步到不同網(wǎng)絡(luò)接入商的web服務(wù)器上，以作為主站的鏡像。而一般的網(wǎng)站如果服務(wù)器在網(wǎng)通，電信用戶訪問很慢，如果服務(wù)器在電信，網(wǎng)通用戶訪問又很慢。面向服務(wù)的架構(gòu)提供給他們隔離特性，一個服務(wù)可能有很多臺數(shù)據(jù)庫服務(wù)器，他們之間的數(shù)據(jù)是相通的，而對外他們的接口只有一個，外面是無法知道這個服務(wù)后面的數(shù)據(jù)組織是如何搭建的。JDK 內(nèi)存優(yōu)化：當應(yīng)用程序需要的內(nèi)存超出堆的最大值時虛擬機就會提示內(nèi)存溢出，并且導(dǎo)致應(yīng)用服務(wù)崩潰。連接器優(yōu)化： 在 tomcat 配置文件 中的配置中，和連接數(shù)相關(guān)的參數(shù)有：maxThreads： Tomcat 使用線程來處理接收的每個請求。默認值 75。 其中和最大連接數(shù)相關(guān)的參數(shù)為 maxThreads 和 acceptCount。? 內(nèi)網(wǎng)ping包延遲： 2. 網(wǎng)絡(luò)拓撲示意1 9 2 . 1 6 8 . 1 3 1 . 5 7T o m c a t 11 9 2 . 1 6 8 . 1 3 1 . 5 6T o m c a t 21 9 2 . 1 6 8 . 1 3 1 . 6 0 : 8 1N g i n x 服 務(wù) 端W E B 服 務(wù) 高 可 用 測 試 網(wǎng) 絡(luò) 示 意 圖1 9 2 . 1 6 8 . 1 3 1 . 1 9t e s t 11 9 2 . 1 6 8 . 1 3 1 . 6 1t e s t 2W E B 服 務(wù)測 試 服 務(wù) 器千 兆 交 換 機大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第35頁 服務(wù)器配置設(shè)備 硬件配置 操作系統(tǒng)NginxIBM X3650CPU: Intel(R) Xeon(R) E5150 2核*2內(nèi)存：4G千兆網(wǎng)卡Redhat linux as4Tomcat1 Hp DL580 G4CPU: Intel(R) Xeon(TM) 4核*2內(nèi)存：8G千兆網(wǎng)卡Redhat linux as5Tomcat2Hp DL580 G4CPU: Intel(R) Xeon(TM) 4核*2內(nèi)存：8G千兆網(wǎng)卡Redhat linux as5Test1Hp DL580 G5CPU:Intel(R) Xeon(R) E7310 4核*2內(nèi)存：4G千兆網(wǎng)卡Redhat linux as5Test2IBM X3650CPU: Intel(R) Xeon(R) E5150 2核*2內(nèi)存：4G千兆網(wǎng)卡Redhat linux as4 軟件環(huán)境1. 操作系統(tǒng)網(wǎng)絡(luò)參數(shù)優(yōu)化用做測試的各臺服務(wù)器，均在/etc/ 配置文件中增加如下內(nèi)核參數(shù)： = 1 = 1 = 1 = 52. Nginx設(shè)置主要配置如下：user 。 default_type application/octetstream。 tcp_nodelay on。 upstream tomcats { server :8081。$remote_addr $remote_user [$time_local] $request 39。 跟后端服務(wù)器連接的超時時間_ 發(fā)起握手等候響應(yīng)超時時間 proxy_connect_timeout 600。Test1 6362秒 471 條/秒 300萬6 2 500 300萬 1000毫秒Test2 1 6351秒472 條/秒300萬在測試進度到 80%左右時，tomcat1 占用內(nèi)存達到了 Xmx 指定上限 ，但TestTest2 請求速度并未下降，直到 600 萬次請求全部完成，兩個客戶端分別有 9 個丟包，丟包率只有 %，最長的響應(yīng)時長為 秒。Test1 379秒 7915 300 萬 9015 毫秒 毫秒3 2 500 300萬 50 毫秒Test2 1 384秒 7812 300 萬10234 毫秒 毫秒開啟 Nginx 緩存后，600萬次請求全部完成，無一錯包。分析MaxThread雖能夠提高 tomcat并發(fā)能力，但前提是在一個合理的范圍內(nèi)，要確保服務(wù)器負載不會因為并發(fā)線程過多而急劇升高，從而停止響應(yīng)。所以可以通過新加tomcat服務(wù)器來提升系統(tǒng)的并發(fā)能力，但在tomcat的總體處理能力超過nginx的處理能力時無效。第44頁3) Nginx+2tomcat架構(gòu)下，在持續(xù)超過2900 條/ 秒的并發(fā)請求下，能夠穩(wěn)定支撐約540萬次左右響應(yīng)，之后兩個Tomcat