【正文】 完成請(qǐng)求 結(jié)果說(shuō)明1 1 500 200萬(wàn) 0 毫秒 Test1 150 82 秒 12986條/秒 106萬(wàn)從第 82 秒開(kāi)始，tomcat 占用內(nèi)存 ，但 CPU 資源被 tomcat 耗盡，服務(wù)器負(fù)載急劇升高，top 顯示已達(dá) 150，服務(wù)器停止響應(yīng)客戶(hù)端請(qǐng)求，客戶(hù)端請(qǐng)求速度急劇下降，錯(cuò)包率 100%，測(cè)試被迫中斷。Test1 742秒1727條/秒128萬(wàn)42 500 200萬(wàn) 200毫秒 Test2 2 744秒1608條/秒119萬(wàn)服務(wù)端從第 740 秒左右開(kāi)始，tomcat 占用內(nèi)存到達(dá) Xmx 指定上限，TestTest2 請(qǐng)求速度急劇下降，開(kāi)始出現(xiàn)大量錯(cuò)包，測(cè)試終止，達(dá)到 前，錯(cuò)包率只有 %，達(dá)到 后，截止停止測(cè)試時(shí)，錯(cuò)包率增長(zhǎng)到 %，且仍在在增加中。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第41 頁(yè) Nginx+2個(gè)TOMCAT的WEB服務(wù)器NO 客戶(hù)端數(shù) 線(xiàn)程 數(shù) 請(qǐng)求次數(shù) 間隔時(shí)間 測(cè)試服 務(wù)器 Tomcat 占用內(nèi)存 服務(wù)器 負(fù)載 持續(xù)時(shí) 間 平均速度 完成請(qǐng) 求數(shù) 最大響應(yīng)時(shí)長(zhǎng) 平均響應(yīng) 時(shí)長(zhǎng) 測(cè)試結(jié)果Test1 1G 347 秒 4322 條/秒 150 萬(wàn) 93005毫秒 毫秒1 2 250 150萬(wàn) 0 毫秒Test1 1G 2322 秒 4658 條/秒 150 萬(wàn) 21244毫秒 毫秒300 萬(wàn)次請(qǐng)求全部完成，無(wú)一錯(cuò)包。Test1 5475 秒 913 條/秒 500 萬(wàn) 93000毫秒 毫秒5 2 500 500萬(wàn) 500毫秒Test2 15565 秒 898 條/秒 500 萬(wàn) 92987毫秒 毫秒完成測(cè)試，但 TomcatTomcat2 占用內(nèi)存到達(dá) Xmx 指定上限 ，無(wú)錯(cuò)包。Test1 1220秒 2459 300 萬(wàn) 3018 毫秒 毫秒4 2 500 300萬(wàn) 200毫秒Test2 1 1241秒 2417 300 萬(wàn) 3384 毫秒 毫秒開(kāi)啟 Nginx 緩存后，600萬(wàn)次請(qǐng)求全部完成，無(wú)一錯(cuò)包。測(cè)試過(guò)程中曾嘗試過(guò)使用 100k大小靜態(tài)頁(yè)面，結(jié)果顯示在千兆內(nèi)網(wǎng)下，無(wú)論是單 Tomcat亦或是 Nginx+2Tomcat，請(qǐng)求速度最大均不超過(guò) 1000條 /秒，網(wǎng)絡(luò)帶寬使用已經(jīng)達(dá)到 800M，接近千 M內(nèi)網(wǎng)上限。3） Xmx最大內(nèi)存值對(duì)Tomcat能夠持續(xù)響應(yīng)高并發(fā)的影響持續(xù)高并發(fā)請(qǐng)求狀態(tài)下，有6次測(cè)試是因?yàn)閠omcat 內(nèi)存達(dá)到指定最大值導(dǎo)致響應(yīng)變慢，直至內(nèi)存溢出停止響應(yīng)，因此，Tomcat最大內(nèi)存對(duì)tomcat能夠持續(xù)響應(yīng)高并發(fā)請(qǐng)求有很大的影響，調(diào)整該值，應(yīng)該可以增加Tomcat響應(yīng)高并發(fā)請(qǐng)求的總數(shù)，進(jìn)而延長(zhǎng)WEB 服務(wù)能夠支撐峰值的時(shí)間。4) 在Nginx+2tomcat，同時(shí)配置了緩存的情況下，可以達(dá)到 的并發(fā)處理能力 評(píng)測(cè)結(jié)果1) 單個(gè)tomcat 的處理能力在500條/秒左右單個(gè)tomcat能穩(wěn)定支持每秒500 左右的并發(fā)請(qǐng)求。3) Nginx+2Tomcat配置了緩存后。單個(gè)tomcat能穩(wěn)定支持每秒500 左右的并發(fā)請(qǐng)求，而Nginx+2Tomcat能支持每秒1000左右的并發(fā)請(qǐng)求。2) ，在持續(xù)超過(guò)1479 條/ 秒的并發(fā)請(qǐng)求下，在穩(wěn)定支撐約240萬(wàn)次響應(yīng)后，之后Tomcat響應(yīng)會(huì)急劇變慢，錯(cuò)包急劇上升。2） MaxThread參數(shù)對(duì)tomcat并發(fā)性的影響本次測(cè)試tomcat的 MaxThread參數(shù)設(shè)定為 500，進(jìn)行13000條/秒并發(fā)測(cè)試時(shí)，tomcat啟動(dòng)并發(fā)線(xiàn)程過(guò)多，將服務(wù)器cpu耗盡。Test1 10040 秒 498 500 萬(wàn) 3020 毫秒 毫秒6 2 500 500萬(wàn) 1000毫秒Test2 1 10038 秒 498 500 萬(wàn) 78 毫秒 毫秒開(kāi)啟 Nginx 緩存后，1000 萬(wàn)次請(qǐng)求全部完成，無(wú)一錯(cuò)包。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第42 頁(yè) Nginx+2個(gè)TOMCAT的WEB服務(wù)器+ 緩沖NO 客戶(hù)端數(shù) 線(xiàn)程 數(shù) 請(qǐng)求次數(shù) 間隔時(shí)間 測(cè)試服 務(wù)器 Tomcat 占用內(nèi)存 服務(wù)器 負(fù)載 持續(xù)時(shí)間 平均速度 (條/秒) 完成請(qǐng) 求數(shù) 最大響應(yīng) 時(shí)長(zhǎng) 平均響應(yīng)時(shí) 長(zhǎng) 測(cè)試結(jié)果Test1 64 秒 23437 150 萬(wàn) 9993 毫秒 毫秒1 2 250 150萬(wàn)0 毫秒 Test2 1 59 秒 25423 150 萬(wàn) 3472 毫秒 毫秒 　Test1 196秒 10202 200 萬(wàn) 9616 毫秒 毫秒2 2 500 200萬(wàn) 25 毫秒Test2 1 194秒 10361 200 萬(wàn) 9608 毫秒 毫秒開(kāi)啟 Nginx 緩存后，400萬(wàn)次請(qǐng)求全部完成，分別有 241 和 216 個(gè)錯(cuò)包。Test1 1140 秒 2445 條/秒 278 萬(wàn) 　 　3 2 500 300萬(wàn) 50 毫秒Test2 21141 秒 2424 條/秒 276 萬(wàn) 　 　服務(wù)端從第 1100 秒左右開(kāi)始，TomcatTomcat2 占用內(nèi)存到達(dá) Xmx 指定上限 ，TestTest2 請(qǐng)求速度緩慢下降，但并無(wú)錯(cuò)包，人為終止測(cè)試。Test1 1595秒742 條/秒118萬(wàn)52 500 200萬(wàn) 500毫秒 Test2 1 1575秒737 條/秒116萬(wàn)服務(wù)端從第 1595 秒左右開(kāi)始，tomcat 占用內(nèi)存到達(dá) Xmx 指定上限，TestTest2 請(qǐng)求速度急劇下降，開(kāi)始出現(xiàn)大量錯(cuò)包，達(dá)到 前，錯(cuò)包率只有 %，達(dá)到 后，截止停止測(cè)試時(shí)，錯(cuò)包率增長(zhǎng)到 %，測(cè)試終止。tomcat 拋出“: GC overhead limit exceeded “異常。 }}3. Tomcat設(shè)置主要配置如下：? ? MaxThread 500大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第39頁(yè)? MinSpareThread 25? MaxSpareThread75? Xmx 1740M4. Java環(huán)境? 。 代理請(qǐng)求緩存區(qū)_ 這個(gè)緩存區(qū)間會(huì)保存用戶(hù)的頭信息以供 Nginx進(jìn)行規(guī)則處理_一般只要能保存下頭信息即可 proxy_buffer_size 8k。 緩沖區(qū)代理緩沖用戶(hù)端請(qǐng)求的最大字節(jié)數(shù) 可以理解為先保存到本地再大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第38頁(yè)傳給用戶(hù) client_body_buffer_size 128k。 39。 location / { if ($request_uri ~* .*\.(js|css|gif|jpg|jpeg|png|bmp|swf)$) { proxy_pass } if ($request_uri ~* ^/view/(.*)$) { proxy_pass } proxy_pass } 定義日志格式 log_format access 39。 } server { listen 81。 gzip_vary on。 gzip_buffers 4 16k。 keepalive_timeout 1。 client_header_buffer_size 32k。} { include 。pid /usr/local/nginx/logs/。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第34頁(yè)3 Web服務(wù)架構(gòu)評(píng)測(cè)主要對(duì)基于tomcat和nginx+tomcat的web服務(wù)器的處理性能進(jìn)行測(cè)試，以作為不同性能要求下架構(gòu)選型的依據(jù) 測(cè)試環(huán)境 網(wǎng)絡(luò)環(huán)境1. 內(nèi)網(wǎng)帶寬? 千M內(nèi)網(wǎng)。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第33頁(yè) apache服務(wù)器優(yōu)化加大并發(fā)數(shù)量和關(guān)閉不需要的模塊。pression： 壓縮傳輸，取值 on/off/force，默認(rèn)值 off。設(shè)置為 0 表示永不超時(shí)，這樣設(shè)置有隱患的。maxSpareThreads： 一旦創(chuàng)建的線(xiàn)程超過(guò)這個(gè)值， Tomcat 就會(huì)關(guān)閉不再需要的 socket 線(xiàn)程。acceptCount： 指定當(dāng)所有可以使用的處理請(qǐng)求的線(xiàn)程數(shù)都被使用時(shí)，可以放到處理隊(duì)列中的請(qǐng)求數(shù)，超過(guò)這個(gè)數(shù)的請(qǐng)求將不予處理。 表示初始化內(nèi)存為 256MB，可以使用的最大內(nèi)存為 512MB。Xms【初始化內(nèi)存大小】 Xmx【可以使用的最大內(nèi)存】39。Linux系統(tǒng)中：在/etc/： = 1 = 1大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第31頁(yè) = 1 = 5 tomcat服務(wù)器優(yōu)化增大并發(fā)連接數(shù)，調(diào)整內(nèi)存參數(shù)的設(shè)置。這樣各種服務(wù)如插件一樣組成了一個(gè)開(kāi)放的平臺(tái)，這樣團(tuán)隊(duì)的規(guī)模就會(huì)比較小，比較靈活。這種架構(gòu)是松散耦合的，并且圍繞著服務(wù)進(jìn)行構(gòu)建。iBATIS 把對(duì)象和存儲(chǔ)過(guò)程或者使用 XML 描述符的 SQL 語(yǔ)句進(jìn)行了關(guān)聯(lián)。目前，國(guó)內(nèi)訪(fǎng)問(wèn)量較高的大型網(wǎng)站如新浪、網(wǎng)易等，均使用 CDN網(wǎng)絡(luò)加速技術(shù)，雖然網(wǎng)站的訪(fǎng)問(wèn)巨大，但無(wú)論在什么地方訪(fǎng)問(wèn)都會(huì)感覺(jué)速度很快。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第25頁(yè)CDN的全稱(chēng)是 Content Delivery Network，即內(nèi)容分發(fā)網(wǎng)絡(luò)。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第24頁(yè) 網(wǎng)絡(luò)問(wèn)題解決方案你不可能要求所有的使用人員，都和你的服務(wù)器在一個(gè)運(yùn)營(yíng)商的網(wǎng)絡(luò)內(nèi)，而不同網(wǎng)絡(luò)之間訪(fǎng)問(wèn)速度會(huì)很慢，我們可以采用鏡像網(wǎng)站和引入CDN來(lái)解決這一問(wèn)題。利用開(kāi)源的lsync監(jiān)聽(tīng)某一目錄，如果目錄內(nèi)文件發(fā)生增、刪、改，利用Rsync 協(xié)議自動(dòng)同步到多臺(tái)服務(wù)器。目前Google擁有超過(guò) 200個(gè)的 GFS集群，其中有些集群的 PC數(shù)量超過(guò)5000大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第23頁(yè)臺(tái)?？蛻?hù)端先從Master 上得到文件的 Metadata，根據(jù)要讀取的數(shù)據(jù)在文件中的位置與相應(yīng)的 TrunkServer通信，獲取文件數(shù)據(jù)。被共享的目錄和文件存放在服務(wù)器上，客戶(hù)機(jī)遠(yuǎn)程地訪(fǎng)問(wèn)保存在服務(wù)器上的數(shù)據(jù)。GFS是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪(fǎng)問(wèn)的應(yīng)用。NFS即網(wǎng)絡(luò)文件系統(tǒng)，是由SUN公司開(kāi)發(fā)的。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第21頁(yè) 文件存儲(chǔ)1. 文件共享1） HDFS（GFS）HDFS是Apache Hadoop項(xiàng)目中的一個(gè)分布式文件系統(tǒng)實(shí)現(xiàn)，基于Google于2022年10月發(fā)表的Google File System(GFS)論文。3. 擁有良好的DB配置和備份很多公司都沒(méi)有良好的備份機(jī)制，也不知道如 何恰當(dāng)?shù)赝瓿蛇@項(xiàng)工作。更一般地，這意味著建立主/從副本系統(tǒng)，其中 程序會(huì)對(duì)主庫(kù)編寫(xiě)所有的Update、Insert和Delete變更語(yǔ)句，而所有Select的數(shù)據(jù)都讀取自從數(shù)據(jù)庫(kù)（或者多個(gè)從數(shù)據(jù)庫(kù)）。大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第20頁(yè) 數(shù)據(jù)庫(kù)配置及優(yōu)化1. 數(shù)據(jù)庫(kù)集群對(duì)生產(chǎn)數(shù)據(jù)庫(kù)采用RAC實(shí)現(xiàn)數(shù)據(jù)庫(kù)的集群。對(duì)于大量?jī)?nèi)容并且頻繁更新的網(wǎng)站，我們無(wú)法全部手動(dòng)去挨個(gè)實(shí)現(xiàn)頁(yè)面靜態(tài)化，所以我們需要引入常見(jiàn)的信息發(fā)布系統(tǒng)(CMS)，信息發(fā)布系統(tǒng)(CMS)可以實(shí)現(xiàn)最簡(jiǎn)單的信息錄入自動(dòng)生成靜態(tài)頁(yè)面，對(duì)于一個(gè)大型網(wǎng)站來(lái)說(shuō)，擁有一套高效、可管理的CMS是必不可少的。從服務(wù)器運(yùn)行的那個(gè)時(shí)間片來(lái)看，這個(gè)傳輸過(guò)程僅僅占用了很小的CPU資源。1) 用戶(hù)基本信息及狀態(tài)的信息緩沖2) 列表緩存，就像論壇里帖子的列表3) 記錄條數(shù)的緩存，比如一個(gè)論壇板塊里有多少個(gè)帖子，這樣才方便實(shí)現(xiàn)分頁(yè)。2） Memcachedmemcached是高性能的分布式內(nèi)存緩存服務(wù)器。 2) 擁有全面的API：OSCache API允許你通過(guò)編程的方式來(lái)控制所有的OSCache特性。支持集群集群緩存數(shù)據(jù)能被單個(gè)的進(jìn)行參數(shù)配置，不需要修改代碼。2. 應(yīng)用程序方面的緩存1） OSCacheOSCache由OpenSymphony 設(shè)計(jì)，它是一種開(kāi)創(chuàng)性的JSP 定制標(biāo)記應(yīng)用，提供了在現(xiàn)有JSP 頁(yè)面之內(nèi)實(shí)現(xiàn)快速內(nèi)存緩沖的功能，OSCache是個(gè)一個(gè)廣泛采用的高性能的J2EE緩存框架，OSCache 能用于任何Java 應(yīng)用程序的普通的緩存解決方案。Nginx 目前沒(méi)有寫(xiě)入 memcached 的任何機(jī)制，所以要往 memcached里寫(xiě)入數(shù)據(jù)得用后臺(tái)的動(dòng)態(tài)語(yǔ)言完成，可以利用 404 定向到后端去寫(xiě)入數(shù)據(jù)。location /mem/ { if ( $uri ~ ^/mem/([09AZaz_]*)$ ) {大型網(wǎng)絡(luò)平臺(tái)架構(gòu)設(shè)計(jì)方案第16頁(yè) set $memcached_key $1。 緩存1. 系統(tǒng)架構(gòu)方面的緩存1） Squid緩存架構(gòu)方面使用Squid進(jìn)行緩存。 9) 穩(wěn)定性高用于反向代理，宕機(jī)的概率微乎其微。而購(gòu)買(mǎi)F5 BIGIP 、NetScaler等硬件負(fù)載均衡交換機(jī)則需要十多萬(wàn)至幾十萬(wàn)人民幣。Nginx 特點(diǎn)如下：1) 工作在OSI模型的第 7層（應(yīng)用層）2) 高并發(fā)連接官方測(cè)試能夠支撐5萬(wàn)