【正文】 charset gb2312。 gzip on。 server :8081。 39。 連接成功后 _等候后端服務(wù)器響應(yīng)時間 _其實已經(jīng)進(jìn)入后端的排隊之中等候處理 proxy_read_timeout 600。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第40 頁 測試結(jié)果 單個TOMCAT的WEB服務(wù)器NO客戶數(shù) 線程數(shù)請求次數(shù)間隔時間測試服務(wù)器占用內(nèi)存服務(wù)器負(fù)載持續(xù)時間平均速度完成請求 結(jié)果說明1 1 500 200萬 0 毫秒 Test1 150 82 秒 12986條/秒 106萬從第 82 秒開始，tomcat 占用內(nèi)存 ，但 CPU 資源被 tomcat 耗盡，服務(wù)器負(fù)載急劇升高，top 顯示已達(dá) 150，服務(wù)器停止響應(yīng)客戶端請求，客戶端請求速度急劇下降，錯包率 100%，測試被迫中斷。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第41 頁 Nginx+2個TOMCAT的WEB服務(wù)器NO 客戶端數(shù) 線程 數(shù) 請求次數(shù) 間隔時間 測試服 務(wù)器 Tomcat 占用內(nèi)存 服務(wù)器 負(fù)載 持續(xù)時 間 平均速度 完成請 求數(shù) 最大響應(yīng)時長 平均響應(yīng) 時長 測試結(jié)果Test1 1G 347 秒 4322 條/秒 150 萬 93005毫秒 毫秒1 2 250 150萬 0 毫秒Test1 1G 2322 秒 4658 條/秒 150 萬 21244毫秒 毫秒300 萬次請求全部完成，無一錯包。Test1 1220秒 2459 300 萬 3018 毫秒 毫秒4 2 500 300萬 200毫秒Test2 1 1241秒 2417 300 萬 3384 毫秒 毫秒開啟 Nginx 緩存后，600萬次請求全部完成，無一錯包。3） Xmx最大內(nèi)存值對Tomcat能夠持續(xù)響應(yīng)高并發(fā)的影響持續(xù)高并發(fā)請求狀態(tài)下，有6次測試是因為tomcat 內(nèi)存達(dá)到指定最大值導(dǎo)致響應(yīng)變慢，直至內(nèi)存溢出停止響應(yīng)，因此，Tomcat最大內(nèi)存對tomcat能夠持續(xù)響應(yīng)高并發(fā)請求有很大的影響，調(diào)整該值，應(yīng)該可以增加Tomcat響應(yīng)高并發(fā)請求的總數(shù)，進(jìn)而延長WEB 服務(wù)能夠支撐峰值的時間。3) Nginx+2Tomcat配置了緩存后。2) ，在持續(xù)超過1479 條/ 秒的并發(fā)請求下，在穩(wěn)定支撐約240萬次響應(yīng)后，之后Tomcat響應(yīng)會急劇變慢，錯包急劇上升。Test1 10040 秒 498 500 萬 3020 毫秒 毫秒6 2 500 500萬 1000毫秒Test2 1 10038 秒 498 500 萬 78 毫秒 毫秒開啟 Nginx 緩存后，1000 萬次請求全部完成，無一錯包。Test1 1140 秒 2445 條/秒 278 萬 　 　3 2 500 300萬 50 毫秒Test2 21141 秒 2424 條/秒 276 萬 　 　服務(wù)端從第 1100 秒左右開始，TomcatTomcat2 占用內(nèi)存到達(dá) Xmx 指定上限 ，TestTest2 請求速度緩慢下降，但并無錯包，人為終止測試。tomcat 拋出“: GC overhead limit exceeded “異常。 代理請求緩存區(qū)_ 這個緩存區(qū)間會保存用戶的頭信息以供 Nginx進(jìn)行規(guī)則處理_一般只要能保存下頭信息即可 proxy_buffer_size 8k。 39。 } server { listen 81。 gzip_buffers 4 16k。 client_header_buffer_size 32k。pid /usr/local/nginx/logs/。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第33頁 apache服務(wù)器優(yōu)化加大并發(fā)數(shù)量和關(guān)閉不需要的模塊。設(shè)置為 0 表示永不超時，這樣設(shè)置有隱患的。acceptCount： 指定當(dāng)所有可以使用的處理請求的線程數(shù)都被使用時，可以放到處理隊列中的請求數(shù)，超過這個數(shù)的請求將不予處理。Xms【初始化內(nèi)存大小】 Xmx【可以使用的最大內(nèi)存】39。這樣各種服務(wù)如插件一樣組成了一個開放的平臺，這樣團(tuán)隊的規(guī)模就會比較小，比較靈活。iBATIS 把對象和存儲過程或者使用 XML 描述符的 SQL 語句進(jìn)行了關(guān)聯(lián)。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第25頁CDN的全稱是 Content Delivery Network，即內(nèi)容分發(fā)網(wǎng)絡(luò)。利用開源的lsync監(jiān)聽某一目錄，如果目錄內(nèi)文件發(fā)生增、刪、改，利用Rsync 協(xié)議自動同步到多臺服務(wù)器。客戶端先從Master 上得到文件的 Metadata，根據(jù)要讀取的數(shù)據(jù)在文件中的位置與相應(yīng)的 TrunkServer通信，獲取文件數(shù)據(jù)。GFS是一個可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第21頁 文件存儲1. 文件共享1） HDFS（GFS）HDFS是Apache Hadoop項目中的一個分布式文件系統(tǒng)實現(xiàn)，基于Google于2022年10月發(fā)表的Google File System(GFS)論文。更一般地，這意味著建立主/從副本系統(tǒng)，其中 程序會對主庫編寫所有的Update、Insert和Delete變更語句，而所有Select的數(shù)據(jù)都讀取自從數(shù)據(jù)庫（或者多個從數(shù)據(jù)庫）。對于大量內(nèi)容并且頻繁更新的網(wǎng)站，我們無法全部手動去挨個實現(xiàn)頁面靜態(tài)化，所以我們需要引入常見的信息發(fā)布系統(tǒng)(CMS)，信息發(fā)布系統(tǒng)(CMS)可以實現(xiàn)最簡單的信息錄入自動生成靜態(tài)頁面，對于一個大型網(wǎng)站來說，擁有一套高效、可管理的CMS是必不可少的。1) 用戶基本信息及狀態(tài)的信息緩沖2) 列表緩存，就像論壇里帖子的列表3) 記錄條數(shù)的緩存，比如一個論壇板塊里有多少個帖子，這樣才方便實現(xiàn)分頁。 2) 擁有全面的API：OSCache API允許你通過編程的方式來控制所有的OSCache特性。2. 應(yīng)用程序方面的緩存1） OSCacheOSCache由OpenSymphony 設(shè)計，它是一種開創(chuàng)性的JSP 定制標(biāo)記應(yīng)用，提供了在現(xiàn)有JSP 頁面之內(nèi)實現(xiàn)快速內(nèi)存緩沖的功能，OSCache是個一個廣泛采用的高性能的J2EE緩存框架，OSCache 能用于任何Java 應(yīng)用程序的普通的緩存解決方案。location /mem/ { if ( $uri ~ ^/mem/([09AZaz_]*)$ ) {大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第16頁 set $memcached_key $1。 9) 穩(wěn)定性高用于反向代理，宕機(jī)的概率微乎其微。Nginx 特點如下：1) 工作在OSI模型的第 7層（應(yīng)用層）2) 高并發(fā)連接官方測試能夠支撐5萬并發(fā)連接，在實際生產(chǎn)環(huán)境中跑到2～3萬并發(fā)連接數(shù)。1） Squid Squid 是一個開源的軟件，利用它的反向代理技術(shù)可以提高網(wǎng)站系統(tǒng)的訪問速度,下面將重點介紹 Squid 反向代理的實現(xiàn)原理和在提高網(wǎng)站性能方面的應(yīng)用。Yahoo中國當(dāng)初接近2022臺服務(wù)器使用了三四臺Alteon就搞定了3. 通過軟件四層交換實現(xiàn)負(fù)載均衡軟件四層交換我們可以使用Linux上常用的LVS來解決，LVS就是Linux Virtual Server，他提供了基于心跳線heartbeat的實時災(zāi)難應(yīng)對解決方案，提高系統(tǒng)的魯棒性，同時可供了靈活的虛擬VIP配置和管理功能，可以同時滿足多種應(yīng)用需求，這對于分布式的系統(tǒng)來說必不可少。2) 采用硬件設(shè)備負(fù)載均衡器，實現(xiàn)網(wǎng)絡(luò)流量的負(fù)載均衡使用硬件設(shè)備負(fù)載均衡器，將網(wǎng)絡(luò)流量均衡的分擔(dān)到WEB服務(wù)器集群各節(jié)點服務(wù)器，保障平臺服務(wù)器資源均衡的使用。3) 通過web服務(wù)器的配置來實現(xiàn)負(fù)載均衡即通過apache或是Nginx 將客戶請求均衡的分給tomcat1,tomcat2....去處理。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案目 錄1 網(wǎng)站的性能瓶頸分析 .........................................................................................................12 系統(tǒng)架構(gòu)設(shè)計 .....................................................................................................................3 總體思路 ......................................................................................................................3 負(fù)載均衡 ................................................................................................................3 WEB應(yīng)用開發(fā)架構(gòu)思路 .......................................................................................3 數(shù)據(jù)存儲的設(shè)計思路 ............................................................................................3 不同網(wǎng)絡(luò)用戶訪問考慮 ........................................................................................4 總體架構(gòu) ......................................................................................................................5 網(wǎng)站的系統(tǒng)分層架構(gòu) ............................................................................................5 網(wǎng)站的物理架構(gòu) ....................................................................................................6 網(wǎng)站的開發(fā)架構(gòu) ....................................................................................................7 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu) ........................................................................................................8 架構(gòu)涉及技術(shù)的詳解 ..................................................................................................9 負(fù)載均衡 ................................................................................................................9 緩存 ......................................................................................................................15 頁面靜態(tài)化 ..........................................................................................................19 數(shù)據(jù)庫配置及優(yōu)化 ..............................................................................................20 文件存儲 ..............................................................................................................21 網(wǎng)絡(luò)問題解決方案 ..............................................................................................24 WEB應(yīng)用開發(fā)架構(gòu)設(shè)計思路 .........................................................................