【正文】 2. 各架構(gòu)下的性能分析1) Nginx+2Tomcat的最大并發(fā)性低于單Tomcat，Nginx+2Tomcat最快為8980條/秒，單Tomcat為12986條/秒，分析可能是受 nginx所在服務(wù)器性能影響所致。Test1 542 秒 3690 條/秒 200 萬 45016毫秒 毫秒2 2 500 200萬 25 毫秒Test2 2544 秒 3676 條/秒 200 萬 45014毫秒 毫秒400 萬次請求全部完成，無一錯包。 后端服務(wù)器數(shù)據(jù)回傳時間_ 就是在規(guī)定時間之內(nèi)后端服務(wù)器必須傳完所有的數(shù)據(jù) proxy_send_timeout 600。 server :8080。 server_names_hash_bucket_size 128。web server 允許的最大連接數(shù)還受制于*作系統(tǒng)的內(nèi)核參數(shù)設(shè)置，通常 Windows 是 2022 個左右，Linux 是 1000 個左右。默認值 150。這些應(yīng)用服務(wù)器從數(shù)據(jù)眾多的服務(wù)（每個服務(wù)背后都有數(shù)據(jù)庫或集群數(shù)據(jù)庫）中聚合信息，然后生成我們。2. CDN如果有足夠的投資，也可以采用CDN(內(nèi)容分發(fā)網(wǎng) )，把靜態(tài)內(nèi)容（靜態(tài)頁面和圖片）進行CDN緩存，以減輕服務(wù)器壓力。Master負責(zé)維護 GFS中的 Metadata，即文件名及其Trunk信息。另外還要確保擁有設(shè)計合理的、有用的關(guān)于安全、性能和穩(wěn)定性問題的設(shè)定，包括防止數(shù)據(jù)敗壞，其中很多設(shè)定都是非常重要的。同時采用第三方開源的CMS系統(tǒng)來實現(xiàn)網(wǎng)站內(nèi)容的管理。OSCache的特點:1) 緩存任何對象：你可以不受限制的緩存部分jsp頁面或HTTP請求，任何java 對象都可以緩存。2） Nginx的緩存功能 版本開始，支持了類似 Squid的緩存功能；緩存把URL及相關(guān)組合當(dāng)作Key ，用md5 編碼哈希后保存；Nginx的Web 緩存服務(wù)只能為指定 URL或狀態(tài)碼設(shè)置過期時間，不支持類似Squid的PURGE指令，手動清除指定緩存頁面；采用MMAP實現(xiàn)，設(shè)置的緩存區(qū)大小不能超過物理內(nèi)存+SWEB的值3） 基于memcached的緩存nginx 對 memcached 有所支持，但是功能并不是特別之強，性能上還是非常之優(yōu)秀。在國內(nèi)，已經(jīng)有新浪博客、新浪播客、搜狐通行證、網(wǎng)易新聞、網(wǎng)易博客、金山逍遙網(wǎng)、金山愛詞霸、校內(nèi)網(wǎng)、YUPOO相冊、豆瓣、迅雷看看等多家網(wǎng)站、頻道使用 Nginx 服務(wù)器。2. 通過硬件四層交換實現(xiàn)負載均衡在硬件四層交換產(chǎn)品領(lǐng)域，有一些知名的產(chǎn)品可以選擇，比如Alteon、F5等，這些產(chǎn)品很昂貴，但是物有所值，能夠提供非常優(yōu)秀的性大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第10頁能和很靈活的管理能力。通過Nginx實現(xiàn)反向代理服務(wù)器集群，同時搭建squid集群以作為靜態(tài)頁面和圖片的緩存。3) 通過web服務(wù)器的配置來實現(xiàn)負載均衡即通過apache或是Nginx 將客戶請求均衡的分給tomcat1,tomcat2....去處理。Yahoo中國當(dāng)初接近2022臺服務(wù)器使用了三四臺Alteon就搞定了3. 通過軟件四層交換實現(xiàn)負載均衡軟件四層交換我們可以使用Linux上常用的LVS來解決，LVS就是Linux Virtual Server，他提供了基于心跳線heartbeat的實時災(zāi)難應(yīng)對解決方案，提高系統(tǒng)的魯棒性，同時可供了靈活的虛擬VIP配置和管理功能，可以同時滿足多種應(yīng)用需求，這對于分布式的系統(tǒng)來說必不可少。Nginx 特點如下：1) 工作在OSI模型的第 7層（應(yīng)用層）2) 高并發(fā)連接官方測試能夠支撐5萬并發(fā)連接，在實際生產(chǎn)環(huán)境中跑到2～3萬并發(fā)連接數(shù)。location /mem/ { if ( $uri ~ ^/mem/([09AZaz_]*)$ ) {大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第16頁 set $memcached_key $1。 2) 擁有全面的API：OSCache API允許你通過編程的方式來控制所有的OSCache特性。對于大量內(nèi)容并且頻繁更新的網(wǎng)站，我們無法全部手動去挨個實現(xiàn)頁面靜態(tài)化，所以我們需要引入常見的信息發(fā)布系統(tǒng)(CMS)，信息發(fā)布系統(tǒng)(CMS)可以實現(xiàn)最簡單的信息錄入自動生成靜態(tài)頁面，對于一個大型網(wǎng)站來說，擁有一套高效、可管理的CMS是必不可少的。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第21頁 文件存儲1. 文件共享1） HDFS（GFS）HDFS是Apache Hadoop項目中的一個分布式文件系統(tǒng)實現(xiàn)，基于Google于2022年10月發(fā)表的Google File System(GFS)論文?？蛻舳讼葟腗aster 上得到文件的 Metadata，根據(jù)要讀取的數(shù)據(jù)在文件中的位置與相應(yīng)的 TrunkServer通信，獲取文件數(shù)據(jù)。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第25頁CDN的全稱是 Content Delivery Network，即內(nèi)容分發(fā)網(wǎng)絡(luò)。這樣各種服務(wù)如插件一樣組成了一個開放的平臺，這樣團隊的規(guī)模就會比較小，比較靈活。acceptCount： 指定當(dāng)所有可以使用的處理請求的線程數(shù)都被使用時，可以放到處理隊列中的請求數(shù)，超過這個數(shù)的請求將不予處理。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第33頁 apache服務(wù)器優(yōu)化加大并發(fā)數(shù)量和關(guān)閉不需要的模塊。 client_header_buffer_size 32k。 } server { listen 81。 代理請求緩存區(qū)_ 這個緩存區(qū)間會保存用戶的頭信息以供 Nginx進行規(guī)則處理_一般只要能保存下頭信息即可 proxy_buffer_size 8k。Test1 1140 秒 2445 條/秒 278 萬 　 　3 2 500 300萬 50 毫秒Test2 21141 秒 2424 條/秒 276 萬 　 　服務(wù)端從第 1100 秒左右開始，TomcatTomcat2 占用內(nèi)存到達 Xmx 指定上限 ，TestTest2 請求速度緩慢下降，但并無錯包，人為終止測試。2) ，在持續(xù)超過1479 條/ 秒的并發(fā)請求下，在穩(wěn)定支撐約240萬次響應(yīng)后，之后Tomcat響應(yīng)會急劇變慢，錯包急劇上升。3） Xmx最大內(nèi)存值對Tomcat能夠持續(xù)響應(yīng)高并發(fā)的影響持續(xù)高并發(fā)請求狀態(tài)下，有6次測試是因為tomcat 內(nèi)存達到指定最大值導(dǎo)致響應(yīng)變慢，直至內(nèi)存溢出停止響應(yīng)，因此，Tomcat最大內(nèi)存對tomcat能夠持續(xù)響應(yīng)高并發(fā)請求有很大的影響，調(diào)整該值，應(yīng)該可以增加Tomcat響應(yīng)高并發(fā)請求的總數(shù)，進而延長WEB 服務(wù)能夠支撐峰值的時間。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第41 頁 Nginx+2個TOMCAT的WEB服務(wù)器NO 客戶端數(shù) 線程 數(shù) 請求次數(shù) 間隔時間 測試服 務(wù)器 Tomcat 占用內(nèi)存 服務(wù)器 負載 持續(xù)時 間 平均速度 完成請 求數(shù) 最大響應(yīng)時長 平均響應(yīng) 時長 測試結(jié)果Test1 1G 347 秒 4322 條/秒 150 萬 93005毫秒 毫秒1 2 250 150萬 0 毫秒Test1 1G 2322 秒 4658 條/秒 150 萬 21244毫秒 毫秒300 萬次請求全部完成，無一錯包。 連接成功后 _等候后端服務(wù)器響應(yīng)時間 _其實已經(jīng)進入后端的排隊之中等候處理 proxy_read_timeout 600。 server :8081。 charset gb2312。如果要加大并發(fā)連接數(shù)，應(yīng)同時加大這兩個參數(shù)。這個值表示 Tomcat 可創(chuàng)建的最大的線程數(shù)。這樣就有了越來越多的應(yīng)用服務(wù)器。然后通過配置智能DNS解析來引導(dǎo)不同網(wǎng)絡(luò)的訪問用戶到對應(yīng)的網(wǎng)絡(luò)運營商的web服務(wù)器。GFS中文件備份成固定大小的 Trunk分別存儲在不同的 TrunkServer上，每個Trunk有多份 (比如3)拷貝，也存儲在不同的TrunkServer上。另外，在將所有備份文件從服務(wù)器上轉(zhuǎn)移出來之前要進行壓縮和加密。我們盡可能使我們的網(wǎng)站上的頁面采用靜態(tài)頁面來實現(xiàn)，這個最簡單的方法其實也是最有效的方法。OSCache是當(dāng)前運用最廣的緩存方案，JBoss,Hibernate,Spring等都對其有支持。 Date一般是 Squid從后面取頁面的時間， LastModified 一般是頁面生成時間。Nginx 已經(jīng)在俄羅斯最大的門戶網(wǎng)站 ── Rambler Media上運行了4年時間，同時俄羅斯超過20%的虛擬主機平臺采用Nginx作為反向代理服務(wù)器。所以在國外最新的建設(shè)中心Web站點方案中，已經(jīng)很少采用這種方案了。2) 通過第三方軟件來實現(xiàn)負載均衡,同時實現(xiàn)頁面請求的緩存。 WEB應(yīng)用開發(fā)架構(gòu)思路1) 應(yīng)用開發(fā)實現(xiàn)MVC架構(gòu)三層架構(gòu)進行web應(yīng)用開發(fā)2) 頁面盡可能靜態(tài)化以減少動態(tài)數(shù)據(jù)訪問，如果是資訊類的網(wǎng)站可以考慮采用第三方開源的CMS系統(tǒng)來生成靜態(tài)的內(nèi)容頁面。一個典型的使用負載均衡的策略就是，在軟件或者硬件四層交換的基礎(chǔ)上搭建squid集群，這種思路在很多大型網(wǎng)站包括搜索引擎上被采用，這樣的架構(gòu)低成本、高性能還有很強的擴張性。 3) 內(nèi)存消耗少在3萬并發(fā)連接下，開啟的10個Nginx 進程才消耗150M內(nèi)存（15M*10=150M）。 memcached_pass :11211。 3) 永久緩存：緩存能被配置寫入硬盤，因此允許在應(yīng)用服務(wù)器的多次生命周期間緩存創(chuàng)建開銷昂貴的數(shù)據(jù)。同時，HTML靜態(tài)化也是某些緩存策略使用的手段，對于系統(tǒng)中頻繁使用數(shù)據(jù)庫查詢但是內(nèi)容更新很小的應(yīng)用，可以考慮使用HTML靜態(tài)化來實現(xiàn)，比如論壇中論壇的公用設(shè)置信息，這些信息目前的主流論壇都可以進行后臺管理并且存儲再數(shù)據(jù)庫中，這些信息其實大量被前臺程序調(diào)用，但是更新頻率很小，可以考慮將這部分內(nèi)容進行后臺更新的時候進行靜態(tài)化，這樣避免了大量的數(shù)據(jù)庫訪問請求。? 特性1) 硬件要求低2) 高容錯性3) 易可擴展4) 配置簡單5) 超大文件HDFS采用master/slave架構(gòu)。再從跨平臺性上，NFS的基本原則是“容許不同的客戶端及服務(wù)端通過一組RPCs分享相同的文件系統(tǒng) ”，它是獨立于操作系統(tǒng)的，容許不同的操作系統(tǒng)共同地進行文件的共享。它采取了分布式網(wǎng)絡(luò)緩存結(jié)構(gòu)（即國際上流行的 web cache技術(shù)），其目的是通過在現(xiàn)有的 Inter中增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站的內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò) 邊緣 ，使用戶可以就近取得所需的內(nèi)容，解決 Inter網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問網(wǎng)站的響應(yīng)速度。注 Amazon 就是采用了這種架構(gòu)來構(gòu) 建的，它擁有上千臺服務(wù)器。默認值 10。因為apache非常消耗內(nèi)存，盡量輕量化。 large_client_header_buffers 4 32k。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第37頁 server_name localhost。 同上 告訴Nginx保存單個用的幾個Buffer 最大用多大空間 proxy_buffers 4 32k。 Test1 1860 秒 1490 條/秒 277 萬 　 　4 2 500 300萬 200毫秒Test2 11863 秒 1482 條/秒 276 萬 　 　服務(wù)端從第 1800 秒左右開始，TomcatTomcat2 占用內(nèi)存到達 Xmx 指定上限 ，TestTest2 請求速度緩慢下降，但并無錯包，人為終止測試。第44頁3) Nginx+2tomcat架構(gòu)下，在持續(xù)超過2900 條/ 秒的并發(fā)請求下，能夠穩(wěn)定支撐約540萬次左右響應(yīng)，之后兩個Tomcat ，響應(yīng)會急劇變慢，但錯包情況并未出現(xiàn)。分析MaxThread雖能夠提高 tomcat并發(fā)能力，但前提是在一個合理的范圍內(nèi)，要確保服務(wù)器負載不會因為并發(fā)線程過多而急劇升高，從而停止響應(yīng)。Test1 6362秒 471 條/秒 300萬6 2 500 300萬 1000毫秒Test2 1 6351秒472 條/秒300萬在測試進度到 80%左右時，tomcat1 占用內(nèi)存達到了 Xmx 指定上限 ，但TestTest2 請求速度并未下降，直到 600 萬次請求全部完成，兩個客戶端分別有 9 個丟包，丟包率只有 %，最長的響應(yīng)時長為 秒。 跟后端服務(wù)器連接的超時時間_ 發(fā)起握手等候響應(yīng)超時時間 proxy_connect_timeout 600。 upstream tomcats { server :8081。 default_type application/octetstream。 其中和最大連接數(shù)相關(guān)的參數(shù)為 maxThreads 和 acceptCount。連接器優(yōu)化： 在 tomcat 配置文件 中的配置中，和連接數(shù)相關(guān)的參數(shù)有：maxThreads： Tomcat 使用線程來處理接收的每個請求。面向服務(wù)的架構(gòu)