【正文】 性能a) 數(shù)據(jù)庫參數(shù)配置b) 服務(wù)器性能（CPU、內(nèi)存、存儲）c) 數(shù)據(jù)結(jié)構(gòu)的合理性4) 不同WEB應(yīng)用的處理方式而對不同的性能瓶頸a) 對于靜態(tài)的網(wǎng)站：靜態(tài)的HTML頁面嚴(yán)格地由標(biāo)準(zhǔn)的 HTML標(biāo)示語言構(gòu)成，并不需要服務(wù)器端即時運算生成。這意味著，對一個靜態(tài)HTML 文檔發(fā)出訪問請求后，服務(wù)器端只是簡單地將該文檔傳輸?shù)娇蛻舳恕τ陟o態(tài)HTML的訪問瓶頸為：網(wǎng)絡(luò)帶寬、磁盤 I/O以及cache( 高速緩沖存儲器) 。2 系統(tǒng)架構(gòu)設(shè)計 總體思路為提高網(wǎng)站的高并發(fā)性能,提高開發(fā)效率及運營效率,主要按如下幾個思路進(jìn)行規(guī)劃設(shè)計: 負(fù)載均衡1) 四層交換負(fù)載均衡：公開 內(nèi)部公開機(jī)密 絕密√8/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第4頁 ,共 43頁Page 4 , Total43采用負(fù)載均衡器來實現(xiàn)硬件級的四層交換負(fù)載均衡，或采用LVS來實現(xiàn)軟件的四層交換負(fù)載均衡。通過Nginx實現(xiàn)反向代理服務(wù)器集群，同時搭建squid集群以作為靜態(tài)頁面和圖片的緩存。 WEB應(yīng)用開發(fā)架構(gòu)思路1) 應(yīng)用開發(fā)實現(xiàn)MVC架構(gòu)三層架構(gòu)進(jìn)行web應(yīng)用開發(fā)2) 頁面盡可能靜態(tài)化以減少動態(tài)數(shù)據(jù)訪問，如果是資訊類的網(wǎng)站可以考慮采用第三方開源的CMS系統(tǒng)來生成靜態(tài)的內(nèi)容頁面。2) 采用高效的網(wǎng)絡(luò)文件共享策略，采用圖片服務(wù)器來實現(xiàn)頁面的圖片存儲。2) 在不同運營商機(jī)房部署服務(wù)器，通過鏡像技術(shù)來實現(xiàn)不同網(wǎng)絡(luò)服務(wù)商的接入速度問題。采用雙千兆交換機(jī)分別接在2臺防火墻上，當(dāng)某臺設(shè)備或者網(wǎng)絡(luò)鏈路發(fā)生故障后，好設(shè)備自動接管已壞設(shè)備的工作，不影響網(wǎng)站的整體運行，根據(jù)業(yè)務(wù)及真實服務(wù)器的數(shù)量，交換機(jī)可以隨時增加。3) 采用代理服務(wù)器，實現(xiàn)軟件級的網(wǎng)絡(luò)負(fù)載均衡。因此，對于同一個名字，不同的客戶機(jī)會得到不同的地址，它們也就訪問不同地址上的Web 服務(wù)器，從而達(dá)到負(fù)載均衡的目的。最后一點是致命的，有可能造成相當(dāng)一部分客戶不能享受Web服務(wù)，并且由于DNS 緩存的原因，所造成的后果要持續(xù)相當(dāng)長一段時間(一般DNS 的刷新周期約為24小時)。2. 通過硬件四層交換實現(xiàn)負(fù)載均衡在硬件四層交換產(chǎn)品領(lǐng)域，有一些知名的產(chǎn)品可以選擇，比如Alteon、F5等，這些產(chǎn)品很昂貴，但是物有所值，能夠提供非常優(yōu)秀的性能和很靈活的管理能力。一個典型的使用負(fù)載均衡的策略就是，在軟件或者硬件四層交換的基礎(chǔ)上搭建squid集群，這種思路在很多大型網(wǎng)站包括搜索引擎上被采用，這樣的架構(gòu)低成本、高性能還有很強的擴(kuò)張性。當(dāng)互聯(lián)網(wǎng)用戶請求 WEB 服務(wù)時， DNS 將請求的域名解析為反向代理服務(wù)器的 IP 地址，這樣 URL 請求將被發(fā)送到反向代理服務(wù)器，由反向代理服務(wù)器負(fù)責(zé)處理用戶的請求與應(yīng)答、與后臺 WEB 服務(wù)器交互。目前有許多反向代理軟件，比較有名的有 Nginx 和 Squid 。Squid是由美國政府大力資助的一項研究計劃，其目的為解決網(wǎng)絡(luò)帶寬不足的問題，支持HTTP，HTTPS，F(xiàn)TP 等多種協(xié)議，是現(xiàn)在 Unix 系統(tǒng)上使用、最多功能也最完整的一套軟體。Squid反向代理服務(wù)器位于本地 WEB 服務(wù)器和 Inter 之間 , 組織架構(gòu)如下圖：客戶端請求訪問 WEB 服務(wù)時，DNS 將訪問的域名解析為 Squid 反向代理服務(wù)器的 IP 地址，這樣客戶端的 URL 請求將被發(fā)送到反向代理服務(wù)器。Squid 反向代理一般只緩存可緩沖的數(shù)據(jù)（比如 html 網(wǎng)頁和圖片等），而一些 CGI 腳本程序或者 ASP、JSP 之類的動態(tài)程序默認(rèn)不緩存。2） NginxNginx (“engine x”) 是俄羅斯人Igor Sysoev(塞索耶夫)編寫的一款高性能的 HTTP 和反向代理服務(wù)器。在國內(nèi)，已經(jīng)有新浪博客、新浪播客、搜狐通行證、網(wǎng)易新聞、網(wǎng)易博客、金山逍遙網(wǎng)、金山愛詞霸、校內(nèi)網(wǎng)、YUPOO相冊、豆瓣、迅雷看看等多家網(wǎng)站、頻道使用 Nginx 服務(wù)器。 3) 內(nèi)存消耗少在3萬并發(fā)連接下，開啟的10個Nginx 進(jìn)程才消耗150M內(nèi)存（15M*10=150M）。 5) 成本低廉Nginx為開源軟件，可以免費使用。 6) 支持Rewrite重寫規(guī)則能夠根據(jù)域名、URL的不同，將 HTTP 請求分到不同的后端服務(wù)器群組。 8) 節(jié)省帶寬支持 GZIP 壓縮，可以添加瀏覽器本地緩存的 Header 頭。 3） Nginx+squid頁面緩存來實現(xiàn)反向代理負(fù)載均衡通過Nginx反向代理和squid緩存實現(xiàn)動靜分離的架構(gòu)圖如下所示：公開 內(nèi)部公開機(jī)密 絕密√8/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第12頁,共43 頁Page 12 , Total435. Apache +tomcat集群實現(xiàn)負(fù)載均衡。2) 同時還要配置session復(fù)制，也就是說其中任何一個tomcat的添加的session，是要同步復(fù)制到其它tomcat， 集群內(nèi)的 tomcat都有相同的session，并為系統(tǒng)（包括 Apache 和 tomcat）設(shè)定 Session 超時時間。注： SQUID使用了 LM算法， LM就是頁面 Header里時間 (Date)和 LastModified時間的差。2） Nginx的緩存功能，支持了類似Squid 的緩存功能；緩存把URL 及相關(guān)組合當(dāng)作 Key，用md5編碼哈希后保存；Nginx的Web緩存服務(wù)只能為指定URL或狀態(tài)碼設(shè)置過期時間，不支持類似Squid的PURGE指令，手動清除指定緩存頁面；采用MMAP實現(xiàn)，設(shè)置的緩存區(qū)大小不能超過物理內(nèi)存+SWEB的值3） 基于mem cached的緩存nginx 對 memcached 有所支持，但是功能并不是特別之強，性能上還是非常之優(yōu)秀。 memcached_pass :11211。}這個配置會將 指明到 memcached 的 abc 這個 key 去取數(shù)據(jù)。公開 內(nèi)部公開機(jī)密 絕密√8/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第14頁,共43 頁Page 14 , Total43Nginx傳統(tǒng)緩存的缺點也是它和 squid等緩存軟件的不同之特色，所以也可看作其優(yōu)點。nginx會非常老實地將鏈接形式保存到文件系統(tǒng)中，這樣對于一個鏈接，可以很方便地查閱它在緩存機(jī)器上的緩存狀態(tài)和內(nèi)容，也可以很方便地和別的文件管理器如 rsync等配合使用，它完完全全就是一個文件系統(tǒng)結(jié)構(gòu)。OSCache有以下特點：緩存任何對象，你可以不受限制的緩存部分jsp頁面或HTTP請求，任何java對象都可以緩存。永久緩存 緩存能隨意的寫入硬盤，因此允許昂貴的創(chuàng)建（expensivetocreate）數(shù)據(jù)來保持緩存，甚至能讓應(yīng)用重啟。緩存記錄的過期你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認(rèn)性能不需要時）。OSCache的特點:1) 緩存任何對象：你可以不受限制的緩存部分 jsp頁面或HTTP請求，任何java對象都可以緩存。 3) 永久緩存：緩存能被配置寫入硬盤，因此允許在應(yīng)用服務(wù)器的多次生命周期間緩存創(chuàng)建開銷昂貴的數(shù)據(jù)。 5) 緩存過期：你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認(rèn)性能不能滿足需要時）。一般的使用目的是，通過緩存數(shù)據(jù)庫查詢結(jié)果，減少數(shù)據(jù)庫訪問次數(shù)，以提高動態(tài)Web應(yīng)用的速度、 提高可擴(kuò)展性。公開 內(nèi)部公開機(jī)密 絕密√8/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第15頁,共43 頁Page 15 , Total433） 自主開發(fā)的內(nèi)存數(shù)據(jù)緩存服務(wù)a） 獨立進(jìn)程方式的緩存服務(wù)對于一些常用的動態(tài)數(shù)據(jù)通過開發(fā)程序服務(wù)緩存在內(nèi)存中，提供給其他子系統(tǒng)調(diào)用，如下面的數(shù)據(jù)就可以通過這樣方式進(jìn)行緩存。4) 復(fù)雜一點的group ，sum，count查詢，比如積分的分類排名b） 集成在WEB 應(yīng)用中的內(nèi)存緩存在web應(yīng)用中對于熱點的功能，考慮使用完全裝載到內(nèi)存，保證絕對的響應(yīng)速度，對于需要頻繁訪問的熱點數(shù)據(jù)，采用集中緩存(多個可以采用負(fù)載均衡) ，減輕數(shù)據(jù)庫的壓力，比如：很多配置信息，操作員信息等等。這意味著，對一個靜態(tài)HTML 文檔發(fā)出訪問請求后，服務(wù)器端只是簡單地將該文檔傳輸?shù)娇蛻舳恕ｍ撁骒o態(tài)化就是采用效率最高、消耗最小的純靜態(tài)化的html頁面來替換動態(tài)頁面。公開 內(nèi)部公開機(jī)密 絕密√8/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第16頁,共43 頁Page 16 , Total43同時采用第三方開源的CMS 系統(tǒng)來實現(xiàn)網(wǎng)站內(nèi)容的管理。同時，HTML靜態(tài)化也是某些緩存策略使用的手段，對于系統(tǒng)中頻繁使用數(shù)據(jù)庫查詢但是內(nèi)容更新很小的應(yīng)用，可以考慮使用HTML 靜態(tài)化來實現(xiàn)，比如論壇中論壇的公用設(shè)置信息，這些信息目前的主流論壇都可以進(jìn)行后臺管理并且存儲再數(shù)據(jù)庫中，這些信息其實大量被前臺程序調(diào)用，但是更新頻率很小，可以考慮將這部分內(nèi)容進(jìn)行后臺更新的時候進(jìn)行靜態(tài)化，這樣避免了大量的數(shù)據(jù)庫訪問請求。為了提高靜態(tài)HTML的訪問效率，主要可以對以下幾個方面進(jìn)行優(yōu)化：網(wǎng)絡(luò)帶寬、磁盤I/O以及cache(高速緩沖存儲器) 。2. 數(shù)據(jù)庫及表的散列把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫進(jìn)行分離，針對系統(tǒng)業(yè)務(wù)數(shù)據(jù)的特點，把大的表進(jìn)行拆分，對于訪問較多的表采用分區(qū)表。但是多個數(shù)據(jù)庫意味著重復(fù)，除非你對數(shù)據(jù)進(jìn)行了分離。盡管概念上很簡單，但是想要合理、精確地實 現(xiàn)并不容易，這可能需要大量的代碼工作。如果正確 地完成該項工作，那么系統(tǒng)就可以擴(kuò)展到2臺、3 臺甚至12臺服務(wù)器，并具備高可用性和穩(wěn)定性。只有imp是不夠的，還需要進(jìn)行熱備份，從而得到超快的速度和超高的可靠性。另外還要確保擁有設(shè)計合理的、有用的關(guān)于安全、性能和穩(wěn)定性問題的設(shè)定，包括防止數(shù)據(jù)敗壞，其中很多設(shè)定都是非常重要的。? 特性1) 硬件要求低2) 高容錯性3) 易可擴(kuò)展4) 配置簡單5) 超大文件HDFS采用master/slave 架構(gòu)。公開 內(nèi)部公開機(jī)密 絕密√8/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第18頁,共43 頁Page 18 , Total432） NFS與GFS比較首先從它們的功能上進(jìn)行分析。它是FreeBSD支持的文件系統(tǒng)中的一種，允許一個系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。而GFS是Google為了滿足本公司迅速增長的數(shù)據(jù)處理要求而開發(fā)的文件系統(tǒng)。它是針對Google的計算機(jī)集群進(jìn)行設(shè)計的，專門是為Google頁面搜索的存儲進(jìn)行了優(yōu)化。其次從結(jié)構(gòu)上比較，NFS至少包括兩個主要部分：一臺服務(wù)器，以及至少一臺客戶機(jī)。GFS則由一臺Master(通常有幾臺備份) 和若干臺TrunkServer構(gòu)成。Master 負(fù)責(zé)維護(hù) GFS中的 Metadata，即文件名及其Trunk 信息。再從跨平臺性上，NFS的基本原則是“容許不同的客戶端及服務(wù)端通過一組RPCs分享相同的文件系統(tǒng)”，它是獨立于操作系統(tǒng)的，容許不同的操作系統(tǒng)共同地進(jìn)行文件的共享。最后從規(guī)模上比較，HDFS只應(yīng)用在大批量的數(shù)據(jù)共享上。集群的數(shù)據(jù)存儲規(guī)模可以達(dá)到5個PB，并且集群中的數(shù)據(jù)讀寫吞吐量可達(dá)到每秒40G 。2. 文件的多服務(wù)器自動同步使用Linux 文件系統(tǒng)事件。3. 圖片服務(wù)器分離特別是如果程序與圖片都放在同一個 APAHCE 的服務(wù)器下，每一個圖片的請求都有可能導(dǎo)致一個 HTTPD 進(jìn)程的調(diào)用。還有就是，對于緩存的時間上，亦可以做獨立公開 內(nèi)部公開機(jī)密 絕密√8/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第19頁,共43 頁Page 19 , Total43的調(diào)節(jié)。智 能 D N S解 析電 信 機(jī) 房服 務(wù) 器 1 服 務(wù) 器 n動態(tài)內(nèi)容 （ 社區(qū) 、 投票 、 調(diào)查 、 搜索 、 點評 、 視頻 ）靜態(tài)內(nèi)容（ 靜態(tài)網(wǎng)頁 、 圖片 ）多 線 機(jī) 房服 務(wù) 器 1 服 務(wù) 器 n服 務(wù) 器 1 服 務(wù) 器 n網(wǎng) 通 機(jī) 房其 他用 戶網(wǎng) 通用 戶用戶C D N電 信用 戶1. 智能DNS解析我們可以在不同的網(wǎng)絡(luò)運營商部署web服務(wù)器，通過linux上的rsync工具自動同步到不同網(wǎng)絡(luò)接入商的web服務(wù)器上，以作為主站的鏡像。2. CDN如果有足夠的投資，也可以采用CDN(內(nèi)容分發(fā)網(wǎng)) ，把靜態(tài)內(nèi)容（靜態(tài)頁面和圖片）進(jìn)行CDN緩存，以減輕服務(wù)器壓力。它采取了分布式網(wǎng)絡(luò)緩存結(jié)構(gòu)（即國際上流行的 web cache技術(shù)），其目的是通過在現(xiàn)有的 Inter中增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站的內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò) 邊緣 ，使用戶可公開 內(nèi)部公開機(jī)密 絕密√8/23/2022 版權(quán)所有，侵權(quán)必究All rights reserved 第20頁,共43 頁Page 20 , Total43以就近取得所需的內(nèi)容，解決 Inter網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問網(wǎng)站的響應(yīng)速度。 (也就是一個服務(wù)器的內(nèi)容，平均分部到多個服務(wù)器上，服務(wù)器智能識別，讓用戶獲取離用戶最近的服務(wù)器，提高速度。而一般的網(wǎng)站如果服務(wù)器在網(wǎng)通，電信用戶訪問很慢，如果服務(wù)器在電信，網(wǎng)通用戶訪問又很慢。iBATIS 是一個可以設(shè)計和實現(xiàn)更好的 Java 應(yīng)用程序持久化層的框架。簡單是 iBATIS 最大的優(yōu)勢? ibatis使用ibatis的十個理由1. 至少能操作