【文章內(nèi)容簡介】 動靜分離的架構(gòu)圖如下所示：大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第14頁5. Apache +tomcat集群實現(xiàn)負載均衡。使用 apache和多個tomcat 配置一個可以應(yīng)用的web網(wǎng)站，用Apache進行分流，把請求按照權(quán)重以及當時負荷分tomcat1,tomcat2...去處理，大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第15頁要達到以下要求：1)Apache 做為HttpServer ，通過mod_jk連接器連接多個 tomcat 應(yīng)用實例，并進行負載均衡。2)同時還要配置session復(fù)制，也就是說其中任何一個tomcat的添加的session，是要同步復(fù)制到其它tomcat， 集群內(nèi)的tomcat都有相同的session，并為系統(tǒng)（包括 Apache 和 tomcat）設(shè)定 Session 超時時間。 緩存1. 系統(tǒng)架構(gòu)方面的緩存1） Squid緩存架構(gòu)方面使用Squid進行緩存。注： SQUID使用了 LM算法， LM就是頁面 Header里時間(Date)和 LastModified時間的差。 Date一般是 Squid從后面取頁面的時間， LastModified 一般是頁面生成時間。2） Nginx的緩存功能 版本開始，支持了類似 Squid的緩存功能；緩存把URL及相關(guān)組合當作Key ，用md5 編碼哈希后保存；Nginx的Web 緩存服務(wù)只能為指定 URL或狀態(tài)碼設(shè)置過期時間，不支持類似Squid的PURGE指令，手動清除指定緩存頁面；采用MMAP實現(xiàn)，設(shè)置的緩存區(qū)大小不能超過物理內(nèi)存+SWEB的值3） 基于memcached的緩存nginx 對 memcached 有所支持，但是功能并不是特別之強，性能上還是非常之優(yōu)秀。location /mem/ { if ( $uri ~ ^/mem/([09AZaz_]*)$ ) {大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第16頁 set $memcached_key $1。 memcached_pass :11211。 } expires 70。}這個配置會將 指明到 memcached 的abc 這個 key 去取數(shù)據(jù)。Nginx 目前沒有寫入 memcached 的任何機制，所以要往 memcached里寫入數(shù)據(jù)得用后臺的動態(tài)語言完成，可以利用 404 定向到后端去寫入數(shù)據(jù)。Nginx傳統(tǒng)緩存的缺點也是它和 squid等緩存軟件的不同之特色，所以也可看作其優(yōu)點。在生產(chǎn)應(yīng)用中它常常用作和squid的搭檔， squid對于帶 ?的鏈接往往無法阻擋，而 nginx能將其訪問攔住，例如： squid上會被當做兩個鏈接，所以會造成兩次穿透；而 nginx只會保存一次，無論鏈接變成 過 nginx緩存，從而有效地保護了后端主機。nginx會非常老實地將鏈接形式保存到文件系統(tǒng)中，這樣對于一個鏈接，可以很方便地查閱它在緩存機器上的緩存狀態(tài)和內(nèi)容，也可以很方便地和別的文件管理器如 rsync等配合使用，它完完全全就是一個文件系統(tǒng)結(jié)構(gòu)。2. 應(yīng)用程序方面的緩存1） OSCacheOSCache由OpenSymphony 設(shè)計，它是一種開創(chuàng)性的JSP 定制標記應(yīng)用，提供了在現(xiàn)有JSP 頁面之內(nèi)實現(xiàn)快速內(nèi)存緩沖的功能，OSCache是個一個廣泛采用的高性能的J2EE緩存框架，OSCache 能用于任何Java 應(yīng)用程序的普通的緩存解決方案。OSCache 有以下特點：緩存任何對象，你可以不受限制的緩存部分jsp頁面或HTTP請求，任何java對象都可以緩存。擁有全面的APIOSCache API給你全面的程序來控制所有的OSCache特性。永久緩存緩存能隨意的寫入硬盤，因此允許昂貴的創(chuàng)建大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第17頁（expensivetocreate ）數(shù)據(jù)來保持緩存，甚至能讓應(yīng)用重啟。支持集群集群緩存數(shù)據(jù)能被單個的進行參數(shù)配置，不需要修改代碼。緩存記錄的過期你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認性能不需要時）。OSCache是當前運用最廣的緩存方案，JBoss,Hibernate,Spring等都對其有支持。OSCache的特點:1) 緩存任何對象：你可以不受限制的緩存部分jsp頁面或HTTP請求，任何java 對象都可以緩存。 2) 擁有全面的API：OSCache API允許你通過編程的方式來控制所有的OSCache特性。 3) 永久緩存：緩存能被配置寫入硬盤，因此允許在應(yīng)用服務(wù)器的多次生命周期間緩存創(chuàng)建開銷昂貴的數(shù)據(jù)。 4) 支持集群：集群緩存數(shù)據(jù)能被單個的進行參數(shù)配置，不需要修改代碼。 5) 緩存過期：你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認性能不能滿足需要時）。2） Memcachedmemcached是高性能的分布式內(nèi)存緩存服務(wù)器。一般的使用目的是，通過緩存數(shù)據(jù)庫查詢結(jié)果，減少數(shù)據(jù)庫訪問次數(shù)，以提高動態(tài)Web應(yīng)用的速度、 提高可擴展性。Memcached是以Key/Value的形式單個對象緩存。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第18頁3） 自主開發(fā)的內(nèi)存數(shù)據(jù)緩存服務(wù)a） 獨立進程方式的緩存服務(wù)對于一些常用的動態(tài)數(shù)據(jù)通過開發(fā)程序服務(wù)緩存在內(nèi)存中，提供給其他子系統(tǒng)調(diào)用，如下面的數(shù)據(jù)就可以通過這樣方式進行緩存。1) 用戶基本信息及狀態(tài)的信息緩沖2) 列表緩存，就像論壇里帖子的列表3) 記錄條數(shù)的緩存，比如一個論壇板塊里有多少個帖子，這樣才方便實現(xiàn)分頁。4) 復(fù)雜一點的group，sum，count查詢，比如積分的分類排名b） 集成在WEB應(yīng)用中的內(nèi)存緩存在web應(yīng)用中對于熱點的功能，考慮使用完全裝載到內(nèi)存，保證絕對的響應(yīng)速度，對于需要頻繁訪問的熱點數(shù)據(jù)，采用集中緩存(多個可以采用負載均衡)，減輕數(shù)據(jù)庫的壓力，比如：很多配置信息，操作員信息等等。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第19頁 頁面靜態(tài)化靜態(tài)的HTML頁面嚴格地由標準的HTML標示語言構(gòu)成，并不需要服務(wù)器端即時運算生成。這意味著，對一個靜態(tài)HTML文檔發(fā)出訪問請求后，服務(wù)器端只是簡單地將該文檔傳輸?shù)娇蛻舳?。從服?wù)器運行的那個時間片來看，這個傳輸過程僅僅占用了很小的CPU資源。頁面靜態(tài)化就是采用效率最高、消耗最小的純靜態(tài)化的html頁面來替換動態(tài)頁面。我們盡可能使我們的網(wǎng)站上的頁面采用靜態(tài)頁面來實現(xiàn)，這個最簡單的方法其實也是最有效的方法。同時采用第三方開源的CMS系統(tǒng)來實現(xiàn)網(wǎng)站內(nèi)容的管理。對于大量內(nèi)容并且頻繁更新的網(wǎng)站，我們無法全部手動去挨個實現(xiàn)頁面靜態(tài)化，所以我們需要引入常見的信息發(fā)布系統(tǒng)(CMS)，信息發(fā)布系統(tǒng)(CMS)可以實現(xiàn)最簡單的信息錄入自動生成靜態(tài)頁面，對于一個大型網(wǎng)站來說，擁有一套高效、可管理的CMS是必不可少的。同時，HTML靜態(tài)化也是某些緩存策略使用的手段，對于系統(tǒng)中頻繁使用數(shù)據(jù)庫查詢但是內(nèi)容更新很小的應(yīng)用，可以考慮使用HTML靜態(tài)化來實現(xiàn)，比如論壇中論壇的公用設(shè)置信息，這些信息目前的主流論壇都可以進行后臺管理并且存儲再數(shù)據(jù)庫中，這些信息其實大量被前臺程序調(diào)用，但是更新頻率很小，可以考慮將這部分內(nèi)容進行后臺更新的時候進行靜態(tài)化，這樣避免了大量的數(shù)據(jù)庫訪問請求。在進行html靜態(tài)化的時候還可以使用一種折中的方法，就是前端繼續(xù)使用動態(tài)實現(xiàn)，在一定的策略下通過后臺模塊進行定時把動態(tài)網(wǎng)頁生成靜態(tài)頁面，并定時判斷調(diào)用，這個能實現(xiàn)很多靈活性的操作。為了提高靜態(tài)HTML的訪問效率，主要可以對以下幾個方面進行優(yōu)化：網(wǎng)絡(luò)帶寬、磁盤I/O 以及cache(高速緩沖存儲器)。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第20頁 數(shù)據(jù)庫配置及優(yōu)化1. 數(shù)據(jù)庫集群對生產(chǎn)數(shù)據(jù)庫采用RAC實現(xiàn)數(shù)據(jù)庫的集群。2. 數(shù)據(jù)庫及表的散列把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫進行分離，針對系統(tǒng)業(yè)務(wù)數(shù)據(jù)的特點，把大的表進行拆分，對于訪問較多的表采用分區(qū)表。使用讀/寫數(shù)據(jù)庫分離，隨著系統(tǒng)變得越來越龐大，特別是當它們擁有 很差的SQL時，一臺數(shù)據(jù)庫服務(wù)器通常不足以處理負載。但是多個數(shù)據(jù)庫意味著重復(fù)，除非你對數(shù)據(jù)進行了分離。更一般地，這意味著建立主/從副本系統(tǒng)，其中 程序會對主庫編寫所有的Update、Insert和Delete變更語句，而所有Select的數(shù)據(jù)都讀取自從數(shù)據(jù)庫（或者多個從數(shù)據(jù)庫）。盡管概念上很簡單，但是想要合理、精確地實 現(xiàn)并不容易，這可能需要大量的代碼工作。因此，即便在開始時使用同一臺數(shù)據(jù)庫服務(wù)器，也要盡早計劃在PHP 中使用分離的 DB連接來進行讀寫操作。如果正確 地完成該項工作，那么系統(tǒng)就可以擴展到2臺、 3臺甚至12 臺服務(wù)器，并具備高可用性和穩(wěn)定性。3. 擁有良好的DB配置和備份很多公司都沒有良好的備份機制，也不知道如 何恰當?shù)赝瓿蛇@項工作。只有imp是不夠的，還需要進行熱備份，從而得到超快的速度和超高的可靠性。另外，在將所有備份文件從服務(wù)器上轉(zhuǎn)移出來之前要進行壓縮和加密。另外還要確保擁有設(shè)計合理的、有用的關(guān)于安全、性能和穩(wěn)定性問題的設(shè)定，包括防止數(shù)據(jù)敗壞，其中很多設(shè)定都是非常重要的。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第21頁 文件存儲1. 文件共享1） HDFS（GFS）HDFS是Apache Hadoop項目中的一個分布式文件系統(tǒng)實現(xiàn)，基于Google于2022年10月發(fā)表的Google File System(GFS)論文。? 特性1) 硬件要求低2) 高容錯性3) 易可擴展4) 配置簡單5) 超大文件HDFS采用master/slave架構(gòu)。一個HDFS集群是由一個Namenode和一定數(shù)目的Datanodes組成。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第22頁2） NFS與GFS比較首先從它們的功能上進行分析。NFS即網(wǎng)絡(luò)文件系統(tǒng)，是由SUN公司開發(fā)的。它是FreeBSD 支持的文件系統(tǒng)中的一種，允許一個系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。通過使用NFS，用戶和程序訪問遠端系統(tǒng)上的文件就像訪問本地文件一樣。而GFS是Google 為了滿足本公司迅速增長的數(shù)據(jù)處理要求而開發(fā)的文件系統(tǒng)。GFS是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進行訪問的應(yīng)用。它是針對Google的計算機集群進行設(shè)計的，專門是為Google頁面搜索的存儲進行了優(yōu)化。所以從功能上看，它們兩者是完全不同的概念。其次從結(jié)構(gòu)上比較，NFS至少包括兩個主要部分：一臺服務(wù)器，以及至少一臺客戶機。被共享的目錄和文件存放在服務(wù)器上，客戶機遠程地訪問保存在服務(wù)器上的數(shù)據(jù)。GFS則由一臺Master(通常有幾臺備份)和若干臺TrunkServer構(gòu)成。GFS中文件備份成固定大小的 Trunk分別存儲在不同的 TrunkServer上，每個Trunk有多份 (比如3)拷貝，也存儲在不同的TrunkServer上。Master負責(zé)維護 GFS中的 Metadata，即文件名及其Trunk信息?？蛻舳讼葟腗aster 上得到文件的 Metadata，根據(jù)要讀取的數(shù)據(jù)在文件中的位置與相應(yīng)的 TrunkServer通信，獲取文件數(shù)據(jù)。再從跨平臺性上，NFS的基本原則是“容許不同的客戶端及服務(wù)端通過一組RPCs分享相同的文件系統(tǒng) ”，它是獨立于操作系統(tǒng)的，容許不同的操作系統(tǒng)共同地進行文件的共享。而GFS則沒有這一特點，文件只能被集群系統(tǒng)中的PC所訪問，而且這些PC 的操作系統(tǒng)一般是Linux 。最后從規(guī)模上比較，HDFS只應(yīng)用在大批量的數(shù)據(jù)共享上。目前Google擁有超過 200個的 GFS集群，其中有些集群的 PC數(shù)量超過5000大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第23頁臺。集群的數(shù)據(jù)存儲規(guī)?？梢赃_到5個PB ，并且集群中的數(shù)據(jù)讀寫吞吐量可達到每秒40G。而NFS一般沒有這么巨大的規(guī)模。2. 文件的多服務(wù)器自動同步使用Linux 監(jiān)控Linux 文件系統(tǒng)事件。利用開源的lsync監(jiān)聽某一目錄，如果目錄內(nèi)文件發(fā)生增、刪、改，利用Rsync 協(xié)議自動同步到多臺服務(wù)器。3. 圖片服務(wù)器分離特別是如果程序與圖片都放在同一個 APAHCE 的服務(wù)器下，每一個圖片的請求都有可能導(dǎo)致一個 HTTPD 進程的調(diào)用。使用獨立的圖片服務(wù)器不但可以避免以上這個情況，更可以對不同的使用性質(zhì)的圖片設(shè)置不同的過期時間，以便同一個用戶在不同頁面訪問相同圖片時不會再次從服務(wù)器（基于是緩存服務(wù)器）取數(shù)據(jù)，不但快速，而且還省了帶寬。還有就是，對于緩存的時間上，亦可以做獨立的調(diào)節(jié)。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計方案第24頁 網(wǎng)絡(luò)問題解決方案你不可能要求所有的使用人員，都和你的服務(wù)器在一個運營商的網(wǎng)絡(luò)內(nèi)，而不同網(wǎng)絡(luò)之間訪問速度會很慢，我們可以采用鏡像網(wǎng)站和引入CDN來解決這一問題。智 能 D N S解 析電 信 機 房服 務(wù) 器 1 服 務(wù) 器 n動態(tài)內(nèi)容 （ 社區(qū) 、 投票 、 調(diào)查 、 搜索 、 點評 、 視頻 ）靜態(tài)內(nèi)容（ 靜態(tài)網(wǎng)頁 、 圖片 ）多 線 機 房服 務(wù) 器 1 服 務(wù) 器 n服 務(wù) 器 1 服 務(wù) 器 n網(wǎng) 通 機 房其 他用 戶網(wǎng) 通用 戶用戶C D N電 信用 戶1. 智能DNS解析我們可以在不同的網(wǎng)絡(luò)運營商部署web服務(wù)器，通過linux上的rsync工具自動同步到不同網(wǎng)絡(luò)接入商的web服務(wù)器上，以作為主站的鏡像。然后通過配置智能DNS解析來引導(dǎo)不同網(wǎng)絡(luò)的訪問用戶到對應(yīng)的網(wǎng)絡(luò)運營商的web服務(wù)器。2. C