【正文】 提供給他們隔離特性，一個服務可能有很多臺數(shù)據(jù)庫服務器，他們之間的數(shù)據(jù)是相通的，而對外他們的接口只有一個，外面是無法知道這個服務后面的數(shù)據(jù)組織是如何搭建的。智 能 D N S解 析電 信 機 房服 務 器 1 服 務 器 n動態(tài)內(nèi)容 （ 社區(qū) 、 投票 、 調(diào)查 、 搜索 、 點評 、 視頻 ）靜態(tài)內(nèi)容（ 靜態(tài)網(wǎng)頁 、 圖片 ）多 線 機 房服 務 器 1 服 務 器 n服 務 器 1 服 務 器 n網(wǎng) 通 機 房其 他用 戶網(wǎng) 通用 戶用戶C D N電 信用 戶1. 智能DNS解析我們可以在不同的網(wǎng)絡運營商部署web服務器，通過linux上的rsync工具自動同步到不同網(wǎng)絡接入商的web服務器上，以作為主站的鏡像。GFS則由一臺Master(通常有幾臺備份)和若干臺TrunkServer構成。只有imp是不夠的，還需要進行熱備份，從而得到超快的速度和超高的可靠性。頁面靜態(tài)化就是采用效率最高、消耗最小的純靜態(tài)化的html頁面來替換動態(tài)頁面。緩存記錄的過期你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認性能不需要時）。注： SQUID使用了 LM算法， LM就是頁面 Header里時間(Date)和 LastModified時間的差。2） NginxNginx (“engine x”) 是俄羅斯人Igor Sysoev(塞索耶夫)編寫的一大型網(wǎng)絡平臺架構設計方案第13頁款高性能的 HTTP 和反向代理服務器。最后一點是致命的，有可能造成相當一部分客戶不能享受Web服務，并且由于DNS緩存的原因，所造成的后果要持續(xù)相當長一段時間( 一般 DNS的刷新周期約為 24小時)。大型網(wǎng)絡平臺架構設計方案第3頁2 系統(tǒng)架構設計 總體思路為提高網(wǎng)站的高并發(fā)性能,提高開發(fā)效率及運營效率,主要按如下幾個思路進行規(guī)劃設計: 負載均衡1) 四層交換負載均衡：采用負載均衡器來實現(xiàn)硬件級的四層交換負載均衡，或采用LVS來實現(xiàn)軟件的四層交換負載均衡。3) 采用Oscache實現(xiàn)頁面緩存,采用Memcached實現(xiàn)數(shù)據(jù)緩存4) 采用獨立的圖片服務器集群來實現(xiàn)圖片資源的存儲及WEB請求 數(shù)據(jù)存儲的設計思路1) 數(shù)據(jù)庫拆分,把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫分離，對生產(chǎn)數(shù)據(jù)庫采用RAC實現(xiàn)數(shù)據(jù)庫的集群。4. 通過反向代理服務器實現(xiàn)負載均衡反向代理服務器又稱為 WEB 加速服務器，它位于 WEB 服務器的前端，充當WEB服務器的內(nèi)容緩存器,反向代理服務器是針對 WEB 服務器設置的，后臺 WEB 服務器對互聯(lián)網(wǎng)用戶是透明的，用戶只能看到反向代理服務器的地址，不清楚后臺 WEB 服務器是如何組織架構的。 4) 配置文件非常簡單風格跟程序一樣通俗易懂。 } expires 70。 4) 支持集群：集群緩存數(shù)據(jù)能被單個的進行參數(shù)配置，不需要修改代碼。在進行html靜態(tài)化的時候還可以使用一種折中的方法，就是前端繼續(xù)使用動態(tài)實現(xiàn)，在一定的策略下通過后臺模塊進行定時把動態(tài)網(wǎng)頁生成靜態(tài)頁面，并定時判斷調(diào)用，這個能實現(xiàn)很多靈活性的操作。一個HDFS集群是由一個Namenode和一定數(shù)目的Datanodes組成。而GFS則沒有這一特點，文件只能被集群系統(tǒng)中的PC所訪問，而且這些PC 的操作系統(tǒng)一般是Linux 。從技術上全面解決由于網(wǎng)絡帶寬小、用戶訪問量大、網(wǎng)點分布不均等原因所造成的用戶訪問網(wǎng)站響應速度慢的問題。 系統(tǒng)軟件參數(shù)優(yōu)化在一定的架構基礎上，要提高并發(fā)處理能力則需要調(diào)整服務器的操作系統(tǒng)內(nèi)核參數(shù)、web服務器（tomcat 的參數(shù)、 apache的參數(shù)、Nginx的參數(shù)），以使其性能達到最優(yōu)化。minSpareThreads： Tomcat 初始化時創(chuàng)建的線程數(shù)。Apache在配置 ContentType的時候可以盡量少支持，盡可能少的LoadModule，保證更高的系統(tǒng)消耗和執(zhí)行效率同時配置apache和tomcat的組合使之能作到動靜分離，apache處理靜態(tài)頁面，tomcat處理動態(tài)頁面。 sendfile on。 proxy_redirect off。 如果系統(tǒng)很忙的時候可以申請更大的proxy_buffers 官方推薦*2 proxy_busy_buffers_size 64k。Test1 5475 秒 913 條/秒 500 萬 93000毫秒 毫秒5 2 500 500萬 500毫秒Test2 15565 秒 898 條/秒 500 萬 92987毫秒 毫秒完成測試，但 TomcatTomcat2 占用內(nèi)存到達 Xmx 指定上限 ，無錯包。4) 在Nginx+2tomcat，同時配置了緩存的情況下，可以達到 的并發(fā)處理能力 評測結果1) 單個tomcat 的處理能力在500條/秒左右單個tomcat能穩(wěn)定支持每秒500 左右的并發(fā)請求。2） MaxThread參數(shù)對tomcat并發(fā)性的影響本次測試tomcat的 MaxThread參數(shù)設定為 500，進行13000條/秒并發(fā)測試時，tomcat啟動并發(fā)線程過多，將服務器cpu耗盡。Test1 1595秒742 條/秒118萬52 500 200萬 500毫秒 Test2 1 1575秒737 條/秒116萬服務端從第 1595 秒左右開始，tomcat 占用內(nèi)存到達 Xmx 指定上限，TestTest2 請求速度急劇下降，開始出現(xiàn)大量錯包，達到 前，錯包率只有 %，達到 后，截止停止測試時，錯包率增長到 %，測試終止。 緩沖區(qū)代理緩沖用戶端請求的最大字節(jié)數(shù) 可以理解為先保存到本地再大型網(wǎng)絡平臺架構設計方案第38頁傳給用戶 client_body_buffer_size 128k。 gzip_vary on。} { include 。pression： 壓縮傳輸，取值 on/off/force，默認值 off。 表示初始化內(nèi)存為 256MB，可以使用的最大內(nèi)存為 512MB。這種架構是松散耦合的，并且圍繞著服務進行構建。大型網(wǎng)絡平臺架構設計方案第24頁 網(wǎng)絡問題解決方案你不可能要求所有的使用人員，都和你的服務器在一個運營商的網(wǎng)絡內(nèi)，而不同網(wǎng)絡之間訪問速度會很慢，我們可以采用鏡像網(wǎng)站和引入CDN來解決這一問題。被共享的目錄和文件存放在服務器上，客戶機遠程地訪問保存在服務器上的數(shù)據(jù)。3. 擁有良好的DB配置和備份很多公司都沒有良好的備份機制，也不知道如 何恰當?shù)赝瓿蛇@項工作。從服務器運行的那個時間片來看，這個傳輸過程僅僅占用了很小的CPU資源。支持集群集群緩存數(shù)據(jù)能被單個的進行參數(shù)配置，不需要修改代碼。 緩存1. 系統(tǒng)架構方面的緩存1） Squid緩存架構方面使用Squid進行緩存。它根據(jù)從 WEB 服務器返回的 HTTP 頭標記來緩沖靜態(tài)頁面, 有四個最重要 HTTP 頭標記：? LastModified: 告訴反向代理頁面什么時間被修改? Expires: 告訴反向代理頁面什么時間應該從緩沖區(qū)中刪除? CacheControl: 告訴反向代理頁面是否應該被緩沖? Pragma: 用來包含實現(xiàn)特定的指令，最常用的是 Pragma:nocache 注：DNS 的輪詢機制將某一個域名解析為 多個IP地址。這種技術的優(yōu)點是，實現(xiàn)簡單、實施容易、成本低、適用于大多數(shù)TCP/IP應用；但是，其缺點也非常明顯，首先這種方案不是真正意義上的負載均衡，DNS 服務器將 Http請求平均地分配到后臺的Web服務器上，而不考慮每個Web 服務器當前的負載情況；如果后臺的Web 服務器的配置和處理能力不同，最慢的 Web服務器將成為系統(tǒng)的瓶頸，處理能力強的服務器不能充分發(fā)揮作用；其次未考慮容錯，如果后臺的某臺Web服務器出現(xiàn)故障，DNS服務器仍然會把 DNS 請求分配到這臺故障服務器上，導致不能響應客戶端。b) 對于動態(tài)頁面因為服務器解析動態(tài)頁面必須在其傳輸?shù)娇蛻舳饲熬屯ㄟ^服務器來進行解釋，這樣就會給應用服務器添加額外的性能消耗，如果大型網(wǎng)絡平臺架構設計方案第2頁進一步要訪問數(shù)據(jù)庫，則會增加數(shù)據(jù)庫服務器的性能消耗，則動態(tài)頁面還有額外的瓶頸：應用服務器的性能，數(shù)據(jù)庫服務器的性能。2) 采用高效的網(wǎng)絡文件共享策略，采用圖片服務器來實現(xiàn)頁面的圖大型網(wǎng)絡平臺架構設計方案第4頁片存儲。當互聯(lián)網(wǎng)用戶請求 WEB 服務時，DNS 將請求的域名解析為反向代理服務器的 IP 地址，這樣 URL 請求將被發(fā)送到反向代理服務器，由反向代理服務器負責處理用戶的請求與應答、與后臺 WEB 服務器交互。 5) 成本低廉Nginx為開源軟件，可以免費使用。}這個配置會將 指明到 memcached 的abc 這個 key 去取數(shù)據(jù)。 5) 緩存過期：你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認性能不能滿足需要時）。為了提高靜態(tài)HTML的訪問效率，主要可以對以下幾個方面進行優(yōu)化：網(wǎng)絡帶寬、磁盤I/O 以及cache(高速緩沖存儲器)。大型網(wǎng)絡平臺架構設計方案第22頁2） NFS與GFS比較首先從它們的功能上進行分析。最后從規(guī)模上比較，HDFS只應用在大批量的數(shù)據(jù)共享上。 (也就是一個服務器的內(nèi)容，平均分部到多個服務器上，服務器智能識別，讓用戶獲取離用戶最近的服務器，提高速度。 操作系統(tǒng)優(yōu)化調(diào)整系統(tǒng)的內(nèi)核參數(shù)，增大連接數(shù)及TCP/IP的超時設置。默認值25。在處理靜態(tài)頁面或者圖片、js等訪問方面，可以考慮使用ligd 代替Apache，它提供了更輕量級和更高效的處理能力 Nginx服務器的優(yōu)化worker_processes：該參數(shù)的值最好跟cpu核數(shù)相等，能夠發(fā)揮最大性能，如果nginx所在服務器為2 顆雙核cpu ，則建議設定為4。 tcp_nopush on。 location / { proxy_pass } 后端的 Web服務器可以通過 XForwardedFor獲取用戶真實IP proxy_set_header XForwardedFor $remote_addr。 proxy緩存臨時文件的大小 proxy_temp_file_write_size 64k。Test1 968M 10149秒 492 條/秒 500 萬 9077毫秒 毫秒6 2 500 500萬 1000毫秒Test2 1G 110149秒 492 條/秒 500 萬9044毫秒 毫秒完成測試，無一錯包。2) Nginx+Tomcat比單個 Tomcat更穩(wěn)定，不易出現(xiàn)錯包，可以通過擴充tomcat集群（新增tomcat 服務器）來提升系統(tǒng)的并發(fā)能力單個tomcat在超出并發(fā)能力的提求下，處理能力大大下降，并出現(xiàn)大量錯包，而采用Nginx+2Tomcat架構在各種測試下，均未出現(xiàn)錯包，但處理能力也會下降。因此，實際應用中，網(wǎng)絡帶寬對整個 web服務的影響會非常大第43頁 測試結果分析1. 系統(tǒng)參數(shù)的影響分析1） worker_processes 參數(shù)對Nginx性能的影響測試過程中分別設定worker_processes為8 、1 時發(fā)現(xiàn)，該參數(shù)對nginx性能影響不大，對服務器資源消耗也沒有太大影響，相關資料顯示，該參數(shù)的值最好跟cpu核數(shù)相等，能夠發(fā)揮最大性能，本次測試nginx所在服務器為2 顆雙核cpu ，因此最終測試設定為4。 web 服務器負載小于 2。 允許客戶端請求的最大的單個文件字節(jié)數(shù) client_max_body_size 10m。 gzip_types text/plain application/xjavascript text/css application/xml。 worker_connections 51200。 bufferSize： 輸入流緩沖大小，默認值 2048 bytes。Xms256m Xmx512m39。最終數(shù)據(jù)庫演變成一個非常龐大的共享資源。還有就是，對于緩存的時間上，亦可以做獨立的調(diào)節(jié)。其次從結構上比較，NFS至少包括兩個主要部分：一臺服務器，以及至少一臺客戶機。如果正確 地完成該項工作，那么系統(tǒng)就可以擴展到2臺、 3臺甚至12 臺服務器，并具備高可用性和穩(wěn)定性。這意味著，對一個靜態(tài)HTML文檔發(fā)出訪問請求后，服務器端只是簡單地將該文檔傳輸?shù)娇蛻舳?。永久緩存緩存能隨意的寫入硬盤，因此允許昂貴的創(chuàng)建大型網(wǎng)絡平臺架構設計方案第17頁（expensivetocreate ）數(shù)據(jù)來保持緩存，甚至能讓應用重啟。2)同時還要配置session復制，也就是說其中任何一個tomcat的添加的session，是要同步復制到其它tomcat， 集群內(nèi)的tomcat都有相同的session，并為系統(tǒng)（包括 Apache 和 tomca