【正文】 據(jù)訪問，如果是資訊類的網(wǎng)站可以考慮采用第三方開源的CMS系統(tǒng)來生成靜態(tài)的內(nèi)容頁面。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第3頁2 系統(tǒng)架構(gòu)設(shè)計(jì) 總體思路為提高網(wǎng)站的高并發(fā)性能,提高開發(fā)效率及運(yùn)營效率,主要按如下幾個(gè)思路進(jìn)行規(guī)劃設(shè)計(jì): 負(fù)載均衡1) 四層交換負(fù)載均衡：采用負(fù)載均衡器來實(shí)現(xiàn)硬件級的四層交換負(fù)載均衡，或采用LVS來實(shí)現(xiàn)軟件的四層交換負(fù)載均衡。這意味著，對一個(gè)靜態(tài)HTML文檔發(fā)出訪問請求后，服務(wù)器端只是簡單地將該文檔傳輸?shù)娇蛻舳?。從服?wù)器運(yùn)行的那個(gè)時(shí)間片來看，這個(gè)傳輸過程僅僅占用了很小的CPU資源。2) 通過第三方軟件來實(shí)現(xiàn)負(fù)載均衡,同時(shí)實(shí)現(xiàn)頁面請求的緩存。3) 采用Oscache實(shí)現(xiàn)頁面緩存,采用Memcached實(shí)現(xiàn)數(shù)據(jù)緩存4) 采用獨(dú)立的圖片服務(wù)器集群來實(shí)現(xiàn)圖片資源的存儲及WEB請求 數(shù)據(jù)存儲的設(shè)計(jì)思路1) 數(shù)據(jù)庫拆分,把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫分離，對生產(chǎn)數(shù)據(jù)庫采用RAC實(shí)現(xiàn)數(shù)據(jù)庫的集群。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第5頁 總體架構(gòu) 網(wǎng)站的系統(tǒng)分層架構(gòu)T o m a tA p a c h eW E B 服 務(wù) 器架 構(gòu)數(shù) 據(jù) 存 儲文 件共 享T o m a tN g i n x p r o x yS q u i d反 向 代 理 軟 件（ 數(shù) 據(jù) 緩 存 ）數(shù) 據(jù) 庫生 產(chǎn) 數(shù) 據(jù) 庫 查 詢 數(shù) 據(jù) 庫H D F S負(fù) 載 均 衡 器負(fù) 載 均 衡. . .W E B 服 務(wù)（ A p a c h e + t o m c a t負(fù) 載 均 衡 ）硬 件 四 層 交 換C o n t r o lM V C應(yīng) 用 架 構(gòu) M o d e l V i e w數(shù) 據(jù) 持 久 層( i b a t i s )應(yīng) 用 級 緩 存頁 面 緩 存( O S C a c h e )S q u i d c a c h e N g i n x c a c h eN F SL V S軟 件 四 層 交 換數(shù) 據(jù) 緩 存( M e m c a c h e d )大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第6頁 網(wǎng)站的物理架構(gòu)I n t e r n e t服 務(wù) 器 2代 理 服 務(wù) 器 集 群（ N g i n x ）W e b 服 務(wù) 器 集 群 B負(fù) 載 均 衡 器 1. . .服 務(wù) 器 n服 務(wù) 器 2服 務(wù) 器 n服 務(wù) 器 1S q u i d 服 務(wù) 器 集 群服 務(wù) 器 1 服 務(wù) 器 2. . .用 戶 瀏 覽 頁 面服 務(wù) 器 2服 務(wù) 器 1服 務(wù) 器 1 服 務(wù) 器 2W e b 服 務(wù) 器 集 群 A服 務(wù) 器 1 服 務(wù) 器 2圖 片 服 務(wù) 器 集 群服 務(wù) 器 3大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第7頁 網(wǎng)站的開發(fā)架構(gòu)T o m a tA p a c h eW E B 服 務(wù) 器數(shù) 據(jù) 存 儲文 件 存 儲T o m a tH D F S. . .W E B容 器基 于 s t r u t s 的 M V C 框 架M o d e lV i e w持 久 層頁 面 緩 存 （ M e m c a c h e d ）通 訊 層S M SM M SW A P P U S H短 信 群發(fā) 器彩 信 群發(fā) 器數(shù) 據(jù) 庫消息中心消 息中 心O R Mi b a t i sD B 連 接 池C 3 p 0H T M L 靜態(tài) 化 模 塊后 臺 支撐 模 塊業(yè) 務(wù) 支 撐模 塊請 求數(shù) 據(jù)生 產(chǎn) 數(shù) 據(jù) 庫（ R A C ）生 產(chǎn) 數(shù) 據(jù) 庫（ R A C ）統(tǒng) 計(jì) 支 撐模 塊I / OC o n t r o l業(yè) 務(wù) 層 數(shù) 據(jù) 層J D B C查 詢 數(shù) 據(jù) 庫大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第8頁 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)I n t e r n e t主 防 火 墻主 交 換 機(jī)V R R P備 防 火 墻服 務(wù) 器 2服 務(wù) 器 1服 務(wù) 器 2服 務(wù) 器 n服 務(wù) 器 2服 務(wù) 器 2服 務(wù) 器 1 服 務(wù) 器 1代 理 服 務(wù) 器 集 群（ N g i n x ）網(wǎng) 站 服 務(wù) 器 集 群生 產(chǎn) D B 服 務(wù) 器 集 群 查 詢 D B 服 務(wù) 器 組光 纖 交 換 機(jī)光 纖 交 換 機(jī)磁 盤 陣 列 柜 磁 盤 陣 列 柜備 交 換 機(jī)負(fù) 載 均 衡 器 1負(fù) 載 均 衡 器 2. . .服 務(wù) 器 n服 務(wù) 器 2服 務(wù) 器 n服 務(wù) 器 1應(yīng) 用 服 務(wù) 器 集 群管 理 終 端服 務(wù) 器 1 服 務(wù) 器 n. . .服 務(wù) 器 2服 務(wù) 器 1 服 務(wù) 器 n圖 片 服 務(wù) 器 集 群備注：1) 采用雙防火墻雙交換機(jī)做網(wǎng)絡(luò)冗余，保障平臺服務(wù)采用雙防火墻通知接通2線路互聯(lián)網(wǎng)接入，設(shè)備之間采用VRRP協(xié)議，在任何一個(gè)防火墻、互聯(lián)網(wǎng)發(fā)生故障后均可自動(dòng)將流量切換到另一端，保證網(wǎng)站的正運(yùn)行，設(shè)備或網(wǎng)絡(luò)恢復(fù)后，自動(dòng)恢復(fù)。4) 數(shù)據(jù)庫服務(wù)器分離成生產(chǎn)數(shù)據(jù)庫集群和查詢數(shù)據(jù)庫集群，實(shí)現(xiàn)生大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第9頁產(chǎn)讀寫與后臺查詢統(tǒng)計(jì)進(jìn)行分離，同時(shí)生產(chǎn)數(shù)據(jù)庫采用rac技術(shù)進(jìn)行 架構(gòu)涉及技術(shù)的詳解 負(fù)載均衡1. 基于DNS的負(fù)載均衡 一個(gè)域名綁定多個(gè) IPDNS負(fù)載均衡技術(shù)是最早的負(fù)載均衡解決方案，它是通過DNS 服務(wù)中的隨機(jī)名字解析來實(shí)現(xiàn)的，在DNS服務(wù)器中，可以為多個(gè)不同的地址配置同一個(gè)名字，而最終查詢這個(gè)名字的客戶機(jī)將在解析這個(gè)名字時(shí)得到其中的一個(gè)地址。所以在國外最新的建設(shè)中心Web站點(diǎn)方案中，已經(jīng)很少采用這種方案了。4. 通過反向代理服務(wù)器實(shí)現(xiàn)負(fù)載均衡反向代理服務(wù)器又稱為 WEB 加速服務(wù)器，它位于 WEB 服務(wù)器的前端，充當(dāng)WEB服務(wù)器的內(nèi)容緩存器,反向代理服務(wù)器是針對 WEB 服務(wù)器設(shè)置的，后臺 WEB 服務(wù)器對互聯(lián)網(wǎng)用戶是透明的，用戶只能看到反向代理服務(wù)器的地址，不清楚后臺 WEB 服務(wù)器是如何組織架構(gòu)的。Nginx 是由 Igor Sysoev 為俄羅斯訪問量第二的 站點(diǎn)開發(fā)的，是一個(gè)高性能的 HTTP 和反向代理服務(wù)器，也是一個(gè) IMAP/POP3/SMTP 代理服務(wù)器。如果 Squid 反向代理服務(wù)器中緩存了該請求的資源，則將該請求的資源直接返回給客戶端，否則反向代理服務(wù)器將向后臺的 WEB 服務(wù)器請求資源，然后將請求的應(yīng)答返回給客戶端，同時(shí)也將該應(yīng)答緩存在本地，供下一個(gè)請求者使用。Nginx 已經(jīng)在俄羅斯最大的門戶網(wǎng)站 ── Rambler Media上運(yùn)行了4年時(shí)間，同時(shí)俄羅斯超過20%的虛擬主機(jī)平臺采用Nginx作為反向代理服務(wù)器。 4) 配置文件非常簡單風(fēng)格跟程序一樣通俗易懂。 7) 內(nèi)置的健康檢查功能如果 Nginx Proxy 后端的某臺 Web 服務(wù)器宕機(jī)了，不會(huì)影響前端訪問。使用 apache和多個(gè)tomcat 配置一個(gè)可以應(yīng)用的web網(wǎng)站，用Apache進(jìn)行分流，把請求按照權(quán)重以及當(dāng)時(shí)負(fù)荷分tomcat1,tomcat2...去處理，大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第15頁要達(dá)到以下要求：1)Apache 做為HttpServer ，通過mod_jk連接器連接多個(gè) tomcat 應(yīng)用實(shí)例，并進(jìn)行負(fù)載均衡。 Date一般是 Squid從后面取頁面的時(shí)間， LastModified 一般是頁面生成時(shí)間。 } expires 70。在生產(chǎn)應(yīng)用中它常常用作和squid的搭檔， squid對于帶 ?的鏈接往往無法阻擋，而 nginx能將其訪問攔住，例如： squid上會(huì)被當(dāng)做兩個(gè)鏈接，所以會(huì)造成兩次穿透；而 nginx只會(huì)保存一次，無論鏈接變成 過 nginx緩存，從而有效地保護(hù)了后端主機(jī)。擁有全面的APIOSCache API給你全面的程序來控制所有的OSCache特性。OSCache是當(dāng)前運(yùn)用最廣的緩存方案，JBoss,Hibernate,Spring等都對其有支持。 4) 支持集群：集群緩存數(shù)據(jù)能被單個(gè)的進(jìn)行參數(shù)配置，不需要修改代碼。Memcached是以Key/Value的形式單個(gè)對象緩存。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第19頁 頁面靜態(tài)化靜態(tài)的HTML頁面嚴(yán)格地由標(biāo)準(zhǔn)的HTML標(biāo)示語言構(gòu)成，并不需要服務(wù)器端即時(shí)運(yùn)算生成。我們盡可能使我們的網(wǎng)站上的頁面采用靜態(tài)頁面來實(shí)現(xiàn)，這個(gè)最簡單的方法其實(shí)也是最有效的方法。在進(jìn)行html靜態(tài)化的時(shí)候還可以使用一種折中的方法，就是前端繼續(xù)使用動(dòng)態(tài)實(shí)現(xiàn)，在一定的策略下通過后臺模塊進(jìn)行定時(shí)把動(dòng)態(tài)網(wǎng)頁生成靜態(tài)頁面，并定時(shí)判斷調(diào)用，這個(gè)能實(shí)現(xiàn)很多靈活性的操作。使用讀/寫數(shù)據(jù)庫分離，隨著系統(tǒng)變得越來越龐大，特別是當(dāng)它們擁有 很差的SQL時(shí)，一臺數(shù)據(jù)庫服務(wù)器通常不足以處理負(fù)載。因此，即便在開始時(shí)使用同一臺數(shù)據(jù)庫服務(wù)器，也要盡早計(jì)劃在PHP 中使用分離的 DB連接來進(jìn)行讀寫操作。另外，在將所有備份文件從服務(wù)器上轉(zhuǎn)移出來之前要進(jìn)行壓縮和加密。一個(gè)HDFS集群是由一個(gè)Namenode和一定數(shù)目的Datanodes組成。通過使用NFS，用戶和程序訪問遠(yuǎn)端系統(tǒng)上的文件就像訪問本地文件一樣。所以從功能上看，它們兩者是完全不同的概念。GFS中文件備份成固定大小的 Trunk分別存儲在不同的 TrunkServer上，每個(gè)Trunk有多份 (比如3)拷貝，也存儲在不同的TrunkServer上。而GFS則沒有這一特點(diǎn)，文件只能被集群系統(tǒng)中的PC所訪問，而且這些PC 的操作系統(tǒng)一般是Linux 。而NFS一般沒有這么巨大的規(guī)模。使用獨(dú)立的圖片服務(wù)器不但可以避免以上這個(gè)情況，更可以對不同的使用性質(zhì)的圖片設(shè)置不同的過期時(shí)間，以便同一個(gè)用戶在不同頁面訪問相同圖片時(shí)不會(huì)再次從服務(wù)器（基于是緩存服務(wù)器）取數(shù)據(jù)，不但快速，而且還省了帶寬。然后通過配置智能DNS解析來引導(dǎo)不同網(wǎng)絡(luò)的訪問用戶到對應(yīng)的網(wǎng)絡(luò)運(yùn)營商的web服務(wù)器。從技術(shù)上全面解決由于網(wǎng)絡(luò)帶寬小、用戶訪問量大、網(wǎng)點(diǎn)分布不均等原因所造成的用戶訪問網(wǎng)站響應(yīng)速度慢的問題。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第26頁 WEB應(yīng)用開發(fā)架構(gòu)設(shè)計(jì)思路1. 基于MVC的三層應(yīng)用開發(fā)架構(gòu)應(yīng)用開發(fā)實(shí)現(xiàn)MVC三層架構(gòu)進(jìn)行web應(yīng)用開發(fā)，采用ibatis作為持久層框架，c3p0作為數(shù)據(jù)庫連接池。上圖描述了Struts框架的結(jié)構(gòu)，而下圖通過一個(gè)活動(dòng)圖更具體描述接受請求直至返回響應(yīng)的整個(gè)過程：大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第29頁大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第30頁2. 面向服務(wù)的應(yīng)用架構(gòu)面向服務(wù)的應(yīng)用架構(gòu)是指構(gòu)建可分布式的、去中心化的服務(wù)器平臺，以提供許多不同的應(yīng)用，數(shù)據(jù)庫被分成很多個(gè)小部分，圍繞每個(gè)部分都會(huì)創(chuàng)建一個(gè)服務(wù)接口(API), 并且該接口是訪問數(shù)據(jù)庫的唯一途徑。這樣就有了越來越多的應(yīng)用服務(wù)器。 系統(tǒng)軟件參數(shù)優(yōu)化在一定的架構(gòu)基礎(chǔ)上，要提高并發(fā)處理能力則需要調(diào)整服務(wù)器的操作系統(tǒng)內(nèi)核參數(shù)、web服務(wù)器（tomcat 的參數(shù)、 apache的參數(shù)、Nginx的參數(shù)），以使其性能達(dá)到最優(yōu)化。因此一般建議堆的最大值設(shè)置為可用內(nèi)存的最大值的 80%。例如： JAVA_OPTS=39。這個(gè)值表示 Tomcat 可創(chuàng)建的最大的線程數(shù)。minSpareThreads： Tomcat 初始化時(shí)創(chuàng)建的線程數(shù)。enableLookups： 是否反查域名，默認(rèn)值為 true。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第32頁maxKeepAliveRequests： 保持請求數(shù)量，默認(rèn)值 100。如果要加大并發(fā)連接數(shù)，應(yīng)同時(shí)加大這兩個(gè)參數(shù)。Apache在配置 ContentType的時(shí)候可以盡量少支持，盡可能少的LoadModule，保證更高的系統(tǒng)消耗和執(zhí)行效率同時(shí)配置apache和tomcat的組合使之能作到動(dòng)靜分離，apache處理靜態(tài)頁面，tomcat處理動(dòng)態(tài)頁面。worker_processes 4。events 大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第36頁{ use epoll。 charset gb2312。 sendfile on。 gzip on。 gzip_p_level 2。 server :8081。 proxy_redirect off。 39。 打日志 access_log /usr/local/nginx/logs/ access。 連接成功后 _等候后端服務(wù)器響應(yīng)時(shí)間 _其實(shí)已經(jīng)進(jìn)入后端的排隊(duì)之中等候處理 proxy_read_timeout 600。 如果系統(tǒng)很忙的時(shí)候可以申請更大的proxy_buffers 官方推薦*2 proxy_busy_buffers_size 64k。大型網(wǎng)絡(luò)平臺架構(gòu)設(shè)計(jì)方案第40 頁 測試結(jié)果 單個(gè)TOMCAT的WEB服務(wù)器NO客戶數(shù) 線程數(shù)請求次數(shù)間隔時(shí)間測試服務(wù)器占用內(nèi)存服務(wù)器負(fù)載持續(xù)時(shí)間平均速度