【正文】 ......... 錯(cuò)誤 !未定義書簽。 根據(jù)測(cè)試結(jié)果推算 ............................................................................................................ 錯(cuò)誤 !未定義書簽。 設(shè)備技術(shù)規(guī)格 ............................................................................................................ 錯(cuò)誤 !未定義書簽。這意味著，對(duì)一個(gè)靜態(tài) HTML文檔發(fā)出訪問(wèn)請(qǐng)求后，服務(wù)器端只是簡(jiǎn)單地將該文檔傳輸?shù)娇蛻舳?。?duì)于 靜態(tài) HTML的訪問(wèn) 瓶頸為 ：網(wǎng)絡(luò)帶 寬、磁盤 I/O以及 cache(高速緩沖存儲(chǔ)器 )。 2 系統(tǒng) 架 構(gòu) 設(shè)計(jì) 總體思路 為提高網(wǎng)站的高并發(fā)性能 ,提高開發(fā)效率及運(yùn)營(yíng)效率 ,主要按如下幾個(gè)思路進(jìn)行規(guī)劃設(shè)計(jì) : 負(fù)載均衡 1) 四層交換 負(fù)載均衡 ： 采用負(fù)載均衡器來(lái)實(shí)現(xiàn)硬件級(jí)的四層交換負(fù)載均衡，或采用 LVS來(lái)實(shí)現(xiàn)軟件的四層交換負(fù)載 均 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 4頁(yè) ,共 39頁(yè) Page 4 , Total39 衡。 通過(guò) Nginx實(shí)現(xiàn)反向代理服務(wù)器集群，同時(shí) 搭建 squid集群 以作為靜態(tài)頁(yè)面和圖片的緩存。 WEB應(yīng)用 開發(fā) 架構(gòu)思路 1) 應(yīng)用開發(fā)實(shí)現(xiàn) MVC架構(gòu)三層架構(gòu)進(jìn)行 web應(yīng)用開發(fā) 2) 頁(yè)面盡可能靜態(tài)化以減少動(dòng)態(tài)數(shù)據(jù)訪問(wèn) ，如果是資訊類的網(wǎng)站可以考慮 采用第三方開源的 CMS系統(tǒng)來(lái) 生成靜態(tài)的內(nèi)容頁(yè)面 。 2) 采用 高效的 網(wǎng)絡(luò)文件共享 策略 ，采用圖片服務(wù)器來(lái)實(shí)現(xiàn)頁(yè)面的圖片存儲(chǔ)。 2) 在不同運(yùn)營(yíng)商機(jī)房部署服務(wù)器， 通過(guò)鏡像技術(shù)來(lái)實(shí)現(xiàn)不同網(wǎng)絡(luò)服務(wù)商的接入速度問(wèn)題。 采用雙千兆交換機(jī)分別接在 2臺(tái)防火墻上，當(dāng)某臺(tái)設(shè)備或者網(wǎng)絡(luò)鏈路發(fā)生故障后，好設(shè)備自動(dòng)接管已壞設(shè)備的工作，不影響網(wǎng)站的整體運(yùn)行，根據(jù)業(yè)務(wù)及真實(shí)服務(wù)器的數(shù)量，交換機(jī)可以隨時(shí)增加。 3) 采用代理服務(wù)器，實(shí)現(xiàn)軟件級(jí)的網(wǎng)絡(luò)負(fù)載均衡。因此，對(duì)于同一個(gè)名字，不同的客戶機(jī)會(huì)得到不同的地址，它們也就訪問(wèn)不同地址上的 Web 服務(wù)器，從而達(dá)到負(fù)載均衡的目的 。最后一點(diǎn)是致命的，有可能造成相當(dāng)一部分客戶不能享受 Web服務(wù)，并且由于 DNS緩存的原因，所造成的后果要持續(xù)相當(dāng)長(zhǎng)一段時(shí)間 (一般 DNS的刷新周期約為24小時(shí) )。 2. 通過(guò)硬件 四層交換 實(shí)現(xiàn)負(fù)載均衡 在硬件四層交換產(chǎn)品領(lǐng)域，有一些知名的產(chǎn)品可以選擇，比如 Alteon、 F5等，這些產(chǎn)品很昂貴，但是物有所值，能夠提供非常優(yōu)秀的性能和很靈活的管理能力。 一個(gè)典型的使用負(fù)載均衡的策略就是，在軟件或者硬件四層交換的基礎(chǔ)上搭建 squid集群，這種思路在很多大型網(wǎng)站包括搜索引擎上被采用，這樣的架構(gòu)低成本、高性能還有很強(qiáng)的擴(kuò)張性 。當(dāng)互聯(lián)網(wǎng)用戶請(qǐng)求 WEB 服務(wù)時(shí)， DNS 將請(qǐng)求的域名解析為反向代理服務(wù)器的 IP 地址，這樣 URL 請(qǐng)求將被發(fā)送到反向代理服務(wù)器，由反向代理服務(wù)器負(fù)責(zé)處理用戶的請(qǐng)求與應(yīng)答、與后臺(tái) WEB 服務(wù)器交互。 目前有許多反向代理軟件，比較有名的有 Nginx 和 Squid 。 Squid是由美國(guó)政府大力資助的一項(xiàng)研究計(jì)劃，其目的為解決網(wǎng)絡(luò)帶寬不足的問(wèn)題，支持 HTTP，HTTPS， FTP 等多種協(xié)議，是現(xiàn)在 Unix 系統(tǒng)上使用、最多功能也最完整的一套軟體。 Squid反向代理服務(wù)器位于本地 WEB 服務(wù)器和 Inter 之間 , 組織架構(gòu)如 下 圖： 客戶端請(qǐng)求訪問(wèn) WEB 服務(wù)時(shí)， DNS 將訪問(wèn)的域名解析為 Squid 反向代理服務(wù)器的 IP 地址， 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 11頁(yè) ,共 39頁(yè) Page 11 , Total39 這樣客戶端的 URL 請(qǐng)求將被發(fā)送到反向代理服務(wù)器。 Squid 反向代理一般只緩存可緩沖的數(shù)據(jù)（比如 html 網(wǎng)頁(yè)和圖片等），而一些 CGI 腳本程序或者 ASP、 JSP 之類的動(dòng)態(tài)程序默認(rèn)不緩存。 2） Nginx Nginx (“ engine x” ) 是俄羅斯人 Igor Sysoev(塞索耶夫 )編寫的一款高性能的 HTTP 和反向代理服務(wù)器。 在國(guó)內(nèi)，已經(jīng)有新浪博客、新浪播客、搜狐通行證、網(wǎng)易新聞、網(wǎng)易博客、金山逍遙網(wǎng)、金山愛詞霸、校內(nèi)網(wǎng)、 YUPOO相冊(cè)、豆瓣、迅雷看看等多家網(wǎng)站、頻道使用 Nginx 服務(wù)器。 3) 內(nèi)存消耗少 在 3萬(wàn)并發(fā)連接下，開啟的 10個(gè) Nginx 進(jìn)程才消耗 150M內(nèi)存（ 15M*10=150M）。 5) 成本低廉 Nginx為開源軟件，可以免費(fèi)使用。 6) 支持 Rewrite重寫規(guī)則 能夠根據(jù)域名、 URL的不同，將 HTTP 請(qǐng)求分到不同的后端服務(wù)器群組。 8) 節(jié)省帶寬 支持 GZIP 壓縮，可以添加瀏覽器本地緩存的 Header 頭。 3） Nginx+squid頁(yè)面 緩存 來(lái)實(shí)現(xiàn) 反向代理負(fù)載均衡 通過(guò) Nginx反向代理 和 squid緩存 實(shí)現(xiàn)動(dòng)靜分離的 架 構(gòu)圖如下所示： 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 12頁(yè) ,共 39頁(yè) Page 12 , Total39 5. Apache +tomcat集群 實(shí)現(xiàn) 負(fù)載均衡 。 2) 同時(shí)還要配置 session復(fù)制，也就是說(shuō)其中任何一個(gè) tomcat的添加的 session，是要同步復(fù)制到其它 tomcat， 集群內(nèi)的 tomcat都有相同的 session，并為系統(tǒng)（包括 Apache 和 tomcat）設(shè)定 Session 超時(shí)時(shí)間。 注： SQUID使用了 LM算法， LM就是頁(yè)面 Header里時(shí)間 (Date)和 LastModified時(shí)間的差。 2） Nginx的緩存功能 Nginx從 ，支持了類似 Squid的緩存功能； 緩存把 URL及相關(guān)組合當(dāng)作 Key，用 md5編碼哈希后保存； Nginx的 Web緩存服務(wù)只能為指定 URL或狀態(tài)碼設(shè)置過(guò)期時(shí)間，不支持類似 Squid的 PURGE指令，手動(dòng)清除指定緩存頁(yè)面； 采用 MMAP實(shí)現(xiàn)，設(shè)置的緩存區(qū)大小不能超過(guò)物理內(nèi)存 +SWEB的值 3） 基于 memcached的緩存 nginx 對(duì) memcached有所支持，但是功能并不是特別之強(qiáng)，性能上還是非常之優(yōu)秀。 memcached_pass :11211。 } 這個(gè)配置會(huì)將 指明到 memcached 的 abc 這個(gè) key 去取數(shù)據(jù)。 Nginx傳統(tǒng)緩存的缺點(diǎn)也是它和 squid等緩存軟件的不同之特色，所以也可看作其優(yōu)點(diǎn)。 nginx會(huì)非常老實(shí)地將鏈接形式保存到文件系統(tǒng)中，這樣對(duì)于一個(gè)鏈接，可以很方便地查閱它在緩存機(jī)器上的緩存狀態(tài)和內(nèi)容，也可以很方便地和別的文件管理器如rsync等配合使用，它完完全全就是一個(gè)文件系統(tǒng)結(jié)構(gòu)。 OSCache有以下特點(diǎn)：緩存任何對(duì)象，你可以不受限制的緩存部分 jsp頁(yè)面或 HTTP請(qǐng)求，任何 java對(duì)象都可以緩存。永久緩存 緩存能隨意的寫入硬盤，因此允許昂貴的創(chuàng)建（ expensivetocreate）數(shù)據(jù)來(lái)保持緩存，甚至能讓應(yīng)用重啟。緩存記錄的過(guò)期 你可以有最大限度的控制緩存對(duì)象的過(guò)期，包括可插入式的刷新策略（如果默認(rèn)性能不需要時(shí)）。 OSCache的特點(diǎn) : 1) 緩存任何對(duì)象：你可以不受限制的緩存部分 jsp頁(yè)面或 HTTP請(qǐng)求，任何 java對(duì)象都可以緩存。 3) 永久緩存：緩存能被配置寫入硬盤， 因此允許在應(yīng)用服務(wù)器的多次生命周期間緩存創(chuàng)建開銷昂貴的數(shù)據(jù)。 5) 緩存過(guò)期：你可以有最大限度的控制緩存對(duì)象的過(guò)期，包括可插入式的刷新策略（如果默認(rèn)性能不能滿足需要時(shí)）。一般的使用目的是，通過(guò)緩存數(shù)據(jù)庫(kù)查詢結(jié)果，減少數(shù)據(jù)庫(kù)訪問(wèn)次數(shù)，以提高動(dòng)態(tài) Web應(yīng)用的速度、 提高可擴(kuò)展性。 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 15頁(yè) ,共 39頁(yè) Page 15 , Total39 3） 自主開 發(fā)的 內(nèi)存 數(shù)據(jù)緩存服務(wù) a） 獨(dú)立進(jìn)程方式的緩存服務(wù) 對(duì)于一些常用的動(dòng)態(tài)數(shù)據(jù)通過(guò)開發(fā)程序服務(wù)緩存 在內(nèi)存中 ，提供給其他子系統(tǒng)調(diào)用，如下面的數(shù)據(jù)就可以通過(guò)這樣方式進(jìn)行緩存。 4) 復(fù)雜一點(diǎn)的 group， sum， count查詢，比如積分的分類排名 b） 集成在 WEB應(yīng)用 中 的內(nèi)存緩存 在 web應(yīng)用中 對(duì)于熱點(diǎn)的功能，考慮使用完全裝載到內(nèi)存，保證絕對(duì)的響應(yīng)速度，對(duì)于需要頻繁訪問(wèn)的熱點(diǎn)數(shù)據(jù)，采用集中緩存 (多個(gè)可以采用負(fù)載均衡 )，減輕數(shù)據(jù)庫(kù)的壓力，比如：很多配置信息，操作員信息等等。這意味著，對(duì)一個(gè)靜態(tài) HTML文檔發(fā)出訪問(wèn)請(qǐng)求后，服務(wù)器端只是簡(jiǎn)單地將該文檔傳輸?shù)娇蛻舳恕? 頁(yè)面 靜態(tài)化 就是采用 效率最高、消耗最小的純靜態(tài)化的 html頁(yè)面 來(lái)替換動(dòng)態(tài)頁(yè)面。 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 16頁(yè) ,共 39頁(yè) Page 16 , Total39 同時(shí)采用第三方開源的 CMS系統(tǒng)來(lái)實(shí)現(xiàn)網(wǎng)站內(nèi)容的管理。 同時(shí)， HTML靜態(tài)化也是 某些緩存策略使用的手段，對(duì)于系統(tǒng)中頻繁使用數(shù)據(jù)庫(kù)查詢但是內(nèi)容更新很小的應(yīng)用，可以考慮使用 HTML靜態(tài)化來(lái)實(shí)現(xiàn)，比如論壇中論壇的公用設(shè)置信息，這些信息目前的主流論壇都可以進(jìn)行后臺(tái)管理并且 存儲(chǔ) 再數(shù)據(jù)庫(kù)中，這些信息其實(shí)大量被前臺(tái)程序調(diào)用，但是更新頻率很小，可以考慮將這部分內(nèi)容進(jìn)行后臺(tái)更新的時(shí)候進(jìn)行靜態(tài)化，這樣避免了大量的數(shù)據(jù)庫(kù)訪問(wèn)請(qǐng)求。 為了提高靜態(tài) HTML的訪問(wèn)效率，主要可以對(duì)以下幾個(gè)方面進(jìn)行優(yōu)化：網(wǎng)絡(luò)帶寬、磁盤 I/O以及 cache(高速緩沖存儲(chǔ)器 )。 2. 數(shù)據(jù)庫(kù)及表的散列 把生產(chǎn)數(shù)據(jù)庫(kù)和查詢數(shù)據(jù)庫(kù)進(jìn)行分離，針對(duì)系統(tǒng)業(yè)務(wù)數(shù)據(jù)的特點(diǎn)，把大的表進(jìn)行拆分，對(duì)于訪問(wèn)較多的表采用分區(qū)表。但是多個(gè)數(shù)據(jù)庫(kù)意味著重復(fù)，除非你對(duì)數(shù)據(jù)進(jìn)行了分離。 盡管概念上很簡(jiǎn)單，但是想要合理、精確地實(shí) 現(xiàn)并不容易，這可能需要大量的代碼工作。如果正確 地完成該項(xiàng)工作，那么系統(tǒng)就可以擴(kuò)展到 2臺(tái)、 3臺(tái)甚至 12臺(tái)服務(wù)器，并具備高可用性和穩(wěn)定性。 只有 imp是不夠的，還需要 進(jìn)行熱備份，從而得到超快的速度和超高的可靠性。另外還要確保擁有設(shè)計(jì)合理的、有用的關(guān)于安全、性能和穩(wěn)定性問(wèn)題的設(shè)定，包括防止數(shù)據(jù)敗壞，其中很多設(shè)定都是非常重要的。 ? 特性 1) 硬件要求低 2) 高容錯(cuò)性 3) 易可擴(kuò)展 4) 配置簡(jiǎn)單 5) 超大文件 HDFS采用 master/slave架構(gòu)。 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 18頁(yè) ,共 39頁(yè) Page 18 , Total39 2） NFS與 GFS比較 首先從它們的功能上進(jìn)行分析。它是 FreeBSD支持的文件系統(tǒng)中的一種，允許一個(gè)系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。 而 GFS是 Google為了滿足本公司迅速增長(zhǎng)的數(shù)據(jù)處理要求而開發(fā)的文件系統(tǒng)。它是針對(duì) Google的計(jì)算機(jī)集群進(jìn)行設(shè)計(jì)的，專門是為 Google頁(yè)面搜索的存儲(chǔ)進(jìn)行了優(yōu)化。 其次從結(jié)構(gòu)上比較， NFS至少包括兩個(gè)主要部分：一臺(tái)服務(wù)器，以及至少一臺(tái)客戶機(jī)。 GFS則由一臺(tái) Master(通常有幾臺(tái)備份 )和若干臺(tái) TrunkServer構(gòu)成。 Master負(fù)責(zé)維護(hù) GFS中的 Metadata，即文件名及其 Trunk信息。 再?gòu)目缙脚_(tái)性上， NFS的基本原則是“容許不同的客戶端及服務(wù)端通過(guò)一組 RPCs分享相同的文件系統(tǒng)”，它是獨(dú)立于操作系統(tǒng)的，容 許不同的操作系統(tǒng)共同地進(jìn)行文件的共享。 最后從規(guī)模上比較， HDFS只應(yīng)用在大批量的數(shù)據(jù)共享上 。集群的數(shù)據(jù)存儲(chǔ)規(guī)?？梢赃_(dá)到 5個(gè) PB，并且集群中的數(shù)據(jù)讀寫吞吐量可達(dá)到每秒 40G。 2. 文件的多服務(wù)器自動(dòng)同步 使用 Linux inotify監(jiān)控 Linux文件系統(tǒng)事件。 3. 圖片服務(wù)器分離 特別是如果程序與圖片都放在同一個(gè) APAHCE 的服務(wù)器下，每一個(gè)圖片的請(qǐng)求都有可能導(dǎo)致一個(gè) HTTPD 進(jìn)程的調(diào)用。還有就是，對(duì)于緩存的時(shí)間上，亦可以做獨(dú) 立的調(diào)節(jié)。 智 能 D N S解 析電 信 機(jī) 房服 務(wù) 器 1 服 務(wù) 器 n動(dòng) 態(tài) 內(nèi) 容 （ 社 區(qū) 、 投 票 、 調(diào)查 、 搜 索 、 點(diǎn) 評(píng) 、 視 頻 ）靜 態(tài) 內(nèi) 容（ 靜 態(tài) 網(wǎng) 頁(yè) 、 圖 片 ）多 線 機(jī) 房服 務(wù) 器 1 服 務(wù) 器 n服 務(wù) 器 1 服 務(wù) 器 n網(wǎng) 通 機(jī) 房其 他用 戶網(wǎng) 通用 戶