【文章內(nèi)容簡介】 mcat1,tomcat2...去處理 ，要達(dá)到以下要求： 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 13頁 ,共 39頁 Page 13 , Total39 1) Apache 做為 HttpServer ，通過 mod_jk連接器連接多個(gè) tomcat 應(yīng)用實(shí)例，并進(jìn)行負(fù)載均衡。 2) 同時(shí)還要配置 session復(fù)制，也就是說其中任何一個(gè) tomcat的添加的 session，是要同步復(fù)制到其它 tomcat， 集群內(nèi)的 tomcat都有相同的 session，并為系統(tǒng)（包括 Apache 和 tomcat）設(shè)定 Session 超時(shí)時(shí)間。 緩存 1. 系統(tǒng) 架構(gòu)方面的緩存 1） Squid緩存 架構(gòu)方面使用 Squid進(jìn)行緩存 。 注： SQUID使用了 LM算法， LM就是頁面 Header里時(shí)間 (Date)和 LastModified時(shí)間的差。 Date一般是 Squid從后面取頁面的時(shí)間， LastModified 一般是頁面生成時(shí)間。 2） Nginx的緩存功能 Nginx從 ，支持了類似 Squid的緩存功能； 緩存把 URL及相關(guān)組合當(dāng)作 Key，用 md5編碼哈希后保存； Nginx的 Web緩存服務(wù)只能為指定 URL或狀態(tài)碼設(shè)置過期時(shí)間，不支持類似 Squid的 PURGE指令，手動(dòng)清除指定緩存頁面； 采用 MMAP實(shí)現(xiàn)，設(shè)置的緩存區(qū)大小不能超過物理內(nèi)存 +SWEB的值 3） 基于 memcached的緩存 nginx 對 memcached有所支持，但是功能并不是特別之強(qiáng)，性能上還是非常之優(yōu)秀。 location /mem/ { if ( $uri ~ ^/mem/([09AZaz_]*)$ ) { set $memcached_key $1。 memcached_pass :11211。 } expires 70。 } 這個(gè)配置會(huì)將 指明到 memcached 的 abc 這個(gè) key 去取數(shù)據(jù)。 Nginx 目前沒有寫入 memcached 的任何機(jī)制，所以要往 memcached 里寫入數(shù)據(jù)得用后臺的動(dòng)態(tài)語言完成，可以利用 404 定向到后端去寫入數(shù)據(jù)。 Nginx傳統(tǒng)緩存的缺點(diǎn)也是它和 squid等緩存軟件的不同之特色，所以也可看作其優(yōu)點(diǎn)。在生產(chǎn)應(yīng)用中它常常用作和 squid的搭檔， squid對于帶 ?的鏈接往往無法阻擋，而 nginx能將其訪問攔住，例如： squid上會(huì)被當(dāng)做兩個(gè)鏈接，所以會(huì)造成兩次穿透；而 nginx只會(huì)保存一次，無論鏈接變成 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 14頁 ,共 39頁 Page 14 , Total39 nginx緩存，從而有效地保護(hù)了后端主機(jī)。 nginx會(huì)非常老實(shí)地將鏈接形式保存到文件系統(tǒng)中，這樣對于一個(gè)鏈接，可以很方便地查閱它在緩存機(jī)器上的緩存狀態(tài)和內(nèi)容，也可以很方便地和別的文件管理器如rsync等配合使用，它完完全全就是一個(gè)文件系統(tǒng)結(jié)構(gòu)。 2. 應(yīng)用程序 方面的緩存 1） OSCache OSCache由 OpenSymphony設(shè)計(jì)，它是一種開創(chuàng)性的 JSP定制標(biāo)記應(yīng)用，提供了在現(xiàn)有 JSP頁面之內(nèi)實(shí)現(xiàn)快速內(nèi)存緩沖的功能， OSCache是個(gè)一個(gè)廣泛采用的高性能的 J2EE緩存框架，OSCache能用于任何 Java應(yīng)用程序的普通的緩存解決方案。 OSCache有以下特點(diǎn)：緩存任何對象，你可以不受限制的緩存部分 jsp頁面或 HTTP請求，任何 java對象都可以緩存。擁有全面的APIOSCache API給你全面的程序來控制所有的 OSCache特性。永久緩存 緩存能隨意的寫入硬盤，因此允許昂貴的創(chuàng)建（ expensivetocreate）數(shù)據(jù)來保持緩存，甚至能讓應(yīng)用重啟。支持集群集群緩存數(shù)據(jù)能 被單個(gè)的進(jìn)行參數(shù)配置，不需要修改代碼。緩存記錄的過期 你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認(rèn)性能不需要時(shí)）。 OSCache是當(dāng)前運(yùn)用最廣的緩存方案 ， JBoss,Hibernate,Spring等都對其有支持。 OSCache的特點(diǎn) : 1) 緩存任何對象：你可以不受限制的緩存部分 jsp頁面或 HTTP請求，任何 java對象都可以緩存。 2) 擁有全面的 API： OSCache API允許你通過編程的方式來控制所有的 OSCache特性。 3) 永久緩存：緩存能被配置寫入硬盤， 因此允許在應(yīng)用服務(wù)器的多次生命周期間緩存創(chuàng)建開銷昂貴的數(shù)據(jù)。 4) 支持集群：集群緩存數(shù)據(jù)能被單個(gè)的進(jìn)行參數(shù)配置，不需要修改代碼。 5) 緩存過期：你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認(rèn)性能不能滿足需要時(shí)）。 2） Memcached memcached是高性能的 分布式內(nèi)存緩存服務(wù)器 。一般的使用目的是，通過緩存數(shù)據(jù)庫查詢結(jié)果，減少數(shù)據(jù)庫訪問次數(shù)，以提高動(dòng)態(tài) Web應(yīng)用的速度、 提高可擴(kuò)展性。 Memcached是以 Key/Value的形式單個(gè)對象緩存。 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 15頁 ,共 39頁 Page 15 , Total39 3） 自主開 發(fā)的 內(nèi)存 數(shù)據(jù)緩存服務(wù) a） 獨(dú)立進(jìn)程方式的緩存服務(wù) 對于一些常用的動(dòng)態(tài)數(shù)據(jù)通過開發(fā)程序服務(wù)緩存 在內(nèi)存中 ，提供給其他子系統(tǒng)調(diào)用，如下面的數(shù)據(jù)就可以通過這樣方式進(jìn)行緩存。 1) 用戶基本信息及狀態(tài)的信息緩沖 2) 列表緩存，就像論壇里帖子的列表 3) 記錄條數(shù)的緩存，比如一個(gè)論壇板塊里有多少個(gè)帖子，這樣才方便實(shí)現(xiàn)分頁。 4) 復(fù)雜一點(diǎn)的 group， sum， count查詢，比如積分的分類排名 b） 集成在 WEB應(yīng)用 中 的內(nèi)存緩存 在 web應(yīng)用中 對于熱點(diǎn)的功能，考慮使用完全裝載到內(nèi)存，保證絕對的響應(yīng)速度，對于需要頻繁訪問的熱點(diǎn)數(shù)據(jù)，采用集中緩存 (多個(gè)可以采用負(fù)載均衡 )，減輕數(shù)據(jù)庫的壓力，比如：很多配置信息，操作員信息等等。 頁面 靜態(tài)化 靜態(tài)的 HTML頁面嚴(yán)格地由標(biāo)準(zhǔn)的 HTML標(biāo)示語言構(gòu)成，并不需要服務(wù)器端即時(shí)運(yùn)算生成。這意味著，對一個(gè)靜態(tài) HTML文檔發(fā)出訪問請求后，服務(wù)器端只是簡單地將該文檔傳輸?shù)娇蛻舳?。從服?wù)器運(yùn)行的那個(gè)時(shí)間片來看，這個(gè)傳輸過程僅僅占 用了很小的 CPU資源。 頁面 靜態(tài)化 就是采用 效率最高、消耗最小的純靜態(tài)化的 html頁面 來替換動(dòng)態(tài)頁面。 我們盡可能使我們的網(wǎng)站上的頁面采用靜態(tài)頁面來實(shí)現(xiàn)，這個(gè)最簡單的方法其實(shí)也是最有效的方法 。 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 16頁 ,共 39頁 Page 16 , Total39 同時(shí)采用第三方開源的 CMS系統(tǒng)來實(shí)現(xiàn)網(wǎng)站內(nèi)容的管理。 對于大量內(nèi)容并且頻繁更新的網(wǎng)站，我們無法全部手動(dòng)去挨個(gè)實(shí)現(xiàn) 頁面靜態(tài)化 ， 所以我們需要引入 常見的信息發(fā)布系統(tǒng) (CMS)，信息發(fā)布系統(tǒng) (CMS)可以實(shí)現(xiàn)最簡單的信息錄入自動(dòng)生成靜態(tài)頁面 ， 對于一個(gè)大型網(wǎng)站來說，擁有一套高效、可管理的 CMS是必不可少的。 同時(shí)， HTML靜態(tài)化也是 某些緩存策略使用的手段，對于系統(tǒng)中頻繁使用數(shù)據(jù)庫查詢但是內(nèi)容更新很小的應(yīng)用，可以考慮使用 HTML靜態(tài)化來實(shí)現(xiàn)，比如論壇中論壇的公用設(shè)置信息，這些信息目前的主流論壇都可以進(jìn)行后臺管理并且 存儲(chǔ) 再數(shù)據(jù)庫中，這些信息其實(shí)大量被前臺程序調(diào)用，但是更新頻率很小，可以考慮將這部分內(nèi)容進(jìn)行后臺更新的時(shí)候進(jìn)行靜態(tài)化，這樣避免了大量的數(shù)據(jù)庫訪問請求。 在進(jìn)行 html靜態(tài)化的時(shí)候 還 可以使用一種折中的方法，就 是前端 繼續(xù) 使用動(dòng)態(tài)實(shí)現(xiàn)，在一定的策略下 通過后臺模塊 進(jìn)行定時(shí) 把動(dòng)態(tài)網(wǎng)頁生成 靜態(tài) 頁面，并定時(shí)判斷調(diào)用，這個(gè)能實(shí)現(xiàn)很多靈活性的操作。 為了提高靜態(tài) HTML的訪問效率，主要可以對以下幾個(gè)方面進(jìn)行優(yōu)化：網(wǎng)絡(luò)帶寬、磁盤 I/O以及 cache(高速緩沖存儲(chǔ)器 )。 數(shù)據(jù)庫 配置及優(yōu)化 1. 數(shù)據(jù)庫集群 對生產(chǎn)數(shù)據(jù)庫采用 RAC實(shí)現(xiàn)數(shù)據(jù)庫的集群。 2. 數(shù)據(jù)庫及表的散列 把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫進(jìn)行分離，針對系統(tǒng)業(yè)務(wù)數(shù)據(jù)的特點(diǎn)，把大的表進(jìn)行拆分，對于訪問較多的表采用分區(qū)表。 使用讀 /寫數(shù)據(jù)庫分離，隨著系統(tǒng)變得越來越龐大，特別是當(dāng)它們擁有 很差的 SQL時(shí)，一臺數(shù)據(jù)庫服務(wù)器通常不足以處理負(fù)載。但是多個(gè)數(shù)據(jù)庫意味著重復(fù)，除非你對數(shù)據(jù)進(jìn)行了分離。更一般地，這意味著建立主 /從副本系統(tǒng)，其中 程序會(huì)對主庫編寫所有的 Update、 Insert和 Delete變更語句，而所有 Select的數(shù)據(jù)都讀取自從數(shù)據(jù)庫（或者多個(gè)從數(shù)據(jù)庫）。 盡管概念上很簡單，但是想要合理、精確地實(shí) 現(xiàn)并不容易，這可能需要大量的代碼工作。因此，即便在開始時(shí)使用同一臺數(shù)據(jù)庫服務(wù)器，也要盡早計(jì)劃在 PHP中使用分離的 DB連接來進(jìn)行讀寫操作。如果正確 地完成該項(xiàng)工作，那么系統(tǒng)就可以擴(kuò)展到 2臺、 3臺甚至 12臺服務(wù)器，并具備高可用性和穩(wěn)定性。 3. 擁有良好的 DB配置和備份 很多公司都沒有良好的備份機(jī)制，也不知道如 何恰當(dāng)?shù)赝瓿蛇@項(xiàng)工作。 只有 imp是不夠的，還需要 進(jìn)行熱備份，從而得到超快的速度和超高的可靠性。 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 17頁 ,共 39頁 Page 17 , Total39 另外，在將所有備份文件從服務(wù)器上轉(zhuǎn)移出來之前要進(jìn)行壓縮和加密。另外還要確保擁有設(shè)計(jì)合理的、有用的關(guān)于安全、性能和穩(wěn)定性問題的設(shè)定，包括防止數(shù)據(jù)敗壞，其中很多設(shè)定都是非常重要的。 文件 存儲(chǔ) 1. 文件共享 1） HDFS（ GFS） HDFS是 Apache Hadoop項(xiàng)目中的一個(gè)分布式文件系統(tǒng)實(shí)現(xiàn)，基于 Google于 2020年 10月發(fā)表的 Google File System(GFS)論文。 ? 特性 1) 硬件要求低 2) 高容錯(cuò)性 3) 易可擴(kuò)展 4) 配置簡單 5) 超大文件 HDFS采用 master/slave架構(gòu)。 一個(gè) HDFS集群是由一個(gè) Namenode和一定數(shù)目的 Datanodes組成。 公開 內(nèi)部公開 機(jī)密 絕密 √ 11/17/2020 版權(quán)所有，侵權(quán)必究 All rights reserved 第 18頁 ,共 39頁 Page 18 , Total39 2） NFS與 GFS比較 首先從它們的功能上進(jìn)行分析。 NFS即網(wǎng)絡(luò)文件系統(tǒng)，是由 SUN公司開發(fā)的。它是 FreeBSD支持的文件系統(tǒng)中的一種，允許一個(gè)系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。通過使用 NFS，用戶和程序訪問遠(yuǎn)端系統(tǒng)上的文件就像訪問本地文件一樣。 而 GFS是 Google為了滿足本公司迅速增長的數(shù)據(jù)處理要求而開發(fā)的文件系統(tǒng)。 GFS是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。它是針對 Google的計(jì)算機(jī)集群進(jìn)行設(shè)計(jì)的，專門是為 Google頁面搜索的存儲(chǔ)進(jìn)行了優(yōu)化。 所以從功能上看，它們兩者是完全不同的概念。 其次從結(jié)構(gòu)上比較， NFS至少包括兩個(gè)主要部分：一臺服務(wù)器，以及至少一臺客戶機(jī)。被共享的目錄和文件存放在服務(wù)器上，客戶機(jī)遠(yuǎn)程地訪問保存在服務(wù)器上的數(shù)據(jù)。 GFS則由一臺 Master(通常有幾臺備份 )和若干臺 TrunkServer構(gòu)成。 GFS中文件備份成固定大小的 Trunk分別存儲(chǔ)在不同的 TrunkServer上，每個(gè) Trunk有多份 (比如 3)拷貝，也存儲(chǔ)在不同的 TrunkServer上。 Master負(fù)責(zé)維護(hù) GFS中的 Metadata，即文件名及其 Trunk信息?？蛻舳讼葟腗aster上得到文件的 Metadata，根據(jù)要讀取的數(shù)據(jù)在文件中的位置與相應(yīng)的 TrunkServer通信，獲取文件數(shù)據(jù)。 再從跨平臺性上， NFS的基本原則是“容許不同的客戶端及服務(wù)端通過一組 RPCs分享相同的文件系統(tǒng)”，它是獨(dú)立于操作系統(tǒng)的，容 許不同的操作系統(tǒng)共同地進(jìn)行文件的共享。 而 GFS則沒有這一特點(diǎn)，文件只能被集群系統(tǒng)中的 PC所訪問，而且這些 PC的操作系統(tǒng)一般是 Linux。 最后從規(guī)模上比較， HDFS只應(yīng)用在大批量的數(shù)據(jù)共享上 。 目前 Google擁有超過 200個(gè)的GFS集群，其中有些集群的 PC數(shù)量超過 5000臺。集群的數(shù)據(jù)存儲(chǔ)規(guī)?？梢赃_(dá)到 5個(gè) PB，并且集群中的數(shù)據(jù)讀寫吞吐量可達(dá)到每秒 40G。 而 NFS一般沒有這么巨大的規(guī)模。 2. 文件的多服務(wù)器自動(dòng)同步 使用 Linux inotify監(jiān)控 Linux文件系統(tǒng)事件。 利用開源的 lsync監(jiān)聽某一目錄，如果目錄內(nèi)文件發(fā)生增、刪、改，利用 Rsync協(xié)議