【文章內容簡介】 mcat1,tomcat2...去處理 ，要達到以下要求： 公開 內部公開 機密 絕密 √ 11/17/2020 版權所有，侵權必究 All rights reserved 第 13頁 ,共 39頁 Page 13 , Total39 1) Apache 做為 HttpServer ，通過 mod_jk連接器連接多個 tomcat 應用實例，并進行負載均衡。 2) 同時還要配置 session復制，也就是說其中任何一個 tomcat的添加的 session，是要同步復制到其它 tomcat， 集群內的 tomcat都有相同的 session，并為系統(tǒng)（包括 Apache 和 tomcat）設定 Session 超時時間。 緩存 1. 系統(tǒng) 架構方面的緩存 1） Squid緩存 架構方面使用 Squid進行緩存 。 注： SQUID使用了 LM算法， LM就是頁面 Header里時間 (Date)和 LastModified時間的差。 Date一般是 Squid從后面取頁面的時間， LastModified 一般是頁面生成時間。 2） Nginx的緩存功能 Nginx從 ，支持了類似 Squid的緩存功能； 緩存把 URL及相關組合當作 Key，用 md5編碼哈希后保存； Nginx的 Web緩存服務只能為指定 URL或狀態(tài)碼設置過期時間，不支持類似 Squid的 PURGE指令，手動清除指定緩存頁面； 采用 MMAP實現，設置的緩存區(qū)大小不能超過物理內存 +SWEB的值 3） 基于 memcached的緩存 nginx 對 memcached有所支持，但是功能并不是特別之強，性能上還是非常之優(yōu)秀。 location /mem/ { if ( $uri ~ ^/mem/([09AZaz_]*)$ ) { set $memcached_key $1。 memcached_pass :11211。 } expires 70。 } 這個配置會將 指明到 memcached 的 abc 這個 key 去取數據。 Nginx 目前沒有寫入 memcached 的任何機制，所以要往 memcached 里寫入數據得用后臺的動態(tài)語言完成，可以利用 404 定向到后端去寫入數據。 Nginx傳統(tǒng)緩存的缺點也是它和 squid等緩存軟件的不同之特色，所以也可看作其優(yōu)點。在生產應用中它常常用作和 squid的搭檔， squid對于帶 ?的鏈接往往無法阻擋，而 nginx能將其訪問攔住，例如： squid上會被當做兩個鏈接，所以會造成兩次穿透；而 nginx只會保存一次，無論鏈接變成 公開 內部公開 機密 絕密 √ 11/17/2020 版權所有，侵權必究 All rights reserved 第 14頁 ,共 39頁 Page 14 , Total39 nginx緩存，從而有效地保護了后端主機。 nginx會非常老實地將鏈接形式保存到文件系統(tǒng)中，這樣對于一個鏈接，可以很方便地查閱它在緩存機器上的緩存狀態(tài)和內容，也可以很方便地和別的文件管理器如rsync等配合使用，它完完全全就是一個文件系統(tǒng)結構。 2. 應用程序 方面的緩存 1） OSCache OSCache由 OpenSymphony設計，它是一種開創(chuàng)性的 JSP定制標記應用，提供了在現有 JSP頁面之內實現快速內存緩沖的功能， OSCache是個一個廣泛采用的高性能的 J2EE緩存框架，OSCache能用于任何 Java應用程序的普通的緩存解決方案。 OSCache有以下特點：緩存任何對象，你可以不受限制的緩存部分 jsp頁面或 HTTP請求，任何 java對象都可以緩存。擁有全面的APIOSCache API給你全面的程序來控制所有的 OSCache特性。永久緩存 緩存能隨意的寫入硬盤，因此允許昂貴的創(chuàng)建（ expensivetocreate）數據來保持緩存，甚至能讓應用重啟。支持集群集群緩存數據能 被單個的進行參數配置，不需要修改代碼。緩存記錄的過期 你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認性能不需要時）。 OSCache是當前運用最廣的緩存方案 ， JBoss,Hibernate,Spring等都對其有支持。 OSCache的特點 : 1) 緩存任何對象：你可以不受限制的緩存部分 jsp頁面或 HTTP請求，任何 java對象都可以緩存。 2) 擁有全面的 API： OSCache API允許你通過編程的方式來控制所有的 OSCache特性。 3) 永久緩存：緩存能被配置寫入硬盤， 因此允許在應用服務器的多次生命周期間緩存創(chuàng)建開銷昂貴的數據。 4) 支持集群：集群緩存數據能被單個的進行參數配置，不需要修改代碼。 5) 緩存過期：你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認性能不能滿足需要時）。 2） Memcached memcached是高性能的 分布式內存緩存服務器 。一般的使用目的是，通過緩存數據庫查詢結果，減少數據庫訪問次數，以提高動態(tài) Web應用的速度、 提高可擴展性。 Memcached是以 Key/Value的形式單個對象緩存。 公開 內部公開 機密 絕密 √ 11/17/2020 版權所有，侵權必究 All rights reserved 第 15頁 ,共 39頁 Page 15 , Total39 3） 自主開 發(fā)的 內存 數據緩存服務 a） 獨立進程方式的緩存服務 對于一些常用的動態(tài)數據通過開發(fā)程序服務緩存 在內存中 ，提供給其他子系統(tǒng)調用，如下面的數據就可以通過這樣方式進行緩存。 1) 用戶基本信息及狀態(tài)的信息緩沖 2) 列表緩存，就像論壇里帖子的列表 3) 記錄條數的緩存，比如一個論壇板塊里有多少個帖子，這樣才方便實現分頁。 4) 復雜一點的 group， sum， count查詢，比如積分的分類排名 b） 集成在 WEB應用 中 的內存緩存 在 web應用中 對于熱點的功能，考慮使用完全裝載到內存，保證絕對的響應速度，對于需要頻繁訪問的熱點數據，采用集中緩存 (多個可以采用負載均衡 )，減輕數據庫的壓力，比如：很多配置信息，操作員信息等等。 頁面 靜態(tài)化 靜態(tài)的 HTML頁面嚴格地由標準的 HTML標示語言構成，并不需要服務器端即時運算生成。這意味著，對一個靜態(tài) HTML文檔發(fā)出訪問請求后，服務器端只是簡單地將該文檔傳輸到客戶端。從服務器運行的那個時間片來看，這個傳輸過程僅僅占 用了很小的 CPU資源。 頁面 靜態(tài)化 就是采用 效率最高、消耗最小的純靜態(tài)化的 html頁面 來替換動態(tài)頁面。 我們盡可能使我們的網站上的頁面采用靜態(tài)頁面來實現，這個最簡單的方法其實也是最有效的方法 。 公開 內部公開 機密 絕密 √ 11/17/2020 版權所有，侵權必究 All rights reserved 第 16頁 ,共 39頁 Page 16 , Total39 同時采用第三方開源的 CMS系統(tǒng)來實現網站內容的管理。 對于大量內容并且頻繁更新的網站，我們無法全部手動去挨個實現 頁面靜態(tài)化 ， 所以我們需要引入 常見的信息發(fā)布系統(tǒng) (CMS)，信息發(fā)布系統(tǒng) (CMS)可以實現最簡單的信息錄入自動生成靜態(tài)頁面 ， 對于一個大型網站來說，擁有一套高效、可管理的 CMS是必不可少的。 同時， HTML靜態(tài)化也是 某些緩存策略使用的手段，對于系統(tǒng)中頻繁使用數據庫查詢但是內容更新很小的應用，可以考慮使用 HTML靜態(tài)化來實現，比如論壇中論壇的公用設置信息，這些信息目前的主流論壇都可以進行后臺管理并且 存儲 再數據庫中，這些信息其實大量被前臺程序調用，但是更新頻率很小，可以考慮將這部分內容進行后臺更新的時候進行靜態(tài)化，這樣避免了大量的數據庫訪問請求。 在進行 html靜態(tài)化的時候 還 可以使用一種折中的方法，就 是前端 繼續(xù) 使用動態(tài)實現，在一定的策略下 通過后臺模塊 進行定時 把動態(tài)網頁生成 靜態(tài) 頁面，并定時判斷調用，這個能實現很多靈活性的操作。 為了提高靜態(tài) HTML的訪問效率，主要可以對以下幾個方面進行優(yōu)化：網絡帶寬、磁盤 I/O以及 cache(高速緩沖存儲器 )。 數據庫 配置及優(yōu)化 1. 數據庫集群 對生產數據庫采用 RAC實現數據庫的集群。 2. 數據庫及表的散列 把生產數據庫和查詢數據庫進行分離，針對系統(tǒng)業(yè)務數據的特點，把大的表進行拆分，對于訪問較多的表采用分區(qū)表。 使用讀 /寫數據庫分離，隨著系統(tǒng)變得越來越龐大，特別是當它們擁有 很差的 SQL時，一臺數據庫服務器通常不足以處理負載。但是多個數據庫意味著重復，除非你對數據進行了分離。更一般地，這意味著建立主 /從副本系統(tǒng)，其中 程序會對主庫編寫所有的 Update、 Insert和 Delete變更語句，而所有 Select的數據都讀取自從數據庫（或者多個從數據庫）。 盡管概念上很簡單，但是想要合理、精確地實 現并不容易，這可能需要大量的代碼工作。因此，即便在開始時使用同一臺數據庫服務器，也要盡早計劃在 PHP中使用分離的 DB連接來進行讀寫操作。如果正確 地完成該項工作，那么系統(tǒng)就可以擴展到 2臺、 3臺甚至 12臺服務器，并具備高可用性和穩(wěn)定性。 3. 擁有良好的 DB配置和備份 很多公司都沒有良好的備份機制，也不知道如 何恰當地完成這項工作。 只有 imp是不夠的，還需要 進行熱備份，從而得到超快的速度和超高的可靠性。 公開 內部公開 機密 絕密 √ 11/17/2020 版權所有，侵權必究 All rights reserved 第 17頁 ,共 39頁 Page 17 , Total39 另外，在將所有備份文件從服務器上轉移出來之前要進行壓縮和加密。另外還要確保擁有設計合理的、有用的關于安全、性能和穩(wěn)定性問題的設定，包括防止數據敗壞，其中很多設定都是非常重要的。 文件 存儲 1. 文件共享 1） HDFS（ GFS） HDFS是 Apache Hadoop項目中的一個分布式文件系統(tǒng)實現，基于 Google于 2020年 10月發(fā)表的 Google File System(GFS)論文。 ? 特性 1) 硬件要求低 2) 高容錯性 3) 易可擴展 4) 配置簡單 5) 超大文件 HDFS采用 master/slave架構。 一個 HDFS集群是由一個 Namenode和一定數目的 Datanodes組成。 公開 內部公開 機密 絕密 √ 11/17/2020 版權所有，侵權必究 All rights reserved 第 18頁 ,共 39頁 Page 18 , Total39 2） NFS與 GFS比較 首先從它們的功能上進行分析。 NFS即網絡文件系統(tǒng)，是由 SUN公司開發(fā)的。它是 FreeBSD支持的文件系統(tǒng)中的一種，允許一個系統(tǒng)在網絡上與它人共享目錄和文件。通過使用 NFS，用戶和程序訪問遠端系統(tǒng)上的文件就像訪問本地文件一樣。 而 GFS是 Google為了滿足本公司迅速增長的數據處理要求而開發(fā)的文件系統(tǒng)。 GFS是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數據進行訪問的應用。它是針對 Google的計算機集群進行設計的，專門是為 Google頁面搜索的存儲進行了優(yōu)化。 所以從功能上看，它們兩者是完全不同的概念。 其次從結構上比較， NFS至少包括兩個主要部分：一臺服務器，以及至少一臺客戶機。被共享的目錄和文件存放在服務器上，客戶機遠程地訪問保存在服務器上的數據。 GFS則由一臺 Master(通常有幾臺備份 )和若干臺 TrunkServer構成。 GFS中文件備份成固定大小的 Trunk分別存儲在不同的 TrunkServer上，每個 Trunk有多份 (比如 3)拷貝，也存儲在不同的 TrunkServer上。 Master負責維護 GFS中的 Metadata，即文件名及其 Trunk信息。客戶端先從Master上得到文件的 Metadata，根據要讀取的數據在文件中的位置與相應的 TrunkServer通信，獲取文件數據。 再從跨平臺性上， NFS的基本原則是“容許不同的客戶端及服務端通過一組 RPCs分享相同的文件系統(tǒng)”，它是獨立于操作系統(tǒng)的，容 許不同的操作系統(tǒng)共同地進行文件的共享。 而 GFS則沒有這一特點，文件只能被集群系統(tǒng)中的 PC所訪問，而且這些 PC的操作系統(tǒng)一般是 Linux。 最后從規(guī)模上比較， HDFS只應用在大批量的數據共享上 。 目前 Google擁有超過 200個的GFS集群，其中有些集群的 PC數量超過 5000臺。集群的數據存儲規(guī)模可以達到 5個 PB，并且集群中的數據讀寫吞吐量可達到每秒 40G。 而 NFS一般沒有這么巨大的規(guī)模。 2. 文件的多服務器自動同步 使用 Linux inotify監(jiān)控 Linux文件系統(tǒng)事件。 利用開源的 lsync監(jiān)聽某一目錄，如果目錄內文件發(fā)生增、刪、改，利用 Rsync協(xié)議