【文章內(nèi)容簡介】 ：集群緩存數(shù)據(jù)能被單個(gè)的進(jìn)行參數(shù)配置，不需要修改代碼。 5) 緩存過期：你可以有最大限度的控制緩存對象的過期，包括可插入式的刷新策略（如果默認(rèn)性能不能滿足需要時(shí)）。2） Memcachedmemcached是高性能的分布式內(nèi)存緩存服務(wù)器。一般的使用目的是，通過緩存數(shù)據(jù)庫查詢結(jié)果，減少數(shù)據(jù)庫訪問次數(shù)，以提高動(dòng)態(tài)Web應(yīng)用的速度、 提高可擴(kuò)展性。Memcached是以Key/Value的形式單個(gè)對象緩存。3） 自主開發(fā)的內(nèi)存數(shù)據(jù)緩存服務(wù)a） 獨(dú)立進(jìn)程方式的緩存服務(wù)對于一些常用的動(dòng)態(tài)數(shù)據(jù)通過開發(fā)程序服務(wù)緩存在內(nèi)存中，提供給其他子系統(tǒng)調(diào)用，如下面的數(shù)據(jù)就可以通過這樣方式進(jìn)行緩存。1) 用戶基本信息及狀態(tài)的信息緩沖2) 列表緩存，就像論壇里帖子的列表3) 記錄條數(shù)的緩存，比如一個(gè)論壇板塊里有多少個(gè)帖子，這樣才方便實(shí)現(xiàn)分頁。4) 復(fù)雜一點(diǎn)的group ，sum，count查詢，比如積分的分類排名b） 集成在WEB 應(yīng)用中的內(nèi)存緩存在web應(yīng)用中對于熱點(diǎn)的功能，考慮使用完全裝載到內(nèi)存，保證絕對的響應(yīng)速度，對于需要頻繁訪問的熱點(diǎn)數(shù)據(jù)，采用集中緩存(多個(gè)可以采用負(fù)載均衡) ，減輕數(shù)據(jù)庫的壓力，比如：很多配置信息，操作員信息等等。 頁面靜態(tài)化靜態(tài)的HTML頁面嚴(yán)格地由標(biāo)準(zhǔn)的 HTML標(biāo)示語言構(gòu)成，并不需要服務(wù)器端即時(shí)運(yùn)算生成。這意味著，對一個(gè)靜態(tài)HTML 文檔發(fā)出訪問請求后，服務(wù)器端只是簡單地將該文檔傳輸?shù)娇蛻舳?。從服?wù)器運(yùn)行的那個(gè)時(shí)間片來看，這個(gè)傳輸過程僅僅占用了很小的CPU資源。頁面靜態(tài)化就是采用效率最高、消耗最小的純靜態(tài)化的html頁面來替換動(dòng)態(tài)頁面。我們盡可能使我們的網(wǎng)站上的頁面采用靜態(tài)頁面來實(shí)現(xiàn)，這個(gè)最簡單的方法其實(shí)也是最有效的方法。同時(shí)采用第三方開源的CMS 系統(tǒng)來實(shí)現(xiàn)網(wǎng)站內(nèi)容的管理。對于大量內(nèi)容并且頻繁更新的網(wǎng)站，我們無法全部手動(dòng)去挨個(gè)實(shí)現(xiàn)頁面靜態(tài)化，所以我們需要引入常見的信息發(fā)布系統(tǒng)(CMS)，信息發(fā)布系統(tǒng)(CMS) 可以實(shí)現(xiàn)最簡單的信息錄入自動(dòng)生成靜態(tài)頁面，對于一個(gè)大型網(wǎng)站來說，擁有一套高效、可管理的CMS 是必不可少的。同時(shí)，HTML靜態(tài)化也是某些緩存策略使用的手段，對于系統(tǒng)中頻繁使用數(shù)據(jù)庫查詢但是內(nèi)容更新很小的應(yīng)用，可以考慮使用HTML 靜態(tài)化來實(shí)現(xiàn)，比如論壇中論壇的公用設(shè)置信息，這些信息目前的主流論壇都可以進(jìn)行后臺管理并且存儲再數(shù)據(jù)庫中，這些信息其實(shí)大量被前臺程序調(diào)用，但是更新頻率很小，可以考慮將這部分內(nèi)容進(jìn)行后臺更新的時(shí)候進(jìn)行靜態(tài)化，這樣避免了大量的數(shù)據(jù)庫訪問請求。在進(jìn)行html靜態(tài)化的時(shí)候還可以使用一種折中的方法，就是前端繼續(xù)使用動(dòng)態(tài)實(shí)現(xiàn)，在一定的策略下通過后臺模塊進(jìn)行定時(shí)把動(dòng)態(tài)網(wǎng)頁生成靜態(tài)頁面，并定時(shí)判斷調(diào)用，這個(gè)能實(shí)現(xiàn)很多靈活性的操作。為了提高靜態(tài)HTML的訪問效率，主要可以對以下幾個(gè)方面進(jìn)行優(yōu)化：網(wǎng)絡(luò)帶寬、磁盤I/O以及cache(高速緩沖存儲器) 。 數(shù)據(jù)庫配置及優(yōu)化1. 數(shù)據(jù)庫集群對生產(chǎn)數(shù)據(jù)庫采用RAC實(shí)現(xiàn)數(shù)據(jù)庫的集群。2. 數(shù)據(jù)庫及表的散列把生產(chǎn)數(shù)據(jù)庫和查詢數(shù)據(jù)庫進(jìn)行分離，針對系統(tǒng)業(yè)務(wù)數(shù)據(jù)的特點(diǎn)，把大的表進(jìn)行拆分，對于訪問較多的表采用分區(qū)表。使用讀/寫數(shù)據(jù)庫分離，隨著系統(tǒng)變得越來越龐大，特別是當(dāng)它們擁有 很差的SQL時(shí)，一臺數(shù)據(jù)庫服務(wù)器通常不足以處理負(fù)載。但是多個(gè)數(shù)據(jù)庫意味著重復(fù)，除非你對數(shù)據(jù)進(jìn)行了分離。更一般地，這意味著建立主/從副本系統(tǒng)，其中 程序會對主庫編寫所有的Update、Insert和Delete變更語句，而所有Select的數(shù)據(jù)都讀取自從數(shù)據(jù)庫（或者多個(gè)從數(shù)據(jù)庫）。盡管概念上很簡單，但是想要合理、精確地實(shí) 現(xiàn)并不容易，這可能需要大量的代碼工作。因此，即便在開始時(shí)使用同一臺數(shù)據(jù)庫服務(wù)器，也要盡早計(jì)劃在PHP中使用分離的DB連接來進(jìn)行讀寫操作。如果正確 地完成該項(xiàng)工作，那么系統(tǒng)就可以擴(kuò)展到2臺、3 臺甚至12臺服務(wù)器，并具備高可用性和穩(wěn)定性。3. 擁有良好的DB配置和備份很多公司都沒有良好的備份機(jī)制，也不知道如 何恰當(dāng)?shù)赝瓿蛇@項(xiàng)工作。只有imp是不夠的，還需要進(jìn)行熱備份，從而得到超快的速度和超高的可靠性。另外，在將所有備份文件從服務(wù)器上轉(zhuǎn)移出來之前要進(jìn)行壓縮和加密。另外還要確保擁有設(shè)計(jì)合理的、有用的關(guān)于安全、性能和穩(wěn)定性問題的設(shè)定，包括防止數(shù)據(jù)敗壞，其中很多設(shè)定都是非常重要的。 文件存儲1. 文件共享1） HDFS（GFS ）HDFS是Apache Hadoop項(xiàng)目中的一個(gè)分布式文件系統(tǒng)實(shí)現(xiàn)，基于Google于2022年10 月發(fā)表的Google File System(GFS)論文。? 特性1) 硬件要求低2) 高容錯(cuò)性3) 易可擴(kuò)展4) 配置簡單5) 超大文件HDFS采用master/slave 架構(gòu)。一個(gè)HDFS集群是由一個(gè) Namenode和一定數(shù)目的Datanodes組成。2） NFS與GFS比較首先從它們的功能上進(jìn)行分析。NFS即網(wǎng)絡(luò)文件系統(tǒng)，是由SUN公司開發(fā)的。它是FreeBSD支持的文件系統(tǒng)中的一種，允許一個(gè)系統(tǒng)在網(wǎng)絡(luò)上與它人共享目錄和文件。通過使用NFS，用戶和程序訪問遠(yuǎn)端系統(tǒng)上的文件就像訪問本地文件一樣。而GFS是Google為了滿足本公司迅速增長的數(shù)據(jù)處理要求而開發(fā)的文件系統(tǒng)。 GFS是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。它是針對Google的計(jì)算機(jī)集群進(jìn)行設(shè)計(jì)的，專門是為Google頁面搜索的存儲進(jìn)行了優(yōu)化。所以從功能上看，它們兩者是完全不同的概念。其次從結(jié)構(gòu)上比較，NFS至少包括兩個(gè)主要部分：一臺服務(wù)器，以及至少一臺客戶機(jī)。被共享的目錄和文件存放在服務(wù)器上，客戶機(jī)遠(yuǎn)程地訪問保存在服務(wù)器上的數(shù)據(jù)。GFS則由一臺Master(通常有幾臺備份) 和若干臺TrunkServer構(gòu)成。GFS中文件備份成固定大小的Trunk分別存儲在不同的 TrunkServer上，每個(gè)Trunk 有多份(比如3)拷貝，也存儲在不同的TrunkServer上。Master 負(fù)責(zé)維護(hù) GFS中的 Metadata，即文件名及其Trunk 信息?？蛻舳讼葟腗aster上得到文件的Metadata ，根據(jù)要讀取的數(shù)據(jù)在文件中的位置與相應(yīng)的 TrunkServer通信，獲取文件數(shù)據(jù)。再從跨平臺性上，NFS的基本原則是“容許不同的客戶端及服務(wù)端通過一組RPCs分享相同的文件系統(tǒng)”，它是獨(dú)立于操作系統(tǒng)的，容許不同的操作系統(tǒng)共同地進(jìn)行文件的共享。而GFS則沒有這一特點(diǎn)，文件只能被集群系統(tǒng)中的PC所訪問，而且這些 PC的操作系統(tǒng)一般是Linux 。最后從規(guī)模上比較，HDFS只應(yīng)用在大批量的數(shù)據(jù)共享上。目前Google擁有超過200 個(gè)的GFS集群，其中有些集群的PC數(shù)量超過5000臺。集群的數(shù)據(jù)存儲規(guī)?？梢赃_(dá)到5個(gè)PB，并且集群中的數(shù)據(jù)讀寫吞吐量可達(dá)到每秒40G 。而NFS一般沒有這么巨大的規(guī)模。2. 文件的多服務(wù)器自動(dòng)同步使用Linux 文件系統(tǒng)事件。利用開源的lsync監(jiān)聽某一目錄，如果目錄內(nèi)文件發(fā)生增、刪、改，利用Rsync協(xié)議自動(dòng)同步到多臺服務(wù)器。3. 圖片服務(wù)器分離特別是如果程序與圖片都放在同一個(gè) APAHCE 的服務(wù)器下，每一個(gè)圖片的請求都有可能導(dǎo)致一個(gè) HTTPD 進(jìn)程的調(diào)用。使用獨(dú)立的圖片服務(wù)器不但可以避免以上這個(gè)情況，更可以對不同的使用性質(zhì)的圖片設(shè)置不同的過期時(shí)間，以便同一個(gè)用戶在不同頁面訪問相同圖片時(shí)不會再次從服務(wù)器（基于是緩存服務(wù)器）取數(shù)據(jù)，不但快速，而且還省了帶寬。還有就是，對于緩存的時(shí)間上，亦可以做獨(dú)立的調(diào)節(jié)。 網(wǎng)絡(luò)問題解決方案你不可能要求所有的使用人員，都和你的服務(wù)器在一個(gè)運(yùn)營商的網(wǎng)絡(luò)內(nèi)，而不同網(wǎng)絡(luò)之間訪問速度會很慢，我們可以采用鏡像網(wǎng)站和引入CDN來解決這一問題。智 能 D N S解 析電 信 機(jī) 房服 務(wù) 器 1 服 務(wù) 器 n動(dòng)態(tài)內(nèi)容 （ 社區(qū) 、 投票 、 調(diào)查 、 搜索 、 點(diǎn)評 、 視頻 ）靜態(tài)內(nèi)容（ 靜態(tài)網(wǎng)頁 、 圖片 ）多 線 機(jī) 房服 務(wù) 器 1 服 務(wù) 器 n服 務(wù) 器 1 服 務(wù) 器 n網(wǎng) 通 機(jī) 房其 他用 戶網(wǎng) 通用 戶用戶C D N電 信用 戶1. 智能DNS解析我們可以在不同的網(wǎng)絡(luò)運(yùn)營商部署web服務(wù)器，通過linux上的rsync工具自動(dòng)同步到不同網(wǎng)絡(luò)接入商的web服務(wù)器上，以作為主站的鏡像。然后通過配置智能DNS解析來引導(dǎo)不同網(wǎng)絡(luò)的訪問用戶到對應(yīng)的網(wǎng)絡(luò)運(yùn)營商的web服務(wù)器。2. CDN如果有足夠的投資，也可以采用CDN(內(nèi)容分發(fā)網(wǎng)) ，把靜態(tài)內(nèi)容（靜態(tài)頁面和圖片）進(jìn)行CDN緩存，以減輕服務(wù)器壓力。CDN的全稱是 Content Delivery Network，即內(nèi)容分發(fā)網(wǎng)絡(luò)。它采取了分布式網(wǎng)絡(luò)緩存結(jié)構(gòu)（即國際上流行的 web cache技術(shù)），其目的是通過在現(xiàn)有的 Inter中增加一層新的網(wǎng)絡(luò)架構(gòu)，將網(wǎng)站的內(nèi)容發(fā)布到最接近用戶的網(wǎng)絡(luò) 邊緣 ，使用戶可以就近取得所需的內(nèi)容，解決 Inter網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問網(wǎng)站的響應(yīng)速度。從技術(shù)上全面解決由于網(wǎng)絡(luò)帶寬小、用戶訪問量大、網(wǎng)點(diǎn)分布不均等原因所造成的用戶訪問網(wǎng)站響應(yīng)速度慢的問題。 (也就是一個(gè)服務(wù)器的內(nèi)容，平均分部到多個(gè)服務(wù)器上，服務(wù)器智能識別，讓用戶獲取離用戶最近的服務(wù)器，提高速度。目前，國內(nèi)訪問量較高的大型網(wǎng)站如新浪、網(wǎng)易等，均使用 CDN網(wǎng)絡(luò)加速技術(shù)，雖然網(wǎng)站的訪問巨大，但無論在什么地方訪問都會感覺速度很快。而一般的網(wǎng)站如果服務(wù)器在網(wǎng)通，電信用戶訪問很慢，如果服務(wù)器在電信，網(wǎng)通用戶訪問又很慢。 WEB應(yīng)用開發(fā)架構(gòu)設(shè)計(jì)思路1. 基于MVC的三層應(yīng)用開發(fā)架構(gòu)應(yīng)用開發(fā)實(shí)現(xiàn)MVC三層架構(gòu)進(jìn)行web應(yīng)用開發(fā)，采用ibatis作為持久層框架，c3p0作為數(shù)據(jù)庫連接池。iBATIS 是一個(gè)可以設(shè)計(jì)和實(shí)現(xiàn)更好的 Java 應(yīng)用程序持久化層的框架。iBATIS 把對象和存儲過程或者使用 XML 描述符的 SQL 語句進(jìn)行了關(guān)聯(lián)。簡單是 iBATIS 最大的優(yōu)勢? ibatis使用ibatis的十個(gè)理由1. 至少能操作 10 種以上的數(shù)據(jù)庫2. 可配置的 caching(包括從屬)3. 支持 DataSource、local transaction management 和 global transaction4. 簡單的 XML 配置文檔5. 支持 Map, Collection, List 和簡單類型包裝(如 Integer, String)6. 支持 JavaBeans 類(get/set 方法)7. 支持復(fù)雜的對象映射(如 populating lists, plex object models)8. 對象模型從不完美(不需要修改)9. 數(shù)據(jù)模型從不完美(不需要修改)10. 你已經(jīng)知道 SQL，為什么還要學(xué)習(xí)其他東西1） MVC架構(gòu)示意2） Struts架構(gòu)客戶端發(fā)送一個(gè)HTTP請求，通過Struts框架最后獲得一個(gè)HTTP響應(yīng)，這一過程非常重要，它是理解Struts框架的重點(diǎn)。上圖描述了Struts 框架的結(jié)構(gòu)，而下圖通過一個(gè)活動(dòng)圖更具體描述接受請求直至返回響應(yīng)的整個(gè)過程：2. 面向服務(wù)的應(yīng)用架構(gòu)面向服務(wù)的應(yīng)用架構(gòu)是指構(gòu)建可分布式的、去中心化的服務(wù)器平臺，以提供許多不同的應(yīng)用，數(shù)據(jù)庫被分成很多個(gè)小部分，圍繞每個(gè)部分都會創(chuàng)建一個(gè)服務(wù)接口(API), 并且該接口是訪問數(shù)據(jù)庫的唯一途徑。最終數(shù)據(jù)庫演變成一個(gè)非常龐大的共享資源。這種架構(gòu)是松散耦合的，并且圍繞著服務(wù)進(jìn)行構(gòu)建。面向服務(wù)的架構(gòu)提供給他們隔離特性，一個(gè)服務(wù)可能有很多臺數(shù)據(jù)庫服務(wù)器，他們之間的數(shù)據(jù)是相通的，而對外他們的接口只有一個(gè)，外面是無法知道這個(gè)服務(wù)后面的數(shù)據(jù)組織是如何搭建的。這樣就有了越來越多的應(yīng)用服務(wù)器。這些應(yīng)用服務(wù)器從數(shù)據(jù)眾多的服務(wù)（每個(gè)服務(wù)背后都有數(shù)據(jù)庫或集群數(shù)據(jù)庫）中聚合信息。這樣各種服務(wù)如插件一樣組成了一個(gè)開放的平臺，這樣團(tuán)隊(duì)的規(guī)模就會比較小，比較靈活。注 Amazon 就是采用了這種架構(gòu)來構(gòu) 建的，它擁有上千臺服務(wù)器。 系統(tǒng)軟件參數(shù)優(yōu)化在一定的架構(gòu)基礎(chǔ)上，要提高并發(fā)處理能力則需要調(diào)整服務(wù)器的操作系統(tǒng)內(nèi)核參數(shù)、web服務(wù)器（tomcat 的參數(shù)、 apache的參數(shù)、Nginx的參數(shù)），以使其性能達(dá)到最優(yōu)化。 操作系統(tǒng)優(yōu)化調(diào)整系統(tǒng)的內(nèi)核參數(shù)，增大連接數(shù)及TCP/IP的超時(shí)設(shè)置。Linux系統(tǒng)中：在/etc/： = 1 = 1 = 1 = 5 tomcat服務(wù)器優(yōu)化增大并發(fā)連接數(shù)，調(diào)整內(nèi)存參數(shù)的設(shè)置。JDK 內(nèi)存優(yōu)化：當(dāng)應(yīng)用程序需要的內(nèi)存超出堆的最大值時(shí)虛擬機(jī)就會提示內(nèi)存溢出，并且導(dǎo)致應(yīng)用服務(wù)崩潰。因此一般建議堆的最大值設(shè)置為可用內(nèi)存的最大值的 80%。 Tomcat 默認(rèn)可以使用的內(nèi)存為128MB，在較大型的應(yīng)用項(xiàng)目中，這點(diǎn)內(nèi)存是不夠的，需要調(diào)大.Tomcat 默認(rèn)可以使用的內(nèi)存為 128MB,Windows 下,在文件/bin/，Unix 下，在文件/bin/ 的前面，增加如下設(shè)置： JAVA_OPTS=39。Xms【初始化內(nèi)存大小】 Xmx【可以使用的最大內(nèi)存】39。 需要把這個(gè)兩個(gè)參數(shù)值調(diào)大。例如： JAVA_OPTS=39。Xms256m Xmx512m39。 表示初始化內(nèi)存為 256MB，可以使用的最大內(nèi)存為 512MB。連接器優(yōu)化： 在 tomcat 配置文件 中的配置中，和連接數(shù)相關(guān)的參數(shù)有：maxThreads： Tomcat 使用線程來處理接收的每個(gè)請求。這個(gè)值表示 Tomcat 可創(chuàng)建的最大的線程數(shù)。默認(rèn)值 150。acceptCount： 指定當(dāng)所有