【正文】 .....................................................................................................331 Jeff.. Bazos?.....................................................................................................331 Werner Vogels, the CTO of ................................................................................331 Re: Amazon Architecture ...................................................................................331 Re: Amazon Architecture ...................................................................................331 Re: Amazon Architecture ...................................................................................332 It39。 創(chuàng)業(yè)期的網(wǎng)站往往采用比較簡單的系統(tǒng)架構，或者是直接使用比較成熟的開源軟件。太復雜的設計容易降低開發(fā)效率，提高維護成本，在出現(xiàn)性能問題或者突發(fā)事件的時候也不容易找到原因。一個網(wǎng)站最基本的要求，就是有比較快的訪問速度，沒有速度，再好的內容或服務也出不來。 這些工作都做了以后，下面數(shù)據(jù)庫如果再出現(xiàn)性能問題就需要考慮多臺服務器了，一臺服務器已經解決不了問題了，我以前的文章中也提到過，這里也不再展開。修改 ，加大并發(fā)數(shù)量和關閉不需要的模塊。 純交互站點， mysql 性能會是一個瓶頸。比如 Ligd還不支持緩存，而現(xiàn)在的絕大部分站點都是用程序生成動態(tài)內容，沒有緩存的話即使程序 的效率再高也很難滿足大訪問量的需求，而且讓程序不停的去做同一件事情也實在沒有意義。新請求或者過期的頁面請求交由 Apache 中 Web 程序來處理。 Ligd 服務于 80 端口， Squid 運行在 3128 端口， Apache 運行在 81 端口。 實例講解 下面以 和 域下面的幾個站點為例來介紹一下此方案的具體做法。把 Squid 放在 Apache或者 Ligd 的前端來緩存 Web 服務器生成的動態(tài)內容，而 Web 應用程序只需要適當?shù)卦O置頁面實效時間即可。而輕量級的 Web服務器 Ligd 卻是后起之秀，其靜態(tài)文件的響應能力遠高于 Apache，據(jù)說是 Apache 的 23 倍。 ZEND 要使用較小的優(yōu)化等級， 15 就足夠了， 1023 級別只會加重服務器負載~ MYSQL 要盡量少使用長連接，限制為 23 秒即可 ~ 要全部采用手工編譯方式，不要用 ports 安裝，因為它會帶上很多你不需要的模塊，切記。 ? 談談大型高負載網(wǎng)站服務器的優(yōu)化心得 ! 因為工作的關系，我做過幾個大型網(wǎng)站（書庫、證券）的相關優(yōu)化工作，一般是在世界排行 10004000 以內的 ~~ 這些網(wǎng)站使用的程序各不一樣，配置也不盡相同，但是它們有一個共同的特點，就是使用的是 FREEBSD 系統(tǒng) ，高配置高負載， PV 值非常高，都是需要用兩臺以上獨立主機來支持的網(wǎng)站 ~ 我在優(yōu)化及跟蹤的過程中，開始效果也差強人意，也不太理想，后來通過閱讀大量資料才慢慢理清了一些思路，寫出來希望給大家有所幫助。當然前期沒注意的話后期也有解決辦法，只不過可能不會解決的特別徹底，但還是要吧非常有效的提升性能。經過一段時間的運行，除非是特別好的設計以及比較好的維護， 一般都會在論壇里存在各種各樣亂七八糟的對用戶信息的調用，而且是直接針對數(shù)據(jù)庫的，這樣如果要將用戶數(shù)據(jù)移走的話要修改代碼的工作量將不容忽視，而另外一個解決辦法是復制一份用戶數(shù)據(jù)出來，以新的用戶數(shù)據(jù)庫為主，論壇里的用戶數(shù)據(jù)通過同步或異步的機制實現(xiàn)同步。實際上目前開源的項目也比較多了，在 上可以找到各種各樣的開源項目。 軟件方面，如果使用了更大容量的內存和改善的 I/O 性能，已經能夠大幅提高數(shù)據(jù)庫的運行效率，還可以配置查詢緩存和進一步優(yōu)化數(shù)據(jù)庫結構和查詢語句，就能讓數(shù)據(jù)庫的性能再進一大步。s Inside? .........................................................................................................256 The Stats..........................................................................................................256 Recipe for handling rapid growth ........................................................................256 Web Servers .....................................................................................................256 Video Serving...................................................................................................257 Serving Video Key Points ..................................................................................258 Serving Thumbnails ..........................................................................................258 Databases ........................................................................................................259 Data Center Strategy .........................................................................................261 Lessons Learned ......................................................................................................261 1. Jesse 我現(xiàn)在按照常規(guī)的設計方法對表進行設計，已經出現(xiàn)了查詢非常緩慢地情形。s WSDL ........................................................................................................332 Re: It39。使用開源軟件的好處是搭建速度快，基本不需要開發(fā)，買個空間域名，下個軟件一搭建，用個半天就搞定了，一個嶄新的網(wǎng)站就開張了，在前期可以極大程度的節(jié)約時間成本和開發(fā)成本。 另外一個問題是開源軟件的后期維護和繼續(xù)開發(fā)可能會存在問題，這一點不是絕對的，取決于開源軟件的架構是否清晰合理，擴展性好，如果是較小的改動可能一般不會存在什么問題，例如添加一項用戶屬性或者文章屬性，但有些需求可能就不是很容易實現(xiàn)了。所以，訪問速度在網(wǎng)站初創(chuàng)的時候就需要考慮，無論是采用開源軟件還是自己開發(fā)都需要注意，數(shù)據(jù)層盡量能夠正確，高效的使用 SQL。 其它解決速度問題的辦法就不僅僅是在應用里面就可以實現(xiàn)的了，需要從更高的高度去設計系統(tǒng)，考慮到服務器，網(wǎng)絡的架構，以及各種系統(tǒng)級應用軟件的配合，這里也不再展開。因為apache 非常消耗內存，盡量輕裝上陣 ~~ 可以適當?shù)氖褂瞄L連接。需要長期跟蹤更改參數(shù)。首先，Web 程序是需要做緩存處理的，即把反復使用的數(shù)據(jù)做緩存。經過 Ligd 和 Squid 的兩級過濾， Apache需要處理的請求將大大減少，減少了 Web 應用程序的壓力。 Ligd 的配置 多個域名采用 /var//dom。 在這種架構下，每一級都是可以進行單獨優(yōu)化的，比如 Ligd 可以采用異步 IO 方式， Squid可以啟用內存來緩存， Apache 可以啟用 MPM 等，并且每一級都可以使用多臺機器來均衡負載，伸縮性很好。而做這個是 Squid 的強項，它本是做代理的，支持高效的緩存，可以用來給站點做反向代理加速。但是它的強大有時候卻顯得笨重，配置文件得讓人望而生畏，高并發(fā)情況下效率不太高。 PHP 編譯的時候，注意要 盡量以實用為目的加入?yún)?shù)，沒有用到的堅決不加，以免浪費系統(tǒng)資源。這個過程會是一個充滿艱辛和樂趣的過程，也是一個可以逐漸過渡的過程，主動出擊，提前考慮，減少救火可以讓這個過程輕松一些。在初期這個問題可能不是特別明顯，當訪問量大起來以后，這個可能成為最主要的性能瓶頸，各種雜亂無章的 SQL會讓人看的瘋掉。由于網(wǎng)站初始的用戶數(shù)據(jù)可能大部分都存放在論壇里，這個時候我們需要把用戶數(shù)據(jù)獨立出來就會碰到麻煩，如何既能把用戶數(shù)據(jù)獨立出來又不影響論壇原有系統(tǒng)的繼續(xù)運行會是件很頭痛的事情。 一方面是開源軟件一般只有在比較成熟的領域 才有，如果是一些創(chuàng)新型的項目很難找到合適的開源軟件，這個時候沒什么好的解決辦法，如果非要用開源的話一般會找一個最相似的改一下。s Inside? .........................................................................................................344 The Stats..........................................................................................................344 The Stack.........................................................................................................344 Reliable Storage Mechanism with GFS (Google File System) .................................345 Do Something With the Data Using MapReduce ...................................................346 Storing Structured Data in BigTable ....................................................................347 Hardware .........................................................................................................349 Misc................................................................................................................349 Future Directions for Google ..............................................................................349 Lessons Learned ......................................................................................................350 不管怎么樣，先要找出瓶頸在哪個部分：是 CPU 負荷太高（經常 100％），還是內存不夠用（大量使用虛擬內存），還是磁盤 I/O 性能跟不上（硬盤指示燈狂閃）？這幾個都是可以通過升級硬件來解決或者改善的（使用更高等級的 CPU，更快速和更大容量的內存，配置硬件磁盤陣列并使用更多數(shù)量的高速 SCSI 硬盤），但這需要較大的投入。s Scalability and Performance .....................................................................252 ? YouTube Architecture....................................................