大型網(wǎng)站架構(gòu)設(shè)計與分析案例匯總(編輯修改稿)
2025-02-28 21:56 本頁面
【文章內(nèi)容簡介】 應(yīng)用，于是我們需要借助于數(shù)據(jù)庫集群或者庫表散列技術(shù)。在數(shù)據(jù)庫集群方面， 很多數(shù)據(jù)庫廠商都有自己的解決方案 ， Oracle、 Sybase、 SQLServer等都有很好的方案，（ MySQL提供了類似的 Master/Slave）。因此，使用了什么樣的數(shù)據(jù)庫，就參考相應(yīng)的解決方案來實施即可。 大型網(wǎng)站開發(fā)時的幾點建議 ? 上面提到的數(shù)據(jù)庫集群由于在架構(gòu)、成本、擴張性方面都會受到所采用數(shù)據(jù)庫類型的限制，于是我們需要從應(yīng)用程序的角度來考慮改善系統(tǒng)架構(gòu)，其中，庫表散列是常用并且最有效的解決方案。我們在應(yīng)用程序中安裝業(yè)務(wù)和應(yīng)用或者功能模塊將數(shù)據(jù)庫進行分離，不同的模塊對應(yīng)不同的數(shù)據(jù)庫或者表，再按照一定的策略對某個頁面或者功能進行更小的數(shù)據(jù)庫散列，比如用戶表，按照用戶 ID進行表散列，這樣就能夠低成本的提升系統(tǒng)的性能并且有很好的擴展性。? 一個現(xiàn)成的例子是 sohou。它的論壇采用了類似的架構(gòu)，將論壇的用戶、設(shè)置、帖子等信息進行數(shù)據(jù)庫分離，然后對帖子、用戶按照板塊和 ID進行散列數(shù)據(jù)庫和表，最終可以在配置文件中進行簡單的配置便能讓系統(tǒng)隨時增加一臺低成本的數(shù)據(jù)庫進來補充系統(tǒng)性能。大型網(wǎng)站開發(fā)時的幾點建議 ? 緩存策略 不單指低級的緩存技術(shù)相關(guān)的編程，應(yīng)從整個架構(gòu)角度著眼，深入研究 Web服 務(wù)器、數(shù)據(jù)庫服務(wù)器的各層級的緩沖策略，最后才是低級的緩沖技術(shù)的編程。不同的 Web服務(wù)器、數(shù)據(jù)庫服務(wù)器及 Web編程語言都有自己不同的緩沖策略。例如數(shù)據(jù)庫存儲方面， SQL Serve 2023中的主動式緩存機制， Oracle數(shù)據(jù)的 cache group技術(shù)， Hibernate的緩存包括 Session的緩存和SessionFactory的緩存； Web服務(wù)器方面， Apache提供了自己的緩存模塊，也可以使用外加的 Squid模塊進行緩存，這兩種方式均可以有效的提高 Apache的訪問響應(yīng)能力， IIS緩沖器技術(shù)；至于 web開發(fā)語言，所用緩存技術(shù)更存在很大不同，例如 ，這兩種緩存技術(shù)相互獨立但不相互排斥， PHP有 Pear的 Cache模塊，等等。大型網(wǎng)站開發(fā)時的幾點建議 ? 鏡像 鏡像是大型網(wǎng)站常采用的提高性能和數(shù)據(jù)安全性的方式，鏡像的技術(shù)可以解決不同網(wǎng)絡(luò)接入商和地域帶來的用戶訪問速度差異。大型網(wǎng)站開發(fā)時的幾點建議 ? 負載均衡? 負載均衡將是大型網(wǎng)站解決高負荷訪問和大量并發(fā)請求采用的終極解決辦法。負載均衡技術(shù)發(fā)展了多年，有很多專業(yè)的服務(wù)提供商和產(chǎn)品可以選擇：? 硬件四層交換：第四層交換使用第三層和第四層信息包的報頭信息，根據(jù)應(yīng)用區(qū)間識別業(yè)務(wù)流，將整個區(qū)間段的業(yè)務(wù)流分配到合適的應(yīng)用服務(wù)器進行處理?！〉谒膶咏粨Q功能就象是虛 IP，指向物理服務(wù)器。它傳輸?shù)臉I(yè)務(wù)服從的協(xié)議多種多樣，有 HTTP、 FTP、 NFS、 Tel或其他協(xié)議。這些業(yè)務(wù)在物理服務(wù)器基礎(chǔ)上，需要復(fù)雜的載量平衡算法。在 IP世界，業(yè)務(wù)類型由終端 TCP或 UDP端口地址來決定，在第四層交換中的應(yīng)用區(qū)間則由源端和終端 IP地址、 TCP和 UDP端口共同決定。? 在硬件四層交換產(chǎn)品領(lǐng)域，有一些知名的產(chǎn)品可以選擇，比如 Alteon、 F5等，這些產(chǎn)品很昂貴，但是物有所值，能夠提供非常優(yōu)秀的性能和很靈活的管理能力。 Yahoo中國當(dāng)初接近 2023臺服務(wù)器使用了三四臺 Alteon就搞定了。網(wǎng)站問題? 當(dāng)投資和流量都不是問題的時候，技術(shù)上需要關(guān)注什么。? 例如： SNS網(wǎng)站，當(dāng)一筆筆投資砸進去的時候，當(dāng)流量上去的時候，困惑在什么地方？除了頁面靜態(tài)化，緩存和代碼安全等問題，討論一下發(fā)展之后的問題。A公司? A公司做的是 SNS網(wǎng)站，程序是兩個毛頭小伙子做的，目標直指 51，程序開發(fā)是一帆風(fēng)順，功能也比 51牛多了，推廣也是一帆風(fēng)順（ A公司有自己獨到的推廣方式。但是當(dāng) ALEXA到 2W的時候問題出來了，每天下午 4點左右，網(wǎng)站速度慢的驚人，基本上打不開，公司三臺服務(wù)器 CPU100%，讓人郁悶的是公司的網(wǎng)絡(luò)配置方式，居然是雙 WEB的集群，而單獨一臺 DB數(shù)據(jù)庫。整個瓶頸在數(shù)據(jù)庫，于是咨詢公司建議做 DB的集群，分析了一下數(shù)據(jù)結(jié)構(gòu)：是典型的 WEB程序員的作品，沒有一點數(shù)據(jù)庫設(shè)計規(guī)范，功能實現(xiàn)是可以，如果要擴展，不可能，集群基本上是不可能的，怎么辦？? 解決方案：一個月的時間修改程序，數(shù)據(jù)結(jié)構(gòu)基本上換了一遍 前期砸進去的幾十萬打了水飄，用戶走光了。? 結(jié)論： ，應(yīng)該認真考慮一下底層和數(shù)據(jù)結(jié)構(gòu)。B公司? B公司也是做的 SNS網(wǎng)站，程序是 3個人開發(fā)的， CEO是某名牌大學(xué)的經(jīng)濟學(xué)碩士，有點知己網(wǎng)的味道，又有一些特色出來，說實話，公司的潛力不錯， CEO 有很強的運作能力，感覺前景不錯。系統(tǒng)架構(gòu)還行，但是 但是系統(tǒng)崩潰了，為什么？系統(tǒng)沒有考慮到用戶有個海量的說法，文件也有個海量的說法，用戶的相冊，圖片全部存貯在WEB服務(wù)器的一個分區(qū)上，每個用戶一個目錄，而打開性能監(jiān)視器，磁盤的 IO高的驚人，基本上無暇響應(yīng)。眾所周知，文件系統(tǒng)也是一個數(shù)據(jù)庫，單獨大文件無所謂，關(guān)鍵是整個是 300多個 G的零碎文件，大量的讀寫操作，系統(tǒng)崩潰，數(shù)據(jù)丟失，文件系統(tǒng)的一個鏈斷了，用戶數(shù)據(jù)全部丟失！?。∵@是一個非常沉重的問題，系統(tǒng)整整停了一個月來做數(shù)據(jù)恢復(fù)（單獨文件很容易，但是海量文件目前還沒有一個軟件能組織起來軟件架構(gòu)）。? 解決方案：修改程序架構(gòu)，做分布式文件存貯（程序修改用了 8天，但是文件轉(zhuǎn)移卻又用去了將近一個月）， 20萬用戶損失殆盡。? 結(jié)論： ，整個涉及了程序架構(gòu)的修改，前期規(guī)劃不好的話基
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1