大型網(wǎng)站架構(gòu)設(shè)計(jì)與分析案例匯總(編輯修改稿)
2025-02-28 21:56 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 應(yīng)用，于是我們需要借助于數(shù)據(jù)庫(kù)集群或者庫(kù)表散列技術(shù)。在數(shù)據(jù)庫(kù)集群方面， 很多數(shù)據(jù)庫(kù)廠商都有自己的解決方案 ， Oracle、 Sybase、 SQLServer等都有很好的方案，（ MySQL提供了類似的 Master/Slave）。因此，使用了什么樣的數(shù)據(jù)庫(kù)，就參考相應(yīng)的解決方案來(lái)實(shí)施即可。 大型網(wǎng)站開發(fā)時(shí)的幾點(diǎn)建議 ? 上面提到的數(shù)據(jù)庫(kù)集群由于在架構(gòu)、成本、擴(kuò)張性方面都會(huì)受到所采用數(shù)據(jù)庫(kù)類型的限制，于是我們需要從應(yīng)用程序的角度來(lái)考慮改善系統(tǒng)架構(gòu)，其中，庫(kù)表散列是常用并且最有效的解決方案。我們?cè)趹?yīng)用程序中安裝業(yè)務(wù)和應(yīng)用或者功能模塊將數(shù)據(jù)庫(kù)進(jìn)行分離，不同的模塊對(duì)應(yīng)不同的數(shù)據(jù)庫(kù)或者表，再按照一定的策略對(duì)某個(gè)頁(yè)面或者功能進(jìn)行更小的數(shù)據(jù)庫(kù)散列，比如用戶表，按照用戶 ID進(jìn)行表散列，這樣就能夠低成本的提升系統(tǒng)的性能并且有很好的擴(kuò)展性。? 一個(gè)現(xiàn)成的例子是 sohou。它的論壇采用了類似的架構(gòu)，將論壇的用戶、設(shè)置、帖子等信息進(jìn)行數(shù)據(jù)庫(kù)分離，然后對(duì)帖子、用戶按照板塊和 ID進(jìn)行散列數(shù)據(jù)庫(kù)和表，最終可以在配置文件中進(jìn)行簡(jiǎn)單的配置便能讓系統(tǒng)隨時(shí)增加一臺(tái)低成本的數(shù)據(jù)庫(kù)進(jìn)來(lái)補(bǔ)充系統(tǒng)性能。大型網(wǎng)站開發(fā)時(shí)的幾點(diǎn)建議 ? 緩存策略 不單指低級(jí)的緩存技術(shù)相關(guān)的編程，應(yīng)從整個(gè)架構(gòu)角度著眼，深入研究 Web服 務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器的各層級(jí)的緩沖策略，最后才是低級(jí)的緩沖技術(shù)的編程。不同的 Web服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器及 Web編程語(yǔ)言都有自己不同的緩沖策略。例如數(shù)據(jù)庫(kù)存儲(chǔ)方面， SQL Serve 2023中的主動(dòng)式緩存機(jī)制， Oracle數(shù)據(jù)的 cache group技術(shù)， Hibernate的緩存包括 Session的緩存和SessionFactory的緩存； Web服務(wù)器方面， Apache提供了自己的緩存模塊，也可以使用外加的 Squid模塊進(jìn)行緩存，這兩種方式均可以有效的提高 Apache的訪問(wèn)響應(yīng)能力， IIS緩沖器技術(shù)；至于 web開發(fā)語(yǔ)言，所用緩存技術(shù)更存在很大不同，例如 ，這兩種緩存技術(shù)相互獨(dú)立但不相互排斥， PHP有 Pear的 Cache模塊，等等。大型網(wǎng)站開發(fā)時(shí)的幾點(diǎn)建議 ? 鏡像 鏡像是大型網(wǎng)站常采用的提高性能和數(shù)據(jù)安全性的方式，鏡像的技術(shù)可以解決不同網(wǎng)絡(luò)接入商和地域帶來(lái)的用戶訪問(wèn)速度差異。大型網(wǎng)站開發(fā)時(shí)的幾點(diǎn)建議 ? 負(fù)載均衡? 負(fù)載均衡將是大型網(wǎng)站解決高負(fù)荷訪問(wèn)和大量并發(fā)請(qǐng)求采用的終極解決辦法。負(fù)載均衡技術(shù)發(fā)展了多年，有很多專業(yè)的服務(wù)提供商和產(chǎn)品可以選擇：? 硬件四層交換：第四層交換使用第三層和第四層信息包的報(bào)頭信息，根據(jù)應(yīng)用區(qū)間識(shí)別業(yè)務(wù)流，將整個(gè)區(qū)間段的業(yè)務(wù)流分配到合適的應(yīng)用服務(wù)器進(jìn)行處理?！〉谒膶咏粨Q功能就象是虛 IP，指向物理服務(wù)器。它傳輸?shù)臉I(yè)務(wù)服從的協(xié)議多種多樣，有 HTTP、 FTP、 NFS、 Tel或其他協(xié)議。這些業(yè)務(wù)在物理服務(wù)器基礎(chǔ)上，需要復(fù)雜的載量平衡算法。在 IP世界，業(yè)務(wù)類型由終端 TCP或 UDP端口地址來(lái)決定，在第四層交換中的應(yīng)用區(qū)間則由源端和終端 IP地址、 TCP和 UDP端口共同決定。? 在硬件四層交換產(chǎn)品領(lǐng)域，有一些知名的產(chǎn)品可以選擇，比如 Alteon、 F5等，這些產(chǎn)品很昂貴，但是物有所值，能夠提供非常優(yōu)秀的性能和很靈活的管理能力。 Yahoo中國(guó)當(dāng)初接近 2023臺(tái)服務(wù)器使用了三四臺(tái) Alteon就搞定了。網(wǎng)站問(wèn)題? 當(dāng)投資和流量都不是問(wèn)題的時(shí)候，技術(shù)上需要關(guān)注什么。? 例如： SNS網(wǎng)站，當(dāng)一筆筆投資砸進(jìn)去的時(shí)候，當(dāng)流量上去的時(shí)候，困惑在什么地方？除了頁(yè)面靜態(tài)化，緩存和代碼安全等問(wèn)題，討論一下發(fā)展之后的問(wèn)題。A公司? A公司做的是 SNS網(wǎng)站，程序是兩個(gè)毛頭小伙子做的，目標(biāo)直指 51，程序開發(fā)是一帆風(fēng)順，功能也比 51牛多了，推廣也是一帆風(fēng)順（ A公司有自己獨(dú)到的推廣方式。但是當(dāng) ALEXA到 2W的時(shí)候問(wèn)題出來(lái)了，每天下午 4點(diǎn)左右，網(wǎng)站速度慢的驚人，基本上打不開，公司三臺(tái)服務(wù)器 CPU100%，讓人郁悶的是公司的網(wǎng)絡(luò)配置方式，居然是雙 WEB的集群，而單獨(dú)一臺(tái) DB數(shù)據(jù)庫(kù)。整個(gè)瓶頸在數(shù)據(jù)庫(kù)，于是咨詢公司建議做 DB的集群，分析了一下數(shù)據(jù)結(jié)構(gòu)：是典型的 WEB程序員的作品，沒(méi)有一點(diǎn)數(shù)據(jù)庫(kù)設(shè)計(jì)規(guī)范，功能實(shí)現(xiàn)是可以，如果要擴(kuò)展，不可能，集群基本上是不可能的，怎么辦？? 解決方案：一個(gè)月的時(shí)間修改程序，數(shù)據(jù)結(jié)構(gòu)基本上換了一遍 前期砸進(jìn)去的幾十萬(wàn)打了水飄，用戶走光了。? 結(jié)論： ，應(yīng)該認(rèn)真考慮一下底層和數(shù)據(jù)結(jié)構(gòu)。B公司? B公司也是做的 SNS網(wǎng)站，程序是 3個(gè)人開發(fā)的， CEO是某名牌大學(xué)的經(jīng)濟(jì)學(xué)碩士，有點(diǎn)知己網(wǎng)的味道，又有一些特色出來(lái)，說(shuō)實(shí)話，公司的潛力不錯(cuò)， CEO 有很強(qiáng)的運(yùn)作能力，感覺(jué)前景不錯(cuò)。系統(tǒng)架構(gòu)還行，但是 但是系統(tǒng)崩潰了，為什么？系統(tǒng)沒(méi)有考慮到用戶有個(gè)海量的說(shuō)法，文件也有個(gè)海量的說(shuō)法，用戶的相冊(cè)，圖片全部存貯在WEB服務(wù)器的一個(gè)分區(qū)上，每個(gè)用戶一個(gè)目錄，而打開性能監(jiān)視器，磁盤的 IO高的驚人，基本上無(wú)暇響應(yīng)。眾所周知，文件系統(tǒng)也是一個(gè)數(shù)據(jù)庫(kù)，單獨(dú)大文件無(wú)所謂，關(guān)鍵是整個(gè)是 300多個(gè) G的零碎文件，大量的讀寫操作，系統(tǒng)崩潰，數(shù)據(jù)丟失，文件系統(tǒng)的一個(gè)鏈斷了，用戶數(shù)據(jù)全部丟失?。?！這是一個(gè)非常沉重的問(wèn)題，系統(tǒng)整整停了一個(gè)月來(lái)做數(shù)據(jù)恢復(fù)（單獨(dú)文件很容易，但是海量文件目前還沒(méi)有一個(gè)軟件能組織起來(lái)軟件架構(gòu)）。? 解決方案：修改程序架構(gòu)，做分布式文件存貯（程序修改用了 8天，但是文件轉(zhuǎn)移卻又用去了將近一個(gè)月）， 20萬(wàn)用戶損失殆盡。? 結(jié)論： ，整個(gè)涉及了程序架構(gòu)的修改，前期規(guī)劃不好的話基
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1