【正文】 RS：2(Dir)+1(Config)+1(Web)+2(Voice)+1(Moniter)+2（版本檢查）+3（千兆下載，或者 12 臺百兆下載）+1（ 驗(yàn)證）=13（臺）G3：1（Cluster）*2 +1（Web DB）= 3（臺） 負(fù)載均衡分析FO 的負(fù)載均衡以增加新的 World 作為負(fù)載均衡的主要手段。每一個(gè) World 是一個(gè)相對獨(dú)立的部分，可以支撐玩家在其中進(jìn)行游戲。World 的增加，會(huì)導(dǎo)致 Cluster 的負(fù)載增加，由于 Cluster 與 World 的交互很少，因此對 Cluster 的影響較小。當(dāng)隨著 World 的增加導(dǎo)致 Cluster 的負(fù)載太大，單臺服務(wù)器不能承受的時(shí)候，可以考慮對 Cluster 進(jìn)行23 / 35分布，每個(gè) Cluster 僅為指定 號段服務(wù)，這樣可以實(shí)現(xiàn) Cluster 的負(fù)載均衡。FO 的異地分布策略主要是如下兩條：1．FO 是否在某個(gè)城市進(jìn)行分布和分布的數(shù)量，是根據(jù)該城市潛在的游戲用戶數(shù)來確定，潛在用戶數(shù)多，則分布的 World 多，否則分布的就少。2．覆蓋度原則，每在一個(gè)城市進(jìn)行分布，那么除了可以為該城市的游戲用戶進(jìn)行服務(wù)，也可以為相鄰的一些城市提供服務(wù)。在進(jìn)行分布的時(shí)候，遵循的原則是：使用盡可能少的分布點(diǎn)來達(dá)到盡可能大的覆蓋度。 容災(zāi)備份分析對于游戲運(yùn)營，最重要的就是用戶數(shù)據(jù)，因此所有的手段都是圍繞一個(gè)目的，即保證用戶的數(shù)據(jù)不出現(xiàn)問題。為了保證極端情況下，盡可能的減少用戶數(shù)據(jù)的損失，數(shù)據(jù)備份是一個(gè)很重要的手段。按照內(nèi)測的數(shù)據(jù)，7MByte 的存儲， 12320 個(gè)角色，平均每個(gè)角色的存儲為 600Byte（壓縮后） 。按照每個(gè)角色基本數(shù)據(jù)的最大值來計(jì)算，每個(gè)角色的基本數(shù)據(jù)為 30K：30K(單一角色存儲 )*90K（最高在線人數(shù)）*10(角色數(shù)與最高在線人數(shù)比) = 27G（Byte）則保存 30 天的數(shù)據(jù)量為：27G*30 = 840G因?yàn)樯鲜鲋凳前凑兆畋Ｊ氐姆绞絹碛?jì)算的，實(shí)際的數(shù)據(jù)量應(yīng)不超過上述計(jì)算值的一半，如果再加上壓縮，那么實(shí)際的存儲應(yīng)不超過 200G。目前 FO 的備份方案是：分南北兩個(gè) Cluster 各自使用一個(gè)磁盤柜進(jìn)行備份，備份的方式是采用全量備份，每天進(jìn)行一次備份，備份時(shí)間為 1~2 個(gè)月（視具體情況而定） 。如果有條件的話，還可以考慮使用磁帶機(jī)進(jìn)行備份，每周全量備份一次。24 / 355 部署方案目前 FO 的 IDC 分布規(guī)劃如下圖所示：南方區(qū) （ 深圳 ）C l u s t e rW o r l d ( 3 )北方區(qū) （ 北京 ）C l u s t e r鄭州W o r l d ( 1 )天津W o r l d ( 5 )上海W o r l d ( 5 )武漢W o r l d ( 2 )成都W o r l d ( 4 )沈陽W o r l d ( 2 )東莞W o r l d ( 1 )廣州W o r l d ( 1 )杭州W o r l d ( 1 )南京W o r l d ( 1 )分為南方和北方兩個(gè) Cluster（分別針對不同的運(yùn)營商：電信和網(wǎng)通） 。25 / 35每個(gè)大區(qū)下面根據(jù)需要有不同的 World。每個(gè) world 預(yù)計(jì)承載 4500 人，由三臺服務(wù)器共同提供服務(wù)，單臺服務(wù)器的負(fù)載在 1500 人左右。每個(gè)玩家的流量為 1520kbps。26 / 356 風(fēng)險(xiǎn)分析及規(guī)避措施總的來講，F(xiàn)O 運(yùn)營的風(fēng)險(xiǎn)可以分成硬件故障和軟件故障兩大類。硬件的故障包括機(jī)器的故障、磁盤故障、IDC 線路故障，黑客攻擊等。軟件的故障包括數(shù)據(jù)庫失效、程序失效等等。 硬件故障針對不同的硬件故障，提供不同的應(yīng)對策略。、磁盤故障對于機(jī)器或者磁盤故障的應(yīng)對方式有兩種：主動(dòng)方式：對運(yùn)行一些重要應(yīng)用的機(jī)器提供 HA 方案，雙機(jī)熱備，當(dāng)其中一臺失效的時(shí)候，由另一臺接管其工作。采用這種方式，可以把故障的處理時(shí)間降到 1020 分鐘。在另一臺機(jī)器接管工作之后，再對故障機(jī)器進(jìn)行檢查，根據(jù)具體情況或更換、或修理。在失效機(jī)器恢復(fù)正常之后，失效機(jī)器以備機(jī)的身份重新開始服務(wù)。被動(dòng)方式：對于運(yùn)行不重要應(yīng)用的機(jī)器提供快速更換服務(wù)?？焖俑鼡Q服務(wù)指的是機(jī)器上的應(yīng)用和配置都已準(zhǔn)備好，當(dāng)出現(xiàn)故障，需要更換其它機(jī)器時(shí)，只要對該服務(wù)器稍作修改就可以代替故障機(jī)器。FO 采取的措施是兩者皆用，一方面在每個(gè) IDC 機(jī)房內(nèi)準(zhǔn)備一些備用機(jī)器，另一方面對關(guān)系到用戶數(shù)據(jù)的機(jī)器提供 HA 方案。具體的方式是：每個(gè) IDC 視支撐人數(shù)的大小，確定備用機(jī)器的數(shù)量和種類。對于小的 IDC，保留 2 臺備用機(jī)，1 臺為數(shù)據(jù)庫備用機(jī)，1 臺為前端備用機(jī)。大的 IDC，保留 4 臺備用機(jī)，2 臺數(shù)據(jù)庫，2 臺前端。對于 Cluster（賬號和計(jì)費(fèi)）服務(wù)器和 World（角色）服務(wù)器提供 HA 方案，保證用戶的數(shù)據(jù)可以很快恢復(fù)訪問。 線路故障和黑客攻擊對于 IDC 線路故障和黑客攻擊，這個(gè)沒有方法完全避免問題，只能是盡量減少損失。應(yīng)對的措施主要是進(jìn)行 IDC 分布，當(dāng)一個(gè) IDC 出現(xiàn)問題的時(shí)候，不會(huì)影響到另一個(gè) IDC 的玩家。27 / 35FO 采用兩個(gè) Cluster，多個(gè) World 的方式。如果 Cluster 正常，只是 World 出現(xiàn)問題，那么受影響的只是出問題的 World 的玩家。如果 Cluster 出現(xiàn)問題，World 正常，由于 World 和 Cluster 只在用戶登入、登出和某些特殊的事件進(jìn)行通信，那么已經(jīng)登入的用戶還是可以繼續(xù)游戲，但是新用戶將不能登陸。所有開放內(nèi)網(wǎng)監(jiān)聽端口的應(yīng)用程序都采用了限制 IP 的機(jī)制，報(bào)障了只有內(nèi)部 IP 可以訪問。所有開發(fā)外網(wǎng)監(jiān)聽端口的應(yīng)用程序采用了超時(shí)限制和包大小限制來報(bào)障黑客的拒絕服務(wù)攻擊，此外對于與外網(wǎng)的通信協(xié)議采用了加密算法，防止黑客的探測攻擊。 軟件故障 服務(wù)器Dir 服務(wù)器是客戶端拉取游戲分區(qū)信息的服務(wù)器，是用戶進(jìn)行游戲的第一個(gè)入口。一個(gè) Dir 服務(wù)器為一個(gè) cluster 服務(wù)，如果 Dir 服務(wù)器出現(xiàn)故障，會(huì)對用戶的登陸產(chǎn)生嚴(yán)重的影響。由于 Dir 服務(wù)器不保存任何數(shù)據(jù)，可以說是沒有狀態(tài)的。因此 Dir 服務(wù)器可以采用對稱多處理的方式。Dir 服務(wù)器的信息來源是Zone 服務(wù)器上報(bào)的信息，為了提供容錯(cuò)，Zone 服務(wù)器將向兩個(gè) Dir 服務(wù)器同時(shí)上報(bào)同樣的信息，這樣在兩個(gè) Dir 服務(wù)器中產(chǎn)生完全相同的兩份數(shù)據(jù)，當(dāng)其中一臺 Dir 服務(wù)器失效的時(shí)候，另一臺可以繼續(xù)提供服務(wù)。在客戶端可以提供一個(gè)訪問策略，先隨即選擇一臺 Dir 服務(wù)器，如果該服務(wù)器不能提供服務(wù)，再選擇另一臺 Dir 服務(wù)器。對于可伸縮性的考慮。由于 Dir 服務(wù)器是為 Cluster 服務(wù)的，因此，Dir 服務(wù)器的負(fù)載變動(dòng)的范圍可能會(huì)比較大。采用兩個(gè) Dir 服務(wù)器對稱處理的方式提供了高可用性，也提高了一倍的負(fù)載能力，但是還是可能會(huì)出現(xiàn)負(fù)載過大的情況。如果兩臺 Dir 服務(wù)器不能滿足服務(wù)器的需要，那么可以考慮復(fù)制的方式，以這兩臺服務(wù)器作為主服務(wù)器，把自己的信息 push 到其他的從服務(wù)器上，這樣就可以實(shí)現(xiàn)任意的負(fù)載平衡。FO 的數(shù)據(jù)服務(wù)器使用 mysql，所有有關(guān)的游戲數(shù)據(jù)都通過 mysql 來進(jìn)行存取。對于游戲而言，數(shù)據(jù)的安全性是第一位的。在 FO 中，涉及到數(shù)據(jù)的主要是兩類服務(wù)器，Cluster 服務(wù)器和 World 服務(wù)器。 Cluster 服務(wù)器保存賬號和計(jì)費(fèi)信息，World 服務(wù)器保存角色的信息。因此對于 Cluster 服務(wù)器和 World 服務(wù)器，采用 Sharenothing 的 HA 方案：即作為主備的兩臺機(jī)器之間不共享任何硬件或數(shù)據(jù)，這樣可以保證即使一臺服務(wù)器完全毀壞，利用另一臺服務(wù)器也可以最大限度地恢復(fù)用戶的數(shù)據(jù)，將用戶的損失降低到最28 / 35少。為了達(dá)到這樣的效果，需要利用 mysql 的 replication 機(jī)制。如下圖所示，由兩臺 mysql 服務(wù)器組成，一臺作為 Master，另一臺作為 Slave。并配置成 Master 向Slave 進(jìn)行單向復(fù)制。正常情況下，Master 對外提供服務(wù)，使用 ServiceIP。當(dāng) Master 出現(xiàn)故障時(shí)，Slave通過 HeartBeat 檢測到 Master 工作異常，就把自己提升成 Master，并接管 ServiceIP，對外提供服務(wù)。M a s t e r S l a v eM y s q l 單向復(fù)制H e a r t B e a tS e r v i c e I P失效M a s t e r單向復(fù)制失效H e a r t B e a tS e r v i c e I P正 常 狀 態(tài)失 效 接 管 狀 態(tài)FO 中需要保存數(shù)據(jù)的服務(wù)器有兩類：Cluster 服務(wù)器和 World 服務(wù)器。這兩類服務(wù)器除了使用 mysql來保存數(shù)據(jù)外，還有一些運(yùn)行時(shí)狀態(tài)信息。上圖主要描述了 mysql HA 的實(shí)現(xiàn)，但是要實(shí)現(xiàn)服務(wù)的 HA，還要實(shí)現(xiàn)這些運(yùn)行時(shí)狀態(tài)信息的轉(zhuǎn)移和恢復(fù)。如下圖所示，在 Cluster 服務(wù)器和 World 服務(wù)器上都分別運(yùn)行有狀態(tài)同步和復(fù)制的進(jìn)程，該進(jìn)程分別在 Cluster 服務(wù)器的 Master 和 Slave 之間以及 World 服務(wù)器的 Master 和 Slave 之間同步狀態(tài)信息。FO 在 Cluster 服務(wù)器之間同步狀態(tài)信息的進(jìn)程對為： acc_syn_svr 和 acc_syn_clt。在 World 服務(wù)器之間同步狀態(tài)信息的進(jìn)程為：syn_svr 和 syn_clt。29 / 35M a s t e r S l a v e狀態(tài)信息 狀態(tài)信息單向 P u s h正 常 狀 態(tài)M a s t e r S l a v e M a s t e r狀態(tài)信息 狀態(tài)信息單向 P u s h 失效失 效 接 管 狀 態(tài) 服務(wù)器FO 里所有的游戲邏輯都是通過 Zone 服務(wù)器來實(shí)現(xiàn)的。Zone 服務(wù)器里不保存任何持久數(shù)據(jù)，Zone 服務(wù)器每隔一定時(shí)間向 World 服務(wù)器發(fā)送請求，把玩家的數(shù)據(jù)保存在數(shù)據(jù)庫中。當(dāng)某一臺 Zone 服務(wù)器失效時(shí)，該服務(wù)器上的玩家會(huì)受到影響掉線，同時(shí)玩家的數(shù)據(jù)可能會(huì)回檔幾分鐘，但是不會(huì)影響到其他的玩家的正常游戲過程（注：玩家將不能切換到失效服務(wù)器管理的地圖上） 。對于 Zone 服務(wù)器失效的處理是使用備用機(jī)，進(jìn)行快速替換，由新服務(wù)器接管失效服務(wù)器的工作。 服務(wù)器Disp 服務(wù)器是用來在一個(gè) World 里的各個(gè) Zone 服務(wù)器之間轉(zhuǎn)發(fā)消息的，Disp 服務(wù)器和 Zone 服務(wù)器一樣也不保存任何持久數(shù)據(jù)。Disp 服務(wù)器的失效會(huì)導(dǎo)致玩家不能切換到某些地圖，某些交友、聊天類的操作無法進(jìn)行，但是基本的打怪、任務(wù)等還是可以正常進(jìn)行。因此對 Disp 服務(wù)器失效的處理和 Zone 服務(wù)器失效一樣，使用快速更換。 服務(wù)器Log 服務(wù)器用來保存玩家操作和狀態(tài)變化的流水信息，提供對玩家數(shù)據(jù)變化的跟蹤。當(dāng)其他的服務(wù)器出現(xiàn)故障的時(shí)候，也可以利用 Log 服務(wù)器中的信息進(jìn)行部分的恢復(fù)操作。因?yàn)?Log 服務(wù)器的磁盤需求量很30 / 35大，但是數(shù)據(jù)本身有不是用戶的直接數(shù)據(jù)。因此，Log 服務(wù)器的磁盤使用 RAID，但是并不使用 HA，而是和 Zone 服務(wù)器一樣，提供失效時(shí)的快速更換服務(wù)。31 / 357 備選方案