【正文】 持群集和海量數(shù)據(jù)的最佳選擇，如果想快速發(fā)展的話，更沒(méi)有理由不使用它了。要知道對(duì)于一個(gè)新聞網(wǎng)站而言組織歷史數(shù)據(jù)制作專題報(bào)道是非常重要的吸引網(wǎng)民的手段，也是作為新聞門戶的立身之本。 因此將oracle數(shù)據(jù)庫(kù)換成mysql是不明智的，應(yīng)該說(shuō)是一種倒退。 而mysql和access在多數(shù)方面與上述的大型數(shù)據(jù)庫(kù)是無(wú)法比擬的，例如可以大幅度提升數(shù)據(jù)庫(kù)查詢性能的存儲(chǔ)過(guò)程、可以防止數(shù)據(jù)庫(kù)錯(cuò)誤發(fā)生的事務(wù)處理等高級(jí)性能它們都不支持。而ibm的db2和微軟的sqlserver 2000也表現(xiàn)不錯(cuò)。 異構(gòu)數(shù)據(jù) 發(fā)布系統(tǒng)iflow使用的數(shù)據(jù)庫(kù)是windows版的oracle，而網(wǎng)站使用的動(dòng)網(wǎng)論壇則使用的是access或sqlserver，如果按照清華萬(wàn)博的建議，將會(huì)把發(fā)布系統(tǒng)數(shù)據(jù)庫(kù)遷移到mysql上。 為了保證跨平臺(tái)應(yīng)用和未來(lái)的遷移擴(kuò)展，還是建議將程序?qū)懗砂姹?，目前越?lái)越多的web程序員均精通asp、jsp、php等多種腳本語(yǔ)言，改寫起來(lái)非常方便。 建議采用freebsd或windows 2003中的一種統(tǒng)一操作系統(tǒng)，以降低整個(gè)網(wǎng)站的維護(hù)成本。而且包括windows系統(tǒng)資源占用過(guò)高等問(wèn)題都可以通過(guò)比較專業(yè)的調(diào)優(yōu)工作得到大幅度改善。 由于redhat以后將不會(huì)再推免費(fèi)的linux，而且其安全性和穩(wěn)定性也并不是比windows高出很多，因此完全使用linux也需要慎重考慮。 其次，要統(tǒng)一操作系統(tǒng)，除了aix以外，另外三種操作系統(tǒng)都可以考慮。這個(gè)方法在技術(shù)上是可行的，但在維護(hù)上需要斟酌。 ibm rs6000小型機(jī)盡管已過(guò)了保修期，但其性能仍然非常卓越，對(duì)于金融領(lǐng)域的建設(shè)項(xiàng)目非常有益，可以考慮與本地待建的金融項(xiàng)目進(jìn)行相應(yīng)協(xié)商，將兩臺(tái)小型機(jī)置換成機(jī)架服務(wù)器，這對(duì)于建設(shè)雙方而言都是非常有益的做法。 目前的結(jié)構(gòu)與建議結(jié)構(gòu)相差太遠(yuǎn)，如果不花大力氣徹底改造的話，上述問(wèn)題將會(huì)不斷加重，直至整個(gè)網(wǎng)站完全癱瘓。 而對(duì)于應(yīng)用核心的數(shù)據(jù)庫(kù)服務(wù)器，通常會(huì)采用雙機(jī)熱備援，即兩臺(tái)數(shù)據(jù)庫(kù)實(shí)時(shí)同步，互為備份，當(dāng)一臺(tái)發(fā)生故障時(shí)，另一臺(tái)自動(dòng)接管它的全部服務(wù)，確保所有應(yīng)用不間斷運(yùn)行。 首先，專用的cache服務(wù)器對(duì)大訪問(wèn)量的承載力要遠(yuǎn)遠(yuǎn)超過(guò)普通服務(wù)器（通?？梢赃_(dá)到1：5以上），因此，在服務(wù)器群前端使用專用的cache服務(wù)器是使網(wǎng)站能夠適應(yīng)千萬(wàn)級(jí)訪問(wèn)量的最佳解決方案。如果xx局的下一步目標(biāo)是趕超東方網(wǎng)和千龍網(wǎng)的話，就更需要合理調(diào)整網(wǎng)站的整體硬件結(jié)構(gòu)，以適應(yīng)每天過(guò)千萬(wàn)pageview的訪問(wèn)量。其效果就如同用推土機(jī)參加賽車一樣，其馬力再?gòu)?qiáng)勁也沒(méi)有用處，因?yàn)樗脑O(shè)計(jì)用途就不是在速度上而是在耐力上。 第三，從服務(wù)器的利用角度看，兩臺(tái)最健壯的rs6000小型機(jī)不是用于最核心的數(shù)據(jù)庫(kù)服務(wù)，而是用于web相關(guān)服務(wù)，其卓越性能無(wú)法得到發(fā)揮，反而由于不是采用分布式負(fù)載均衡結(jié)構(gòu)而嚴(yán)重影響了用戶訪問(wèn)速度和網(wǎng)站的大訪問(wèn)量承載能力。如果在低成本下勉強(qiáng)進(jìn)行維護(hù)，則系統(tǒng)的穩(wěn)定性、安全性都無(wú)法得到保證，長(zhǎng)期持續(xù)，整個(gè)網(wǎng)站的硬件基礎(chǔ)令人擔(dān)憂。n n 應(yīng)用管理系統(tǒng)：包括web服務(wù)、數(shù)據(jù)庫(kù)服務(wù)、應(yīng)用服務(wù)、郵件服務(wù)的整合設(shè)計(jì)； n 業(yè)務(wù)管理系統(tǒng)：包括網(wǎng)站內(nèi)容管理、社區(qū)論壇、資源管理、視頻點(diǎn)播、短信娛樂(lè)、廣告管理等業(yè)務(wù)內(nèi)容的整合設(shè)計(jì)； n 網(wǎng)絡(luò)安全系統(tǒng)：包括數(shù)據(jù)存儲(chǔ)備份恢復(fù)、系統(tǒng)監(jiān)控、流量分析、應(yīng)用審計(jì)等網(wǎng)絡(luò)安全的整合設(shè)計(jì)； 二、需求分析 異構(gòu)系統(tǒng) 根據(jù)xx局提供的資料，目前所使用的服務(wù)器配置如下： 序號(hào) 型號(hào) 操作系統(tǒng) 配置 1 ibmrs6000h80 aix cpu： 內(nèi)存：2g 2 ibmrs6000h80 aix cpu： 內(nèi)存：1g 3 機(jī)架服務(wù)器 windows 2000 cpu： 內(nèi)存：1g 4 ibmnetfinity7100 freebsd cpu： 內(nèi)存：1g 5 ibm netfinity 5600 linux cpu： 內(nèi)存：1g 6 自配pc機(jī) windows 2000 cpu： 內(nèi)存：512m 7 xseries 255 linux cpu：2 內(nèi)存：1g 8 浪潮 nl 120p windows 2000 cpu： 內(nèi)存： 從上表可以看出，在僅有的8臺(tái)服務(wù)器中，存在小型機(jī)、塔式服務(wù)器、機(jī)架服務(wù)器、pc機(jī)等多種機(jī)型，從配置上看，沒(méi)有任何兩臺(tái)機(jī)器是完全相同的，8臺(tái)服務(wù)器中并存了4種操作系統(tǒng)（aix、windows 2000、freebsd、linux），這給系統(tǒng)管理帶來(lái)了極大的不便。改造后的xx局的系統(tǒng)要求網(wǎng)絡(luò)結(jié)構(gòu)更加安全合理、服務(wù)器架構(gòu)更加穩(wěn)定實(shí)用、應(yīng)用系統(tǒng)更加方便可靠、業(yè)務(wù)系統(tǒng)更加快速高效。我們相信，xx局領(lǐng)導(dǎo)的超前意識(shí)和科學(xué)決策，加上易寶北信的核心技術(shù)和成功經(jīng)驗(yàn)，我們能夠建成一個(gè)具有“實(shí)用性、安全性、可靠性、方便性、擴(kuò)展性、先進(jìn)性、標(biāo)準(zhǔn)化”的xx局網(wǎng)站業(yè)務(wù)支撐平臺(tái)，圓滿完成網(wǎng)站改造建設(shè)工程的設(shè)計(jì)目標(biāo)。網(wǎng)絡(luò)架構(gòu)完整方案目　　錄一、概　　述 5 二、需求分析 5 異構(gòu)系統(tǒng) 6 異構(gòu)應(yīng)用 8 異構(gòu)數(shù)據(jù) 8 網(wǎng)站結(jié)構(gòu) 9 內(nèi)容海量 10 內(nèi)容深度 10 服務(wù)深度 10 發(fā)布系統(tǒng) 11 網(wǎng)絡(luò)安全 11 信息安全 11 三、方案整體規(guī)劃 11 3．1設(shè)計(jì)目標(biāo) 11 3．2實(shí)施規(guī)劃 12 四、網(wǎng)絡(luò)解決方案 13 拓?fù)浣Y(jié)構(gòu)圖 14 硬件選型、分布與規(guī)劃 14 數(shù)據(jù)庫(kù)服務(wù)器 14 web發(fā)布服務(wù)器 15 cgi服務(wù)器 15 內(nèi)容管理發(fā)布服務(wù)器 15 內(nèi)容管理生成服務(wù)器 15 數(shù)據(jù)存儲(chǔ)設(shè)備 15 安全設(shè)備 16 防病毒 16 原有服務(wù)器與置換服務(wù)器比較 16 新增硬件配置清單 18 五、軟件解決方案 18 18 19 網(wǎng)站內(nèi)容管理系統(tǒng) 20 20 21 22 25 26 26 、聊天室子系統(tǒng) 26 31 32 六、網(wǎng)站音視頻管理系統(tǒng) 32 32 產(chǎn)品概述 33 33 34 功能描述 34 拓?fù)浣Y(jié)構(gòu)圖 39 39 七、項(xiàng)目實(shí)施進(jìn)度安排 42 42 項(xiàng)目實(shí)施小組 42 43 43 八、培訓(xùn)、支持和服務(wù) 44 培訓(xùn)服務(wù) 44 基本操作培訓(xùn) 44 系統(tǒng)管理培訓(xùn) 44 培訓(xùn)安排 45 培訓(xùn)內(nèi)容 45 技術(shù)支持服務(wù) 45 硬件平臺(tái)技術(shù)支持 45 應(yīng)用軟件平臺(tái)技術(shù)支持 45 售后服務(wù) 46 九、小結(jié) 46 附錄 47 硬件產(chǎn)品說(shuō)明 47 hp dl 580 47 hp dl 380 49 一、概　　述 xx局是江蘇省委、省直接關(guān)心和支持建立的唯一的大型重點(diǎn)綜合性新聞門戶網(wǎng)站，它承擔(dān)著正確引導(dǎo)網(wǎng)上輿論、及時(shí)傳播江蘇信息、匯集全省新聞資源、全面拓展網(wǎng)絡(luò)服務(wù)的職能。易寶北信在網(wǎng)站建設(shè)方面有雄厚的技術(shù)實(shí)力和很多成功經(jīng)驗(yàn)，愿全力支持xx局的網(wǎng)站建設(shè)。 通過(guò)xx局與易寶北信的合作，充分運(yùn)用易寶北信在網(wǎng)站建設(shè)方面的實(shí)力和經(jīng)驗(yàn)，整合后的xx局將實(shí)現(xiàn)內(nèi)容管理平臺(tái)、信息服務(wù)平臺(tái)、業(yè)務(wù)管理平臺(tái)以及商務(wù)服務(wù)平臺(tái)的統(tǒng)一，從而實(shí)現(xiàn)新聞的實(shí)時(shí)發(fā)布、信息的快速傳播、內(nèi)容的有效整合、資源的便捷共享、社區(qū)的即時(shí)交流、服務(wù)的雙向互動(dòng)，成為江蘇新聞在網(wǎng)絡(luò)上最權(quán)威的媒體，江蘇全省新聞信息資源的匯集之地，同時(shí)xx局還將作為一個(gè)可靠的網(wǎng)絡(luò)技術(shù)平臺(tái)，為江蘇全省各新聞媒體上網(wǎng)提供廣泛服務(wù)。整個(gè)系統(tǒng)應(yīng)包含以下幾個(gè)子部分： 網(wǎng)絡(luò)管理系統(tǒng)：包括網(wǎng)絡(luò)結(jié)構(gòu)、服務(wù)器架構(gòu)與有關(guān)硬件設(shè)備部署的整合設(shè)計(jì)。 首先，從管理難度上看，可以按aix、freebsd、linux、windows 2000排序，排序越靠前的系統(tǒng)，精通的人越少，管理成本越高，而同時(shí)精通四種系統(tǒng)的人成本就更是可想而知。 其次，從互換性上看，如果一臺(tái)服務(wù)器發(fā)生故障，很難用其它服務(wù)器直接替換，必然會(huì)延長(zhǎng)故障修復(fù)時(shí)間，造成網(wǎng)站長(zhǎng)時(shí)間處于不可用狀態(tài)，嚴(yán)重影響用戶使用及xx局的形象。必然造成網(wǎng)站訪問(wèn)速度日益下降。 從alexa網(wǎng)站（，世界上最權(quán)威的第三方網(wǎng)站評(píng)價(jià)站點(diǎn)）上xx局的排名（近三個(gè)月的平均排名為3108）來(lái)看，雖然與地方新聞門戶的領(lǐng)頭羊千龍網(wǎng)（近三個(gè)月的平均排名為333）和東方網(wǎng)（近三個(gè)月的平均排名為698）還有相當(dāng)大的差距，但也應(yīng)該是屬于日訪問(wèn)量過(guò)百萬(wàn)pageview的大型新聞門戶網(wǎng)站，目前的網(wǎng)站結(jié)構(gòu)與這種高強(qiáng)度的訪問(wèn)要求是極不相稱的。 所有超大型網(wǎng)站在web服務(wù)層的結(jié)構(gòu)基本是一致的，即cache加上機(jī)架服務(wù)器群負(fù)載均衡。 其次，web服務(wù)器通常都是采用多臺(tái)配置相同的機(jī)架式服務(wù)器（每臺(tái)價(jià)格均在10萬(wàn)元以下）通過(guò)專用的負(fù)載均衡設(shè)備形成web服務(wù)器群，從而很好地將用戶訪問(wèn)流量平均分配到各個(gè)服務(wù)器上，便于隨時(shí)擴(kuò)展，也便于故障排除，因?yàn)槿魏我慌_(tái)服務(wù)器發(fā)生故障并被撤離的時(shí)候都不會(huì)影響到整個(gè)網(wǎng)站的訪問(wèn)，從而在最大程度上縮短了整個(gè)網(wǎng)站的不可用時(shí)間。 當(dāng)然，最重要的一點(diǎn)還是要及時(shí)進(jìn)行數(shù)據(jù)備份，無(wú)論是數(shù)據(jù)庫(kù)還是網(wǎng)頁(yè)、文件都必須定時(shí)備份，以便在意外情況下可以在最短的時(shí)間內(nèi)恢復(fù)，同時(shí)保證數(shù)據(jù)損失最小。 首先，要下決心統(tǒng)一硬件平臺(tái)，盡管保護(hù)投資是非常重要的，但如果以網(wǎng)站的未來(lái)發(fā)展為代價(jià)顯然是不值得的。 如果置換困難的話，也建議將rs6000作為數(shù)據(jù)庫(kù)服務(wù)器，rs6000對(duì)于oracle數(shù)據(jù)庫(kù)的支持要遠(yuǎn)勝于windows 2000，但相應(yīng)的成本會(huì)增加很多，維護(hù)起來(lái)的難度也將成倍加大。 從網(wǎng)站的長(zhǎng)遠(yuǎn)發(fā)展看，建議將兩臺(tái)小型機(jī)單獨(dú)考慮作為未來(lái)的電子商務(wù)類的盈利性支撐平臺(tái)，在本次改造中將其上面的應(yīng)用完全剝離出來(lái)；并重新規(guī)劃整個(gè)網(wǎng)站的硬件平臺(tái)，以ibm/hp/dell的機(jī)架式服務(wù)器完全重組，并考慮對(duì)舊設(shè)備充分進(jìn)行利用。 單從安全性角度出發(fā)，freebsd是比較好的選擇，目前新浪、網(wǎng)易等綜合門戶使用較多，但是熟悉該系統(tǒng)的人相對(duì)較少。 windows盡管口碑較差，但在實(shí)際應(yīng)用中很多大的門戶中仍有大量的windows服務(wù)器存在，包括搜狐、千龍等，如果有比較認(rèn)真負(fù)責(zé)的系統(tǒng)管理員，windows 2000及其后續(xù)產(chǎn)品的綜合成本還是最低的。一臺(tái)windows 2000的iis服務(wù)器在調(diào)優(yōu)前后的性能差異可以高達(dá)數(shù)十倍。 異構(gòu)應(yīng)用 xx局對(duì)外提供了很多種服務(wù)，其中社區(qū)、論壇、婚介、郵件等均是使用asp寫的程序，而軟件下載則是使用jsp寫的程序，xx局內(nèi)部的發(fā)布系統(tǒng)iflow也是基于的系統(tǒng)。 當(dāng)然，應(yīng)用程序的異構(gòu)并不是太大問(wèn)題，大多數(shù)網(wǎng)站都存在這種情況，但是應(yīng)用程序編寫的水平高低常會(huì)造成應(yīng)用層安全漏洞，從而威脅整個(gè)網(wǎng)站的安全，如果在成本有限的情況下，考慮低成本的php也不失為好的方案。 從數(shù)據(jù)庫(kù)的性能上而言，oracle是當(dāng)之無(wú)愧的最佳選擇。千龍網(wǎng)到2003年5月以后才將部分?jǐn)?shù)據(jù)庫(kù)開始向oracle遷移，而此前的應(yīng)用一直是在sql server 2000上運(yùn)行，效能是令人滿意的。mysql的下一個(gè)版本雖然聲稱會(huì)加入這些性能，但未經(jīng)過(guò)長(zhǎng)期考驗(yàn)的數(shù)據(jù)庫(kù)性能是不能令人信服的。而且將三個(gè)月以前的數(shù)據(jù)切斷也不是好的做法。這就決定了切分歷史數(shù)據(jù)將會(huì)給編輯的工作帶來(lái)極大的不便。 xx局目前數(shù)據(jù)庫(kù)內(nèi)的數(shù)據(jù)量為39萬(wàn)條，目前所購(gòu)小型機(jī)已過(guò)了三年保修期，按xx局運(yùn)行三年算，平均每天的新聞發(fā)稿量不到340條（當(dāng)然發(fā)稿量一定是個(gè)漸近的數(shù)字，但就算平均到一年，每天也不過(guò)1050條左右），這一數(shù)字與千龍網(wǎng)、東方網(wǎng)每天的30005000條和新浪、搜狐每天的500010000條相比，根本算不了什么，因此絕不可能是因?yàn)閿?shù)據(jù)庫(kù)本身的性能影響了系統(tǒng)的速度。 網(wǎng)站結(jié)構(gòu) 事實(shí)上財(cái)經(jīng)頻道根本就不存在江蘇頻道里的內(nèi)容。 這樣的話，就沒(méi)有辦法輕易實(shí)現(xiàn)象新浪、搜狐、千龍那樣的分布式結(jié)構(gòu)，即每個(gè)頻道都可以單獨(dú)地采用一臺(tái)或幾臺(tái)服務(wù)器，從而承載每天千萬(wàn)級(jí)甚至是億級(jí)的訪問(wèn)量。 雖然使用完全對(duì)等的多臺(tái)web服務(wù)器也可以實(shí)現(xiàn)負(fù)載均衡，但過(guò)度的冗余最終還是會(huì)影響到整個(gè)網(wǎng)站的性能。 這個(gè)問(wèn)題也是必須解決的問(wèn)題，是大型網(wǎng)站發(fā)展的重大瓶頸問(wèn)題。 事實(shí)上這些網(wǎng)站根本就沒(méi)有使用這么多的編輯。 內(nèi)容深度 僅從梅艷芳逝世專題而言，xx局的專題豐富程度比起新浪、搜狐和千龍而言都有極大差距。由于幾大門戶網(wǎng)站一直在使用newshoo軟件采集來(lái)自互聯(lián)網(wǎng)上的信息并輸入到自身的發(fā)布素材庫(kù)中，因此編輯可以輕易找到很多可用素材，并且不必象在google上搜索一樣要經(jīng)過(guò)拷貝、粘貼、整理就可以直接使用。但就目前的幾項(xiàng)服務(wù)看，做的深度都不夠好。 xx局較有特色的軟件下載等功能的實(shí)用性還遠(yuǎn)不如一些個(gè)人網(wǎng)站，如華軍（）、中國(guó)站長(zhǎng)站（）等，因此訪問(wèn)量不是很理想。 發(fā)布系統(tǒng) 萬(wàn)博目前已經(jīng)放棄了發(fā)布系統(tǒng)市場(chǎng)，而業(yè)內(nèi)比較有名的發(fā)布系統(tǒng)包括trs的wcm、千龍網(wǎng)的龍訊還有天極、搜狐自己的發(fā)布系統(tǒng)等都各有千秋。最好的辦法就是根據(jù)xx局目前的實(shí)際情況進(jìn)行量體裁衣，出具具體的方案，有針對(duì)性的進(jìn)行改造建設(shè)， 網(wǎng)絡(luò)安全 對(duì)于新聞網(wǎng)站而言，安全是非常重要的。此類產(chǎn)品國(guó)外的相對(duì)成熟一些，但是很多地方有國(guó)產(chǎn)化要求，具體選型需要根據(jù)情況酌定。 信息安全 關(guān)于信息安全，或者說(shuō)是內(nèi)容過(guò)濾，由于存在理論研究上的瓶頸，因此一直沒(méi)有特別令人滿意的產(chǎn)品出現(xiàn)，就研究水平而言，中科院軟件所在這方面一直居于世界領(lǐng)先地位，但其成果距離實(shí)用產(chǎn)品還有差距，因此目前市面上能看到的過(guò)濾方案都不能代替人工審核。 三、方案整體規(guī)劃 3．1設(shè)計(jì)目標(biāo) 通過(guò)對(duì)xx局現(xiàn)狀的分析，我們覺(jué)得目前改造后的xx局應(yīng)達(dá)到以下目標(biāo)： n 網(wǎng)絡(luò)結(jié)構(gòu)合理實(shí)用：在進(jìn)行網(wǎng)絡(luò)方案設(shè)計(jì)時(shí)，考慮到技術(shù)變化、網(wǎng)速提高、用戶發(fā)展和需求都處于不斷變化中，首先應(yīng)該滿足應(yīng)用的實(shí)際需求，做到適度超前，將實(shí)用性放在首位。n n 系統(tǒng)架構(gòu)統(tǒng)一開放：異構(gòu)系統(tǒng)帶來(lái)的不僅僅是應(yīng)用的復(fù)雜與信息的不通，更主要的是給用戶和使用者帶來(lái)的不便和繁瑣，大大增加了系統(tǒng)的不穩(wěn)定性和維護(hù)成本，我們將采取全局規(guī)劃、分塊遷移的方式，逐漸使系統(tǒng)架構(gòu)在統(tǒng)一的平臺(tái)和技術(shù)體系上，保證系統(tǒng)的平穩(wěn)過(guò)渡和逐步擴(kuò)展。n n 數(shù)據(jù)存儲(chǔ)安全一致：數(shù)據(jù)是系統(tǒng)的基礎(chǔ)和命脈，對(duì)數(shù)據(jù)存儲(chǔ)的設(shè)