【正文】 構(gòu)到多層體系結(jié)構(gòu)是通過數(shù)據(jù)處理與web server的解耦，在web server之間增加application server，減少了web server的處理壓力。圖B/S結(jié)構(gòu)到多層體系結(jié)構(gòu)轉(zhuǎn)化圖C/S結(jié)構(gòu)到B/S多層體系結(jié)構(gòu)的發(fā)展，優(yōu)化了應(yīng)用處理的過程，提高了應(yīng)用系統(tǒng)的處理能力，而且也解決了應(yīng)用系統(tǒng)的擴展能力，使大規(guī)模應(yīng)用處理成為可能。云計算平臺的計算虛擬化技術(shù)形式眾多，所要解決的問題也各不相同。例如：n 集群技術(shù)使得應(yīng)用處理獲得了更大的處理能力；n 主機虛擬化技術(shù)則是提高服務(wù)器處理能力的利用率。圖集群技術(shù)及主機虛擬技術(shù)優(yōu)勢圖但是從最終的效果而言都是分離了應(yīng)用軟件與物理基礎(chǔ)設(shè)施，解除或弱化了它們之間的耦合，從而也就削弱了各自的技術(shù)發(fā)展所受到的相互限制，拓展了技術(shù)發(fā)展的空間和靈活性。圖傳統(tǒng)數(shù)據(jù)中心向云計算中心遷移示意圖 彈性擴展云計算中心要實現(xiàn)所提供服務(wù)的質(zhì)量，動態(tài)的資源調(diào)度是必不可少的。現(xiàn)有數(shù)據(jù)中心的IT基礎(chǔ)架構(gòu)采用固態(tài)配置，靈活性很差，當業(yè)務(wù)發(fā)展超出預(yù)期時，無法及時根據(jù)業(yè)務(wù)需求調(diào)整資源供給，難以滿足業(yè)務(wù)快速增長的需求。而且系統(tǒng)資源擴展需要一定的周期，在此過程中，業(yè)務(wù)系統(tǒng)將處于高危運行狀態(tài)，造成服務(wù)質(zhì)量下降。而為了應(yīng)用峰值而擴展的資源在正常情況下，將處于低負荷狀態(tài)，造成資源浪費。而云計算中心要避免這樣的情況出現(xiàn)，就必須要實現(xiàn)動態(tài)的資源調(diào)度，實現(xiàn)業(yè)務(wù)系統(tǒng)資源配備的按需調(diào)整，結(jié)合管理系統(tǒng)的資源監(jiān)控，根據(jù)業(yè)務(wù)負載等情況，調(diào)整業(yè)務(wù)資源配給，保障業(yè)務(wù)系統(tǒng)的資源供給，滿足其運行需要，也就保障了業(yè)務(wù)的服務(wù)質(zhì)量。云計算中心弱化了應(yīng)用軟件與底層物理資源依賴關(guān)系，使得物理資源能夠更加靈活地向優(yōu)化系統(tǒng)性能、提高可靠性、提高易用性、提高運維效率等方面發(fā)展，使得動態(tài)資源調(diào)度成為可能，從而為上層的應(yīng)用軟件提供更好的服務(wù)質(zhì)量。而提高底層的計算、存儲、網(wǎng)絡(luò)等物理資源的耦合性，對于解決上述問題具有關(guān)鍵作用。首先通過對計算資源、存儲資源、網(wǎng)絡(luò)資源進行優(yōu)化配給，提高資源能力的耦合性，則可以更好地提高云計算平臺的整體性能。然后智能化地根據(jù)用戶需要封裝、分配資源，形成虛擬應(yīng)用平臺，用戶在簡單地部署自己的應(yīng)用或數(shù)據(jù)后，應(yīng)用系統(tǒng)即可投入使用。利用整合了計算、存儲、網(wǎng)絡(luò)等方面資源的運維專家系統(tǒng)，只需基于虛擬應(yīng)用平臺對物理資源的使用分析，即可動態(tài)地對其所用物理資源進行優(yōu)化調(diào)整，以提高用戶應(yīng)用的運行效率和服務(wù)質(zhì)量。在云計算中心，運維人員無需過分關(guān)心上層應(yīng)用的情況，只需基于虛擬應(yīng)用平臺對物理資源的使用分析，進行資源優(yōu)化調(diào)整，保證云計算中心的穩(wěn)定高效即可。圖云計算中心彈性擴展示例圖 智能化云管理云計算中心具有IaaS、PaaS、SaaS等眾多的服務(wù)模型，提供計算服務(wù)、存儲服務(wù)、乃至整合各種資源的綜合性服務(wù)，其資源的構(gòu)成更加復(fù)雜、規(guī)模更加龐大。為了提高易用性和可維護性，各種資源構(gòu)成之間的關(guān)系復(fù)雜。為了保證云計算中心的服務(wù)質(zhì)量，對于眾多用戶資源配給的調(diào)整也要求更精準的、更及時。這些要求已經(jīng)不是依靠運維人員的能力所能滿足的，需要采用更加智能化的自適應(yīng)運維管理。云計算中心運維管理要適應(yīng)云服務(wù)對資源管理所提出的新需求：n 緊耦合的資源管理云計算中心采用資源綜合管理，即將系統(tǒng)中的計算、存儲、網(wǎng)絡(luò)等資源視為整體系統(tǒng)，實施統(tǒng)一管理，這有利于優(yōu)化整體性能、精確定位問題、是實現(xiàn)動態(tài)資源調(diào)度的重要因素。n 多維度的資源管理云計算中心的資源具有多種視圖，例如物理資源視圖、虛擬資源視圖、虛擬組織視圖，因此，云管理也應(yīng)該是多維的。 充分考慮利舊項目建設(shè)應(yīng)充分考慮利舊，建設(shè)新系統(tǒng)并將業(yè)務(wù)系統(tǒng)遷移至新系統(tǒng)之后，先前采購的設(shè)備應(yīng)繼續(xù)利用，避免浪費已有投資。主要包括以下幾個方面：n 服務(wù)器設(shè)備：經(jīng)過性能和穩(wěn)定性衡量之后，可以用來做對性能要求較低的前置機或者在云計算分區(qū)中添加一個利舊服務(wù)器組成的云區(qū)域，承擔重要性稍差的業(yè)務(wù)系統(tǒng)；n 存儲設(shè)備：可以用來做容災(zāi)，以充實存儲空間；n 網(wǎng)絡(luò)設(shè)備：經(jīng)過性能和穩(wěn)定性衡量之后，可以用來和新購網(wǎng)絡(luò)設(shè)備一起組成云計算中心的網(wǎng)絡(luò)體系。2. 云計算建設(shè)方案 網(wǎng)絡(luò)子系統(tǒng)建設(shè)網(wǎng)絡(luò)拓撲方案一般有三層組網(wǎng)方案和二層組網(wǎng)方案。傳統(tǒng)的網(wǎng)絡(luò)設(shè)計方案中，通常采用三層方案。三層方案將云計算中心基礎(chǔ)網(wǎng)絡(luò)分成核心、匯聚和接入三層架構(gòu)。通常情況下，核心與匯聚之間通過路由技術(shù)進行流量的控制，匯聚層設(shè)備可以部署安全模塊作為業(yè)務(wù)分區(qū)的邊界網(wǎng)關(guān)，匯聚層以下普遍采用二層接入，運行STP/MSTP等協(xié)議來降低二層環(huán)路帶來的隱患。三層結(jié)構(gòu)的優(yōu)點在于：n 網(wǎng)絡(luò)分區(qū)清晰，以匯聚層設(shè)備區(qū)分業(yè)務(wù)部署，易于擴展、管理和維護；n 匯聚層可以靈活控制縱向網(wǎng)絡(luò)的收斂比，不同性能要求的區(qū)域按照不同的規(guī)劃進行設(shè)計，降低核心設(shè)備的端口壓力；n 布線方式清晰、靈活，不會出現(xiàn)集中布線帶來的散熱、維護等問題；n 因接入層設(shè)備采用低端產(chǎn)品，匯聚層設(shè)備可按照收斂比靈活控制成本，整體組網(wǎng)成本相對較低。三層結(jié)構(gòu)的缺點在于：n 組網(wǎng)結(jié)構(gòu)復(fù)雜，需要部署MSTP和VRRP等冗余協(xié)議；n 在匯聚層收斂比較大，性能容易出現(xiàn)瓶頸；n 三層結(jié)構(gòu)在部署時，網(wǎng)關(guān)部署在匯聚層，匯聚層以上采用路由協(xié)議進行流量控制，而路由收斂較慢，路由路徑及節(jié)點增多，管理難度加大；匯聚層以下使用二層，仍然存在出現(xiàn)環(huán)路的風(fēng)險；從整體規(guī)劃上，三層結(jié)構(gòu)較復(fù)雜。隨著信息技術(shù)的不斷發(fā)展，高端交換機的轉(zhuǎn)發(fā)性能和接入密度都在不斷的提高，因此匯聚層高端交換機設(shè)備具備足夠的能力直接提供高密度的千兆接入和萬兆上行能力，從而精簡大量的接入層設(shè)備，使網(wǎng)絡(luò)架構(gòu)趨向于扁平化。在核心與匯聚接入層設(shè)備之間運行二層交換，vlan配置靈活，并可通過新一代交換機虛擬化功能替代傳統(tǒng)的STP/MSTP，通過vlan映射業(yè)務(wù)分區(qū)，網(wǎng)絡(luò)結(jié)構(gòu)簡潔、清晰。二層結(jié)構(gòu)的優(yōu)點在于：n 扁平化組網(wǎng)，簡化網(wǎng)絡(luò)拓撲，減少了單點故障和性能瓶頸，易于管理、維護；n 二層組網(wǎng)均采用高端設(shè)備，能夠搭建一套具備極高轉(zhuǎn)發(fā)性能的云計算中心高端網(wǎng)絡(luò)，同時高端設(shè)備的可靠性更高，能夠為云計算中心應(yīng)用保駕護航；n 新一代高端交換機設(shè)備支持虛擬化技術(shù)，能夠消除大量的環(huán)路設(shè)計，消除STP/MSTP等協(xié)議帶來的運維、管理的復(fù)雜性；n 適合于大規(guī)模、集中部署，且高性能需求較高的云計算中心。根據(jù)云計算服務(wù)器數(shù)量多、擴展速度快、可靠性要求較低、網(wǎng)絡(luò)結(jié)構(gòu)獨立的幾個特點，將服務(wù)器群接入網(wǎng)絡(luò)物理采用二層網(wǎng)絡(luò)設(shè)計，在邏輯上虛擬成一層考慮。根據(jù)二層組網(wǎng)原則，本項目組網(wǎng)邏輯架構(gòu)拓撲如下圖所示。圖組網(wǎng)邏輯架構(gòu)拓撲 計算資源池建設(shè) 計算資源池定位 計算資源池特性由于云計算中心需要處理前端進來的海量數(shù)據(jù)，因此需要大量的計算機節(jié)點。傳統(tǒng)的超級計算中心強調(diào)整體的計算能力，當前的互聯(lián)網(wǎng)數(shù)據(jù)中心強調(diào)密度、帶寬等因素。而云計算中心，特別是作為物聯(lián)網(wǎng)后端處理中心的物理網(wǎng)云計算中心需要的是強大的“處理能力”，這個“處理能力”包含了計算能力、傳輸能力，甚至存儲能力。畢竟云計算中心不同于傳統(tǒng)的超級計算中心，不是長時間運行同一個計算程序，而是要同時處理成千上萬個服務(wù)請求，要求響應(yīng)時間很短、對通信帶寬和存儲容量有巨大的需求。因此，云計算中心需要具有高通量特征的計算機系統(tǒng)。其次，對云計算運營者來講，在提供可靠服務(wù)的前提下，通過大量先進技術(shù)降低總體擁有成本是云計算中心基礎(chǔ)架構(gòu)建設(shè)的核心目標。因此，構(gòu)建云計算中心的一個重要標準就是利用標準化的、性價比高的通用部件或者產(chǎn)品。因為，只有標準化、商品化的部件才有眾多的采購來源，并因為其開放性，從而具有較低的運營成本。再次，云計算平臺的重要特征之一是實現(xiàn)資源的抽象和封裝、構(gòu)建動態(tài)化、彈性化的計算資源池，而虛擬化技術(shù)和分布式數(shù)據(jù)存儲、分析技術(shù)是實現(xiàn)達到這一目標的重要手段。因此，計算子系統(tǒng)應(yīng)該在虛擬化和分布式數(shù)據(jù)存儲模型兩個方面有較好的解決方案。最后，除了具有通用性、標準化、資源池化等特征之外，計算子系統(tǒng)還應(yīng)該具有易管理、低能耗的特征，從而大大降低云計算中心的能耗、降低運維成本。 主要技術(shù)路線1) 計算虛擬化技術(shù)計算虛擬化技術(shù)是實現(xiàn)云計算中心資源池化的關(guān)鍵技術(shù)之一，是實現(xiàn)高可用、彈性擴展云計算平臺的技術(shù)基礎(chǔ)。計算虛擬化是一個抽象層，是對上層應(yīng)用屏蔽底層計算設(shè)備的資源封裝手段，將構(gòu)成計算資源的眾多物理設(shè)備組合成一個整體，形成計算資源池，提供給上層應(yīng)用軟件，從而提供更高的IT資源利用率和靈活性。計算虛擬化技術(shù)將真實存在的物理計算資源，通過切分或（和）聚合的封裝手段形成新的表現(xiàn)形態(tài)。n 聚合封裝是將多個物理實體通過技術(shù)手段封裝為單一虛擬映像/實例，可用于完成某個業(yè)務(wù)。就計算資源而言，通常采用計算集群（Cluster）、負載均衡集群（Load Balance）等。n 切分封裝是將單個物理實體通過技術(shù)手段封裝為多個虛擬映像/實例，可用于執(zhí)行不同業(yè)務(wù)。通常采用主機虛擬化，如Vmware ESX、Xen、MS HyperV等產(chǎn)品。無論是計算集群（Cluster）、負載均衡集群（Load Balance），還是主機虛擬化，都屬于計算資源虛擬化技術(shù)，多種虛擬化技術(shù)也可以組合使用，使得計算資源池的使用更加靈活。2) 基于X86架構(gòu)的計算平臺云計算中心采用標準的X86架構(gòu)服務(wù)器作為“云”的節(jié)點機。基于X86平臺的服務(wù)器使用Intel Xeon或者AMD Opteron作為處理器，也就是通常所說的PC服務(wù)器。X86架構(gòu)的服務(wù)器使用標準化、商業(yè)化的部件，從而成為構(gòu)建大型云計算中心的最佳選擇。近年來，Intel Xeon和AMD Opteron的性能獲得巨大的提高，大量的先進技術(shù)和工藝先后被Intel/AMD引人其處理器的設(shè)計和制造中，比如，64位計算、直連結(jié)構(gòu)、內(nèi)嵌內(nèi)存控制器、多核（目前，Intel Xeon最多可以做到10核；AMD Opteron可以做到16核）、硬件輔助虛擬化技術(shù)（Intel VT、AMDV）、32nm制程等等。在國際權(quán)威的測試機構(gòu)TPC組織發(fā)布的結(jié)果中，采用X86架構(gòu)的服務(wù)器價格/性能比最佳。從性能角度，4顆 Intel Xeon 7560的tpmC值就可達到24顆POWER 7的23%。最后，基于X86架構(gòu)的服務(wù)器因為其開放的架構(gòu)，開放的生態(tài)系統(tǒng)，使其具有較低的運維成本，這也是小型機等封閉系統(tǒng)所不能比擬的。從可靠性的角度，在云計算環(huán)境下，通常大量采用虛擬化、分布式、并行計算等模式，有力的保證了計算系統(tǒng)的可靠性。全球幾大互聯(lián)網(wǎng)巨頭，Google、Amazon、百度、阿里巴巴等，無不大量采用X86架構(gòu)的設(shè)備，支撐海量的互聯(lián)網(wǎng)檢索和訪問。3) 并行計算技術(shù)高性能并行處理技術(shù)主要包括基于共享內(nèi)存的OpenMP和多線程以及基于分布式消息傳遞的MPI，其中MPI技術(shù)可擴展性強、計算效率高，是目前業(yè)界最流行的高性能并行處理技術(shù)。MPI和OpenMP等并行處理技術(shù)的能力可以很好的滿足物聯(lián)網(wǎng)計算密集類應(yīng)用的高性能處理需求。圖：并行計算思想：分而治之4) Map/Reduce分布式計算Hadoop系統(tǒng)是Apache開源組織的一個分布式計算開源框架，在很多大型網(wǎng)站上都已經(jīng)得到了應(yīng)用，如亞馬遜、Facebook和Yahoo等等。Hadoop設(shè)計了用來在由通用計算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架，利用了分布式文件系統(tǒng)的備份恢復(fù)機制保證了系統(tǒng)的高可靠性，為用戶提供了一個全新的穩(wěn)定的存儲系統(tǒng)和分析系統(tǒng)。其主要部分是模擬Google的GFS和Map/Reduce框架完成的，下圖顯示了Hadoop的體系結(jié)構(gòu)，存儲系統(tǒng)是用HDFS實現(xiàn)的，而分析系統(tǒng)使用Map/Reduce實現(xiàn)。Hadoop的工程本身還包括其它子系統(tǒng)，如HBase、ZooKeeper等。圖：Hadoop的體系結(jié)構(gòu)5) 可重構(gòu)計算技術(shù)根據(jù)摩爾定律，CPU處理能力每18個月翻一倍，過去30年都是按照這個速度在不斷提高。在此過程中解決了一個又一個的技術(shù)難題，如時鐘頻率、超標量架構(gòu)、流水線技術(shù)等，使處理能力得到了極大地提高。然而根據(jù)吉爾德定律，在未來25年，主干網(wǎng)的帶寬每6個月增長一倍，換句話說，也可以理解為需要處理的內(nèi)容的增長速度是CPU處理能力的3倍，也就是說在信息處理系統(tǒng)的建設(shè)中，系統(tǒng)規(guī)模將會呈現(xiàn)持續(xù)上升，而不會因為CPU的發(fā)展而有所緩解?；诳芍貥?gòu)計算技術(shù)來實現(xiàn)特殊應(yīng)用的加速是目前主流的方案。云計算技術(shù)在提供傳統(tǒng)計算手段之外，還應(yīng)該針對具體應(yīng)用需求，提供眾核協(xié)處理器、GPU計算和FPGA三種可重構(gòu)計算模式，適應(yīng)不同類型應(yīng)用的需求。例如在網(wǎng)絡(luò)數(shù)據(jù)處理、音視頻信息處理等方面，即可針對應(yīng)用處理要求，選用相應(yīng)的可重構(gòu)計算模式，以提高處理能力，降低系統(tǒng)規(guī)模的過快增長。6) 主機虛擬化技術(shù)主機虛擬化技術(shù)是實現(xiàn)資源池化的重要手段之一。近年來，X86架構(gòu)上的主機虛擬化技術(shù)逐漸成熟，涌現(xiàn)出不少技術(shù)和產(chǎn)品，VMware ESX、Xen、微軟HyperV就是其中的代表。作為第一個（1998年）將主機虛擬化技術(shù)引入X86平臺的廠商，VMware目前在X86平臺的虛擬化市場上處于領(lǐng)先地位。作為與ESX相類似（同屬裸金屬架構(gòu)）的Hypervisor和ESX的競爭者，Xen和HyperV也越來越強大。Xen是劍橋大學(xué)于2005年發(fā)布的一個開源的Hypervisor，已被吸收到Redhat、SuSE、Oracle VM中。Xen已經(jīng)于2007年被Citrix收購，但目前仍然作為一個開源項目由Citrix維護，代表著開源社區(qū)的力量。目前，而Citrix 。微軟于2008年發(fā)布了自己的Hypervisor——HyperV，目前已經(jīng)更新到HyperV r2版本。 X86虛擬化實現(xiàn)X86服務(wù)器虛擬化，就是在硬件和操作系統(tǒng)之間引入虛擬化層，如下圖。虛擬化層允許多個操作系統(tǒng)實例同時運行在一臺物理服務(wù)器上，動態(tài)分區(qū)和共享所有可用的物理資源，包括：CPU、內(nèi)存、存儲和I/O設(shè)備。隨著服務(wù)器和臺式機的計算能力急劇增加，虛擬化技術(shù)應(yīng)用廣泛普及，很多用戶已經(jīng)在開發(fā)/測試、服務(wù)器整合、數(shù)據(jù)中心優(yōu)化和業(yè)務(wù)連續(xù)性方面證實了虛擬化的效用。虛擬架構(gòu)已經(jīng)可以將操作系統(tǒng)和應(yīng)用從硬件上分離出來，打包成獨立的、可移動的虛擬機，從來帶來極大的靈活性。例如：可