【文章內(nèi)容簡介】 端口號，對不同應用數(shù)據(jù)流進行分類，并采用DSCP對數(shù)據(jù)包進行標記。n 在連接廣域網(wǎng)的路由器上設置相應的業(yè)務隊列（如：EF、AFAF3以及AF2隊列），采用CBQ（CBWFQ）、WRED等技術(shù)，控制打了不同優(yōu)先級標記的數(shù)據(jù)流能占用的網(wǎng)絡帶寬及其被丟棄的次序。n 采用CBQ（CBWFQ）+LLQ的方式，根據(jù)已經(jīng)定義的DSCP標記，對不同的數(shù)據(jù)流分配不同的帶寬。n 采用Tail Dropping或WRED機制，實現(xiàn)網(wǎng)絡擁塞時的數(shù)據(jù)包丟棄。QoS配置策略示意圖如下圖：第5章 計算存儲解決方案 計算存儲平臺架構(gòu)設計傳統(tǒng)的數(shù)據(jù)中心計算資源表現(xiàn)為一臺臺獨立的物理服務器，基于傳統(tǒng)物理服務器的部署方式會導致計算資源利用率嚴重不足，增加了運營與運維的成本。引入云計算的的架構(gòu)以后，數(shù)據(jù)中心的計算資源被統(tǒng)一管理和分配，以資源池的形式展現(xiàn)，打破了傳統(tǒng)的IT架構(gòu)中各物理設備間的隔離，提升了計算資源的利用率，簡化了管理和運維手段，降低了運營成本。數(shù)據(jù)中心需要支持根據(jù)業(yè)務應用的不同特點（大計算量應用系統(tǒng)、高I/O訪問應用系統(tǒng)、高并發(fā)訪問應用系統(tǒng)以及對資源要求一般的應用系統(tǒng)）采用合理的物理服務器（2路、4路X86服務器）或虛擬機，能根據(jù)業(yè)務應用的特點對服務器進行配置滿足應用對計算的需要（CPU、內(nèi)存、網(wǎng)絡I/O、存儲I/O）。云計算平臺需要和IT管理平臺聯(lián)動實現(xiàn)對虛擬計算資源的自動部署和分配。根據(jù)數(shù)據(jù)中心解決方案的總體架構(gòu)以及網(wǎng)絡架構(gòu)設計中對功能區(qū)的劃分原則，將計算平臺總體架構(gòu)劃分為三個層面，分別對應業(yè)務層、計算平臺層和存儲平臺層。業(yè)務層中，功能區(qū)域的劃分一般都是根據(jù)安全和管理需求進行劃分，各個單位可能有所不同，數(shù)據(jù)中心中一般有DMZ區(qū)、運行管理區(qū)、業(yè)務生產(chǎn)區(qū)、OA區(qū)、開發(fā)測試區(qū)等功能區(qū)域，實際劃分可以根據(jù)業(yè)務情況進行調(diào)整，總的原則是在滿足安全的前提下盡量統(tǒng)一管理。計算平臺層主要考慮三層架構(gòu)部署，即表現(xiàn)層（WEB服務器群）、應用層（應用服務器群）和數(shù)據(jù)層（數(shù)據(jù)庫服務器群）；同時考慮物理和虛擬部署，即針對業(yè)務應用的不同特點，在表現(xiàn)層和應用層可以同時部署物理服務器和虛擬機服務器，在數(shù)據(jù)層一般高IO的數(shù)據(jù)庫需要部署物理服務器，普通的數(shù)據(jù)庫也可以部署在物理服務器中。存儲平臺層主要考慮SAN、NAS和備份三種架構(gòu)部署，其中SAN架構(gòu)的存儲還可以通過存儲虛擬化網(wǎng)關(guān)進行虛擬化，形成不同品牌、 不同型號的存儲設備的虛擬化成統(tǒng)一的存儲資源池對外提供服務。本項目的架構(gòu)中SAN存儲采用FC SAN進行連接，備份系統(tǒng)可以分為LAN BASE和LAN FREE兩種，LAN BASE采用IP網(wǎng)絡連接服務器，LAN FREE采用FC網(wǎng)絡連接服務器和存儲。計算存儲平臺架構(gòu)如下圖所示。 虛擬化平臺解決方案 虛擬化平臺結(jié)構(gòu)本項目采用虛擬化平臺對計算、存儲、網(wǎng)絡進行虛擬化管理，虛擬化平臺操作系統(tǒng)由虛擬基礎(chǔ)設施套件和基礎(chǔ)服務套件組成。虛擬化平臺主要有虛擬化基礎(chǔ)引擎、虛擬化管理兩大部件組成。一套虛擬化平臺部署一對虛擬化管理主備節(jié)點，虛擬化管理通過自動發(fā)現(xiàn)功能發(fā)現(xiàn)其管轄下的物理設備資源（包括機框、服務器、刀片、存儲設備、交互機）以及他們的組網(wǎng)關(guān)系；提供虛擬資源與物理資源管理功能（統(tǒng)一拓撲、統(tǒng)一告警、統(tǒng)一監(jiān)控、容量管理、用量計費、性能報表、關(guān)聯(lián)分析，生命周期），并且對外提供統(tǒng)一的管理Portal。虛擬化管理還包括統(tǒng)一硬件管理UHM組件，UHM提供對硬件自動發(fā)現(xiàn)，硬件自動配置、統(tǒng)一監(jiān)控（帶內(nèi)和帶外）、硬件統(tǒng)一告警、硬件拓撲、異構(gòu)硬件支持。虛擬化管理可以管理多個物理集群，每個物理集群由一對主備VRM管理。虛擬化引擎提供基礎(chǔ)的虛擬化功能，提供服務器、存儲、網(wǎng)絡的虛擬化功能，并向上對虛擬化管理提供接口。每套虛擬化引擎主要由一對主備管理節(jié)點VRM組成。一對VRM管理一個物理集群。一個物理集群中可以把多臺服務器劃分成一個邏輯集群（又叫HA資源池），一個計算資源池有相同的調(diào)度策略，為了使用熱遷移相關(guān)的調(diào)度策略要求資源池主機CPU同制。計算資源池不包括網(wǎng)絡資源與存儲資源。一個物理集群中可以包含多個邏輯集群。虛擬化平臺支持服務器、存儲的平滑擴容。服務器、存儲設備均可根據(jù)業(yè)務根據(jù)需求，在線平滑增加服務器、服務器虛擬集群，在線擴展磁盤、磁盤框、控制框。 虛擬化管理平臺虛擬化管理平臺聚焦于數(shù)據(jù)中心虛擬化資源管理、自動化運維發(fā)放、并對企業(yè)IT管理提供開放的管理接口。虛擬化管理系統(tǒng)將整個數(shù)據(jù)中心云化，并對系統(tǒng)中用戶可見的資源抽取出來納入統(tǒng)一的資源池管理，為用戶提供一體化的資源管理，自動資源發(fā)放。為用戶提供了方便的獲取資源的途徑。用戶可以通過在服務目錄自動化的獲取資源并在資源上部署用戶需要的應用。虛擬化管理平臺系統(tǒng)架構(gòu)如下圖： 上圖是虛擬化管理虛擬化管理平臺的功能模塊?！疤摂M化管理”可以采用的虛擬化管理軟件虛擬化引擎，也可以采用其他廠家的，如VMware的VCenter+Vsphere等。虛擬化管理軟件從軟件層面拉通統(tǒng)一各資源管理。虛擬化管理虛擬化管理平臺負責全系統(tǒng)硬件和軟件資源的操作維護管理，用戶業(yè)務的自動化運維。主要模塊包括： 統(tǒng)一資源管理虛擬化管理虛擬化管理平臺，通過對各種物理資源、虛擬化資源數(shù)據(jù)統(tǒng)一建模，將資源以用戶可見的資源池形式提供給上層應用。統(tǒng)一資源管理可以屏蔽不同硬件和虛擬化的差異，資源的更換升級對用戶零感知。實現(xiàn)對所有硬件資源進行統(tǒng)一管理，包括設備自動發(fā)現(xiàn)、自動配置和故障監(jiān)控等，實現(xiàn)資源快速發(fā)放，縮短業(yè)務上線時間。虛擬化管理平臺支持對資源分集群管理。集群的創(chuàng)建、刪除、擴容、減容，對集群進行性能監(jiān)控，配置集群的資源調(diào)度策略，調(diào)度策略可以設置為手動和自動，實現(xiàn)虛擬機根據(jù)系統(tǒng)負荷在不同服務器上遷移。虛擬化管理平臺支持對虛擬機生命周期管理：業(yè)務管理員通過應用對虛擬機進行創(chuàng)建、銷毀操作，對虛擬機的日常維護包括：啟動、重啟、遷移、關(guān)閉、修復、快照、虛擬機資源調(diào)整和監(jiān)控；虛擬化管理平臺支持虛擬化網(wǎng)絡管理：對子網(wǎng)、WLAN、端口組、分布式交換機進行管理；虛擬化管理平臺支持虛擬化存儲管理：可以管理IPSAN、FusionStorage、FC SAN、NAS的存儲資源，向存儲資源池中增加、刪除數(shù)據(jù)存儲，對已經(jīng)存在的數(shù)據(jù)存儲可以進行擴容。 自動運維自動化運維是虛擬化管理平臺提供的主要功能。管理員可以實現(xiàn)物理設備的自動發(fā)現(xiàn)，虛擬機、操作系統(tǒng)和應用軟件自動化部署，提高管理平臺的部署效率。管理員通過配置不同的調(diào)度策略，同時實現(xiàn)智能調(diào)度管理，提升設備利用率和彈性伸縮。運維管理系統(tǒng)集中維護系統(tǒng)的調(diào)度策略，保證資源的合理分配，實現(xiàn)資源最大化利用或?qū)崿F(xiàn)節(jié)能目標等。根據(jù)應用場景，可以分為三種策略類型：組內(nèi)自動伸縮策略、組間資源回收策略和時間計劃策略。l 組內(nèi)自動伸縮策略針對單獨的應用而言，應用根據(jù)應用的當前負載動態(tài)的調(diào)整應用實際使用的資源，當一個應用資源負載較高時，自動啟動虛擬機或添加虛擬機并安裝應用軟件；當應用的資源負載很低時，自動關(guān)閉或刪除虛擬機，釋放相應的資源。l 組間資源回收策略當系統(tǒng)資源不足的情況下，系統(tǒng)可以根據(jù)組間設置的資源復用策略， 優(yōu)先使優(yōu)先級高的應用使用資源，使優(yōu)先級低的應用釋放資源，以供優(yōu)先級高的應用使用。l 時間計劃策略時間計劃策略允許用戶對于不同的應用實現(xiàn)資源的分時復用。用戶可以設置計劃策略，使得不同的應用分時段的使用系統(tǒng)資源，比如說白天讓辦公用戶的虛擬機使用系統(tǒng)資源，到了晚間可以讓一些公共的虛擬機占用資源。216。 智能負載調(diào)度根據(jù)就應用系統(tǒng)的CPU、內(nèi)存負荷 的策略，實現(xiàn)輕載合并下電，實現(xiàn)節(jié)能降耗；重載分離上電，遷移VM到新物理機，保證用戶感受。 權(quán)限管理運維系統(tǒng)提供全系統(tǒng)基于角色的權(quán)限控制功能，包括用戶管理、角色管理、角色授權(quán)、登陸認證、鑒權(quán)等功能，實現(xiàn)全系統(tǒng)的安全功能。運維系統(tǒng)可以為不同的管理員進行分權(quán)分域管理，分配不同管理范圍和業(yè)務訪問權(quán)限，方便管理員的業(yè)務分工。運維管理可以接入外部AD等認證服務。 開放的接口虛擬化平臺對外屏蔽了各種資源的來源，對外提供開放API接口。外部系統(tǒng)可以獲取到虛擬化計算各種資源信息，比如集群信息，服務器資源，虛擬機信息，虛擬網(wǎng)絡信息，時/歷史告警數(shù)據(jù)，對象實時/歷史監(jiān)控數(shù)據(jù)，拓撲數(shù)據(jù)等。外部系統(tǒng)可以通過API對系統(tǒng)資源進行操作維護。比如支持對虛擬機進行啟動，停止，重啟，遷移操作，支持對服務器的上電，下電，重啟操作。 監(jiān)控管理運維管理系統(tǒng)監(jiān)控主要針對虛擬化平臺、計算集群、計算服務器、虛擬機、網(wǎng)絡、存儲等進行監(jiān)控。支持多維度分類監(jiān)控，方便用戶管理使用。主要有對于計算集群/服務器/虛擬機的CPU占有率、內(nèi)存占有率、網(wǎng)絡流入流出、磁盤IO、告警；物理機的電源、風扇；交換機的流量；存儲設備總?cè)萘浚捎萌萘?，剩余流量，掛載數(shù)據(jù)、告警統(tǒng)計進行監(jiān)控。 告警管理告警管理在物理資源與虛擬資源出現(xiàn)故障時，及時通知管理員。系統(tǒng)設計時，考慮到部件故障時的系統(tǒng)自動處理，確保故障不影響系統(tǒng)正常運行和業(yè)務正常使用，降低了故障危害。系統(tǒng)支持對物理設備、虛擬化設備和虛擬機的故障檢測，如服務器的RAID、配件檢測、交換機、存儲設備的檢測。虛擬機HA、虛擬機快照、虛擬機遷移、存儲遷移的故障檢測。故障檢測后進行分級上報，分為緊急、重要、次要和提示四種告警級別，標識不同嚴重程度的告警。告警的聲光顯示：虛擬化管理可通過不同的聲音、顏色標識不同級別的告警，呈現(xiàn)給維護人員。管理員可管理Email和短信通知告警功能：告警產(chǎn)生和恢復時，系統(tǒng)會自動給運維人員發(fā)Email和短信，及時告知。通過訂閱重要的告警，實現(xiàn)在無人值守的環(huán)境下，仍能實時掌握全網(wǎng)節(jié)點的運行狀態(tài)。 拓撲管理拓撲管理提供一個可視化界面，呈現(xiàn)全系統(tǒng)的所有資源信息，無需管理員手動干預。通過拓撲視圖可以查看物理硬件資源視圖，應用部署以及虛擬機資源視圖。獲取硬件資源（計算硬件、存儲硬件、網(wǎng)絡硬件）、應用部署情況（例如，數(shù)據(jù)庫服務器部署在哪臺虛擬機上，虛擬機位于哪臺主機上）、虛擬機屬性。拓撲節(jié)點會和告警中心關(guān)聯(lián)，即使呈現(xiàn)對象當前的監(jiān)控狀態(tài)。拓撲管理呈現(xiàn)選中的集群資源占用和監(jiān)控狀態(tài)。 日志管理虛擬化管理平臺的日志管理記錄管理員的操作日志、系統(tǒng)的運行日志、業(yè)務和系統(tǒng)異常故障的黑匣子日志，日志不允許刪除，便于后續(xù)審計。 客戶二次開發(fā)提供虛擬化管理的SDK， SDK支持多語言且提供靈活的API接口，客戶可以通過SDK，便捷的進行二次開發(fā)，從而實現(xiàn)對虛擬化資源的靈活管理。 VDC服務本次虛擬化計算平臺建設需要為市教育信息化建設提供IT環(huán)境，同時也需要為四區(qū)教體局和市直屬學校教育信息化建設提供IT環(huán)境，因此需要為每個教體局或者學校提供一個安全可靠運行環(huán)境，并且之間需要提供安全隔離。虛擬數(shù)據(jù)中心技術(shù)向最終用戶提供一個虛擬的所見即所得的數(shù)據(jù)中心，其特點表現(xiàn)在：216。 網(wǎng)絡設備的自動化。虛擬數(shù)據(jù)中心技術(shù)將防火墻，負載均衡器，二層網(wǎng)絡，三層網(wǎng)關(guān)，DHCP，VPN這些設備進行虛擬化，向最終用戶提供相應的操作。用戶像真正操作物理網(wǎng)絡設備一樣操作虛擬機的網(wǎng)絡設置，但是這些操作已經(jīng)進行簡化，用戶的操作搭積木一樣搭建自己的網(wǎng)絡。216。 不同虛擬數(shù)據(jù)中心之間隔離。虛擬數(shù)據(jù)中心技術(shù)可以給不同的部門分配不同的計算，存儲，內(nèi)存和網(wǎng)絡等資源。不同的部門間是互相隔離的。這樣IT人員面對的是和多個獨立的簡單系統(tǒng)，而不是共用同一套的多個系統(tǒng)。216。 資源分配可追溯。所有分配出去的虛擬資源，以及VLAN，IP地址這些資源，都會被追蹤記錄下來，以便于管理及追溯。216。 自服務。虛擬數(shù)據(jù)中心技術(shù)使復雜的IT變回簡潔的小規(guī)模IT系統(tǒng)。結(jié)合自服務門戶，以及簡單的培訓，虛擬數(shù)據(jù)中心都可以交給各個部門維護。 物理服務器部署方案由于業(yè)務的多樣性和復雜性，并不是所有的業(yè)務都可以直接部署在虛擬化平臺上的，所以需要對相關(guān)性的業(yè)務進行分析，了解業(yè)務的特點和對資源的需求方式，下面將描述哪些業(yè)務不適合虛擬化部署以及具體的物理部署場景。 應用和業(yè)務方面l 業(yè)務對實時性要求非常高的系統(tǒng)，暫緩云化；因為云計算大量采用虛擬化技術(shù)，實時系統(tǒng)遷移至云計算平臺后系統(tǒng)實時性是否會降低還是未知數(shù)，建議待行業(yè)有明確結(jié)論后，再考慮實時系統(tǒng)遷移至云平臺；l 應用廠商對應用平臺虛擬化的技術(shù)支撐有限，慎重考慮；如應用廠商明確表示不支持虛擬化，建議慎重考慮此類系統(tǒng)遷移至云計算平臺；l 視頻、語音類實時性要求特別高的系統(tǒng)，包括視頻會議、IP電話，暫緩云化；l 實時處理應用：如短信、彩信系統(tǒng)，短信、彩信網(wǎng)關(guān)等，暫緩云化；l 圖形圖像系統(tǒng)，暫緩云化 。系統(tǒng)方面l 非X86平臺系統(tǒng)，如小型機，暫緩云化；l 依賴特殊的外設(加密狗，EVDO卡，特殊的語音板卡、加密卡等PCI卡)或?qū)Ｓ迷O備(排隊機、LNS設備、工控機)的系統(tǒng)，暫緩云化；l 高實時，高交互，單臺虛擬機的配置需求達到甚至超出一臺云計算業(yè)務中心物理主機的性能時，不適合云化；l CPU資源占用率高，仍有物理機的需求，且時間特征不明顯的。經(jīng)測算，若平均資源需求量不低于單臺云計算業(yè)務物理服務器處理能力的50%，則不建議云化；l 系統(tǒng)本地I/O或網(wǎng)絡吞吐非常繁忙，如大型數(shù)據(jù)庫IO要求非常高的，則不建議云化。如數(shù)據(jù)庫IOPS平均值大于1500，則不建議云化，采用物理機部署；因為云計算大量采用虛擬化技術(shù)，I/O或網(wǎng)絡吞吐速率是否會受到限制還需要進一步驗證。盡管部分虛擬化廠商表示訪問虛擬化磁盤的速率只會降低10％以下，但在對待此類系統(tǒng)云化仍需謹慎；l 特殊的網(wǎng)絡需求，如基于專網(wǎng)（VPN），專線，需要外部系統(tǒng)二層連通云平臺的情況，不適合云化；l 數(shù)據(jù)庫雙機或數(shù)據(jù)庫集群，如Oracle RAC等，暫緩云化； l 業(yè)務服務器需要雙機熱備，暫緩云化；l 對GPU要求很高（如圖形圖像處理），目前不適合云化；根據(jù)對業(yè)務的分析，將不具備虛擬化特征的業(yè)務采用物理部署，物理部署需要充分的考慮。物理服務器部署如下圖所示。每臺物理服務器包括6塊網(wǎng)卡接口，其中2個接口為HBA卡的FC接口，連接FC交換機構(gòu)成存儲平面，2個萬兆以太網(wǎng)卡接口連接服務器接入交換機（千兆或萬兆）構(gòu)成業(yè)務平面，2個以太網(wǎng)卡（千兆）接口連接服務器接入交換機（千兆）構(gòu)成管理平面