【正文】 um_url = :9696/libvirt_vif_driver = libvirt_use_virtio_for_bridges=True（10）安裝OpenStack Networking Agents yum install y openstackquantumopenvswitch quantumnodesetup plugin openvswitch service openvswitch start chkconfig openvswitch on service quantumopenvswitchagent start chkconfig quantumopenvswitchagent on chkconfig quantumovscleanup on（11）安裝 OpenStack Networking DHCP Agent quantumdhcpsetup plugin openvswitch service quantumdhcpagent start chkconfig quantumdhcpagent on（12）安裝OpenStack Networking L3 Agent ovsvsctl addbr brint ovsvsctl addbr brex ovsvsctl addport brex eth1 yum install y openstackquantum quantuml3setup plugin openvswitch quantum routercreate router1 vi /etc/quantum/router_id = 3129097f4d024610b77a47dc7a2904ea service quantuml3agent start chkconfig quantuml3agent on（13）啟動(dòng)nova service openstacknovaapi start service openstacknovacert start service openstacknovaconductor start service openstacknovaobjectstore start service openstacknovascheduler start service openstacknovapute start以下是問(wèn)題分析。（1）novavolume 無(wú)法正常訪問(wèn)：此時(shí)需要檢查是否正常創(chuàng)建了 lvm 卷， 是否指定了volumename。本次實(shí)驗(yàn)創(chuàng)建的卷名為 novavolumes，這也是系統(tǒng)默認(rèn)的命名，如果修改了這個(gè)名稱(chēng)，則需要在 里指定。（2）虛擬機(jī)無(wú)法正常啟動(dòng)：需要檢查 libvirttype 是什么，鏡像是否有問(wèn)題，以及l(fā)ibvirt 是否有權(quán)限訪問(wèn)你的 instance 目錄。（3）網(wǎng)絡(luò)無(wú)法訪問(wèn)：可以嘗試創(chuàng)建一個(gè) floating ip range 來(lái)解決這個(gè)問(wèn)題。（4）無(wú)法獲得鏡像文件：這個(gè)問(wèn)題是由于 glance 訪問(wèn) swift 的一個(gè) bug。先使用 glance index 來(lái)確認(rèn)是否能列出鏡像，如果 novapute 里報(bào) Image Not Found 這樣的錯(cuò)誤，那么就要去跟蹤當(dāng)驗(yàn)證 swift 的時(shí)候，給出的 auth_url 是否是://[ yourip]:5000/，如果是，那么需要對(duì)這個(gè) url 后面加上一個(gè)/，否則會(huì)拿不到 swift proxyserver 的 endpoint。（5）Nova 安裝完后，novanetwork 服務(wù)已經(jīng)運(yùn)行，但是用 novamanage service list指令卻查看不到 novanetwork 服務(wù)。后來(lái)通過(guò)修改 文件解決。 Horizon的安裝與問(wèn)題分析以下是其安裝和配置的主要過(guò)程。yum install y openstackdashboardyum install y mod_sslkeystone rolecreate name Memberservice d startchkconfig d on以下是問(wèn)題分析。Horizon是OpenStack的一個(gè)Dashboard，也即是以網(wǎng)頁(yè)形式面向用戶(hù)的一個(gè)界面。通過(guò)Horizon，用戶(hù)可以很方便使用OpenStack，而不必使用繁瑣的命令行。關(guān)鍵一點(diǎn)就是要在Keystone中創(chuàng)建Member角色，因?yàn)镠orizon中會(huì)用到這個(gè)角色。 OpenStack計(jì)費(fèi)系統(tǒng)的研究目前，在國(guó)內(nèi)外扁平計(jì)費(fèi)的模式依然是在實(shí)施操作中比較普遍的計(jì)費(fèi)模式。扁平計(jì)費(fèi)的特點(diǎn)是按照單位時(shí)間來(lái)計(jì)費(fèi)，使用者只需要根據(jù)單位時(shí)間的服務(wù)來(lái)支付事先規(guī)定的費(fèi)用，與其單位時(shí)間內(nèi)的使用量毫無(wú)關(guān)系。包月計(jì)費(fèi)就是最為普遍的扁平計(jì)費(fèi)的模式。然而，云計(jì)算所提出的按需計(jì)費(fèi)與扁平計(jì)費(fèi)的計(jì)費(fèi)方式大相徑庭，扁平計(jì)費(fèi)的模式根本無(wú)法滿(mǎn)足云計(jì)算平臺(tái)對(duì)計(jì)費(fèi)系統(tǒng)的要求。 本課題中所設(shè)計(jì)的計(jì)費(fèi)系統(tǒng)是根據(jù)云計(jì)算平臺(tái)的需求，根據(jù)用戶(hù)對(duì)平臺(tái)資源的使用量來(lái)進(jìn)行計(jì)費(fèi)處理，在這種計(jì)費(fèi)模式中，用戶(hù)只需要關(guān)注其資源的使用量情況，并根據(jù)用量來(lái)對(duì)用戶(hù)計(jì)費(fèi)。計(jì)費(fèi)系統(tǒng)經(jīng)過(guò)采集、分析與統(tǒng)計(jì)用戶(hù)對(duì)資源的使用情況，并根據(jù)用戶(hù)所選取的計(jì)費(fèi)策略進(jìn)行計(jì)算處理，給出用戶(hù)的計(jì)費(fèi)信息，并通過(guò) Web 的形式向用戶(hù)展示。以用戶(hù)對(duì)虛擬機(jī)的使用來(lái)說(shuō)明，當(dāng)計(jì)費(fèi)系統(tǒng)接收到本次服務(wù)的其實(shí)時(shí)間及結(jié)束時(shí)間之后，便可以得到本次服務(wù)的使用時(shí)間，就可以對(duì)收集的計(jì)費(fèi)數(shù)據(jù)進(jìn)行處理，得到計(jì)費(fèi)結(jié)果。在計(jì)費(fèi)系統(tǒng)中，運(yùn)用 MapReduce來(lái)處理計(jì)費(fèi)數(shù)據(jù)。就是計(jì)費(fèi)系統(tǒng)將用戶(hù)所申請(qǐng)創(chuàng)建的虛擬機(jī)的使用時(shí)長(zhǎng)做為計(jì)量標(biāo)準(zhǔn)，系統(tǒng)通過(guò)采集。分析與統(tǒng)計(jì)每臺(tái)虛擬機(jī)的使用時(shí)長(zhǎng)，并根據(jù)用戶(hù)所采用的計(jì)費(fèi)策略就可以計(jì)算出目前該用戶(hù)的計(jì)費(fèi)信息。 OpenStack計(jì)費(fèi)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)云計(jì)算平臺(tái)中的用戶(hù)對(duì)于平臺(tái)中的應(yīng)用服務(wù)都有著一定的需求，既然有需求就要承擔(dān)應(yīng)有的費(fèi)用。在云計(jì)算平臺(tái)的 IaaS（基礎(chǔ)設(shè)施即服務(wù)）、PaaS（平臺(tái)即服務(wù)）以及SaaS（軟件即服務(wù)），三項(xiàng)服務(wù)均包含在計(jì)費(fèi)的范圍內(nèi)。但是根據(jù)不同用戶(hù)的不同需求，計(jì)費(fèi)系統(tǒng)也將采用多種形式的計(jì)費(fèi)方式[11]。計(jì)費(fèi)系統(tǒng)通過(guò)通過(guò)采集使用虛擬機(jī)總時(shí)長(zhǎng)、網(wǎng)絡(luò)帶寬等方面的數(shù)據(jù)來(lái)實(shí)現(xiàn)對(duì)云計(jì)算平臺(tái)用戶(hù)的計(jì)費(fèi)。和資源監(jiān)控系統(tǒng)一樣，為了減少對(duì)用戶(hù)的干擾，計(jì)費(fèi)系統(tǒng)對(duì)數(shù)據(jù)的采集、存儲(chǔ)也不能一直的進(jìn)行，要將數(shù)據(jù)的處理放在系統(tǒng)運(yùn)行負(fù)載較低的時(shí)候進(jìn)行，這樣可以提高平臺(tái)的使用效率。 計(jì)費(fèi)系統(tǒng)體系結(jié)構(gòu)圖計(jì)費(fèi)系統(tǒng)的體系結(jié)構(gòu)圖向我們展示了計(jì)費(fèi)系統(tǒng)各模塊間的關(guān)系。將在下文中具體介紹各模塊的作用及他們之間的聯(lián)系：數(shù)據(jù)接收模塊：該模塊通過(guò)資源監(jiān)控系統(tǒng)提供的 API，向資源監(jiān)控系統(tǒng)采集所需要的計(jì)費(fèi)數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行分析處理，所有的數(shù)據(jù)都以統(tǒng)一的 Json 格式傳送。將處理過(guò)的數(shù)據(jù)發(fā)送到數(shù)據(jù)存儲(chǔ)模塊，然后通過(guò)資源監(jiān)控系統(tǒng)提供的 API 向資源監(jiān)控系統(tǒng)發(fā)送一條指令，以確認(rèn)數(shù)據(jù)的傳送。數(shù)據(jù)存儲(chǔ)模塊：將接收到的數(shù)據(jù)存入分布式文件系統(tǒng)中。計(jì)費(fèi)策略管理模塊：該模塊是針對(duì)計(jì)費(fèi)方式進(jìn)行監(jiān)管的模塊，其主要功能有對(duì)計(jì)費(fèi)系統(tǒng)中現(xiàn)有的計(jì)費(fèi)方式進(jìn)行查詢(xún)，添加新的計(jì)費(fèi)方式，還可以修改或刪除已有的計(jì)費(fèi)方式等。計(jì)費(fèi)信息生成模塊：從計(jì)費(fèi)策略管理模塊中獲取當(dāng)前用戶(hù)所使用的計(jì)費(fèi)方式，使用獲取到的計(jì)費(fèi)方式對(duì)分布式文件系統(tǒng)中所存放的數(shù)據(jù)信息進(jìn)行處理，得到該用戶(hù)的費(fèi)用情況，之后把費(fèi)用信息儲(chǔ)存到計(jì)費(fèi)數(shù)據(jù)庫(kù)中。計(jì)費(fèi)展示模塊：訪問(wèn)計(jì)費(fèi)數(shù)據(jù)庫(kù)，讀取其存儲(chǔ)的平臺(tái)用戶(hù)的費(fèi)用信息，將獲取的信息通過(guò)Dashboard 展示出來(lái)。 計(jì)費(fèi)系統(tǒng)的計(jì)費(fèi)機(jī)制計(jì)費(fèi)系統(tǒng)將接收數(shù)據(jù)交給計(jì)費(fèi)服務(wù)器，數(shù)據(jù)服務(wù)器將接收的數(shù)據(jù)進(jìn)行分析處理，得到計(jì)費(fèi)系統(tǒng)所需要統(tǒng)計(jì)的數(shù)據(jù)，之后將計(jì)費(fèi)數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中。當(dāng)系統(tǒng)創(chuàng)建收費(fèi)服務(wù)時(shí)，首先確認(rèn)平臺(tái)的用戶(hù)的賬戶(hù)余額是否充足，如果余額足夠則創(chuàng)建服務(wù)并通知計(jì)費(fèi)服務(wù)器，用戶(hù)取消服務(wù)時(shí)同樣通知計(jì)費(fèi)服務(wù)器[12]。 計(jì)費(fèi)系統(tǒng)的扣費(fèi)方法計(jì)費(fèi)服務(wù)器會(huì)周期性的登陸用戶(hù)的帳號(hào)，根據(jù)用戶(hù)帳號(hào)中的賬單信息進(jìn)行扣費(fèi)處理。 計(jì)費(fèi)系統(tǒng)的安全檢查計(jì)費(fèi)服務(wù)通過(guò) nova api 或者nova數(shù)據(jù)庫(kù)對(duì)收費(fèi)條目進(jìn)行檢查，以防止創(chuàng)建不成功但是仍然扣費(fèi)的情況出現(xiàn)。如果創(chuàng)建收費(fèi)服務(wù)失敗，那么計(jì)費(fèi)服務(wù)器會(huì)通知系統(tǒng)管理員并停止扣費(fèi)。 計(jì)費(fèi)系統(tǒng)與資源監(jiān)控系統(tǒng)的交互計(jì)費(fèi)系統(tǒng)與前文所提到的資源監(jiān)控系統(tǒng)中所采集的數(shù)據(jù)相輔相成，所以，通過(guò)資源監(jiān)控系統(tǒng)所提供的接口，將資源監(jiān)控系統(tǒng)與計(jì)費(fèi)系統(tǒng)進(jìn)行交互，免去計(jì)費(fèi)系統(tǒng)中數(shù)據(jù)采集的環(huán)節(jié)，從而降低計(jì)費(fèi)系統(tǒng)對(duì)于云計(jì)算平臺(tái)資源的占用。 計(jì)費(fèi)系統(tǒng)的數(shù)據(jù)處理計(jì)費(fèi)系統(tǒng)最為核心的功能是如何從海量的原始計(jì)費(fèi)數(shù)據(jù)中統(tǒng)計(jì)出每個(gè)用戶(hù)使用虛擬機(jī)的總時(shí)長(zhǎng)。下面將要介紹的就是使用分布式數(shù)據(jù)庫(kù)存儲(chǔ)原始計(jì)費(fèi)數(shù)據(jù)以及使用MapReduce處理存儲(chǔ)的數(shù)據(jù)，統(tǒng)計(jì)用戶(hù)使用虛擬機(jī)的總時(shí)長(zhǎng)。由于無(wú)論是使用OpenStack搭建的私有云環(huán)境還是計(jì)費(fèi)系統(tǒng)，網(wǎng)絡(luò)帶寬都是比較稀缺的資源，原始計(jì)費(fèi)數(shù)據(jù)的傳輸、存儲(chǔ)與計(jì)算不能一直進(jìn)行下去。需要的是原始計(jì)費(fèi)數(shù)據(jù)的處理在系統(tǒng)運(yùn)行負(fù)載比較低的時(shí)候進(jìn)行，并且該任務(wù)需要每天都重復(fù)執(zhí)行。 數(shù)據(jù)處理流程首先，要從收集到的數(shù)據(jù)中獲取虛擬機(jī)的 id 以及 TimeStamp，虛擬機(jī)的id 作為每臺(tái)虛擬機(jī)的身份認(rèn)證，便于區(qū)分云計(jì)算平臺(tái)中的每一臺(tái)虛擬機(jī)，使用一個(gè) id 去標(biāo)識(shí)一臺(tái)固定的虛擬機(jī)，而 TimeStamp 作為標(biāo)簽來(lái)標(biāo)記每個(gè)計(jì)費(fèi)數(shù)據(jù)的時(shí)間。將虛擬機(jī)的 id和TimeStamp 作為Map函數(shù)的主鍵和值，Map函數(shù)作用就是根據(jù)虛擬機(jī)的 id 將虛擬機(jī)的 TimeStamp 劃分處理，處理之后使虛擬機(jī)實(shí)例id 與 TimeStamp 列表一一對(duì)應(yīng)。然后將上文得到的處理結(jié)果作為 Reduce 函數(shù)的輸入，Reduce函數(shù)的主要功能是根絕虛擬機(jī)的 id來(lái)對(duì)TimeStamp 列表進(jìn)行處理，將列表前后兩項(xiàng)的值做差并做出判斷，當(dāng)兩項(xiàng)之差小于某個(gè)闕值時(shí)，對(duì)該值進(jìn)行累加；當(dāng)兩項(xiàng)之差大于某個(gè)閾值時(shí)，就是證明該虛擬機(jī)處于停止工作的狀態(tài)，計(jì)費(fèi)系統(tǒng)應(yīng)該停止對(duì)其計(jì)費(fèi)，該值不需進(jìn)行累加處理。最后，將虛擬機(jī) id 和上述結(jié)果存儲(chǔ)到計(jì)費(fèi)數(shù)據(jù)庫(kù)中。 計(jì)費(fèi)系統(tǒng)數(shù)據(jù)處理結(jié)構(gòu)圖 計(jì)費(fèi)系統(tǒng)功能的設(shè)計(jì)根據(jù)上文提到的計(jì)費(fèi)系統(tǒng)的需求分析，設(shè)計(jì)一個(gè)完善的計(jì)費(fèi)機(jī)制，使用戶(hù)可以更好的體驗(yàn)云計(jì)算平臺(tái)的應(yīng)用服務(wù)，同時(shí)也要保證計(jì)費(fèi)系統(tǒng)管理員對(duì)平臺(tái)的管理需求。為此，設(shè)計(jì)的計(jì)費(fèi)系統(tǒng)分為原始計(jì)費(fèi)數(shù)據(jù)存儲(chǔ)、計(jì)費(fèi)信息生成、用戶(hù)管理、賬單查詢(xún)、計(jì)費(fèi)策略管理以及虛擬機(jī)管理六大模塊[12]。1. 原始計(jì)費(fèi)數(shù)據(jù)存儲(chǔ)模塊該模塊的主要功能是用于接收資源監(jiān)控系統(tǒng)所提供的計(jì)費(fèi)數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行分析處理，處理之后將數(shù)據(jù)存儲(chǔ)到分布式數(shù)據(jù)庫(kù)中，此次過(guò)程中所有的數(shù)據(jù)都以統(tǒng)一的Json格式傳輸。該模塊還可以劃分為3個(gè)子模塊：（1）數(shù)據(jù)接收模塊該模塊負(fù)責(zé)接收資源監(jiān)控系統(tǒng)傳輸?shù)?Json 格式的數(shù)據(jù)信息，并將其發(fā)送給數(shù)據(jù)解析模塊。（2）數(shù)據(jù)解析模塊該模塊負(fù)責(zé)將接收到的數(shù)據(jù)信息進(jìn)行解析，將解析后所得到的結(jié)果發(fā)送給數(shù)據(jù)存儲(chǔ)模塊。（3）數(shù)據(jù)存儲(chǔ)模塊該模塊負(fù)責(zé)將接收到的數(shù)據(jù)信息存入分布式文件系統(tǒng)中。2. 計(jì)費(fèi)信息生成模塊該模塊從分布式文件系統(tǒng)中獲取數(shù)據(jù)存儲(chǔ)模塊所儲(chǔ)存的數(shù)據(jù)信息，統(tǒng)計(jì)出用戶(hù)對(duì)平臺(tái)資源的使用情況，并從計(jì)費(fèi)策略管理模塊中獲取當(dāng)前用戶(hù)所使用的計(jì)費(fèi)方式，基于此計(jì)費(fèi)方式對(duì)用戶(hù)的計(jì)費(fèi)數(shù)據(jù)進(jìn)行處理，得到該用戶(hù)的費(fèi)用情況，把費(fèi)用信息寫(xiě)入計(jì)費(fèi)數(shù)據(jù)庫(kù)中。該模塊通過(guò)3個(gè)子模塊來(lái)實(shí)現(xiàn)其功：（1）數(shù)據(jù)過(guò)濾模塊通過(guò)計(jì)費(fèi)數(shù)據(jù)庫(kù) VMInstance表中的虛擬機(jī)的 id來(lái)過(guò)濾原始的數(shù)據(jù)信息。（2）數(shù)據(jù)信息統(tǒng)計(jì)模塊接收數(shù)據(jù)過(guò)濾模塊傳送過(guò)來(lái)的原始數(shù)據(jù)信息，使用 MapReduce 來(lái)處理各項(xiàng)數(shù)據(jù)信息，以得到每個(gè)虛擬機(jī)的使用情況。（3）計(jì)費(fèi)記錄添加模塊讀取虛擬機(jī)使用信息，將讀取的信息寫(xiě)入計(jì)費(fèi)數(shù)據(jù)庫(kù)的 Instance表中。3. 用戶(hù)管理模塊該模塊向普通用戶(hù)提供了注冊(cè)、登陸、資料修改等功能，系統(tǒng)管理員則擁有管理普通用戶(hù)的功能，其中包括添加、修改以及刪除等功能。該模塊還可以劃分為四個(gè)子模塊：（1）用戶(hù)注冊(cè)模塊瀏覽網(wǎng)站的游客通過(guò)用戶(hù)注冊(cè)模塊，成為計(jì)費(fèi)系統(tǒng)的普通用戶(hù)。（2）用戶(hù)登錄模塊普通用戶(hù)通過(guò)在用戶(hù)注冊(cè)模塊申請(qǐng)的帳號(hào)和密碼，來(lái)登錄計(jì)費(fèi)系統(tǒng)，體驗(yàn)云計(jì)算平臺(tái)提供的各項(xiàng)付費(fèi)服務(wù)，系統(tǒng)管理員則可以通過(guò)后臺(tái)登錄計(jì)費(fèi)系統(tǒng)，對(duì)用戶(hù)使用情況進(jìn)行管理，并對(duì)計(jì)費(fèi)系統(tǒng)進(jìn)行維護(hù)。（3）個(gè)人資料管理模塊普通用戶(hù)完成登錄進(jìn)入計(jì)費(fèi)系統(tǒng)之后，可以通過(guò)該模塊對(duì)自己的個(gè)人資料進(jìn)行修改，如系統(tǒng)密碼、Email 等。（4）用戶(hù)管理模塊針對(duì)系統(tǒng)管理員單獨(dú)設(shè)置的功能，讓系統(tǒng)管理遠(yuǎn)可以通過(guò)此模塊來(lái)添加新用戶(hù)，修改計(jì)費(fèi)系統(tǒng)當(dāng)前所有用戶(hù)的個(gè)人資料，以及注銷(xiāo)用戶(hù)。4. 賬單查詢(xún)模塊該模塊支持普通用戶(hù)對(duì)自己付費(fèi)記錄進(jìn)行查詢(xún)。5. 計(jì)費(fèi)策略模塊該模塊主要針對(duì)計(jì)費(fèi)策略的增、刪、改、查等功能進(jìn)行設(shè)計(jì)，并通過(guò)一下四個(gè)子模塊來(lái)實(shí)現(xiàn)其功能：（1）計(jì)費(fèi)策略添加模塊通過(guò)該模塊向計(jì)費(fèi)系統(tǒng)中添加新的計(jì)費(fèi)策略。（2）計(jì)費(fèi)策略查詢(xún)模塊用戶(hù)可以通過(guò)該模塊對(duì)計(jì)費(fèi)系統(tǒng)中現(xiàn)有的各種計(jì)費(fèi)策略進(jìn)行查詢(xún)。（3）計(jì)費(fèi)策略修改模塊對(duì)當(dāng)前計(jì)費(fèi)系統(tǒng)中各種計(jì)費(fèi)策略進(jìn)行修改。（4）計(jì)費(fèi)策略刪除模塊對(duì)計(jì)費(fèi)系統(tǒng)中現(xiàn)有的計(jì)費(fèi)策略進(jìn)行刪除，但是需要留意所要?jiǎng)h除的計(jì)費(fèi)策略是否有用戶(hù)正在使用，如果計(jì)費(fèi)數(shù)據(jù)庫(kù)的 BillMethod 表中存在對(duì)計(jì)費(fèi)策略的引用則不能刪除。以上四個(gè)子模塊當(dāng)中，普通用戶(hù)只能訪問(wèn)計(jì)費(fèi)策略查詢(xún)模塊，其他模塊均為計(jì)費(fèi)系統(tǒng)的后臺(tái)操作，只有系統(tǒng)管理員可以對(duì)其他模塊的功能進(jìn)行使用。6. 虛擬機(jī)管理模塊支持虛擬機(jī)的創(chuàng)建、啟動(dòng)、停止、刪除等功能。該模塊可劃分成四個(gè)子模塊：（1）虛擬機(jī)創(chuàng)建模塊當(dāng)用戶(hù)登錄計(jì)費(fèi)系統(tǒng)并請(qǐng)求服務(wù)之后，虛擬機(jī)初次啟用的時(shí)候會(huì)調(diào)用此模塊，為用戶(hù)創(chuàng)建虛擬