計算機(jī)科學(xué)與技術(shù)專業(yè)畢業(yè)論文麒麟天機(jī)存儲系統(tǒng)的負(fù)載均衡與副本一致性技術(shù)研究與實(shí)現(xiàn)(編輯修改稿)
2024-12-10 02:08 本頁面
【文章內(nèi)容簡介】 標(biāo)，將其作為服務(wù)器的性能指標(biāo)，進(jìn)行負(fù)載調(diào)度。在本系統(tǒng)中具體體現(xiàn)在根服務(wù)器在向客戶端返回符號鏈接目標(biāo)列表前根據(jù) 目標(biāo)服務(wù)器的當(dāng)前剩余負(fù)載指標(biāo)從大到小對列表進(jìn)行重新排序。 對于副本數(shù)據(jù)一致問題，本文的策略是：一、只允許在主副本上進(jìn)行更新，可以通過將所有具有更新權(quán)限的用戶定位到相同副本的方式來保證，這樣就解決了寫寫沖突造成的不一致性。二、對于讀寫沖突造成的不一致，本文采用主動推式更新傳播的策略，即主副本更新后會將更新主動推入其他的副本，使多個副本達(dá)到一致。 通過 bench對本文的改進(jìn)后的系統(tǒng)進(jìn)行測試，發(fā)現(xiàn)整個系統(tǒng)的吞吐率和對用戶的平均響應(yīng)時間都得到了很大幅度的提升。 麒麟天機(jī)安全存儲系統(tǒng)是由國防科學(xué)技術(shù)大學(xué) 計算機(jī)學(xué)院研制的基于銀河麒麟操作系統(tǒng)的安全存儲系統(tǒng)，數(shù)據(jù)集中加密存儲于服務(wù)器，由服務(wù)器操作系統(tǒng)實(shí)現(xiàn)內(nèi)核級的透明加解密，支持基于保險箱的文件加密與安全共享。 麒麟天機(jī)安全存儲系統(tǒng)目前采用單服務(wù)器的集中數(shù)據(jù)存儲方式，難以滿足大用戶量的數(shù)據(jù)訪問需求。因此，擬摸索一種系統(tǒng)擴(kuò)展方案。 麒麟天機(jī)安全存儲系統(tǒng)采用samba[1]作為數(shù)據(jù)輸出子系統(tǒng)，因此，本文認(rèn)為研究部署高性能 samba 分布式文件系統(tǒng)是系統(tǒng)擴(kuò)展的第一步。目前， samba 分布式文件系統(tǒng)由一個稱為根服務(wù)器的元數(shù)據(jù)服務(wù)器和很多后端存儲服務(wù)器組成，根服務(wù)器 向用戶提供統(tǒng)一的全局虛擬視圖，它以做符號鏈接的方式映射后端存儲服務(wù)器上的物理存儲資源，一個鏈接可以對應(yīng)多個鏈接目標(biāo)，每個目標(biāo)作為一個冗余副本?？蛻舳嗽L問文件系統(tǒng)時，根服務(wù)器向客戶端返回數(shù)據(jù)存儲服務(wù)器的符號鏈接目標(biāo)列表，客戶端根據(jù)獲得的列表，按順序訪問數(shù)據(jù)存儲服務(wù)器，直到數(shù)據(jù)訪問成功或者全部訪問失敗為止。因此，在大部分情況下，所有的訪問會集中到某個數(shù)據(jù)存儲服務(wù)器上，造成服務(wù)器之間的負(fù)載嚴(yán)重失衡。同時由于麒麟天機(jī)安全存儲系統(tǒng)為用戶提供透明加密存儲服務(wù)，數(shù)據(jù)的修改和更新是基本功能，就會造成分布式存儲系統(tǒng)上多個副本 問的數(shù)據(jù)不一致問題，而 samba 現(xiàn)有的機(jī)制并沒有保證這種多副本數(shù)據(jù)的一致性。論文的目的就是研究 samba 分布式文件系統(tǒng)的負(fù)載均衡和副本數(shù)據(jù)一致性問題。 對于負(fù)載均衡問題，本文提出一種基于后端服務(wù)器性能的負(fù)載均衡策略。該策略主要由兩個子策略組成，即后端負(fù)載反饋策略和前端負(fù)載調(diào)度策略。后端存儲服務(wù)器周期性地反饋負(fù)載指標(biāo)，該指標(biāo)用反饋周期內(nèi)服務(wù)器網(wǎng)卡平均每秒的流量表示。前端根服務(wù)器依據(jù)服務(wù)器的峰值負(fù)載指標(biāo)和動態(tài)反饋的當(dāng)前負(fù)載指標(biāo)計算出服務(wù)器當(dāng)前剩余負(fù)載指標(biāo)，將其作為服務(wù)器的性能指標(biāo)，進(jìn)行負(fù)載調(diào)度。在本系統(tǒng)中具 體體現(xiàn)在根服務(wù)器在向客戶端返回符號鏈接目標(biāo)列表前根據(jù)目標(biāo)服務(wù)器的當(dāng)前剩余負(fù)載指標(biāo)從大到小對列表進(jìn)行重新排序。 對于副本數(shù)據(jù)一致問題，本文的策略是：一、只允許在主副本上進(jìn)行更新，可以通過將所有具有更新權(quán)限的用戶定位到相同副本的方式來保證，這樣就解決了寫寫沖突造成的不一致性。二、對于讀寫沖突造成的不一致，本文采用主動推式更新傳播的策略，即主副本更新后會將更新主動推入其他的副本，使多個副本達(dá)到一致。 通過 bench對本文的改進(jìn)后的系統(tǒng)進(jìn)行測試，發(fā)現(xiàn)整個系統(tǒng)的吞吐率和對用戶的平均響應(yīng)時間都得到了很大幅 度的提升。 麒麟天機(jī)安全存儲系統(tǒng)是由國防科學(xué)技術(shù)大學(xué)計算機(jī)學(xué)院研制的基于銀河麒麟操作系統(tǒng)的安全存儲系統(tǒng)，數(shù)據(jù)集中加密存儲于服務(wù)器，由服務(wù)器操作系統(tǒng)實(shí)現(xiàn)內(nèi)核級的透明加解密，支持基于保險箱的文件加密與安全共享。 麒麟天機(jī)安全存儲系統(tǒng)目前采用單服務(wù)器的集中數(shù)據(jù)存儲方式，難以滿足大用戶量的數(shù)據(jù)訪問需求。因此，擬摸索一種系統(tǒng)擴(kuò)展方案。 麒麟天機(jī)安全存儲系統(tǒng)采用samba[1]作為數(shù)據(jù)輸出子系統(tǒng)，因此，本文認(rèn)為研究部署高性能 samba 分布式文件系統(tǒng)是系統(tǒng)擴(kuò)展的第一步。目前， samba 分布式文件系統(tǒng)由一個稱為根服 務(wù)器的元數(shù)據(jù)服務(wù)器和很多后端存儲服務(wù)器組成，根服務(wù)器向用戶提供統(tǒng)一的全局虛擬視圖，它以做符號鏈接的方式映射后端存儲服務(wù)器上的物理存儲資源，一個鏈接可以對應(yīng)多個鏈接目標(biāo)，每個目標(biāo)作為一個冗余副本。客戶端訪問文件系統(tǒng)時，根服務(wù)器向客戶端返回數(shù)據(jù)存儲服務(wù)器的符號鏈接目標(biāo)列表，客戶端根據(jù)獲得的列表，按順序訪問數(shù)據(jù)存儲服務(wù)器，直到數(shù)據(jù)訪問成功或者全部訪問失敗為止。因此，在大部分情況下，所有的訪問會集中到某個數(shù)據(jù)存儲服務(wù)器上，造成服務(wù)器之間的負(fù)載嚴(yán)重失衡。同時由于麒麟天機(jī)安全存儲系統(tǒng)為用戶提供透明加密存儲服務(wù)，數(shù)據(jù)的修 改和更新是基本功能，就會造成分布式存儲系統(tǒng)上多個副本問的數(shù)據(jù)不一致問題，而 samba 現(xiàn)有的機(jī)制并沒有保證這種多副本數(shù)據(jù)的一致性。論文的目的就是研究 samba 分布式文件系統(tǒng)的負(fù)載均衡和副本數(shù)據(jù)一致性問題。 對于負(fù)載均衡問題，本文提出一種基于后端服務(wù)器性能的負(fù)載均衡策略。該策略主要由兩個子策略組成，即后端負(fù)載反饋策略和前端負(fù)載調(diào)度策略。后端存儲服務(wù)器周期性地反饋負(fù)載指標(biāo)，該指標(biāo)用反饋周期內(nèi)服務(wù)器網(wǎng)卡平均每秒的流量表示。前端根服務(wù)器依據(jù)服務(wù)器的峰值負(fù)載指標(biāo)和動態(tài)反饋的當(dāng)前負(fù)載指標(biāo)計算出服務(wù)器當(dāng)前剩余負(fù)載指標(biāo)， 將其作為服務(wù)器的性能指標(biāo)，進(jìn)行負(fù)載調(diào)度。在本系統(tǒng)中具體體現(xiàn)在根服務(wù)器在向客戶端返回符號鏈接目標(biāo)列表前根據(jù)目標(biāo)服務(wù)器的當(dāng)前剩余負(fù)載指標(biāo)從大到小對列表進(jìn)行重新排序。 對于副本數(shù)據(jù)一致問題，本文的策略是：一、只允許在主副本上進(jìn)行更新，可以通過將所有具有更新權(quán)限的用戶定位到相同副本的方式來保證，這樣就解決了寫寫沖突造成的不一致性。二、對于讀寫沖突造成的不一致，本文采用主動推式更新傳播的策略，即主副本更新后會將更新主動推入其他的副本，使多個副本達(dá)到一致。 通過 bench對本文的改進(jìn)后的系統(tǒng)進(jìn)行測試，發(fā)現(xiàn) 整個系統(tǒng)的吞吐率和對用戶的平均響應(yīng)時間都得到了很大幅度的提升。 麒麟天機(jī)安全存儲系統(tǒng)是由國防科學(xué)技術(shù)大學(xué)計算機(jī)學(xué)院研制的基于銀河麒麟操作系統(tǒng)的安全存儲系統(tǒng)，數(shù)據(jù)集中加密存儲于服務(wù)器，由服務(wù)器操作系統(tǒng)實(shí)現(xiàn)內(nèi)核級的透明加解密，支持基于保險箱的文件加密與安全共享。 麒麟天機(jī)安全存儲系統(tǒng)目前采用單服務(wù)器的集中數(shù)據(jù)存儲方式，難以滿足大用戶量的數(shù)據(jù)訪問需求
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1