【文章內(nèi)容簡(jiǎn)介】 ....................................................................... 25 4． 1 云安全技術(shù) ................................................................................. 25 4． 1． 1 可信訪問控制 ....................................................................... 25 4． 1． 2 密文檢索與處理 .................................................................... 25 4． 1． 3 數(shù)據(jù)存在與可使用性證明 ...................................................... 26 4． 1． 4 數(shù)據(jù)隱私保護(hù) ....................................................................... 26 4． 1． 5 云資源訪問控制 .................................................................... 27 4． 1． 6 可信云計(jì)算 ........................................................................... 27 4． 2 Hadoop 企業(yè)級(jí)應(yīng)用的弱點(diǎn)分析 ............................................... 28 4． 2． 1 Hadoop 系統(tǒng)單點(diǎn)設(shè)計(jì)瓶頸 .................................................... 28 4． 2． 2 作業(yè)調(diào)度方式單一 ............................................................... 28 4． 2． 3 異構(gòu)平臺(tái)兼容性 .................................................................. 29 第五章 hadoop安全協(xié)議 ................................................................................... 29 5． 1 RPC ............................................................................................... 29 5． 1． 1 工作原理 .............................................................................. 30 5． 1． 2 協(xié)議結(jié)構(gòu) .............................................................................. 30 5． 1． 3 Hadoop RPC機(jī)制及原理 ......................................................... 31 5． 2 Kerberos ..................................................................................... 34 北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 5． 2． 1 Kerberos 介紹 ....................................................................... 34 5． 2． 2 Kerberos協(xié)議結(jié)構(gòu) ................................................................ 35 5． 2． 3 Kerberos 的基本協(xié)定 ........................................................... 43 5． 2． 4 Kerberos 缺陷 ....................................................................... 44 5． 3 IPC ............................................................................................... 44 5． 3． 1 IPC 建立的過程 ..................................................................... 45 第六章 結(jié)束語 ................................................................................... 45 附錄 I： 翻譯原文 ............................................................................................ 47 中文翻譯 ................................................................................................. 47 參考文獻(xiàn) ................................................................................................. 86 第一章 前言 1． 1 課題研究背景 分布式文件系統(tǒng)（ Distributed File System）指 的是 文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計(jì)算機(jī)網(wǎng)絡(luò)與節(jié) 點(diǎn)相連。分布式文件系統(tǒng)的設(shè)計(jì)基于客戶機(jī) /服務(wù)器模式。一個(gè)典型的網(wǎng)絡(luò)可能包括多個(gè)供多用戶訪問的服務(wù)器。另外，對(duì)等特性允許一些系統(tǒng)扮演客戶機(jī)和服務(wù)器的雙重角色。例如，用戶可以 “發(fā)表 ”一個(gè)允許其他客戶機(jī)訪問的目錄，一旦被訪問，這個(gè)目錄對(duì)客戶機(jī)來說就象使用本地驅(qū)動(dòng)器一樣，下面是三個(gè)基本的分布式文件系統(tǒng)。 1． 2 分布式文件系統(tǒng) 分類 1． 2． 1 GFS 系統(tǒng) 北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 在設(shè)計(jì)目標(biāo)上與其它的分布式文件系統(tǒng)相似，比如數(shù)據(jù)可靠性、系統(tǒng)可擴(kuò)展性、可用性、健壯性、可伸縮性等。但是它又不同于普通的文件系統(tǒng)，它完全針對(duì) Google公司需求 而設(shè)計(jì)的。 GFS是非開源分布式文件系統(tǒng)。Google的核心數(shù)據(jù)就是頁面索引。 GFS專門對(duì)頁面索引存儲(chǔ)進(jìn)行優(yōu)化。 GFS和普通分布式文件系統(tǒng)一樣都是采用廉價(jià)的計(jì)算機(jī)搭建文件系統(tǒng)集群。GFS和大多文件系統(tǒng)一樣都是采用單主機(jī)節(jié)點(diǎn)主從式架構(gòu)。它包含兩類節(jié)點(diǎn)，元數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)。用戶通過客戶端來訪問整個(gè)文件系統(tǒng)。對(duì)于文件存儲(chǔ)的處理，分布式文件系統(tǒng)大多將文件分割成數(shù)據(jù)塊然后分配給數(shù)據(jù)服務(wù)器存儲(chǔ)。 GFS也采用這種方式，不同的是 GFS中數(shù)據(jù)塊以 Linux文件形式存儲(chǔ)。并且 GFS根據(jù)設(shè)計(jì)目標(biāo)提供了很多相應(yīng)的策略來達(dá)到性能指標(biāo) ，包括數(shù)據(jù)塊副本備份、文件與數(shù)據(jù)塊的映射、以及被刪除文件的垃圾回收和系統(tǒng)中文件的負(fù)載均衡。之后的分布式文件系統(tǒng)也借鑒了 GFS的一些設(shè)計(jì)理念，比如 HDFS。 北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 1． 2． 2 藍(lán)鯨分布式文件系統(tǒng) 藍(lán)鯨分布式文件系統(tǒng)（ Blue Whale File System， BWFS） 是國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心承擔(dān)的國(guó)家 ―863‖重點(diǎn)支持課題研究成果得到的產(chǎn)物。企業(yè)需要處理大規(guī)模數(shù)據(jù)，并且需要有高性能的數(shù)據(jù)處理能力，這樣的需求就誕生了支持集群的 BWFS。集群的效果是明顯的，也是大勢(shì)所趨。利用大量計(jì)算機(jī)組成一個(gè)集群體系結(jié)構(gòu)，以此提供高性能計(jì)算能力 [10]。傳統(tǒng)的分布式文件系統(tǒng)比如 NFS、 CIFS等采用的是集中式存儲(chǔ)結(jié)構(gòu)，這種方式使得集群的低數(shù)據(jù) I/O能力與系統(tǒng)的高計(jì)算能力不匹配。數(shù)據(jù)傳輸在傳統(tǒng)分布式文件系統(tǒng)中存在瓶頸。中科藍(lán)鯨的研究人員通過自己的技術(shù)克服了這一瓶頸，采用集群技術(shù)，使用多個(gè)存儲(chǔ)設(shè)備組成集群，提高了數(shù)據(jù)傳輸效率。雖然 BWFS借鑒了國(guó)外一些技術(shù)，但主要有自己的創(chuàng)新。藍(lán)鯨文件系統(tǒng)采用了新型結(jié)構(gòu)，網(wǎng)絡(luò)可擴(kuò)展體系結(jié)構(gòu)。并且采用虛擬存儲(chǔ)技術(shù)將多個(gè) 存儲(chǔ)設(shè)備上的資源合并成統(tǒng)一的存儲(chǔ)空間，進(jìn)行高效數(shù)據(jù)管理。BWFS目前可以運(yùn)行在 Red Hat Linux 、其它廠商的 Linux、微軟 Windows 2020等操作系統(tǒng)中，向上千個(gè)客戶端提供并發(fā)文件訪問服務(wù)，提供 PB級(jí)的數(shù)據(jù)存儲(chǔ)容量， GB級(jí)的傳輸帶寬。 BWFS目前在石油勘探處理、信息檢索與處理、數(shù)字媒體、遙感、高能物理研究等領(lǐng)域有廣泛的應(yīng)用，為我國(guó)工業(yè)、國(guó)防、科技發(fā)展做了很大貢獻(xiàn)。并且 BWFS的后續(xù)系統(tǒng)也一直在研究中，相信我國(guó)自主開發(fā)的分布式系統(tǒng)能夠?yàn)閲?guó)家做更大貢獻(xiàn)。 1． 2． 3 FastDFS FastDFS 是一個(gè)類似 GFS 的開源分布式文件系統(tǒng)。它是由國(guó)人參與開發(fā)的，這個(gè)是除藍(lán)鯨文件系統(tǒng)外國(guó)內(nèi)比較有名的文件系統(tǒng)。 FastDFS 主要針對(duì)互聯(lián)網(wǎng)應(yīng)用，繼承了 GFS 的一些設(shè)計(jì)理念，包括數(shù)據(jù)備份，節(jié)點(diǎn)負(fù)載均衡。同時(shí) FastDFS 也有自己獨(dú)特之處。 FastDFS 相較于其它類 GFS 分布式文件系統(tǒng)，更加輕量級(jí)。它包含兩個(gè)角色， Tracker Server 和 Storage Server。 FastDFS 同樣采用 Tracker Server 作為中心節(jié)點(diǎn) [13]。中心節(jié)點(diǎn)的作用在于服務(wù)調(diào)度和負(fù)載均衡。而 Storage Server 和其它文件系統(tǒng)中的數(shù)據(jù)節(jié)點(diǎn)一樣具有數(shù)據(jù)存儲(chǔ)功能。一般分布式文件系統(tǒng)的中心節(jié)點(diǎn)需要記錄很多信息，占用很多內(nèi)存。這種系統(tǒng)的中心節(jié)點(diǎn)會(huì)成為系統(tǒng)的瓶頸，而國(guó)人在設(shè)計(jì) FastDFS 的時(shí)候，注重它的輕量級(jí)特點(diǎn)，內(nèi)存占用少。另外FastDFS在數(shù)據(jù)存儲(chǔ)上的設(shè)計(jì)也比較有特點(diǎn)。它采用一種分組存儲(chǔ)的方式。多臺(tái)機(jī)器可以組成一個(gè)組，而一個(gè)活多個(gè)組組成一個(gè)集群。用戶可以指定數(shù)據(jù)上傳到哪個(gè)組，這樣用戶其實(shí)可以動(dòng)態(tài)緩解一些訪問壓力大的分 組。另外這種分組策略能夠方便的擴(kuò)充存儲(chǔ)能力，包括組內(nèi)添加機(jī)器的總想擴(kuò)容和添加新組的橫向擴(kuò)容。 FastDFS 的結(jié)構(gòu)也不太同于普通文件系統(tǒng)，它北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 可以擁有多個(gè)中心節(jié)點(diǎn)，它們之間是對(duì)等關(guān)系。 FastDFS 不只在分布式文件系統(tǒng)的發(fā)展上作出貢獻(xiàn)，同樣在開源方面也有很大貢獻(xiàn)。 另外近幾年國(guó)內(nèi)外對(duì) Hadoop 的熱捧，使得對(duì) HDFS 的關(guān)注更加多了。HDFS 作為 Hadoop 數(shù)據(jù)存儲(chǔ)的核心。 Hadoop 項(xiàng)目由 Yahoo 發(fā)起并推動(dòng)，最后成為 Apache 下的子項(xiàng)目。在 Yahoo，有最大的 Hadoop 集群，集群中有 4000多個(gè)節(jié)點(diǎn)， 70PB的數(shù)據(jù)量，并且每天 10TB的數(shù)據(jù)量增長(zhǎng)。 Facebook作為國(guó)外知名社交網(wǎng)絡(luò)運(yùn)行著世界第二大 Hadoop 集群系統(tǒng)。而國(guó)內(nèi)很多公司也逐漸研究和使用 Hadoop。例如百度、阿里、騰訊、華為等。特別是華為在 Hadoop 上的貢獻(xiàn)比較多。這些公司都將 Hadoop 作為公司未來數(shù)據(jù)存儲(chǔ)處理的一個(gè)解決方案，不遺余力地宣傳推廣 Hadoop[1]。 總的來說，分布式文件系統(tǒng)的發(fā)展在國(guó)內(nèi)外都是很迅速，并且也是一個(gè)長(zhǎng)期研究的課題，特別是對(duì) Hadoop 的研究應(yīng)該是未來幾年的重點(diǎn)。 1． 3 課題研究目標(biāo)和本文的主要工作 本文通過 使用 HADOOP 平臺(tái)，對(duì) hadoop 平臺(tái)進(jìn)行了實(shí)現(xiàn)并研究了其安全機(jī)制。這包括： (1) 對(duì) HADOOP 平臺(tái)下的 HDFS（分布式文件系統(tǒng)）和 MapReduce 的核心架 構(gòu)、技術(shù)以及相關(guān)的機(jī)制進(jìn)行了分析和研究，這為分析其安全機(jī)制打好了基礎(chǔ)。 (2) 對(duì)安全機(jī)制進(jìn)行了綜合的討論，對(duì)數(shù)據(jù)挖掘流程進(jìn)行梳理。 (3) 在上面的基礎(chǔ)上提出了安全策略。 (4) 搭建完成基于 hadoop 的分布式文件系統(tǒng)并驗(yàn)證其性能，MapReduce 的編程模式，采用相應(yīng)的并行策略將其移植到 HADOOP 平臺(tái)進(jìn)行分布式計(jì)算。本文給出了 算法的詳細(xì)過程。 （ 5）從理論上分析了 hadoop 的安全問題并提出解決策略。 1． 4 論文組織結(jié)構(gòu) 第一章闡述了課題的背景及意義。介紹了分布式文件系統(tǒng)。 提出了本文研究的主要內(nèi)容。 第二章詳細(xì)介紹了 HADOOP 框架的核心技術(shù)架構(gòu)，對(duì) HDFS 和MapReduce 的相關(guān)特性，機(jī)制進(jìn)行了深入的討論。 第三章描述了平臺(tái)的實(shí)現(xiàn)過程并驗(yàn)證其有效性。 第四章描述了 HADOOP 的安全問題。 第五章提出了 hadoop 自身的安全機(jī)制并提出新的安全機(jī)制。 北京交通大學(xué)畢