【正文】 ............. 11 2． 3 HADOOP MapReduce 編程模型 ................................................... 13 2． 3． 1 操作介紹 .............................................................................. 13 2． 4 本章小結(jié) ..................................................................................... 14 第三章 平臺(tái)的搭建與驗(yàn)證 ................................................................................ 15 3． 1 安裝 Ubuntu Linux 操作系統(tǒng) ................................................... 15 3． 2 安裝 jdk ...................................................................................... 15 3． 3 修改機(jī)器名 ................................................................................. 17 3． 4 安裝 ssh 服務(wù) ............................................................................. 17 3． 5 安裝 hadoop ................................................................................ 18 3． 6 在單機(jī)上運(yùn)行 hadoop ................................................................ 19 3． 7 在三臺(tái)電腦上部署 hadoop 集群 ............................................... 22 第四章 hadoop安全分析 ................................................................................... 25 4． 1 云安全技術(shù) ................................................................................. 25 4． 1． 1 可信訪問(wèn)控制 ....................................................................... 25 4． 1． 2 密文檢索與處理 .................................................................... 25 4． 1． 3 數(shù)據(jù)存在與可使用性證明 ...................................................... 26 4． 1． 4 數(shù)據(jù)隱私保護(hù) ....................................................................... 26 4． 1． 5 云資源訪問(wèn)控制 .................................................................... 27 4． 1． 6 可信云計(jì)算 ........................................................................... 27 4． 2 Hadoop 企業(yè)級(jí)應(yīng)用的弱點(diǎn)分析 ............................................... 28 4． 2． 1 Hadoop 系統(tǒng)單點(diǎn)設(shè)計(jì)瓶頸 .................................................... 28 4． 2． 2 作業(yè)調(diào)度方式單一 ............................................................... 28 4． 2． 3 異構(gòu)平臺(tái)兼容性 .................................................................. 29 第五章 hadoop安全協(xié)議 ................................................................................... 29 5． 1 RPC ............................................................................................... 29 5． 1． 1 工作原理 .............................................................................. 30 5． 1． 2 協(xié)議結(jié)構(gòu) .............................................................................. 30 5． 1． 3 Hadoop RPC機(jī)制及原理 ......................................................... 31 5． 2 Kerberos ..................................................................................... 34 北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 5． 2． 1 Kerberos 介紹 ....................................................................... 34 5． 2． 2 Kerberos協(xié)議結(jié)構(gòu) ................................................................ 35 5． 2． 3 Kerberos 的基本協(xié)定 ........................................................... 43 5． 2． 4 Kerberos 缺陷 ....................................................................... 44 5． 3 IPC ............................................................................................... 44 5． 3． 1 IPC 建立的過(guò)程 ..................................................................... 45 第六章 結(jié)束語(yǔ) ................................................................................... 45 附錄 I： 翻譯原文 ............................................................................................ 47 中文翻譯 ................................................................................................. 47 參考文獻(xiàn) ................................................................................................. 86 第一章 前言 1． 1 課題研究背景 分布式文件系統(tǒng)（ Distributed File System）指 的是 文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)與節(jié) 點(diǎn)相連。 關(guān)鍵詞： hadoop；文件系統(tǒng)；安全；云計(jì)算 北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） Abstract Hadoop Distributed File System is based on the principle of Google file system developed and implemented by the great concern of the IT industry, and has been widely used. The thesis aims to set up Hadoop multinode distributed storage platform and analyze its security mechanisms to be implemented on a separate puter. The thesis first introduces the research background knowledge of the subject, and detailed description of the study and the principle of the hadoop. According to the requrements of the experiment, the overall design of the platform, and its performance were verified, further security mechanisms. First the industry generally accepted user requirements and the architecture of the distributed file system model are introduced。并對(duì)其設(shè)計(jì)和應(yīng)用提出建議。 本畢業(yè)設(shè)計(jì)主要任務(wù)是 要在單獨(dú)的一臺(tái)計(jì)算機(jī)上實(shí)現(xiàn) Hadoop 多節(jié)點(diǎn)分布式存儲(chǔ)平臺(tái)并研究其安全機(jī)制。 18— 5。 26— 4。 10— 3。 預(yù)期結(jié)果 1。 5。 3。 研究步驟 1。 4。 2。北京 : 電子工業(yè)出版社 , 2020 （ 5）趙春燕．云環(huán)境下作業(yè)調(diào)度算法研究與實(shí)現(xiàn)． 北京交通大 學(xué)， 2020 （ 6）紀(jì)?。环N基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)． （ 7）李析，廖志恒．云計(jì)算的關(guān)鍵技術(shù)及發(fā)展現(xiàn)狀 [J]．九江職業(yè) 技術(shù)學(xué)院學(xué)報(bào)． 2020． 2 （ 8）云存儲(chǔ)技術(shù)研究．百度文庫(kù)． wenku。 但是，通過(guò)對(duì)比、分析也可以發(fā)現(xiàn)， HDFS在一些方面仍然有待完善，可以向傳統(tǒng)的分布式文件系統(tǒng)借鑒相關(guān)的方法和技術(shù)。 Had00p 的擴(kuò)展非常簡(jiǎn)單，不需要修 改任何已有的結(jié)構(gòu)。文件數(shù)據(jù)被劃為多個(gè)數(shù)據(jù)塊，有利于對(duì)其內(nèi)容進(jìn)行查找和定位，同時(shí)數(shù)據(jù)塊的多個(gè)拷貝能夠提高系統(tǒng)在文件級(jí)和數(shù)據(jù)塊級(jí)的可靠性；同時(shí)，分布在不同 Datanode 上的北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文）開(kāi)題報(bào)告 數(shù)據(jù)塊可以被并行訪問(wèn)，改善了訪問(wèn)性能。它們分布廣泛并互為備份．提高了系統(tǒng)在節(jié)點(diǎn)級(jí)的可靠性。 Namenode 對(duì)文件元數(shù)據(jù)進(jìn)行管理．能夠維護(hù)統(tǒng)一的文件名字空間供用戶訪問(wèn)以及從全局上對(duì)系統(tǒng)進(jìn)行控制．提高了系統(tǒng)的透明性和可擴(kuò)展性：同時(shí)。本文從模型分析的角度人入手．首先介紹在業(yè)界獲得普遍認(rèn)同的分布式文件系統(tǒng)的用戶需求和架構(gòu)模型．然后針對(duì) HDFS 的體系架構(gòu)進(jìn)行實(shí)現(xiàn)，最后將 HDFS與傳統(tǒng)的分布式文件系統(tǒng)進(jìn)行比較．總結(jié)了 HDFS 在云計(jì)算領(lǐng)域中應(yīng)用的優(yōu)勢(shì)及存在的安全 問(wèn)題。 北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文）開(kāi)題報(bào)告 Hadoop 分布式文件系統(tǒng) (Hadoop Distributed File System,HDFS)高可靠性和高可擴(kuò)展性的分布式文件系統(tǒng)．能夠提供海量的文件存儲(chǔ)能力。并為云計(jì)算背景下的分布式文件系統(tǒng)設(shè)計(jì)提供雨要的參考。北京 : 電子工業(yè)出版社 , 2020 北京交通大學(xué)畢業(yè)設(shè)計(jì)（任務(wù)書） 其他要說(shuō)明的問(wèn)題： 北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文）開(kāi)題報(bào)告 題 目： 基于 hadoop 的分布式文件系統(tǒng)的實(shí)現(xiàn)與驗(yàn) 證 學(xué)院： 計(jì)算機(jī) 專業(yè) : 信息安全 學(xué)生姓名： 學(xué)號(hào)： 文獻(xiàn)綜述： Hadoop分布式文件系統(tǒng)是遵循 Google文件系統(tǒng)原理進(jìn)行開(kāi)發(fā)和實(shí)現(xiàn)的，受到 IT業(yè)界極大關(guān)注，并已被