【文章內(nèi)容簡(jiǎn)介】 r)globalStatus（通配）FileStatus[] globStatus(Path pathPattern)FileStatus[] globStatus(Path pathPattern, PathFilter filter)表 1通配符及其含義刪除數(shù)據(jù)boolean delete(Path f, boolean recursive) 只有recursive 為true時(shí)，非空目錄才能被刪除。創(chuàng)建文件并寫(xiě)入數(shù)據(jù)String localSrc =args[0]。String dest = args[1]。 InputStream in =new BufferedInputStream(new FileInputStream(localSrc))。Configuration conf =new Configuration()。 FileSystem fs = ((dest), conf)。 OutputStream out =(new Path(dest),new Progressable(){ @Override public void progress() { (.... )。 } })。 (in, out,4096,true)。獲取數(shù)據(jù)并輸出String uri=hdfs://mylinux:9000/data/exam/movie10m/。 Configuration conf=new Configuration()。 try { FileSystem fs = ((uri), conf)。 (().toString())。 InputStream in=null。 in = (new Path(uri))。 (in, , conf)。 } catch (IOException e) { // TODO Autogenerated catch block ()。 }99 FileSystem總結(jié)圖 1 FileSystem繼承體系FileSystem類(lèi)詳解序號(hào)類(lèi)變化描述1FilterFileSystem該類(lèi)主要是在其內(nèi)部定義了一個(gè)Filesystem屬性：protectedFileSystemfs。它是一個(gè)文件系統(tǒng)的實(shí)現(xiàn)類(lèi)，該文件系統(tǒng)包含了一些其他的Filesystem文件系統(tǒng)，并以這些Filesystem文件系統(tǒng)作為基本的文件系統(tǒng)，可能用來(lái)轉(zhuǎn)換數(shù)據(jù)或者提供附加功能。2RawLocalFileSystem增加了static final URI NAME = (file:///)。private Path workingDir。 workingDir在該類(lèi)的構(gòu)造方法中，通過(guò)獲取系統(tǒng)的屬性“”屬性初始化的：RawLocalFileSystem類(lèi)是實(shí)現(xiàn)了FileSystem的API的一個(gè)原生本地文件系統(tǒng)。該類(lèi)中包含了3個(gè)與文件讀寫(xiě)相關(guān)的內(nèi)部類(lèi)，分別為：TrackingFileInputStream類(lèi)通過(guò)繼承自基類(lèi)FileSystem類(lèi)的Statistics statistics屬性，來(lái)跟蹤文件系統(tǒng)中數(shù)據(jù)流動(dòng)。LocalFSFileInputStream類(lèi)包裝了一個(gè)FileInputStream流屬性，通過(guò)構(gòu)造方法構(gòu)造一個(gè)TrackingFileInputStream來(lái)完成輸入流的相關(guān)操作。LocalFSFileOutputStream類(lèi)包裝了一個(gè)FileOutputStream流屬性，以來(lái)FileOutputStream定義 的操作來(lái)實(shí)現(xiàn)對(duì)文件系統(tǒng)中的輸出流的操作。，使得該文件輸出流類(lèi)能夠?qū)崿F(xiàn)并 調(diào)用該接口定義的sync()方法，實(shí)現(xiàn)強(qiáng)制對(duì)基本設(shè)備的緩沖區(qū)執(zhí)行同步操作。還有一個(gè)內(nèi)部類(lèi)，是封裝文件信息的實(shí)體類(lèi)RawLocalFileStatus，實(shí)現(xiàn)了getGroup、setOwner與getOwner、 setPermission與getPermission、execCommand等方法，其中set前綴的方法設(shè)置對(duì)應(yīng)的信息都是通過(guò)執(zhí)行Shell命 令來(lái)實(shí)現(xiàn)的；而get前綴的方法獲取對(duì)應(yīng)的信息也是通過(guò)執(zhí)行Shell命令，并調(diào)用一個(gè)私有方法loadPermissionInfo加載必要的信息。另外，RawLocalFileSystem繼承實(shí)現(xiàn)了FileSystem抽象類(lèi)中基本的文件操作，例如文件創(chuàng)建、打開(kāi)、刪除等等。3ChecksumFileSystem這個(gè)基于校驗(yàn)和文件的文件系統(tǒng)，增加了如下兩個(gè)屬性：private static final byte[] CHECKSUM_VERSION = new byte[] {39。c39。, 39。r39。, 39。c39。, 0}。 private int bytesPerChecksum = 512。 private boolean verifyChecksum = true。bytesPerChecksum默認(rèn)值為512字節(jié)，；該類(lèi)是一個(gè)基于校驗(yàn)和的文件系統(tǒng)的抽象類(lèi)，它繼承自FilterFileSystem類(lèi)，它的特點(diǎn)就是在客戶端為每一個(gè)原生文件（raw file）創(chuàng)建一個(gè)校驗(yàn)和文件，擴(kuò)展名為“.crc”，用它可以校驗(yàn)原生文件的完整性4HarFileSystem private URI uri。 //the version of this har filesystem private int version。 // underlying uri private URI underLyingURI。 private Path archivePath。 // the masterIndex of the archive private Path masterIndex。 // the index file private Path archiveIndex。 // the har auth private String harAuth。HarFileSystem是Hadoop歸檔文件系統(tǒng)（Hadoop Archive Filesystem）的實(shí)現(xiàn)，該文件系統(tǒng)具有索引文件及其相關(guān)內(nèi)容。用來(lái)標(biāo)識(shí)歸檔文件系統(tǒng)的URI的形式如下所示： har://underlyingfsschemehost:port/archivepath 或者 har:///archivepath5LocalFileSystemstatic final URI NAME = (file:///)。 static private Random rand = new Random()。 FileSystem rfs。LocalFileSystem類(lèi)實(shí)現(xiàn)了FileSystem的API，它是一個(gè)基于校驗(yàn)和的本地文件系統(tǒng)。通過(guò)構(gòu)造方法可以看到，；該類(lèi)實(shí)現(xiàn)了ChecksumFileSystem類(lèi)中定義但未實(shí)現(xiàn)的，用于向文件系統(tǒng)報(bào)告校驗(yàn)和文件出錯(cuò)的方法，同時(shí)把出錯(cuò)的校驗(yàn)和文件重命名后，移動(dòng)到指定的目錄（bad_files）中，在該目錄中的文件是不能夠被重新使用的文件系統(tǒng)匯總property name/name value/value/propertyproperty name/name value/value/propertyproperty name/name value/value/propertyproperty name/name value/value descriptionThe FileSystem for kfs: uris./description/propertyproperty name/name value/value/propertyproperty name/name value/value/propertyproperty name/name value/value descriptionThe FileSystem for ftp: uris./description/propertyproperty name/name value/value descriptionThe FileSystem for ramfs: uris./description/propertyproperty name/name value/value descriptionThe filesystem for Hadoop archives. /description/propertyLocalFileSystemChecksumFileSystem 文件讀取過(guò)程/文件寫(xiě)入過(guò)程文件讀取過(guò)程文件寫(xiě)入過(guò)程圖 2HDFS詳解 Hadoop均衡器由于hadoop集群的機(jī)器磁盤(pán)容量大小不等，造成磁盤(pán)使用率不同，有的使用了10%，而有的已經(jīng)100%，這個(gè)對(duì)整個(gè)系統(tǒng)的運(yùn)行是有問(wèn)題的。暫時(shí)還沒(méi)有找到控制磁盤(pán)使用率的參數(shù)，可以通過(guò)hadoop命令行來(lái)手動(dòng)調(diào)節(jié)磁盤(pán)的使用情況。 hadoop balancer Threshold 20或者 sh $HADOOP_HOME/bin/ –t 20%參數(shù)20是比例參數(shù)，表示20%，也就是平各個(gè)DataNode直接磁盤(pán)使用率偏差在20%以內(nèi)。 Hadoop存檔 數(shù)據(jù)完整性 壓縮文件壓縮有兩大好處：減少磁盤(pán)存儲(chǔ)空間；加速數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸速率。圖 3壓縮繼承體系壓縮與輸入分片MapReduce中使用壓縮 序列化【優(yōu)點(diǎn)】Writable接口WritableComparable接口實(shí)現(xiàn)此接口的類(lèi)可用于排序比較。對(duì)于MapReduce框架來(lái)說(shuō)，中間階段有排序，如果MapReduce作業(yè)沒(méi)有設(shè)置SortComparatorClass；則MapReduce中KEY一定要實(shí)現(xiàn)此接口。RawComparator接口在MapTask的MapOutputBuffer中，其pare方法中可以看出每個(gè)參數(shù)的具體含義。 public int pare(int i, int j) { final int ii = kvoffsets[i % ]。 final int ij = kvoffsets[j % ]。 // sort by partition if (kvindices[ii + PARTITION] != kvindices[ij + PARTITION]) { return kvindices[ii + PARTITION] kvindices[ij + PARTITION]。 } // sort by key return (kvbuffer, kvindices[ii + KEYSTART], kvindices[ii + VALSTART] kvindices[ii + KEYSTART], kvbuffer, kvindices[ij + KEYSTART], kvindices[ij + VALSTART] kvindices[ij + KEYSTART])。 }WritableComparator提供兩個(gè)功能：216。 提供原始pare方法的默認(rèn)實(shí)現(xiàn)，能夠反序列化在流中的對(duì)象，并調(diào)用對(duì)象的pare方法：public int pare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) { try { (b1, s1, l1)。 // parse key1 (buffer)。 (b2, s2, l2)。 // parse key2 (buffer)。 } catch (IOException e) { throw new RuntimeException(e)。 } return pare(key1, key2)。 // pare them }public int pare(WritableComparable a, WritableComparable b) { return (b)。 }216。 作為RawComparator實(shí)例的工廠： define方法： public static synchronized void define(Class c, WritableComparator parator) { (c, parator)。 } get方法： public static synchronized WritableComparator get(Class? extends WritableComparable c) { WritableComparator parator