【文章內(nèi)容簡介】 r)globalStatus（通配）FileStatus[] globStatus(Path pathPattern)FileStatus[] globStatus(Path pathPattern, PathFilter filter)表 1通配符及其含義刪除數(shù)據(jù)boolean delete(Path f, boolean recursive) 只有recursive 為true時，非空目錄才能被刪除。創(chuàng)建文件并寫入數(shù)據(jù)String localSrc =args[0]。String dest = args[1]。 InputStream in =new BufferedInputStream(new FileInputStream(localSrc))。Configuration conf =new Configuration()。 FileSystem fs = ((dest), conf)。 OutputStream out =(new Path(dest),new Progressable(){ @Override public void progress() { (.... )。 } })。 (in, out,4096,true)。獲取數(shù)據(jù)并輸出String uri=hdfs://mylinux:9000/data/exam/movie10m/。 Configuration conf=new Configuration()。 try { FileSystem fs = ((uri), conf)。 (().toString())。 InputStream in=null。 in = (new Path(uri))。 (in, , conf)。 } catch (IOException e) { // TODO Autogenerated catch block ()。 }99 FileSystem總結(jié)圖 1 FileSystem繼承體系FileSystem類詳解序號類變化描述1FilterFileSystem該類主要是在其內(nèi)部定義了一個Filesystem屬性：protectedFileSystemfs。它是一個文件系統(tǒng)的實(shí)現(xiàn)類，該文件系統(tǒng)包含了一些其他的Filesystem文件系統(tǒng)，并以這些Filesystem文件系統(tǒng)作為基本的文件系統(tǒng)，可能用來轉(zhuǎn)換數(shù)據(jù)或者提供附加功能。2RawLocalFileSystem增加了static final URI NAME = (file:///)。private Path workingDir。 workingDir在該類的構(gòu)造方法中，通過獲取系統(tǒng)的屬性“”屬性初始化的：RawLocalFileSystem類是實(shí)現(xiàn)了FileSystem的API的一個原生本地文件系統(tǒng)。該類中包含了3個與文件讀寫相關(guān)的內(nèi)部類，分別為：TrackingFileInputStream類通過繼承自基類FileSystem類的Statistics statistics屬性，來跟蹤文件系統(tǒng)中數(shù)據(jù)流動。LocalFSFileInputStream類包裝了一個FileInputStream流屬性，通過構(gòu)造方法構(gòu)造一個TrackingFileInputStream來完成輸入流的相關(guān)操作。LocalFSFileOutputStream類包裝了一個FileOutputStream流屬性，以來FileOutputStream定義 的操作來實(shí)現(xiàn)對文件系統(tǒng)中的輸出流的操作。，使得該文件輸出流類能夠?qū)崿F(xiàn)并 調(diào)用該接口定義的sync()方法，實(shí)現(xiàn)強(qiáng)制對基本設(shè)備的緩沖區(qū)執(zhí)行同步操作。還有一個內(nèi)部類，是封裝文件信息的實(shí)體類RawLocalFileStatus，實(shí)現(xiàn)了getGroup、setOwner與getOwner、 setPermission與getPermission、execCommand等方法，其中set前綴的方法設(shè)置對應(yīng)的信息都是通過執(zhí)行Shell命 令來實(shí)現(xiàn)的；而get前綴的方法獲取對應(yīng)的信息也是通過執(zhí)行Shell命令，并調(diào)用一個私有方法loadPermissionInfo加載必要的信息。另外，RawLocalFileSystem繼承實(shí)現(xiàn)了FileSystem抽象類中基本的文件操作，例如文件創(chuàng)建、打開、刪除等等。3ChecksumFileSystem這個基于校驗(yàn)和文件的文件系統(tǒng)，增加了如下兩個屬性：private static final byte[] CHECKSUM_VERSION = new byte[] {39。c39。, 39。r39。, 39。c39。, 0}。 private int bytesPerChecksum = 512。 private boolean verifyChecksum = true。bytesPerChecksum默認(rèn)值為512字節(jié)，；該類是一個基于校驗(yàn)和的文件系統(tǒng)的抽象類，它繼承自FilterFileSystem類，它的特點(diǎn)就是在客戶端為每一個原生文件（raw file）創(chuàng)建一個校驗(yàn)和文件，擴(kuò)展名為“.crc”，用它可以校驗(yàn)原生文件的完整性4HarFileSystem private URI uri。 //the version of this har filesystem private int version。 // underlying uri private URI underLyingURI。 private Path archivePath。 // the masterIndex of the archive private Path masterIndex。 // the index file private Path archiveIndex。 // the har auth private String harAuth。HarFileSystem是Hadoop歸檔文件系統(tǒng)（Hadoop Archive Filesystem）的實(shí)現(xiàn)，該文件系統(tǒng)具有索引文件及其相關(guān)內(nèi)容。用來標(biāo)識歸檔文件系統(tǒng)的URI的形式如下所示： har://underlyingfsschemehost:port/archivepath 或者 har:///archivepath5LocalFileSystemstatic final URI NAME = (file:///)。 static private Random rand = new Random()。 FileSystem rfs。LocalFileSystem類實(shí)現(xiàn)了FileSystem的API，它是一個基于校驗(yàn)和的本地文件系統(tǒng)。通過構(gòu)造方法可以看到，；該類實(shí)現(xiàn)了ChecksumFileSystem類中定義但未實(shí)現(xiàn)的，用于向文件系統(tǒng)報告校驗(yàn)和文件出錯的方法，同時把出錯的校驗(yàn)和文件重命名后，移動到指定的目錄（bad_files）中，在該目錄中的文件是不能夠被重新使用的文件系統(tǒng)匯總property name/name value/value/propertyproperty name/name value/value/propertyproperty name/name value/value/propertyproperty name/name value/value descriptionThe FileSystem for kfs: uris./description/propertyproperty name/name value/value/propertyproperty name/name value/value/propertyproperty name/name value/value descriptionThe FileSystem for ftp: uris./description/propertyproperty name/name value/value descriptionThe FileSystem for ramfs: uris./description/propertyproperty name/name value/value descriptionThe filesystem for Hadoop archives. /description/propertyLocalFileSystemChecksumFileSystem 文件讀取過程/文件寫入過程文件讀取過程文件寫入過程圖 2HDFS詳解 Hadoop均衡器由于hadoop集群的機(jī)器磁盤容量大小不等，造成磁盤使用率不同，有的使用了10%，而有的已經(jīng)100%，這個對整個系統(tǒng)的運(yùn)行是有問題的。暫時還沒有找到控制磁盤使用率的參數(shù)，可以通過hadoop命令行來手動調(diào)節(jié)磁盤的使用情況。 hadoop balancer Threshold 20或者 sh $HADOOP_HOME/bin/ –t 20%參數(shù)20是比例參數(shù)，表示20%，也就是平各個DataNode直接磁盤使用率偏差在20%以內(nèi)。 Hadoop存檔 數(shù)據(jù)完整性 壓縮文件壓縮有兩大好處：減少磁盤存儲空間；加速數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸速率。圖 3壓縮繼承體系壓縮與輸入分片MapReduce中使用壓縮 序列化【優(yōu)點(diǎn)】Writable接口WritableComparable接口實(shí)現(xiàn)此接口的類可用于排序比較。對于MapReduce框架來說，中間階段有排序，如果MapReduce作業(yè)沒有設(shè)置SortComparatorClass；則MapReduce中KEY一定要實(shí)現(xiàn)此接口。RawComparator接口在MapTask的MapOutputBuffer中，其pare方法中可以看出每個參數(shù)的具體含義。 public int pare(int i, int j) { final int ii = kvoffsets[i % ]。 final int ij = kvoffsets[j % ]。 // sort by partition if (kvindices[ii + PARTITION] != kvindices[ij + PARTITION]) { return kvindices[ii + PARTITION] kvindices[ij + PARTITION]。 } // sort by key return (kvbuffer, kvindices[ii + KEYSTART], kvindices[ii + VALSTART] kvindices[ii + KEYSTART], kvbuffer, kvindices[ij + KEYSTART], kvindices[ij + VALSTART] kvindices[ij + KEYSTART])。 }WritableComparator提供兩個功能：216。 提供原始pare方法的默認(rèn)實(shí)現(xiàn)，能夠反序列化在流中的對象，并調(diào)用對象的pare方法：public int pare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) { try { (b1, s1, l1)。 // parse key1 (buffer)。 (b2, s2, l2)。 // parse key2 (buffer)。 } catch (IOException e) { throw new RuntimeException(e)。 } return pare(key1, key2)。 // pare them }public int pare(WritableComparable a, WritableComparable b) { return (b)。 }216。 作為RawComparator實(shí)例的工廠： define方法： public static synchronized void define(Class c, WritableComparator parator) { (c, parator)。 } get方法： public static synchronized WritableComparator get(Class? extends WritableComparable c) { WritableComparator parator