【文章內容簡介】 r)globalStatus（通配）FileStatus[] globStatus(Path pathPattern)FileStatus[] globStatus(Path pathPattern, PathFilter filter)表 1通配符及其含義刪除數據boolean delete(Path f, boolean recursive) 只有recursive 為true時，非空目錄才能被刪除。創(chuàng)建文件并寫入數據String localSrc =args[0]。String dest = args[1]。 InputStream in =new BufferedInputStream(new FileInputStream(localSrc))。Configuration conf =new Configuration()。 FileSystem fs = ((dest), conf)。 OutputStream out =(new Path(dest),new Progressable(){ @Override public void progress() { (.... )。 } })。 (in, out,4096,true)。獲取數據并輸出String uri=hdfs://mylinux:9000/data/exam/movie10m/。 Configuration conf=new Configuration()。 try { FileSystem fs = ((uri), conf)。 (().toString())。 InputStream in=null。 in = (new Path(uri))。 (in, , conf)。 } catch (IOException e) { // TODO Autogenerated catch block ()。 }99 FileSystem總結圖 1 FileSystem繼承體系FileSystem類詳解序號類變化描述1FilterFileSystem該類主要是在其內部定義了一個Filesystem屬性：protectedFileSystemfs。它是一個文件系統(tǒng)的實現類，該文件系統(tǒng)包含了一些其他的Filesystem文件系統(tǒng)，并以這些Filesystem文件系統(tǒng)作為基本的文件系統(tǒng)，可能用來轉換數據或者提供附加功能。2RawLocalFileSystem增加了static final URI NAME = (file:///)。private Path workingDir。 workingDir在該類的構造方法中，通過獲取系統(tǒng)的屬性“”屬性初始化的：RawLocalFileSystem類是實現了FileSystem的API的一個原生本地文件系統(tǒng)。該類中包含了3個與文件讀寫相關的內部類，分別為：TrackingFileInputStream類通過繼承自基類FileSystem類的Statistics statistics屬性，來跟蹤文件系統(tǒng)中數據流動。LocalFSFileInputStream類包裝了一個FileInputStream流屬性，通過構造方法構造一個TrackingFileInputStream來完成輸入流的相關操作。LocalFSFileOutputStream類包裝了一個FileOutputStream流屬性，以來FileOutputStream定義 的操作來實現對文件系統(tǒng)中的輸出流的操作。，使得該文件輸出流類能夠實現并 調用該接口定義的sync()方法，實現強制對基本設備的緩沖區(qū)執(zhí)行同步操作。還有一個內部類，是封裝文件信息的實體類RawLocalFileStatus，實現了getGroup、setOwner與getOwner、 setPermission與getPermission、execCommand等方法，其中set前綴的方法設置對應的信息都是通過執(zhí)行Shell命 令來實現的；而get前綴的方法獲取對應的信息也是通過執(zhí)行Shell命令，并調用一個私有方法loadPermissionInfo加載必要的信息。另外，RawLocalFileSystem繼承實現了FileSystem抽象類中基本的文件操作，例如文件創(chuàng)建、打開、刪除等等。3ChecksumFileSystem這個基于校驗和文件的文件系統(tǒng)，增加了如下兩個屬性：private static final byte[] CHECKSUM_VERSION = new byte[] {39。c39。, 39。r39。, 39。c39。, 0}。 private int bytesPerChecksum = 512。 private boolean verifyChecksum = true。bytesPerChecksum默認值為512字節(jié)，；該類是一個基于校驗和的文件系統(tǒng)的抽象類，它繼承自FilterFileSystem類，它的特點就是在客戶端為每一個原生文件（raw file）創(chuàng)建一個校驗和文件，擴展名為“.crc”，用它可以校驗原生文件的完整性4HarFileSystem private URI uri。 //the version of this har filesystem private int version。 // underlying uri private URI underLyingURI。 private Path archivePath。 // the masterIndex of the archive private Path masterIndex。 // the index file private Path archiveIndex。 // the har auth private String harAuth。HarFileSystem是Hadoop歸檔文件系統(tǒng)（Hadoop Archive Filesystem）的實現，該文件系統(tǒng)具有索引文件及其相關內容。用來標識歸檔文件系統(tǒng)的URI的形式如下所示： har://underlyingfsschemehost:port/archivepath 或者 har:///archivepath5LocalFileSystemstatic final URI NAME = (file:///)。 static private Random rand = new Random()。 FileSystem rfs。LocalFileSystem類實現了FileSystem的API，它是一個基于校驗和的本地文件系統(tǒng)。通過構造方法可以看到，；該類實現了ChecksumFileSystem類中定義但未實現的，用于向文件系統(tǒng)報告校驗和文件出錯的方法，同時把出錯的校驗和文件重命名后，移動到指定的目錄（bad_files）中，在該目錄中的文件是不能夠被重新使用的文件系統(tǒng)匯總property name/name value/value/propertyproperty name/name value/value/propertyproperty name/name value/value/propertyproperty name/name value/value descriptionThe FileSystem for kfs: uris./description/propertyproperty name/name value/value/propertyproperty name/name value/value/propertyproperty name/name value/value descriptionThe FileSystem for ftp: uris./description/propertyproperty name/name value/value descriptionThe FileSystem for ramfs: uris./description/propertyproperty name/name value/value descriptionThe filesystem for Hadoop archives. /description/propertyLocalFileSystemChecksumFileSystem 文件讀取過程/文件寫入過程文件讀取過程文件寫入過程圖 2HDFS詳解 Hadoop均衡器由于hadoop集群的機器磁盤容量大小不等，造成磁盤使用率不同，有的使用了10%，而有的已經100%，這個對整個系統(tǒng)的運行是有問題的。暫時還沒有找到控制磁盤使用率的參數，可以通過hadoop命令行來手動調節(jié)磁盤的使用情況。 hadoop balancer Threshold 20或者 sh $HADOOP_HOME/bin/ –t 20%參數20是比例參數，表示20%，也就是平各個DataNode直接磁盤使用率偏差在20%以內。 Hadoop存檔 數據完整性 壓縮文件壓縮有兩大好處：減少磁盤存儲空間；加速數據在網絡中的傳輸速率。圖 3壓縮繼承體系壓縮與輸入分片MapReduce中使用壓縮 序列化【優(yōu)點】Writable接口WritableComparable接口實現此接口的類可用于排序比較。對于MapReduce框架來說，中間階段有排序，如果MapReduce作業(yè)沒有設置SortComparatorClass；則MapReduce中KEY一定要實現此接口。RawComparator接口在MapTask的MapOutputBuffer中，其pare方法中可以看出每個參數的具體含義。 public int pare(int i, int j) { final int ii = kvoffsets[i % ]。 final int ij = kvoffsets[j % ]。 // sort by partition if (kvindices[ii + PARTITION] != kvindices[ij + PARTITION]) { return kvindices[ii + PARTITION] kvindices[ij + PARTITION]。 } // sort by key return (kvbuffer, kvindices[ii + KEYSTART], kvindices[ii + VALSTART] kvindices[ii + KEYSTART], kvbuffer, kvindices[ij + KEYSTART], kvindices[ij + VALSTART] kvindices[ij + KEYSTART])。 }WritableComparator提供兩個功能：216。 提供原始pare方法的默認實現，能夠反序列化在流中的對象，并調用對象的pare方法：public int pare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) { try { (b1, s1, l1)。 // parse key1 (buffer)。 (b2, s2, l2)。 // parse key2 (buffer)。 } catch (IOException e) { throw new RuntimeException(e)。 } return pare(key1, key2)。 // pare them }public int pare(WritableComparable a, WritableComparable b) { return (b)。 }216。 作為RawComparator實例的工廠： define方法： public static synchronized void define(Class c, WritableComparator parator) { (c, parator)。 } get方法： public static synchronized WritableComparator get(Class? extends WritableComparable c) { WritableComparator parator