【正文】 ,{NAME=39。colfam139。,TTL=39。1800039。}該命令在colfam1列族上設(shè)置TTL為18,000秒=5小時(shí)。colfam1里超過5小時(shí)的數(shù)據(jù)將會在下一次大合并時(shí)被刪除。 數(shù)據(jù)壓縮HFile可以被壓縮并存放在HDFS上。這有助于節(jié)省硬盤IO，但是讀寫數(shù)據(jù)時(shí)壓縮和解壓縮會抬高CPU利用率。壓縮是表定義的一部分，可以在建表或模式改變時(shí)設(shè)定。除非你確定不會從壓縮中受益，我們推薦你打開表的壓縮。只有在數(shù)據(jù)不能被壓縮或者因?yàn)槟撤N原因服務(wù)器的CPU利用率有限制要求的情況下，有可能會關(guān)閉壓縮特性。HBase可以使用多種壓縮編碼，包括LZO、Snappy和GZIP。LZO[1]和Snappy[2]是其中最流行的兩種。Snappy由Google在2011年發(fā)布，發(fā)布不久Hadoop和HBase項(xiàng)目開始提供支持。在此之前，選擇的是LZO編碼。Hadoop使用的LZO原生庫受GPLv2版權(quán)控制，不能放在Hadoop和Hbase的任何發(fā)行版里；它們必須單獨(dú)安裝。另一方面，Snappy擁有BSD許可（BSDlicensed），所以它更容易和Hadoop和HBase發(fā)行版捆綁在一起。LZO和Snappy的壓縮比例和壓縮/解壓縮速度差不多。當(dāng)建表時(shí)你可以在列族上打開壓縮，如下所示：hbase(main) create 39。mytable39。,{NAME=39。colfam139。,COMPRESSION=39。SNAPPY39。}注意數(shù)據(jù)只在硬盤上是壓縮的。在內(nèi)存里（MemStore或BlockCache）或網(wǎng)絡(luò)傳輸時(shí)是沒有壓縮的。改變壓縮編碼的做法不應(yīng)該經(jīng)常發(fā)生，但是如果你的確需要改變某個(gè)列族的壓縮編碼，直接做就可以。你需要更改表定義，設(shè)定新壓縮編碼。此后合并時(shí)，生成的HFile全部會采用新編碼壓縮。這個(gè)過程不需要創(chuàng)建新表和復(fù)制數(shù)據(jù)。但你要確保直到改變編碼后所有老HFile被合并后才能從集群中刪除老編碼函數(shù)庫。 數(shù)據(jù)分割在HBase中，數(shù)據(jù)在更新時(shí)首先寫入WAL 日志(HLog)和內(nèi)存(MemStore)中，MemStore中的數(shù)據(jù)是排序的，當(dāng)MemStore累計(jì)到一定閾值時(shí)，就會創(chuàng)建一個(gè)新的MemStore，并且將老的MemStore添加到flush隊(duì)列，由單獨(dú)的線程flush到磁盤上，成為一個(gè)StoreFile。于此同時(shí)， 系統(tǒng)會在zookeeper中記錄一個(gè)redo point，表示這個(gè)時(shí)刻之前的變更已經(jīng)持久化了(minor pact)。StoreFile是只讀的，一旦創(chuàng)建后就不可以再修改。因此Hbase的更新其實(shí)是不斷追加的操作。當(dāng)一個(gè)Store中的StoreFile達(dá)到一定的閾值后，就會進(jìn)行一次合并(major pact)，將對同一個(gè)key的修改合并到一起，形成一個(gè)大的StoreFile，當(dāng)StoreFile的大小達(dá)到一定閾值后，又會對 StoreFile進(jìn)行分割(split)，等分為兩個(gè)StoreFile。由于對表的更新是不斷追加的，處理讀請求時(shí)，需要訪問Store中全部的StoreFile和MemStore，將它們按照row key進(jìn)行合并，由于StoreFile和MemStore都是經(jīng)過排序的，并且StoreFile帶有內(nèi)存中索引，通常合并過程還是比較快的。實(shí)際應(yīng)用中，可以考慮必要時(shí)手動進(jìn)行major pact，將同一個(gè)row key的修改進(jìn)行合并形成一個(gè)大的StoreFile。同時(shí)，可以將StoreFile設(shè)置大些，減少split的發(fā)生。 單元時(shí)間版本HBase在默認(rèn)情況下每個(gè)單元維護(hù)三個(gè)時(shí)間版本。這個(gè)屬性是可以設(shè)置的。如果你只需要一個(gè)版本，推薦你在設(shè)置表時(shí)只維護(hù)一個(gè)版本。這樣系統(tǒng)就不會保留更新單元的多個(gè)時(shí)間版本。時(shí)間版本也是在列族級設(shè)置的，可以在表實(shí)例化時(shí)設(shè)定：hbase(main) create 39。mytable39。,{NAME=39。colfam139。, VERSIONS=1}你可以在同一個(gè)create語句里為列族指定多個(gè)屬性，如下所示：hbase(main) create 39。mytable39。,{NAME=39。colfam139。,VERSIONS=1,TTL=39。1800039。}你也可以指定列族存儲的最少時(shí)間版本數(shù)，如下所示：hbase(main) create 39。mytable39。,{NAME=39。colfam139。,VERSIONS=5,MIN_VERSIONS=39。139。}在列族上同時(shí)設(shè)定TTL也是遲早有用的。如果當(dāng)前存儲的所有時(shí)間版本都早于TTL，至少M(fèi)IN_VERSION個(gè)最新版本會保留下來。這樣確保在你的查詢以及數(shù)據(jù)早于TTL時(shí)有結(jié)果返回。 ColumnFamily列族設(shè)計(jì)列族是針對多個(gè)列的分組，分組的依據(jù)是不固定的。雖然理論上HBase一個(gè)表可以創(chuàng)建多個(gè)列族，但是HBase官方建議一個(gè)表不要創(chuàng)建多于一個(gè)的列族。經(jīng)過測試，單個(gè)列族的寫入和讀取效率要遠(yuǎn)遠(yuǎn)超過多個(gè)列族時(shí)的情況。在存儲時(shí)，一個(gè)列族會存儲成一個(gè)StoreFile，多個(gè)列族對應(yīng)的多個(gè)文件在分裂時(shí)會對服務(wù)器造成更大的壓力。所以建議，一個(gè)表創(chuàng)建一個(gè)列族。列族的名稱不宜過長，因?yàn)樵诖鎯r(shí)每列都會拼上列族名稱，過長的列族將會浪費(fèi)更多的存儲空間。刪除列族時(shí)，將同時(shí)刪除列族下的列及列值數(shù)據(jù)。創(chuàng)建表時(shí)，最少要創(chuàng)建一個(gè)列族。創(chuàng)建表后，可以添加多個(gè)列族。Version版本是針對列族而言的，如果一個(gè)表有多個(gè)列族，可以為每個(gè)列族設(shè)置不同的版本數(shù)量。譬如，允許列族A最多有5個(gè)版本，列族B最多有3個(gè)版本。 Qualifier列設(shè)計(jì)HBase與傳統(tǒng)的關(guān)系數(shù)據(jù)庫一個(gè)明顯的不同之處，就是創(chuàng)建表時(shí)不需要創(chuàng)建列，而是在寫入數(shù)據(jù)時(shí)動態(tài)地創(chuàng)建列。而且其中的空列并不真正占用存儲空間。列內(nèi)容被封裝成為KeyValue對象，從中可以獲取多個(gè)信息，如下所示：//行鍵String rowKey = (())。//列族String family = (())。//列名稱String qualifier = (())。//列值String value = (())。//版本號long timestamp = ()。 版本設(shè)計(jì)如果表的某個(gè)列族涉及到多版本的問題，則必須在創(chuàng)建列族時(shí)指定MaxVersions。雖然，HBase默認(rèn)的版本數(shù)是3，但是如果在創(chuàng)建表時(shí)沒有明確指定，則仍然只能保存一個(gè)版本，因?yàn)镠Base會認(rèn)為你不想啟用列族的多版本機(jī)制。可以在寫入數(shù)據(jù)時(shí)指定版本號，如果不指定版本號，則將采用默認(rèn)的版本號，即時(shí)間戳。讀取數(shù)據(jù)時(shí)，如果沒有指定版本號，將只讀取最新版本數(shù)據(jù)，而非最新版本號的數(shù)據(jù)。 HBase命名規(guī)范項(xiàng)目說明示例命名空間 采用英文單詞、阿拉伯?dāng)?shù)字的組合形式，其中，單詞必須大寫，并且首字符必須為英文字符，不能是數(shù)字。 不建議用連接符（下劃線）拼接多個(gè)單詞，簡單語義的可采用單個(gè)單詞，復(fù)雜語義的可采用多個(gè)單詞的首字母拼接。 長度盡量限制在4~8字符之間。 命名空間一般可與項(xiàng)目名稱、組織機(jī)構(gòu)名稱等保持一致。 根據(jù)項(xiàng)目名稱構(gòu)建命名空間：DLQX（電力氣象首字母拼接形式），簡短明了。 不建議過長的命名空間名稱，譬如不推薦采用以下形式：USER_INFO_MANAGE等。表名稱 采用英文單詞、阿拉伯?dāng)?shù)字、連接符（_）的組合形式，其中，單詞必須大寫，并且首字符必須為英文字符，不能是數(shù)字，可用連接符拼接多個(gè)單詞。 長度盡量限制在8~16字符之間。 盡量采用具有明確意義的英文單詞，而不建議采用漢字的拼音字母或者拼音首字母組合。 符合規(guī)范的表名稱：USER_INFO_MANAGE、WEATHER_DATA、T_ELECTRIC_GATHER等。列族名稱 采用英文單詞、阿拉伯?dāng)?shù)字的組合形式，其中，單詞必須大寫，并且首字符必須為英文字符，不能是數(shù)字。 長度盡量限制在1~6字符之間，過長的列族名稱將占用更多的存儲空間。 符合規(guī)范的列族名稱：DDDATA等。 不推薦的列族名稱：USER_INFO、D_1等。列名稱 采用英文單詞、阿拉伯?dāng)?shù)字、連接符（_）的組合形式，其中，單詞必須大寫，并且首字符必須為英文字符，不能是數(shù)字，可用連接符拼接多個(gè)單詞。 長度盡量限制在1~16字符之間。 盡量采用具有明確意義的英文單詞，而不建議采用漢字的拼音字母或者拼音首字母組合。 符合規(guī)范的列名稱：USER_ID、DATA_REMARK等。 不推薦的列名稱：UserID、1_DATA等。