【正文】 4)、適應(yīng)高強(qiáng)度的動(dòng)態(tài)負(fù)載模式。 3)、高效的數(shù)據(jù)存儲(chǔ)空間利用率； 2)、數(shù)據(jù)查詢處理要快； 1)、數(shù)據(jù)加載數(shù)據(jù)要快；在Hadoop運(yùn)行環(huán)境中，數(shù)據(jù)的存儲(chǔ)格式要滿足以下幾個(gè)特點(diǎn)：NONE,RECORDORShouldshouldtothe Sequence Files有三個(gè)不同的壓縮選項(xiàng)：NOE,RECORD和BLOCK。AS1. CREATEvalue/value3. 1. property5. /propertyconfigarecodectable)fileoutpuscontrolsvariablesdeterminedandarebetweencontrols5. /propertyconfigarecodecjobHivefilesdescriptionThis4. name/name2. ，默認(rèn)情況下該值值為false，將之設(shè)置為true為激活中間數(shù)據(jù)壓縮功能：Java代碼打開(kāi)Hive(即由mappe產(chǎn)生的)中間數(shù)據(jù)文件的壓縮功能 在選擇解壓縮算法時(shí)，另外一個(gè)比較重要的考慮就是壓縮格式是否是支持可分割的。Snappy壓縮在最近的Hive版本中才被添加的壓縮算法，如果您使用的是Hive不支持Snappy的話，用戶就要手動(dòng)添加。選擇合適的編解碼器對(duì)數(shù)據(jù)做壓縮，可以大量減少磁盤(pán)的存儲(chǔ)空間，比如基于文本的數(shù)據(jù)文件，可以將文件壓縮40%或更多，同時(shí)壓縮后的文件在磁盤(pán)間傳輸和I/O也會(huì)大大減少；當(dāng)然壓縮和解壓縮也會(huì)帶來(lái)額外的CPU開(kāi)銷，但是卻可以節(jié)省更多的I/O和使用更少的內(nèi)存開(kāi)銷。TABLEIF 在刪除一個(gè)索引的時(shí)候，也會(huì)同時(shí)刪除索引數(shù)據(jù)所在的表，如：Java代碼刪除索引ONINDEX 用戶可以查看某個(gè)表上的所有的索引：Java代碼查看索引3. REBUILD。39。employees_index我們?cè)谌魏螘r(shí)候使用ALTER INDEX語(yǔ)句來(lái)創(chuàng)建或重建索引：Java代碼by8. COMMENT7. PARTITIONED6. IN39。,39。3. ASTABLEINDEXBitmap位圖索引通常適用于只有少數(shù)不同值的列創(chuàng)建索引。 當(dāng)然也可以對(duì)其他字段創(chuàng)建索引。PARTITIONED BY表明只對(duì)某個(gè)分區(qū)創(chuàng)建索引，若沒(méi)有該選項(xiàng)則表示對(duì)所有分區(qū)都創(chuàng)建索引，另外要注意的是index的分區(qū)索引默認(rèn)是和表的分區(qū)一致的，也不能對(duì)視圖VIEW創(chuàng)建索引。=employeesINDEXby8. COMMENT7. PARTITIONED6. IN39。,39。3. ASTABLEINDEXBYSTRUCTstreet:STRING,city:STRING,state:STRING,zip:INTaddressMAPSTRING,FLOAT,subordinatesFLOAT,name（ 用戶必須要權(quán)衡從索引得到的好處和代價(jià)。但是，索引被設(shè)計(jì)為可使用內(nèi)置的可插拔的java代碼來(lái)定制，用戶可以擴(kuò)展這個(gè)功能來(lái)滿足自己的需求。ASCl2ASSELECTALLlog11. SELECTnumbersflat1. hive Hive中的桶下標(biāo)是從1開(kāi)始的。2TABLESAMPLE(BUCKETSELECTFROMAS1. SELECTFLOAT)1. SELECT 使用DISTRIBUTE BY和CLUSTER BY都可以起到對(duì)Reducers的輸出做并行排倒序。2. FROM1. hive 在上個(gè)使用DISTRIBUTE BY的示例中，由DISTRIBUTE ，然后又SORT 。CLUSTER BYASC。SORTBYs,但是在默寫(xiě)情況下，用戶可能需要有自己來(lái)決定按某一個(gè)字段來(lái)將數(shù)據(jù)分發(fā)到Reducers，如下所示：Java代碼BYstocksDESC。2. ORDERFROMJava代碼SET=true。39。ANDONs,1. SELECT==dividend2. FROMSTREAMTABLE(s) 幸運(yùn)的是，用戶不用必須把要流式(stream)處理的表放在JION的右邊，Hive提供了一個(gè)“hint”機(jī)制來(lái)告訴查詢優(yōu)化器那個(gè)表中的數(shù)據(jù)需要被流式(stream)處理：Java代碼=sdividend1. SELECT LEFT SEMI JOIN 的限制是，JOIN子句中右邊的表只能在ON子句中設(shè)置過(guò)濾條件，在 WHERE 子句、SELECT 子句或其他地方過(guò)濾都不行。ANDONSEMIFROM, LEFT SEMIJION和MySQL方言中的IN... EXISTS...結(jié)構(gòu)做同樣的事情：Java代碼LEFT SEMIJIONWHERE)year(ymd)AAPL39。AND=FROMASSELECT9. ...8. 20007. 19926. 19915. 1987avg(price_close)year(ymd)=NASDAQ39。WHEREFROM7. ...6. 19865. 19854. 1984BYsymbol39。2. year(ymd),avg(price_close) 示例如下：Java代碼LOCATIONTERMINATEDROWFLOAT)10. 6. 3. EXISTSEXTENALRLIKESELECTname,Chicago3. Todd1Doe%Ave.39。WHERESELECTLIKE和RLIKEdeductions[39。employeesname,salary,deductions[39。 那么如何來(lái)避免這個(gè)陷阱呢？：Java代碼Finance5. BossDoedeductions[39。2. Federaldeductions[Federalsalary3. Taxes]1. hive8. are:namessalary_minus_fed_taxes39。tableanalysis:5. deductions[Federalsalary2. SELECT那么，對(duì)salary * (1 deductions[Federal Taxes])使用別名能否消除這種沖突呢？，不幸的是這是無(wú)效的：Java代碼Taxes]))*(1name,salary,deductions[FederalSELECT決定返回哪些數(shù)據(jù)列，而WHERE決定返回那些符合條件的數(shù)據(jù)：Java代碼Stcy14. highBoss12. KingJonesSmithhighJohn8. END39。THENANDWHENlow39。3. SELECT9. ASASFROM(800004. 2. upper(name),salary,deductions[FederalJava代碼給列奇別名4. FROMTaxes]))*Taxes],SELECT=true。 要在HiveQL查詢中使用聚合函數(shù)，舉例如下：Java代碼聚合函數(shù)7. BILL64000SMITHDOEemployees。(11. hive1. hiveObscuriaParkChicagoSmithname,subordinates[0],deductions[State 接下來(lái)我們?cè)倏慈绾尾榭醇闲詫傩宰侄沃械臄?shù)據(jù)：Java代碼Park,State:IL,ZIP:60700}JonesOntarioname,address 再看STRUCT類型的查詢，如“address”：Java代碼Taxes:,Insurance:}4. Todd{FederalTaxes:,Insurance:}SELECT[]kingJones]2. JohnFROM, 用戶也可以給FROM之后的表，視圖或子查詢起一個(gè)別名，如：Java代碼5. Bill4. Todd3. MaryDoeemployees。1. hive8. PARTITIONED7. )STRUTstreet:STRING,city:STRING,state:STRING,zip:INT扣費(fèi)39。deductions39。3. STRING,employees讓我們從新來(lái)看之前定義過(guò)的分區(qū)表employees：Java代碼39。*DIRECTORYAND=SELECTOVERWRITEOR39。/tmp/or_employees39。2. INSERT1. FROMstate3. FROMDIRECTORYstate3. FROMSELECTTABLEse。SELECTemployees5. hive2. hiveset在“嚴(yán)格(strict)”模式下，必須使用靜態(tài)分區(qū)和動(dòng)態(tài)分區(qū)混合使用的方式，這主要是避免一些不好的數(shù)據(jù)查詢?cè)O(shè)計(jì)。staged_employees3. SELECT39。OVERWRITEHive在動(dòng)態(tài)分區(qū)插入操作中特別強(qiáng)調(diào)源表的數(shù)據(jù)列的值和要插入分區(qū)的key的值的位置關(guān)系，而不是通過(guò)名字匹配，這也是為什么在staged_employees表中給國(guó)家和州定義不同的名字的原因。4. FROM1. INSERT 就上例來(lái)說(shuō)，好友一個(gè)問(wèn)題，那就是如果有特別多的分區(qū)要?jiǎng)?chuàng)建的話，用戶不得不要寫(xiě)許多HiveQL語(yǔ)句！幸運(yùn)的是，Hive提供一個(gè)叫動(dòng)態(tài)分區(qū)的功能，可以基于用戶的查詢參數(shù)推斷要?jiǎng)?chuàng)建的分區(qū)。動(dòng)態(tài)分區(qū)添加數(shù)據(jù)=US39。WHERE10. 39。39。employess=US39。WHERE7. 39。39。employess=US39。WHERE4. 39。39。employess 那么Hive就會(huì)將數(shù)據(jù)以“追加”的方式插入數(shù)據(jù)到employess表。=US39。4. WHEREFROM),state(countryemployess39。*OR39。US39。2. PARTTITIONTABLE看下面的一個(gè)示例(這里假設(shè)已經(jīng)定義過(guò)表staged_employees)：Java代碼 Hive在加載數(shù)據(jù)時(shí)并不會(huì)管要加載的數(shù)據(jù)是否和表定義模式相匹配，但是會(huì)驗(yàn)證文件格式，比如說(shuō)，在表中第一的保存的數(shù)據(jù)文件為SEQUENCEFILE，那么加載后的文件就必須為SEQUENCEFILE文件。CA39。,(countryTABLE${env:HOME}/calaforniaemployees39。1. LOAD就不會(huì)將已有的數(shù)據(jù)清洗，而是直接在原有數(shù)據(jù)后邊追加新的數(shù)據(jù)。CA39。,(countryTABLE${env:HOME}/calaforniaemployees39。DATA這個(gè)示例需要注意幾點(diǎn)：=39。2. OVERWRITE39。1. LOADBY(country6. 39。下屬39。subordinatesFLOAT,2. TABLE 之前已經(jīng)學(xué)習(xí)過(guò)Hive表的創(chuàng)建，本節(jié)主要關(guān)注向表中填充數(shù)據(jù)，使表中有數(shù)據(jù)可供查詢。students。 9）、顯示分區(qū)Java代碼TABLESTEMPORARYaFunc)。,countryPARTITION(ds1. ALTERLOCATIONchina39。2013050739。ADDtest 4）、改變表的數(shù)據(jù)存儲(chǔ)格式Java代碼STRING)。test 3）、增加新列Java代碼b14. ALTERFLOAT*11. b。a8. ALTERFLOAT