【正文】 *2. SELECTWHERE過濾條件FinanceveryBill11. Todd10. Mary9. veryFROMELSEWHENmiddle39。=4. 39。salary2. 1. hive80000,eemployees5. (1Taxes]1. hive64000SMITHDOE2。AS(1SELECT800003. deductions[Federalround(salaryupper(name),salary,deductions[Federal 一次典型的HiveQL查詢可能會返回所有符合條件的數(shù)據(jù)記錄，但是LIMIT關(guān)鍵字可以限制返回的記錄的條數(shù)：Java代碼LIMIT1. employees。2. hibeSETJONES5. MARY4. JOHNFROMTaxes]))*Taxes],7. ...6. AAPLprice.*39。KingOakJonesChicagoSmithMaryDoeemployees。SELECTDr.,city:Obscuria,State:IL,ZIP:60100}KingAve.,city:Oak4. Todd{Street:100Ave.,city:Chicago,State:IL,ZIP:60600}SELECTTaxes:,Insurance:}KingTaxes:,StateSmithTaxes:,StateDoeemployees。1. hive5. BillKing]SmithSmith,Toddname,subordinates我們先看一下如何查詢ARRAY類型的數(shù)據(jù)，如employees表的下屬“subordinates”Java代碼e。SELECT2. JohnFROMSTRING)。address39。COMMENT4. FLOAT,nameTABLE SELECT在SQL中是一個投影操作。SELECT ... FROM ...查詢AND=SELECTOVERWRITECA39。/tmp/CA_employees39。4. INSERT=39。US39。FROM3. 39。CA39。4. WHERELOCAL 之前講的都是如何將數(shù)據(jù)加載到Hive表中，那么如何將表中數(shù)據(jù)導(dǎo)出表呢？用戶可以使用INSERT ... DIRECTORY ...語句導(dǎo)出數(shù)據(jù)，示例如下：Java代碼導(dǎo)出數(shù)據(jù)CA39。4. WHERE2. AS1. CREATEnonstrict可以完全由用戶的查詢參數(shù)來動態(tài)創(chuàng)建所有的分區(qū)。staged_employees6. TABLE=1000。1. hive 默認請情況下，動態(tài)分區(qū)插入的功能是被禁用的，當(dāng)被激活后，Hive默認會工作在“嚴格(strict)”模式下。US39。5. WHERE4. FROM=1. INSERT 對于本例來說，contry和state。(country,state)employees39。*==9. TABLE39。*==6. TABLE39。*==3. TABLEseHive提供了另外一種INSERT語法，是你只掃描一次表就可以將數(shù)據(jù)插入到對應(yīng)的分區(qū)中：Java代碼39。*OR39。US39。2. PARTTITIONTABLE但對于本示例來說，如果去掉OVERWRITE或用INTO替換掉，如：Java代碼OR39。AND=se3. SELECT39。39。OVERWRITEINSERT語句可以讓用戶通過一個HiveQL Query語句向Hive表中插入數(shù)據(jù)。 另外一點就是，對于要指定要加載的文件的路徑，指定一個文件夾是比較符合常規(guī)的，這要比每次單獨指定文件夾中的一個具體的文件要好，這樣Hive會一次把指定文件夾下的所有的位安全都拷貝到Hive倉庫中。39。US39。3. PARTITION2. INTO39。39。US39。3. PARTITION2. INTO39。1. LOADhdfs://master_server/user/hive/warehouse/)。state=employeesINPATH8. PARTITIONEDSTRUTstreet:STRING,city:STRING,state:STRING,zip:INTCOMMENT5. 39。salarySTRING,1. CREATE本節(jié)繼續(xù)討論HiveQL，Hive查詢語言，如何向Hive表中添加數(shù)據(jù)，操縱數(shù)據(jù)和從表中將數(shù)據(jù)提取到文件系統(tǒng)。PARTITIONS1. SHOW1. DROPFIUNCTION 7）、創(chuàng)建函數(shù)Java代碼china39。2013050739。DROP2. 39。39。students 5）、添加分區(qū)PartitionJava代碼SEQUENCEFILE。TABLEINT,eTABLE 列的改變只會修改Hive的元數(shù)據(jù)，而不改變實際的數(shù)據(jù)。FIRST。CHANGESTRING,c12. 將b列的名字改為b2，并將其數(shù)據(jù)類型由FLOAT改為DOUBLE，然后將之9. /*AFTERCHANGESTRING,ca3.4. //創(chuàng)建測試表test(aTABLEnew_table_name。TABLE修改表結(jié)構(gòu)：15. INPUTFORMAT14. STORED39。TERMINATEDTERMINATEDTERMINATEDFORMATMAPSTRING,FLOAT,subordinates5. STRING,EXISTS1. CREATE3. SELECTNOT 如果在創(chuàng)建試圖后，再將基本表中被視圖引用的列修改，那么修改后的數(shù)據(jù)列將不會體現(xiàn)在視圖中；如果基本表被刪除或以不兼容的方式被修改，則查詢該視圖時會失敗。TABLEstudents2TABLEBYDELIMITEDBUCKETSSORTEDSTRING)3. PARTITIONED39。COMMOT39。2. INT,nameIFJava代碼BYDELIMITEDSTRING)3. PARTITIONED39。COMMOTstudents(user_noTABLE /datawarehouse/partitinTable/nation=china/city=Shanghai/ds=20130506/。在Hive中，分區(qū)表的每一個分區(qū)都對應(yīng)表下的一個目錄，所有的分區(qū)的數(shù)據(jù)都存儲在對應(yīng)的目錄中。/usr/test/data/39。SEQUENCEFILETERMINATEDFORMAT學(xué)生表39。39。2. INT,nameIFAS,39。4. FIELDS3. ROW39。COMMOTstudents(user_noTABLE Hive中的表和傳統(tǒng)數(shù)據(jù)庫中的表在概念上是類似的，Hive的每個表都有自己的存儲目錄，除了外部表外，${}/table_name目錄下。內(nèi)部表： Hive的集合類型有：STRUCT，MAP和ARRAY。 用戶提交的Hive QL語句最終被編譯為MapReduce程序作為Job提交給Hadoop執(zhí)行。 下面我們來看一下Hive的架構(gòu)和執(zhí)行流程以及編譯流程： 由于Hive是Hadoop上的數(shù)據(jù)倉庫，因此Hive也具有高延遲、批處理的的特性，即使處理很小的數(shù)據(jù)也會有比較高的延遲。 Hive SQL方言特別和MySQL方言很像，并提供了Hive QL的編程接口。 Facebook的分析人員中很多工程師比較擅長而SQL而不善于開發(fā)MapReduce程序，為此開發(fā)出Hive，并對比較熟悉SQL的工程師提供了一套新的SQLlike方言——Hive QL。 Hive是一個數(shù)據(jù)倉庫，它提供了數(shù)據(jù)倉庫的部分功能：數(shù)據(jù)ETL(抽取、轉(zhuǎn)換、加載)工具，數(shù)據(jù)存儲管理，大數(shù)據(jù)集的查詢和分析能力。Hive是基于hadoop平臺的，故有很好的擴展性(可以自適應(yīng)機器和數(shù)據(jù)量的動態(tài)變化)，高延展性(自定義函數(shù))，良好的容錯性，低約束的數(shù)據(jù)輸入格式。Hive的數(shù)據(jù)類型 Hive的基本數(shù)據(jù)類型有：TINYINT，SAMLLINT，INT，BIGINT，BOOLEAN，F(xiàn)LOAT，DOUBLE，STRING，TIMESTAMP(+)和BINARY(+)。1. CREATEEXISTSSTRING,STRING）COMMONT39。5. STOREJava代碼TABLEstudents(user_noCOMMOT39。3. ROW4. FIELDS,39。AS39。分區(qū)表： 分區(qū)表的每一個分區(qū)都對應(yīng)數(shù)據(jù)庫中相應(yīng)分區(qū)列的一個索引，但是其組織方式和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫不同。1. CREATEEXISTSSTRING,STRING）COMMONTSTRING,countryFORMATTERMINATEDSEQUENCEFILE。桶區(qū)表： 桶表就是對指定列進行哈希(hash)計算，然后會根據(jù)hash值進行切分數(shù)據(jù)，將具有不同hash值的數(shù)據(jù)寫到每個桶對應(yīng)的文件中。TABLEstudents(user_noCOMMOTSMALLINT）COMMONTSTRING,countryBY(user_no)32FORMATTERMINATEDSEQUENCEFILE。 2)、刪除內(nèi)部表時，會將表數(shù)據(jù)和表的元數(shù)據(jù)一同刪除；而刪除外部表時，緊刪除表的元數(shù)據(jù)而不會刪除表數(shù)據(jù)。1. CREATEEXISTS查看表結(jié)構(gòu)：Java代碼students。1. DROPJava代碼IF(user_no,name,score)students。刪除視圖：Java代碼view_students。NOT2. noSTRING,6. deductionsSTRUCTstreet:STRING,district:STRING,city:STRING,province:STRING,ZIP:STRING9. ROW10. FIELDS\00139。ITEMS\00239。KEYSBY39。1. ALTERTO 只修改了表名，不會改變表結(jié)構(gòu)和數(shù)據(jù)存放的位置。1. CREATEEXISTSFLOAT)。CHANGE*INT,a2*/testSTRING*放在第一列；修改后的表結(jié)構(gòu)為：DOUBLE,a*/testDOUBLE用戶應(yīng)該確保元數(shù)據(jù)的定義和實際的數(shù)據(jù)結(jié)構(gòu)保持一致。1. ALTERCOLOMNS(d1. ALTERFILEFORMATTABLE==/usr/test/data/39。 6）、刪除分區(qū)PartitionJava代碼students39。39。TEMPORARYclass_name。aFunc。1. SHOW(name4. COMMENTMAPSTRING,FLOAT,addressSTRING)。如下示例，想一個分區(qū)表中加載一批數(shù)據(jù)：Java代碼LOCALTABLE(country,CA39。在這個示例中，數(shù)據(jù)被加載后再Hive中的目錄為：INPATH39。=關(guān)鍵字LOCAL：表明是從本地文件系統(tǒng)的文件夾中加載數(shù)據(jù)，如果不加LOCAL關(guān)鍵字，則表明是從HDFS系統(tǒng)的文件夾中加載數(shù)據(jù)：Java代碼INPATH39。=通過HiveQL查詢語句添加數(shù)據(jù)1. INSERT==staged_employees39。OVERWRITE關(guān)鍵字，我們已經(jīng)討論過。INTO39