云計算之happt課件-資料下載頁
2025-05-05 22:09本頁面
【正文】 Pig：技術(shù)背景 ? 對海量數(shù)據(jù)的按需分析應(yīng)用需求不斷增加，尤其對于大規(guī)模 web應(yīng)用 ? 并行數(shù)據(jù)庫產(chǎn)品（如 Teradata）提供了一種解決方案，但擴展開銷太過昂貴 ? 很多程序員習(xí)慣于過程式數(shù)據(jù)分析，這也是 mapreduce之所以流行的原因之一 ? MapReduce很強大，但存在缺陷： ? 抽象層次過低，單輸入兩階段數(shù)據(jù)流不夠靈活，導(dǎo)致大量定制的客戶代碼，難以維護和重用。 Pig： Pig Latin ? Pig Latin是一種關(guān)注數(shù)據(jù)流的代數(shù)式語言，其優(yōu)勢在于： ? 提供一種高級聲明式語言 SQL和低級過程式mapreduce編程模型的良好折中 ? 提高了生產(chǎn)率，測試結(jié)果表明： 10行 Pig Latin≈200行 java 4小時編寫的 java， Pig Latin只需 15分鐘 ? 簡化編程難度，適于所有程序員 ? 提供公用操作子（ join、 group、 filter、 sort等） Pig：系統(tǒng)組成 Pig：工作機制 ? Pig Latin代碼提供分析處理的業(yè)務(wù)邏輯 ? 編譯器進行各種檢查，將 Pig Latin代碼轉(zhuǎn)化為 MapReduce執(zhí)行計劃，并對其進行優(yōu)化 ? Hadoop集群服務(wù)器負責(zé)任務(wù)的具體執(zhí)行，并向 Pig返回執(zhí)行結(jié)果 Pig：適合的應(yīng)用 ? Web日志處理 ? Web搜索引擎中的數(shù)據(jù)處理 ? 跨大數(shù)據(jù)集的按需分析查詢 ? 大規(guī)模數(shù)據(jù)處理算法的快速原型構(gòu)建 Hive：技術(shù)背景 ? 工業(yè)界為實現(xiàn) BI而收集和處理的數(shù)據(jù)規(guī)模不斷曾大，以致傳統(tǒng)的數(shù)據(jù)倉庫解決方案開銷太大。 ? Hadoop作為 mapreduce的開源實現(xiàn)，已經(jīng)非常成熟，廣泛流行?？梢院芎玫睦闷胀ㄉ虡I(yè)硬件實現(xiàn)海量數(shù)據(jù)的存儲和處理。 ? 但 mapreduce編程模型的抽象層次較低，編程模型的限制過于嚴(yán)格，不利于靈活式的數(shù)據(jù)分析處理。 Hive：簡介 ? Facebook實現(xiàn)的建立在 Hadoop之上的開源數(shù)據(jù)倉庫解決方案 ? 支持類 SQL的查詢語言 HiveQL ? 查詢語言會被 Hive編譯器編譯成mapreduce任務(wù)，任務(wù)由執(zhí)行引擎調(diào)度，具體執(zhí)行在底層的 hadoop集群。 Hive：適合的應(yīng)用 ? 日志處理 ? 文本挖掘 ? 文檔索引 ? 面向客戶的商務(wù)智能 (例如 ,谷歌分析 ) ? 預(yù)測模型 , 假設(shè)檢驗 Hive：發(fā)展?fàn)顩r ? 該項目由 facebook發(fā)起， facebook和其他社區(qū)的很多志愿者投入到 Hive的開發(fā)之中 ? 目前 Facebook的 Hive可容納超過 2PB數(shù)據(jù)，每天至少處理 5000多次查詢請求 ? 下一步發(fā)展 ? 將 HiveQL從 SQL的子集發(fā)展為其超級 ? 將編譯器的優(yōu)化規(guī)則從基本規(guī)則擴展為基于代價和自適應(yīng)的優(yōu)化規(guī)則，以提供更高效的執(zhí)行計劃 ? 探索更高效的數(shù)據(jù)存放策略，以提高掃描性能 ? 提供 JDBC/ODBC驅(qū)動以實現(xiàn)與商業(yè) BI工具更好的集成 謝謝！
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1