云計算之happt課件-資料下載頁
2025-05-05 22:09本頁面
【正文】 Pig：技術背景 ? 對海量數(shù)據的按需分析應用需求不斷增加，尤其對于大規(guī)模 web應用 ? 并行數(shù)據庫產品（如 Teradata）提供了一種解決方案，但擴展開銷太過昂貴 ? 很多程序員習慣于過程式數(shù)據分析，這也是 mapreduce之所以流行的原因之一 ? MapReduce很強大，但存在缺陷： ? 抽象層次過低，單輸入兩階段數(shù)據流不夠靈活，導致大量定制的客戶代碼，難以維護和重用。 Pig： Pig Latin ? Pig Latin是一種關注數(shù)據流的代數(shù)式語言，其優(yōu)勢在于： ? 提供一種高級聲明式語言 SQL和低級過程式mapreduce編程模型的良好折中 ? 提高了生產率，測試結果表明： 10行 Pig Latin≈200行 java 4小時編寫的 java， Pig Latin只需 15分鐘 ? 簡化編程難度，適于所有程序員 ? 提供公用操作子（ join、 group、 filter、 sort等） Pig：系統(tǒng)組成 Pig：工作機制 ? Pig Latin代碼提供分析處理的業(yè)務邏輯 ? 編譯器進行各種檢查，將 Pig Latin代碼轉化為 MapReduce執(zhí)行計劃，并對其進行優(yōu)化 ? Hadoop集群服務器負責任務的具體執(zhí)行，并向 Pig返回執(zhí)行結果 Pig：適合的應用 ? Web日志處理 ? Web搜索引擎中的數(shù)據處理 ? 跨大數(shù)據集的按需分析查詢 ? 大規(guī)模數(shù)據處理算法的快速原型構建 Hive：技術背景 ? 工業(yè)界為實現(xiàn) BI而收集和處理的數(shù)據規(guī)模不斷曾大，以致傳統(tǒng)的數(shù)據倉庫解決方案開銷太大。 ? Hadoop作為 mapreduce的開源實現(xiàn)，已經非常成熟，廣泛流行?？梢院芎玫睦闷胀ㄉ虡I(yè)硬件實現(xiàn)海量數(shù)據的存儲和處理。 ? 但 mapreduce編程模型的抽象層次較低，編程模型的限制過于嚴格，不利于靈活式的數(shù)據分析處理。 Hive：簡介 ? Facebook實現(xiàn)的建立在 Hadoop之上的開源數(shù)據倉庫解決方案 ? 支持類 SQL的查詢語言 HiveQL ? 查詢語言會被 Hive編譯器編譯成mapreduce任務，任務由執(zhí)行引擎調度，具體執(zhí)行在底層的 hadoop集群。 Hive：適合的應用 ? 日志處理 ? 文本挖掘 ? 文檔索引 ? 面向客戶的商務智能 (例如 ,谷歌分析 ) ? 預測模型 , 假設檢驗 Hive：發(fā)展狀況 ? 該項目由 facebook發(fā)起， facebook和其他社區(qū)的很多志愿者投入到 Hive的開發(fā)之中 ? 目前 Facebook的 Hive可容納超過 2PB數(shù)據，每天至少處理 5000多次查詢請求 ? 下一步發(fā)展 ? 將 HiveQL從 SQL的子集發(fā)展為其超級 ? 將編譯器的優(yōu)化規(guī)則從基本規(guī)則擴展為基于代價和自適應的優(yōu)化規(guī)則，以提供更高效的執(zhí)行計劃 ? 探索更高效的數(shù)據存放策略，以提高掃描性能 ? 提供 JDBC/ODBC驅動以實現(xiàn)與商業(yè) BI工具更好的集成 謝謝！
教學課件相關推薦
鄂ICP備17016276號-1