傳統(tǒng)的海量數(shù)據(jù)分析方案-展示頁
2025-03-10 23:28本頁面
【正文】 r Worker fork fork fork 分配 map 分配 reduce 讀取 Worker 寫入本地 文件系統(tǒng) Output File 0 Output File 1 寫入 GFS Chunk 0 Chunk 1 Chunk 2 輸入數(shù)據(jù) Worker MapReduce容忍節(jié)點(diǎn)異構(gòu) 用戶自定義 Map、 Reduce Worker Worker Master Worker Worker fork fork fork 分配 map 分配 reduce 讀取 Worker 寫入本地 文件系統(tǒng) Output File 0 Output File 1 寫入 GFS Split 0 Split 1 Split 2 輸入數(shù)據(jù) Worker 運(yùn)行速度 過慢 MapReduce調(diào)優(yōu) Yahoo Pig FaceBook Hive 集群 Hadoop MapReduce Pig、 HIve SQL 自動重寫 和優(yōu)化 用戶 HIVE體系結(jié)構(gòu) HDFS Hive CLI DDL Queries Map Reduce MetaStore Thrift API SerDe Thrift JSON.. Execution Hive QL Parser Planner Mgmt. Web UI 數(shù)據(jù)模型 ? Tables ? 基本數(shù)據(jù)類型 (int, float, boolean) ? 組合數(shù)據(jù)類型 : List / Map (關(guān)聯(lián)數(shù)組 ) ? Partitions ? Buckets ? CREATE TABLE sales( id INT, items ARRAYSTRUCTid:INT,name:STRING ) PARITIONED BY (ds STRING) CLUSTERED BY (id) INTO 32 BUCKETS。 ? 快： Spark對小數(shù)據(jù)集能達(dá)到亞秒級的延遲 ? 這對于 Hadoop MapReduce是無法想象的（由于“心跳”間隔機(jī)制，僅任務(wù)啟動就有數(shù)秒的延遲）。其中內(nèi)存計(jì)算、數(shù)據(jù)本地性 （ locality）和傳輸優(yōu)化、調(diào)度優(yōu)化等該居首功。 ? 在實(shí)現(xiàn)層，可更換的集群調(diào)度器、序列化庫； ? 在原語（ Primitive）層，它允許擴(kuò)展新的數(shù)據(jù)算子、新的數(shù)據(jù)源、新的 language（ Java和 Python）； ? 在范式（ Paradigm）層， Spark支持內(nèi)存計(jì)算、多迭代批量處理、即時(shí)查詢、流處理和圖計(jì)算等多種范式。 ? Spark借 Hadoop之勢，與 Hadoop無縫結(jié)合；接著 Spark SQL借了 Hive的勢； Hive體系結(jié)構(gòu) Meta store HDFS Client Driver SQL Parser Query Optimizer Physical Plan Execution CLI JDBC MapReduce Shark體系結(jié)構(gòu) Meta store HDFS Client Driver SQL Parser Physical Plan Execution CLI JDBC Spark Cache Mgr. Query Optimizer Stinger/Tez Local mode Spark Bagel (Pregel on Spark) Shark (Hive on Spark) … Streaming Spark EC2 Apache Me
試題試卷相關(guān)推薦
鄂ICP備17016276號-1