企業(yè)大數據指南51(編輯修改稿)
2025-03-26 02:46 本頁面
【文章內容簡介】 OS/ Firefox/ 1025 A B C D X Y Z O P Q A D A C X Event Sequence Diagram RDB data Event 范例 ? 被瀏覽的網頁 ? 每筆網絡交易所經歷的每個程序或系統(tǒng) ? ……. Big Flat File for full text search 什么是大數據處理 (Big Data Processing) Signature Meta Data Meta Data Tag Value Tag Value App App App App Media Extraction File Transformation 什么是大數據處理 (Big Data Processing) String Convert Count Filter String Truncate Sort Indexing Join Sequence Extract Aggregate Social Media Machine Sensor Data Media Web Clickstream Mobile Apps Call Log Splunk BI/ Reporting Customized Solutions Database / Data Warehouse Etu知意圖的大數據解決方案 大 數據儲存 大數據處理 數據分享 數據檢索 數據 分析 數據 展現 分布式軟件架構 并行計算框架 分布式存儲 橫向擴容 (Scaleout) 架構 大數據處理的平臺解決方案 企業(yè)的資料云 硬件與軟件一體 / 儲存與運算合一 Big Data 運算與儲存，單一架構解決 Etu Appliance 20 傳統(tǒng)并行計算架構 并行計算 + 分布式存儲 運算 儲存 傳統(tǒng)儲存架構 ? 計算與存儲一體，計算向數據靠攏，高效專用存儲模式 ? 為程序員屏蔽通性、并發(fā)、同步與一致性等問題 ? 任務之間無依賴 (sharenothing)，具有高系統(tǒng)延展性 (scaleout) Hadoop 的特性 Hadoop 不只是 Hadoop 21 HIVE Big Data Applications Pig! Zoo Keeper SQL RAW 關系數據庫 vs Hadoop 關系數據庫 Hadoop 資料量 GB TB TB PB 存取方式 交互式與批次 批次 數據更新 多次讀寫 一次寫 , 多次讀 數據結構 固定 schema 無 schema 資料一致性 高 (ACID) 低 擴充性 非線性 線性 連結關系數據庫與 Hadoop ? 匯入與導出數據 – Sqoop ? 查詢與整合 – Hive JDBC Driver (Java) – Hive ODBC Driver (C++) – Hive Addin for Excel (by Microsoft) – Thrift (C/C++, Python, Perl, PHP) Hive 簡介 ? 由 Facebook 開 發(fā) ? 架構于 Hadoop 之上 , 設計 用來管理 結 構化數據的中 間 件 ? 以 MapReduce 為執(zhí) 行 環(huán) 境 ? 數據 儲 存于 HDFS上 ? Metadata 儲 存于 RDMBS中 ? Hive的 設計 原 則 ? 采用 類 SQL語 法 ? 擴 充性 – Types, Functions, Formats, Scripts ? 性能與平水 擴 展能力兼具 Hive – SQL like Hadoop Database Driver (piler, optimizer, executor) metastore Data Node Data Node Data Node Data Node Hadoop Cluster M/R M/R M/R M/R Web UI CLI JDBC ODBC Create M/R Job Sqoop – SQL to Hadoop JDBC JDBC JDBC Map Map Map HDFS/HIVE/HBase SQL Create Map Tasks Sqoop 支援的 RDMBS ? Oracle ? Netezza
環(huán)評公示相關推薦
鄂ICP備17016276號-1