企業(yè)大數(shù)據(jù)指南51(文件)
【正文】 nce Diagram RDB data Event 范例 ? 被瀏覽的網(wǎng)頁(yè) ? 每筆網(wǎng)絡(luò)交易所經(jīng)歷的每個(gè)程序或系統(tǒng) ? ……. Big Flat File for full text search 什么是大數(shù)據(jù)處理 (Big Data Processing) Signature Meta Data Meta Data Tag Value Tag Value App App App App Media Extraction File Transformation 什么是大數(shù)據(jù)處理 (Big Data Processing) String Convert Count Filter String Truncate Sort Indexing Join Sequence Extract Aggregate Social Media Machine Sensor Data Media Web Clickstream Mobile Apps Call Log Splunk BI/ Reporting Customized Solutions Database / Data Warehouse Etu知意圖的大數(shù)據(jù)解決方案 大 數(shù)據(jù)儲(chǔ)存 大數(shù)據(jù)處理 數(shù)據(jù)分享 數(shù)據(jù)檢索 數(shù)據(jù) 分析 數(shù)據(jù) 展現(xiàn) 分布式軟件架構(gòu) 并行計(jì)算框架 分布式存儲(chǔ) 橫向擴(kuò)容 (Scaleout) 架構(gòu) 大數(shù)據(jù)處理的平臺(tái)解決方案 企業(yè)的資料云 硬件與軟件一體 / 儲(chǔ)存與運(yùn)算合一 Big Data 運(yùn)算與儲(chǔ)存，單一架構(gòu)解決 Etu Appliance 20 傳統(tǒng)并行計(jì)算架構(gòu) 并行計(jì)算 + 分布式存儲(chǔ) 運(yùn)算 儲(chǔ)存 傳統(tǒng)儲(chǔ)存架構(gòu) ? 計(jì)算與存儲(chǔ)一體，計(jì)算向數(shù)據(jù)靠攏，高效專用存儲(chǔ)模式 ? 為程序員屏蔽通性、并發(fā)、同步與一致性等問題 ? 任務(wù)之間無(wú)依賴 (sharenothing)，具有高系統(tǒng)延展性 (scaleout) Hadoop 的特性 Hadoop 不只是 Hadoop 21 HIVE Big Data Applications Pig! Zoo Keeper SQL RAW 關(guān)系數(shù)據(jù)庫(kù) vs Hadoop 關(guān)系數(shù)據(jù)庫(kù) Hadoop 資料量 GB TB TB PB 存取方式 交互式與批次 批次 數(shù)據(jù)更新 多次讀寫 一次寫 , 多次讀 數(shù)據(jù)結(jié)構(gòu) 固定 schema 無(wú) schema 資料一致性 高 (ACID) 低 擴(kuò)充性 非線性 線性 連結(jié)關(guān)系數(shù)據(jù)庫(kù)與 Hadoop ? 匯入與導(dǎo)出數(shù)據(jù) – Sqoop ? 查詢與整合 – Hive JDBC Driver (Java) – Hive ODBC Driver (C++) – Hive Addin for Excel (by Microsoft) – Thrift (C/C++, Python, Perl, PHP) Hive 簡(jiǎn)介 ? 由 Facebook 開 發(fā) ? 架構(gòu)于 Hadoop 之上 , 設(shè)計(jì) 用來(lái)管理 結(jié) 構(gòu)化數(shù)據(jù)的中 間 件 ? 以 MapReduce 為執(zhí) 行 環(huán) 境 ? 數(shù)據(jù) 儲(chǔ) 存于 HDFS上 ? Metadata 儲(chǔ) 存于 RDMBS中 ? Hive的 設(shè)計(jì) 原 則 ? 采用 類 SQL語(yǔ) 法 ? 擴(kuò) 充性 – Types, Functions, Formats, Scripts ? 性能與平水 擴(kuò) 展能力兼具 Hive – SQL like Hadoop Database Driver (piler, optimizer, executor) metastore Data Node Data Node Data Node Data Node Hadoop Cluster M/R M/R M/R M/R Web UI CLI JDBC ODBC Create M/R Job Sqoop – SQL to Hadoop JDBC JDBC JDBC Map Map Map HDFS/HIVE/HBase SQL Create Map Tasks Sqoop 支援的 RDMBS ? Oracle ? Netezza ? Teradata ? SQL Server ? Microsoft PDW ? MySql ? Postgre SQL 傳統(tǒng)的數(shù)據(jù)處理流程 營(yíng)運(yùn)信息
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1