企業(yè)bigdata指南–方案架構(gòu)與案例研討(編輯修改稿)
2025-03-13 14:53 本頁面
【文章內(nèi)容簡介】 Gecko/20230223 CentOS/ Firefox/ 1025 A B C D X Y Z O P Q A D A C X Event Sequence Diagram RDB data Event 范例 ? 被瀏覽的網(wǎng)頁 ? 每筆網(wǎng)絡(luò)交易所經(jīng)歷的每個程序或系統(tǒng) ? ……. Big Flat File for full text search 什么是大數(shù)據(jù)處理 (Big Data Processing) Signature Meta Data Meta Data Tag Value Tag Value App App App App Media Extraction File Transformation 什么是大數(shù)據(jù)處理 (Big Data Processing) String Convert Count Filter String Truncate Sort Indexing Join Sequence Extract Aggregate Social Media Machine Sensor Data Media Web Clickstream Mobile Apps Call Log Splunk BI/ Reporting Customized Solutions Database / Data Warehouse Etu知意圖的大數(shù)據(jù)解決方案 大 數(shù)據(jù)儲存 大數(shù)據(jù)處理 數(shù)據(jù)分享 數(shù)據(jù)檢索 數(shù)據(jù) 分析 數(shù)據(jù) 展現(xiàn) 分布式軟件架構(gòu) 并行計算框架 分布式存儲 橫向擴容 (Scaleout) 架構(gòu) 大數(shù)據(jù)處理的平臺解決方案 企業(yè)的資料云 硬件與軟件一體 / 儲存與運算合一 Big Data 運算與儲存，單一架構(gòu)解決 Etu Appliance 20 傳統(tǒng)并行計算架構(gòu) 并行計算 + 分布式存儲 運算 儲存 傳統(tǒng)儲存架構(gòu) ? 計算與存儲一體，計算向數(shù)據(jù)靠攏，高效專用存儲模式 ? 為程序員屏蔽通性、并發(fā)、同步與一致性等問題 ? 任務(wù)之間無依賴 (sharenothing)，具有高系統(tǒng)延展性 (scaleout) Hadoop 的特性 Hadoop 不只是 Hadoop 21 HIVE Big Data Applications Pig! Zoo Keeper SQL RAW 關(guān)系數(shù)據(jù)庫 vs Hadoop 關(guān)系數(shù)據(jù)庫 Hadoop 資料量 GB TB TB PB 存取方式 交互式與批次 批次 數(shù)據(jù)更新 多次讀寫 一次寫 , 多次讀 數(shù)據(jù)結(jié)構(gòu) 固定 schema 無 schema 資料一致性 高 (ACID) 低 擴充性 非線性 線性 連結(jié)關(guān)系數(shù)據(jù)庫與 Hadoop 匯入與導(dǎo)出數(shù)據(jù) Sqoop 查詢與整合 Hive JDBC Driver (Java) Hive ODBC Driver (C++) Hive Addin for Excel (by Microsoft) Thrift (C/C++, Python, Perl, PHP) Hive 簡介 由 Facebook 開 發(fā) 架構(gòu)于 Hadoop 之上 , 設(shè)計 用來管理 結(jié) 構(gòu)化數(shù)據(jù)的中 間 件 ?以 MapReduce 為執(zhí) 行 環(huán) 境 ?數(shù)據(jù) 儲 存于 HDFS上 ?Metadata 儲 存于 RDMBS中 Hive的 設(shè)計 原 則 ?采用 類 SQL語 法 ?擴 充性 – Types, Functions, Formats, Scripts ?性能與平水 擴 展能力兼具 Hive – SQL like Hadoop Database Driver (piler, optimizer, executor) metastore Data Node Data Node Data Node Data Node Hadoop Cluster M/R M/R M/R M/R Web UI CLI JDBC ODBC Create M/R Job Sqoop – SQL to Hadoop JDBC JDBC JDBC Map Map Map HDFS/HIVE/HBase SQL Create Map Tasks Sqoop 支援的 RDMBS ? Oracle
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號-1