云數(shù)據(jù)處理-大數(shù)據(jù)引發(fā)的變革與企業(yè)面臨的挑戰(zhàn)(編輯修改稿)
2025-03-07 01:26 本頁面
【文章內(nèi)容簡介】 v/2023:00:08:26] GET /flower_store/?product_id=FLDSH01 HTTP/1 SJSESSIONID=SD7SL1FF9ADFF2 Mozilla/ (X11。 U。 Linux i686。 enUS。 rv:) Gecko/20230223 CentOS/ Firefox/ 1025 A B C D X Y Z O P Q A D A C X Event Sequence Diagram RDB data Event 范例 ? 被瀏覽的網(wǎng)頁 ? 每筆網(wǎng)絡(luò)交易所經(jīng)歷的每個程序或系統(tǒng) ? ……. Big Flat File for full text search 什么是大數(shù)據(jù)處理 (Big Data Processing) Signature Meta Data Meta Data Tag Value Tag Value App App App App Media Extraction File Transformation Appliance 的大 數(shù)據(jù)處 理 String Convert Count Filter String Truncate Sort Indexing Join Sequence Extract Aggregate Social Media Machine Sensor Data Media Web Clickstream Mobile Apps Call Log Splunk BI/ Reporting Customized Solutions Database / Data Warehouse 18 傳統(tǒng)并行運算架構(gòu) 并行運算 + 分布式存儲 運算 儲存 傳統(tǒng)儲存架構(gòu) Big Data Parallel Processing Framework Distributed File System Appliance 大數(shù)據(jù)處理一體機的特性 ? 計算與存儲一體，計算向數(shù)據(jù)靠攏，高效專用存儲模式 ? 為程序員屏蔽通性、并發(fā)、同步與一致性等問題 ? 任務(wù)之間無依賴 (sharenothing)，具有高系統(tǒng)延展性 (scaleout) 19 Appliance vs. Storage Etu Appliance 大數(shù)據(jù)處理一體機 傳統(tǒng)儲存 橫向擴充 NAS 數(shù)據(jù)運用方式 處理、運算、分析 單純存取 單純存取 適合應(yīng)用 儲存、搜索 分析與挖掘 儲存與備份 儲存與備份 擴充方式 橫向擴充 (Scaleout) 垂直擴充 (Scaleup) 橫向擴充 (Scaleout) TCO 低 高 低 Appliance vs. Grid / HPC Etu Appliance 大數(shù)據(jù)處理一體機 網(wǎng)格 / 高效能計算 運算架構(gòu) 并行運算 并行運算 儲存單元 內(nèi)建分布式儲存 須搭配外部儲存 數(shù)據(jù)運用方式 搬移運算邏輯至數(shù)據(jù)存放的節(jié)點，計算只需針對本地硬盤讀取數(shù)據(jù)， 效能較高 須對外部儲存讀取數(shù)據(jù)， 數(shù)據(jù)搬移容易造成網(wǎng)絡(luò)瓶頸 Appliance 大數(shù)據(jù)處理一體機的特性 20 Structured data GB Semi / unstructured data ~ TB / PB ~ Business Intelligence ETL / Data Warehouse Data Processing Data Visualization 結(jié)構(gòu)化 vs. 半 / 非結(jié)構(gòu)化 Data Storage Data Import Data Processing Application Management 21 Parallel Computing Framework Big Data Processing Framework Distributed Search Distributed File System Big Data Store DB Connector Raw Data Integrator Search (Restful API) Script SQLlike Monitoring Log M
畢業(yè)設(shè)計相關(guān)推薦
鄂ICP備17016276號-1