企業(yè)大數(shù)據(jù)指南(完整版)
【正文】 g Data 處理框架 Hadoop Distribution OS 硬件 謝謝 演講完畢，謝謝觀看！ 。 rv:) Gecko/20230223 CentOS/ Firefox/ 1604 [15/Nov/2023:00:07:58] GET /flower_store/?product_id=K9BD01 HTTP/ SJSESSIONID=SD7SL1FF9ADFF2 Mozilla/ (X11。 rv:) Gecko/20230223 CentOS/ Firefox/ 1803 [15/Nov/2023:00:08:26] GET /flower_store/?product_id=FLDSH01 HTTP/1 L1FF9ADFF2 Mozilla/ (X11。企業(yè) Big Data指南 – 方案架構與案例研討 陳育杰 Eric Chen 精誠集團 Etu 知意圖 資深事業(yè)發(fā)展總監(jiān) 精誠集團 Big Data 事業(yè) 精誠集團提供 Big Data 解決方案的獨立品牌 在臺北與北京設有研發(fā)與專業(yè)服務團隊 我們關注的不只是技術，更在意挖掘 Big Data 對企業(yè)的商業(yè)價值 透過軟硬件一體的整合，大幅「簡化」與「優(yōu)化」企業(yè)處理 Big Data 的種種問題 精誠集團 Big Data 事業(yè) 意圖與關聯(lián)充滿的 Big Data 世界 Etu 幫您具體整合來呈現(xiàn) 大數(shù)據(jù) (Big Data)時代來臨 Structured ? Database ? Spreadsheet ? File in record format Semistructured ? XML Docs ? Logs ? Clickstream ? Equipment/ Device, RFID tag Unstructured ? Web Pages ? Email ? Multimedia ? Instant Messages ? Documents 移動互聯(lián)網(wǎng) Mobile Inter 物聯(lián)網(wǎng) Inter of Things 4 新量級、新處理模式、新企業(yè)智能 Big Data 要解決的問題 Volume 海量的數(shù)據(jù)規(guī)模 Variety 多樣的數(shù)據(jù)類型 Streams Real time Near time Batch TB PB EB Structured Unstructured Semistructured All the above Value Velocity 快速的數(shù)據(jù)流轉(zhuǎn) 巨大的數(shù)據(jù)價 值 6 Social Media Machine / Sensor DOC / Media Web Clickstream Apps Call Log Log 什么是半結(jié)構化 /非結(jié)構化數(shù) 據(jù) Big Data 帶來的挑戰(zhàn) ? 不同 “ 看 ” 數(shù)據(jù)的 方式 ? 需要 更 高 性 價比的數(shù)據(jù)計算與儲存 方式 ? 不同的數(shù)據(jù)管理 策略 ? 超越企業(yè)現(xiàn)有 IT 的數(shù)據(jù)解決能量 7 不同 “ 看 ” 數(shù)據(jù)的方式 8 可視：結(jié)構化資料 15% 未視：半 /非結(jié)構化數(shù)據(jù) 85% DB/DW 主管們看的 戰(zhàn)情數(shù)位儀表板，其實是殘缺的… 10萬 GB 10萬 TB 需要更高性價比的數(shù)據(jù)計算與儲存方式 9 數(shù)據(jù)庫 數(shù)據(jù)倉庫 計算更快 存儲更省 85% 半 /非結(jié)構化的 Log / Web page / Email / PDF / Image / Fulltext / MSOffice file 10 不同的數(shù)據(jù)管理策略 當我們想要擴充時， 才發(fā)覺： ? 架構只能 scaleup， scaleout 不易 ? 處理時間過長， timetovalue 受限 ? 成本過高， costefficiency 受 限 15% 結(jié)構化的 DB/DW 遺憾 殘缺 每天幾百 GB、 幾 TB 的資料，且持續(xù)成長中 儲存 Storing 在收數(shù)據(jù)的同時做必要的前置處理 (preprocessing) ，并區(qū)分數(shù)據(jù)處理的優(yōu)先等級 (prioritizing) 計算 Processing 如何 有效的避免 因硬件毀壞所導致的資料損毀 管理 Managing 如何從中挖掘出
范文總結(jié)相關推薦
鄂ICP備17016276號-1