微軟銀行業(yè)大數據解決方案交流-在線瀏覽
2025-03-30 13:27本頁面
【正文】 rce Systems Historical Data (Beyond Active Window) Summarize Load Big Data Sources (Raw, Unstructured) Alerts, Notifications Data Compute Intensive Application ERP CRM LOB APPS Integrate/Enrich SQL Server StreamInsight SQL Server Parallel Data Warehouse Enterprise ETL with SSIS, DQS, MDS Hadoop on Windows Azure Hadoop on Windows Server SQL Server FTDW Data Marts SQL Server Reporting Services SQL Server Analysis Server Business Insights Interactive Reports Performance Scorecards Crawlers Bots Devices Sensors 20 結構化數據 Microsoft SQL Server 2023 和 SQL Server Parallel Data Warehouse設備提供一種方法來管理結構化數據。 建立在相關關系分析法上基礎上的預測是大 數據 的核心。在可以獲得海量數據的情況下，對全體 數據進行挖掘和分析可以獲得更多信息 。但 當 前數 據處理 思 維方 式 正逐 步 向全 體 性、 混沌性以及相關性演變 ， 以 適應 數 據量 的 爆發(fā) 式 增長 。 1ZB數據相當于美國國會圖書館中存儲的數據的 4000多倍。微軟銀行業(yè)大數據解決方案交流 Presales Architect，微軟服務部 目錄 大數 據 分 析挑戰(zhàn) 微軟解決方案介紹 大數據案例分享 數據復雜度：多元性和速度 Terabytes Gigabytes Megabytes Petabytes Big Data Web ERP/CRM 付款 薪資 貨存 聯(lián)系人 訂單跟蹤 銷售管道 Web 日志 數字市場 搜索市場 網上推薦 廣告 移動 協(xié)作 電子商務 網頁點擊流 Wikis/博客 傳感器 /RFID/ 設備 社交網絡 音頻 /視頻 日志文件 空間 GPS 坐標數據 數據集市 電子政務 氣候 文本 /圖像 未來數年數據量會呈現指數增長 。根據麥肯錫全球研究院（ MGI）估計，全球企業(yè) 2023年在硬盤上存儲了超過 7ZB（ 1ZB等于 10億 GB）的新數據，而消費者在 PC和筆記本等設備上存儲了超過 6EB新數據。 “大數據是指無法在一定時間內用常規(guī)軟件工具對其內容進行抓取、管理和處理的數據集合” — 維基百科 8萬億 GB 2023全 球 信息量 1s 數據 處理 速 度 85% 非 結構 化 數據 占 比 數據 價值 Volume 數據 體量大 Variety 數據 類 型 多 Velocity 處理 速度快 Value ? 大數據的 4V特點： Volume, Variety, Velocity, Value ? 傳統(tǒng) DW系統(tǒng)不適用于大數據的分析 ? 數據量過于龐大 ? 絕大部分大數據是垃圾 ? 大數據的多樣化格 式 ? 時效 性高 ? 需要革新性的技術手段 ? 海量數據“分而治之” 批量分布式并行計算 Hadoop ? 海量數據“靈活多變” 實時分布式高吞吐高并發(fā)數據存取處理NoSQL ? 海量數據 “ 實 時響應” 大數據流計算模型 5 更高一層數據層面整合企業(yè)內外部 6 大數 據改 變 數據 分 析思維 過去，由于數據獲取的 困 難程 度 ，人 們 在分 析 數據 時 傾向 于 使用 抽 樣數 據 ，并 通 過不斷 改進 抽 樣方 法 以提 升 樣本的 精確性，從而對整體數 據 進行 推 算， 并 竭力 挖 掘數 據 間的 因 果關 系 。 10 全體數據 混雜數據 精確數據 抽 樣 數據 因果關系 相關關系 采樣的目的在于用最少的數據得到最多的信息， 但在樣本分析過程中不可避免會有一部分信息 丟失。 只 有 15%的數據是結構化且能適用于傳統(tǒng)數據化 的，接受不精確性能使更多的非結構化數據得 到利用。 傳統(tǒng) 大數據 7 傳統(tǒng) BI分析 批處理 大數據分析 集群化 事務 關系型數據庫 數據倉庫 分析 非結構化 流式 分析 組織 多種數據源 (MapReduce) ? 結構化數據 ? 數據規(guī)模一般 為 TB規(guī)模 ? 集中 式 ，為了分析進行大量數據移動 ， 數據向計算靠近 ? 批處理為主 ? 結構化 /非結構化混合分析的能力 ? 數據規(guī)模從數 十 TB到 PB級別 ? 分布 式 ，計算向數據靠近 ? 支持流式分析 8 11 來源： Forrester Research， 2023 年 6 月全球大數據在線調查 集成大數據和數據倉庫功能以增加運營效率 需要利用多種類型數據 擴展倉庫基礎架構 ? 通過將很少使用的數據遷移到 Hadoop 來優(yōu)化存儲、維護和許可成本 ? 通過智能處理流數據來降低存儲成本 ? 通過確定倉庫中要填充的數據來改善倉庫性能 ? 深度分析所需要的結構化、非結構化和流數據源 ? 低延遲要求（幾小時，而非幾周或幾個月） ? 提供 對 數據的查詢訪問 10 流 Inter 級別 傳統(tǒng) 數據倉庫 InMotion Analytics Data Analytics, Data Operations Model Building Results Inter Scale Database Warehouse AtRest Data Analytics Results Ultra Low Latency
環(huán)評公示相關推薦
鄂ICP備17016276號-1