微軟銀行業(yè)大數(shù)據(jù)解決方案交流(已修改)
2025-03-06 13:27 本頁面
【正文】 微軟銀行業(yè)大數(shù)據(jù)解決方案交流 Presales Architect，微軟服務(wù)部 目錄 大數(shù) 據(jù) 分 析挑戰(zhàn) 微軟解決方案介紹 大數(shù)據(jù)案例分享 數(shù)據(jù)復(fù)雜度：多元性和速度 Terabytes Gigabytes Megabytes Petabytes Big Data Web ERP/CRM 付款 薪資 貨存 聯(lián)系人 訂單跟蹤 銷售管道 Web 日志 數(shù)字市場 搜索市場 網(wǎng)上推薦 廣告 移動 協(xié)作 電子商務(wù) 網(wǎng)頁點擊流 Wikis/博客 傳感器 /RFID/ 設(shè)備 社交網(wǎng)絡(luò) 音頻 /視頻 日志文件 空間 GPS 坐標數(shù)據(jù) 數(shù)據(jù)集市 電子政務(wù) 氣候 文本 /圖像 未來數(shù)年數(shù)據(jù)量會呈現(xiàn)指數(shù)增長 。根據(jù)麥肯錫全球研究院（ MGI）估計，全球企業(yè) 2023年在硬盤上存儲了超過 7ZB（ 1ZB等于 10億 GB）的新數(shù)據(jù)，而消費者在 PC和筆記本等設(shè)備上存儲了超過 6EB新數(shù)據(jù)。 1ZB數(shù)據(jù)相當于美國國會圖書館中存儲的數(shù)據(jù)的 4000多倍。 “大數(shù)據(jù)是指無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合” — 維基百科 8萬億 GB 2023全 球 信息量 1s 數(shù)據(jù) 處理 速 度 85% 非 結(jié)構(gòu) 化 數(shù)據(jù) 占 比 數(shù)據(jù) 價值 Volume 數(shù)據(jù) 體量大 Variety 數(shù)據(jù) 類 型 多 Velocity 處理 速度快 Value ? 大數(shù)據(jù)的 4V特點： Volume, Variety, Velocity, Value ? 傳統(tǒng) DW系統(tǒng)不適用于大數(shù)據(jù)的分析 ? 數(shù)據(jù)量過于龐大 ? 絕大部分大數(shù)據(jù)是垃圾 ? 大數(shù)據(jù)的多樣化格 式 ? 時效 性高 ? 需要革新性的技術(shù)手段 ? 海量數(shù)據(jù)“分而治之” 批量分布式并行計算 Hadoop ? 海量數(shù)據(jù)“靈活多變” 實時分布式高吞吐高并發(fā)數(shù)據(jù)存取處理NoSQL ? 海量數(shù)據(jù) “ 實 時響應(yīng)” 大數(shù)據(jù)流計算模型 5 更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部 6 大數(shù) 據(jù)改 變 數(shù)據(jù) 分 析思維 過去，由于數(shù)據(jù)獲取的 困 難程 度 ，人 們 在分 析 數(shù)據(jù) 時 傾向 于 使用 抽 樣數(shù) 據(jù) ，并 通 過不斷 改進 抽 樣方 法 以提 升 樣本的 精確性，從而對整體數(shù) 據(jù) 進行 推 算， 并 竭力 挖 掘數(shù) 據(jù) 間的 因 果關(guān) 系 。但 當 前數(shù) 據(jù)處理 思 維方 式 正逐 步 向全 體 性、 混沌性以及相關(guān)性演變 ， 以 適應(yīng) 數(shù) 據(jù)量 的 爆發(fā) 式 增長 。 10 全體數(shù)據(jù) 混雜數(shù)據(jù) 精確數(shù)據(jù) 抽 樣 數(shù)據(jù) 因果關(guān)系 相關(guān)關(guān)系 采樣的目的在于用最少的數(shù)據(jù)得到最多的信息， 但在樣本分析過程中不可避免會有一部分信息 丟失。在可以獲得海量數(shù)據(jù)的情況下，對全體 數(shù)據(jù)進行挖掘和分析可以獲得更多信息 。 只 有 15%的數(shù)據(jù)是結(jié)構(gòu)化且能適用于傳統(tǒng)數(shù)據(jù)化 的，接受不精確性能使更多的非結(jié)構(gòu)化數(shù)據(jù)得 到利用。 建立在相關(guān)關(guān)系分析法上基礎(chǔ)上的預(yù)測是大 數(shù)據(jù) 的核心。 傳統(tǒng) 大數(shù)據(jù) 7 傳統(tǒng) BI分析 批處理 大數(shù)據(jù)分析 集群化 事務(wù) 關(guān)系型數(shù)據(jù)庫 數(shù)據(jù)倉庫 分析 非結(jié)構(gòu)化 流式 分析 組織 多種數(shù)據(jù)源 (MapReduce) ? 結(jié)構(gòu)化數(shù)據(jù) ? 數(shù)據(jù)規(guī)模一般 為 TB規(guī)模 ? 集中 式 ，為了分析進行大量數(shù)據(jù)移動 ， 數(shù)據(jù)向計算靠近 ? 批處理為主 ? 結(jié)構(gòu)化 /非結(jié)構(gòu)化混合分析的能力 ? 數(shù)據(jù)規(guī)模從數(shù) 十 TB到 PB級別 ? 分布 式 ，計算向數(shù)據(jù)靠近 ? 支持流式分析 8 11 來源： Forrester Research， 2023 年 6 月全球大數(shù)據(jù)在線調(diào)查 集成大數(shù)據(jù)和數(shù)據(jù)倉庫功能以增加運營效率 需要利用多種類型數(shù)據(jù) 擴展倉庫基礎(chǔ)架構(gòu) ? 通過將很少使用的數(shù)據(jù)遷移到 Hadoop 來優(yōu)化存儲、維護和許可成本 ? 通過智能處理流數(shù)據(jù)來降低存儲成本 ? 通過確定倉庫中要填充的數(shù)據(jù)來改善倉庫性能 ? 深度分析所需要的結(jié)構(gòu)化、非結(jié)構(gòu)化和流數(shù)據(jù)源 ? 低延遲要求（幾小時，而非幾周或幾個月） ? 提供 對 數(shù)據(jù)的查詢訪問 10 流 Inter 級別 傳統(tǒng) 數(shù)據(jù)倉庫 InMotion Analytics Data Analytics, Data Operations Model Building Results Inter Scale Database Warehouse AtRest Data Analytics Results Ultra Low Latency Results 傳統(tǒng) /關(guān)系型 數(shù)據(jù)源 非傳統(tǒng) /非關(guān)系型 數(shù)據(jù)源 傳統(tǒng) /關(guān)系型 數(shù)據(jù)源 非傳統(tǒng) /非關(guān)系型 數(shù)據(jù)源 1 0 0 1 1 1 STREAMING 11 大數(shù)據(jù)技術(shù)是一系列技術(shù)的集合，是傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化技術(shù)與數(shù)據(jù)的整合，并基于這些技術(shù)與數(shù)據(jù)迚行綜合的商業(yè)智能應(yīng)用，包括數(shù)據(jù)分析與數(shù)據(jù)挖掘等。 BI / 報告 BI / 報告 探索 /可規(guī)化 功能 應(yīng)用 行業(yè) 應(yīng)用 預(yù)測分析 內(nèi)容分析 應(yīng)用程序 數(shù)據(jù)分析 系統(tǒng)管理 數(shù)據(jù)分析 應(yīng)用開發(fā) 數(shù)據(jù) 整 合與治理 Hadoop 系統(tǒng) 流計算 數(shù)據(jù)倉庫 目錄 大數(shù) 據(jù) 分 析挑戰(zhàn) 微軟解決方案介紹 大數(shù)據(jù)案例分享 13 深刻的數(shù)據(jù)洞察 自 助式服務(wù) | 協(xié)作 | 移動化 | 實 時 /準實時 非結(jié)構(gòu)化數(shù)據(jù) 1 0 0 1 1 1 多樣的數(shù)據(jù)管理 結(jié)構(gòu)化數(shù)據(jù) 流數(shù)據(jù) 共享與治理 挖 掘與關(guān)聯(lián)分析 轉(zhuǎn)換清洗 豐富的數(shù)據(jù)加工 14 非結(jié)構(gòu)化數(shù)據(jù) c. 建立對非結(jié)構(gòu)化數(shù)據(jù)進行 SQL語法查詢的支持，實現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的集成關(guān)聯(lián)（ key） 主分類 關(guān)鍵詞 標簽 地名人名 全國統(tǒng)一分類 分詞，倒排搜索 共性、個性
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1