微軟銀行業(yè)大數(shù)據(jù)解決方案交流-預(yù)覽頁(yè)
【正文】 Performance Scorecards Crawlers Bots Devices Sensors 20 結(jié)構(gòu)化數(shù)據(jù) Microsoft SQL Server 2023 和 SQL Server Parallel Data Warehouse設(shè)備提供一種方法來管理結(jié)構(gòu)化數(shù)據(jù)。在可以獲得海量數(shù)據(jù)的情況下，對(duì)全體 數(shù)據(jù)進(jìn)行挖掘和分析可以獲得更多信息 。 1ZB數(shù)據(jù)相當(dāng)于美國(guó)國(guó)會(huì)圖書館中存儲(chǔ)的數(shù)據(jù)的 4000多倍。根據(jù)麥肯錫全球研究院（ MGI）估計(jì)，全球企業(yè) 2023年在硬盤上存儲(chǔ)了超過 7ZB（ 1ZB等于 10億 GB）的新數(shù)據(jù)，而消費(fèi)者在 PC和筆記本等設(shè)備上存儲(chǔ)了超過 6EB新數(shù)據(jù)。 10 全體數(shù)據(jù) 混雜數(shù)據(jù) 精確數(shù)據(jù) 抽 樣 數(shù)據(jù) 因果關(guān)系 相關(guān)關(guān)系 采樣的目的在于用最少的數(shù)據(jù)得到最多的信息， 但在樣本分析過程中不可避免會(huì)有一部分信息 丟失。 傳統(tǒng) 大數(shù)據(jù) 7 傳統(tǒng) BI分析 批處理 大數(shù)據(jù)分析 集群化 事務(wù) 關(guān)系型數(shù)據(jù)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù) 分析 非結(jié)構(gòu)化 流式 分析 組織 多種數(shù)據(jù)源 (MapReduce) ? 結(jié)構(gòu)化數(shù)據(jù) ? 數(shù)據(jù)規(guī)模一般 為 TB規(guī)模 ? 集中 式 ，為了分析進(jìn)行大量數(shù)據(jù)移動(dòng) ， 數(shù)據(jù)向計(jì)算靠近 ? 批處理為主 ? 結(jié)構(gòu)化 /非結(jié)構(gòu)化混合分析的能力 ? 數(shù)據(jù)規(guī)模從數(shù) 十 TB到 PB級(jí)別 ? 分布 式 ，計(jì)算向數(shù)據(jù)靠近 ? 支持流式分析 8 11 來源： Forrester Research， 2023 年 6 月全球大數(shù)據(jù)在線調(diào)查 集成大數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)功能以增加運(yùn)營(yíng)效率 需要利用多種類型數(shù)據(jù) 擴(kuò)展倉(cāng)庫(kù)基礎(chǔ)架構(gòu) ? 通過將很少使用的數(shù)據(jù)遷移到 Hadoop 來優(yōu)化存儲(chǔ)、維護(hù)和許可成本 ? 通過智能處理流數(shù)據(jù)來降低存儲(chǔ)成本 ? 通過確定倉(cāng)庫(kù)中要填充的數(shù)據(jù)來改善倉(cāng)庫(kù)性能 ? 深度分析所需要的結(jié)構(gòu)化、非結(jié)構(gòu)化和流數(shù)據(jù)源 ? 低延遲要求（幾小時(shí)，而非幾周或幾個(gè)月） ? 提供 對(duì) 數(shù)據(jù)的查詢?cè)L問 10 流 Inter 級(jí)別 傳統(tǒng) 數(shù)據(jù)倉(cāng)庫(kù) InMotion Analytics Data Analytics, Data Operations Model Building Results Inter Scale Database Warehouse AtRest Data Analytics Results Ultra Low Latency Results 傳統(tǒng) /關(guān)系型 數(shù)據(jù)源 非傳統(tǒng) /非關(guān)系型 數(shù)據(jù)源 傳統(tǒng) /關(guān)系型 數(shù)據(jù)源 非傳統(tǒng) /非關(guān)系型 數(shù)據(jù)源 1 0 0 1 1 1 STREAMING 11 大數(shù)據(jù)技術(shù)是一系列技術(shù)的集合，是傳統(tǒng)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化技術(shù)與數(shù)據(jù)的整合，并基于這些技術(shù)與數(shù)據(jù)迚行綜合的商業(yè)智能應(yīng)用，包括數(shù)據(jù)分析與數(shù)據(jù)挖掘等。 21 大觃模并行處理引擎 Massively Parallel Processing (MPP) PDW作為 SQL Server的橫向擴(kuò)展解決方案 … MPP 提供線性橫向擴(kuò)展能力 ? Massively Parallel Processing (MPP) 大規(guī)模并行處理架構(gòu) ? 橫向擴(kuò)展： 按需添加硬件實(shí)現(xiàn)線性擴(kuò)展 ? 無共享架 構(gòu) 最小 (0TB) 到最大 (6PB) ? 從幾個(gè) TB的小型數(shù)據(jù)倉(cāng)庫(kù)開始 ? 擴(kuò)展到 6 PB 比 SMP DW快 10倍 復(fù)雜作業(yè)計(jì)算 線性擴(kuò)展 擴(kuò)展靈活方便 (No forklift) 聚沙成塔 成長(zhǎng)無限 容量最大 隨需擴(kuò)容 PB 宕機(jī)為零 高枕無憂 22 Hadoop的典型應(yīng)用場(chǎng)景 ? 用戶行為分析 ? 跟蹤用戶 在 網(wǎng)站 上 的點(diǎn)擊路徑，分析其購(gòu)買習(xí)慣 ? 根據(jù)用戶屬性，猜測(cè)用戶感興趣的商品，定向推廣 ? 根據(jù) N度客戶，發(fā)掘潛在的客戶群體 ? 日志存儲(chǔ)、分析 ? 日志分布在多臺(tái)服務(wù)器，查找問題困難 ,跨系統(tǒng)應(yīng)用日 志分析、系統(tǒng)性能分析等 ? 上傳文件存儲(chǔ) ? 各業(yè)務(wù)系統(tǒng)上傳的文件、圖片統(tǒng)一保存 23 MS與 Hadoop ?基于 Apache Hadoop的 Windows Server和Windows Azure，以及 AD的支持 ? HDInsight Server ? HDInsight Service ? Hive ODBC Driver 和 Addin for Excel ? JavaScript Framework for Hadoop ? SQL Server and SQL Server Parallel 數(shù)據(jù) Warehouse connections for Hadoop ? Sharepoint, Powerpivot和 Powerview作為前端展示 24 數(shù)據(jù)價(jià)值 訪問頻度 MPP數(shù)據(jù)庫(kù) 結(jié)構(gòu)化數(shù)據(jù) 傳統(tǒng) BI工具 HDP 半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù) 歷史數(shù)據(jù)分析 數(shù)據(jù)生命周期 數(shù)據(jù)規(guī)模 ? HDP在 hadoop上增加了：集群管理能力，工作流，安全管理，并融入了數(shù)據(jù)分析 ,機(jī)器學(xué)習(xí)技術(shù)以及文本數(shù)據(jù)分析挖掘。 —該語音引擎支持多種語音的識(shí)別和朗讀，包括英文、日文、中文等。 ?分析處理得到的文本結(jié)果 —請(qǐng)求接口 ?請(qǐng)求方式：本地訪問 ?請(qǐng)求數(shù)據(jù)：編碼后的音頻數(shù)據(jù) ?音頻編碼格式： wav ?音頻采樣頻率： 8000Hz、 11025Hz、 16000Hz、 22050Hz、 24000Hz、 32023Hz、 44100Hz、 48000Hz —主要優(yōu)點(diǎn) ?基于 COM組件，便于與 DirectShow中的組件整合。 ? 電子商務(wù)公司和第三方支付廠商緊貼最終用戶，依靠市場(chǎng)優(yōu)勢(shì)，對(duì)銀行 的 議價(jià) 能 力極 強(qiáng)，比如：銀行的支付交易手續(xù)費(fèi)被支付寶壓到 3‰ 甚至更低，侵蝕銀行信用卡的收入。 ? 貸款模式使得客戶減少對(duì)于銀行的依賴：目前來看，貸款模式使得資金的供求 方和需求方可以自行撮合。 Hadoop能夠存儲(chǔ)大量非結(jié)構(gòu)化數(shù)據(jù)，允許公司收集和存儲(chǔ) Web日志、交易數(shù)據(jù)和社交媒
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1