【正文】 nknown Business Users Machines Devices ―The Inter of Things‖ Data Scientists Collaboration Social Email, blogs, documents Everyone Indexing engine Algorithms Visualization Analytics Data Search Presentation Reporting Analysis Data HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS HDFS 16 Information Flow – Traditional BI Information Flow – Unstructured data to BI Information Flow –Semistructured data to BI Information Flow – Search 常見架構(gòu) + PB TB 一體機(jī) MPP DW MPP DM 傳統(tǒng)的 BI系統(tǒng)架構(gòu)并非一無是處，同樣值得我們學(xué)習(xí)借鑒 + + 18 MS大數(shù)據(jù)解決方案總體架構(gòu) 19 微軟大數(shù)據(jù)產(chǎn)品架構(gòu) Fast Load Source Systems Historical Data (Beyond Active Window) Summarize Load Big Data Sources (Raw, Unstructured) Alerts, Notifications Data Compute Intensive Application ERP CRM LOB APPS Integrate/Enrich SQL Server StreamInsight SQL Server Parallel Data Warehouse Enterprise ETL with SSIS, DQS, MDS Hadoop on Windows Azure Hadoop on Windows Server SQL Server FTDW Data Marts SQL Server Reporting Services SQL Server Analysis Server Business Insights Interactive Reports Performance Scorecards Crawlers Bots Devices Sensors 20 結(jié)構(gòu)化數(shù)據(jù) Microsoft SQL Server 2023 和 SQL Server Parallel Data Warehouse設(shè)備提供一種方法來管理結(jié)構(gòu)化數(shù)據(jù)。 1ZB數(shù)據(jù)相當(dāng)于美國國會圖書館中存儲的數(shù)據(jù)的 4000多倍。 10 全體數(shù)據(jù) 混雜數(shù)據(jù) 精確數(shù)據(jù) 抽 樣 數(shù)據(jù) 因果關(guān)系 相關(guān)關(guān)系 采樣的目的在于用最少的數(shù)據(jù)得到最多的信息， 但在樣本分析過程中不可避免會有一部分信息 丟失。 21 大觃模并行處理引擎 Massively Parallel Processing (MPP) PDW作為 SQL Server的橫向擴(kuò)展解決方案 … MPP 提供線性橫向擴(kuò)展能力 ? Massively Parallel Processing (MPP) 大規(guī)模并行處理架構(gòu) ? 橫向擴(kuò)展： 按需添加硬件實(shí)現(xiàn)線性擴(kuò)展 ? 無共享架 構(gòu) 最小 (0TB) 到最大 (6PB) ? 從幾個(gè) TB的小型數(shù)據(jù)倉庫開始 ? 擴(kuò)展到 6 PB 比 SMP DW快 10倍 復(fù)雜作業(yè)計(jì)算 線性擴(kuò)展 擴(kuò)展靈活方便 (No forklift) 聚沙成塔 成長無限 容量最大 隨需擴(kuò)容 PB 宕機(jī)為零 高枕無憂 22 Hadoop的典型應(yīng)用場景 ? 用戶行為分析 ? 跟蹤用戶 在 網(wǎng)站 上 的點(diǎn)擊路徑，分析其購買習(xí)慣 ? 根據(jù)用戶屬性，猜測用戶感興趣的商品，定向推廣 ? 根據(jù) N度客戶，發(fā)掘潛在的客戶群體 ? 日志存儲、分析 ? 日志分布在多臺服務(wù)器，查找問題困難 ,跨系統(tǒng)應(yīng)用日 志分析、系統(tǒng)性能分析等 ? 上傳文件存儲 ? 各業(yè)務(wù)系統(tǒng)上傳的文件、圖片統(tǒng)一保存 23 MS與 Hadoop ?基于 Apache Hadoop的 Windows Server和Windows Azure，以及 AD的支持 ? HDInsight Server ? HDInsight Service ? Hive ODBC Driver 和 Addin for Excel ? JavaScript Framework for Hadoop ? SQL Server and SQL Server Parallel 數(shù)據(jù) Warehouse connections for Hadoop ? Sharepoint, Powerpivot和 Powerview作為前端展示 24 數(shù)據(jù)價(jià)值 訪問頻度 MPP數(shù)據(jù)庫 結(jié)構(gòu)化數(shù)據(jù) 傳統(tǒng) BI工具 HDP 半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù) 歷史數(shù)據(jù)分析 數(shù)據(jù)生命周期 數(shù)據(jù)規(guī)模 ? HDP在 hadoop上增加了：集群管理能力，工作流，安全管理，并融入了數(shù)據(jù)分析 ,機(jī)器學(xué)習(xí)技術(shù)以及文本數(shù)據(jù)分析挖掘。 ?分析處理得到的文本結(jié)果 —請求接口 ?請求方式：本地訪問 ?請求數(shù)據(jù)：編碼后的音頻數(shù)據(jù) ?音頻編碼格式： wav ?音頻采樣頻率： 8000Hz、 11025Hz、 16000Hz、 22050Hz、 24000Hz、 32023Hz、 44100Hz、 48000Hz —主要優(yōu)點(diǎn) ?基于 COM組件，便于與 DirectShow中的組件整合。 ? 貸款模式使得客戶減少對于銀行的依賴：目前來看，貸款模式使得資金的供求 方和需求方可以自