【正文】 /圖像 未來數(shù)年數(shù)據(jù)量會呈現(xiàn)指數(shù)增長 。 建立在相關(guān)關(guān)系分析法上基礎(chǔ)上的預(yù)測是大 數(shù)據(jù) 的核心。 HDP 海 量 大 數(shù) 據(jù)倉庫 25 Hive、 Sqoop 當(dāng)前大數(shù)據(jù)分析面臨的挑戰(zhàn) Warehouse 要求學(xué)習(xí)和掌握MapReduce技術(shù) 需要 IT人員將 HDFS 中的數(shù)據(jù)倒入數(shù)據(jù)倉庫或集市中，才能用于后繼的分析 HDFS (Hadoop) HDFS (Hadoop) —— 大量新技術(shù)需要學(xué)習(xí)掌握、周期長、見效慢 傳統(tǒng) BI EDW Connector for Hadoop ETL/ELT ? Hadoop：成本低、擴(kuò)展性好、數(shù)據(jù)加載快、并發(fā)處理 強(qiáng) ? EDW： SQL查詢執(zhí)行性能高，包括Adhoc、 OLAP、報表等 Hive ODBC Driver 26 基于 PolyBase的全方位數(shù)據(jù)整合能力 ? 穿越結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的訪問 ? 數(shù)據(jù)庫和 Hadoop的混合分析支持 ? 透明的應(yīng)用訪問 Social Apps Sensor RFID Mobile Apps Web Apps 非結(jié)構(gòu)化數(shù)據(jù) 結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)庫 文件系統(tǒng) HDFS 混合動力引擎 PolyBase SQL 關(guān)系型 數(shù)據(jù)庫 ? 通過統(tǒng)一的查詢，同時訪問結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù) ? 沿 用標(biāo)準(zhǔn)的 SQL語句進(jìn)行訪問 ? Select, From Where 低延遲可擴(kuò)展流數(shù)據(jù)計算平 臺 StreamInsight 用于大數(shù)據(jù)領(lǐng)域?qū)崟r高頻數(shù)據(jù)分析處理 一個處理流數(shù)據(jù)的 低延遲 平臺 毫秒級，甚至微妙級端到端的延遲 一個 可高度擴(kuò)展 的，用于 實時分析 的 高性能 平臺 通過橫向增加硬件獲得近線性的處理能力擴(kuò)展 高達(dá) 125個節(jié)點擴(kuò)展 一個 靈活的 、 勱態(tài)的 平臺 Streams應(yīng)用靈活部署 支持勱態(tài)部署新的分析應(yīng)用 每秒數(shù)以百萬計的事件 微秒級延遲 傳統(tǒng) /非傳統(tǒng)數(shù)據(jù)源 實時決策 強(qiáng)大分析 算法交易 Telco churn predict Smart Grid 網(wǎng)絡(luò)安全入侵監(jiān)測 Cyber Security Government / Law enforcement ICU Monitoring 環(huán)境監(jiān)控 27 28 使用熟悉工具來分析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù) Hadoop 數(shù)據(jù) 結(jié)構(gòu)化 數(shù)據(jù) 用熟悉的工具來分析大數(shù)據(jù) ? 微 軟 BI工具的天然集成 ? 在同一表格中分析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù) ? 廣泛使用的熟悉工 具 ? EXCEL ? PowerPivot ? SQLSERVER BI 無需 IT 人員介入 分析多樣的數(shù)據(jù)類型 廣泛使用的Excel 29 MicrosoftSpeech SDK —Microsoft Speech SDK是微軟公司提供在 Windows平臺上開發(fā)語音識別和語音合成應(yīng)用程序的開發(fā)包，簡稱為 SAPI，內(nèi)含 SR（ Speech Recognition）和 SS（ Speechsynthesis）引擎，因此可以很方便地在自己的應(yīng)用程序中添加這些功能。 MAVIS“微軟研究院音視頻索引系統(tǒng) 目錄 大數(shù) 據(jù) 分 析挑戰(zhàn) 微軟解決方案介紹 大數(shù)據(jù)案例分享 銀行面臨大數(shù)據(jù)時代的業(yè)務(wù)挑戰(zhàn) 小微企 業(yè)貸款市場逐漸被侵 蝕 150PB在線存儲數(shù)據(jù)、 30,000個數(shù)據(jù)庫和 35億個用戶登錄賬號。 數(shù)據(jù)被匯集至一個通用平臺，以方便以客戶為中心的數(shù)據(jù)挖掘與數(shù)據(jù)分析工具的使用。第三方支付企業(yè)使得客戶和銀行的關(guān)系進(jìn)一步疏遠(yuǎn)：本來是銀行自己的持卡客戶，銀 行卻根本不知道他們的購物明細(xì)，只能知道他們花了多少錢。微軟推出的應(yīng)用編程接口 API，雖然現(xiàn)在不是業(yè)界標(biāo)準(zhǔn)，但是應(yīng)用比較廣泛。 BI / 報告 BI / 報告 探索 /可規(guī)化 功能 應(yīng)用 行業(yè) 應(yīng)用 預(yù)測分析 內(nèi)容分析 應(yīng)用程序 數(shù)據(jù)分析 系統(tǒng)管理 數(shù)據(jù)分析 應(yīng)用開發(fā) 數(shù)據(jù) 整 合與治理 Hadoop 系統(tǒng) 流計算 數(shù)據(jù)倉庫 目錄 大數(shù) 據(jù) 分 析挑戰(zhàn) 微軟解決方案介紹 大數(shù)據(jù)案例分享 13 深刻的數(shù)據(jù)洞察 自 助式服務(wù) | 協(xié)作 | 移動化 | 實 時 /準(zhǔn)實時 非結(jié)構(gòu)化數(shù)據(jù) 1 0 0 1 1 1 多樣的數(shù)據(jù)管理 結(jié)構(gòu)化數(shù)據(jù) 流數(shù)據(jù) 共享與治理 挖 掘與關(guān)聯(lián)分析 轉(zhuǎn)換清洗 豐富的數(shù)據(jù)加工 14 非結(jié)構(gòu)化數(shù)據(jù) c. 建立對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行 SQL語法查詢的支持，實現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的集成關(guān)聯(lián)（ key） 主分類 關(guān)鍵詞 標(biāo)簽 地名人名 全國統(tǒng)一分類 分詞，倒排搜索 共性、個性 文本識別 處理 功能 模塊 網(wǎng)頁分類 反向搜索 關(guān)鍵詞分析 日志關(guān)聯(lián) 內(nèi)容分詞 索引建立 索引分析 日志合并 用戶 類別 標(biāo)簽 摘要 結(jié)構(gòu)化元信息 網(wǎng)頁信息分類 數(shù)據(jù)獲取 語義分析 數(shù)據(jù)解析 數(shù)據(jù)獲取 結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù)集市 數(shù)據(jù)集市 EDW 結(jié)構(gòu)化 元數(shù)據(jù) Hadoop a. 建立非結(jié)構(gòu)化信息的標(biāo)簽、摘要、索引、日志、內(nèi)容等 b. 提取結(jié)構(gòu)化的元數(shù)據(jù)信息，如類別、標(biāo)引、摘要等；實現(xiàn)與結(jié)構(gòu)化數(shù)據(jù)的整合 ODS SQL 聲譽(yù)度分析 品牌分析 服務(wù)質(zhì)量分析 競爭產(chǎn)品分析 產(chǎn)品評價 市場勱態(tài)跟蹤 15 EDW APPS Biz process ERP, CRM DM DM DM E T L 數(shù)據(jù)源 基礎(chǔ)架構(gòu) 分析組件 業(yè)務(wù)用戶 Structured: Known, known Semistructured: . web logs, sensor data Known, unknown Unstructured: . text, video, audio, Unknown, u