【正文】 、數(shù)據(jù)存儲技術和拘束關聯(lián)分析技術，從根本上解決“數(shù)據(jù)從哪里來、數(shù)據(jù)放在哪里、數(shù)據(jù)如何使用”這三大問題， 實現(xiàn)通過數(shù)據(jù)發(fā)現(xiàn)新知識、創(chuàng)造新價值、提升新能力的目標。 ?交易所以企業(yè)市場化運作，利用政府無償數(shù)據(jù)孵化與建立大數(shù)據(jù)交易生態(tài)圈 ?大數(shù)據(jù)交易所為政府開放數(shù)據(jù)與市場應用的最后一哩路，政府可透過大數(shù)據(jù)交易所獲得市場對開放數(shù)據(jù)的需求，進而做為數(shù)據(jù)開放的參考與依據(jù) ①透過大數(shù)據(jù)交易所有償購回與政府治理有關數(shù)據(jù)產(chǎn)品 (發(fā)揮拉動市場的力量 )與提升政府治理能力 內(nèi)部經(jīng)營使用 ① 指導決策 ② 優(yōu)化管理 不得違反國家安全、社會安全、商業(yè)隱私、個人安全等相關法 律。 。美國國內(nèi)圍繞這一項政府數(shù)據(jù)的資源，產(chǎn)生了將近 300家新創(chuàng)企業(yè) ，并延伸出數(shù)據(jù)清洗、分析、挖掘、數(shù)據(jù) 應用等 業(yè)態(tài)，直到現(xiàn)在， 每年 圍繞這一業(yè)態(tài)產(chǎn)生的 經(jīng)濟價值高達 300億美元。 【 數(shù)據(jù)挖掘 】 分類 （ Classification）、估計（ Estimation）、預測（ Prediction）、 相關性分組或關聯(lián)規(guī)則 （ Affinity grouping or association rules）、聚類（ Clustering）、描述和可視化、 Description and Visualization）、復雜數(shù)據(jù)類型挖掘 (Text, Web ,圖形圖像，視頻，音頻等 ) 【 模型預測 】 預測模型、 機器學習 、建模模擬。 例如 將信用申請者的風險屬性，區(qū)分為高度風險申請者，中度風險申請者及低度風險申請者。 功能說明 從所有物件決定那些相關物件應該放在一起。常用的演算法有CART、 CHAID、 ID 、 。超市對顧客的購買記錄數(shù)據(jù)庫進行關聯(lián)規(guī)則挖掘，可以發(fā)現(xiàn)顧客的購買習慣，例如， 購買產(chǎn)品 X的同時也購買產(chǎn)品 Y，于是，超市就可以調(diào)整貨架的布局，比如將 X產(chǎn)品和 Y產(chǎn)品放在一起，增進銷量。 神經(jīng)網(wǎng)路 (Neural Net) 模擬人的神經(jīng)元功能，經(jīng)過 輸入層，隱藏層，輸出層 等，對數(shù)據(jù) 進行調(diào)整，計算，最后得到結果， 用于分類和回歸。 貝氏定理（ Bayes39。 。 問題類型與方法選定 SPSS和 NCR在 1996年為克萊斯勒做數(shù)據(jù)采礦時所訂定 ,區(qū)分六大步驟： (Business Understanding) (Data Understanding) (Data Preparation) 模 (Modeling) (Evaluation) (或布署 ) (Deployment) 數(shù)據(jù)挖掘標準流程 (CRISPDM) (CRossIndustryStandardProcess forDataMining ) 一個數(shù)據(jù)挖掘項目的生命周期包含六個階段。任務包括表、記錄和屬性的選擇，以及為模型工具轉(zhuǎn)換和清洗數(shù)據(jù)。 側重點： ?使用訓練數(shù)據(jù)集 (Training dataset)建立預測模型 . ?使用鑒效數(shù)據(jù)集 (Validation dataset)來避免模型對于訓練數(shù)據(jù)集產(chǎn)生記憶效應 ?使用測試數(shù)據(jù)集 (testing dataset)來選擇模型以及測量模型在預測未知數(shù)據(jù)的能力 評估（ Evaluation） 通常，模型的創(chuàng)建不是項目的結束。 精致復雜 品質(zhì)越高，想法或物品越重要，創(chuàng)意也越高。這個階段的關鍵目的是確定是否有重要業(yè)務問題沒有被充分的考慮。這些數(shù)據(jù)將是模型工具的輸入值。 。 。 是對 客觀事物數(shù)量依存關系的分析 是數(shù)理統(tǒng)計中的一個常用的方法．是 處理多個變數(shù)之間相互關系的一種數(shù)學方法． 線性回歸模型 是 機率論中的一個結論 ，它跟隨機變數(shù)的 條件機率以及邊緣機率 分布有關。羅吉斯回歸分析 并非預測事件（ event）是否發(fā)生 ， 而是預測該事件的機率 。 關聯(lián)規(guī)則 (Association) 又稱關聯(lián)規(guī)則，是數(shù)據(jù) 挖掘 的一個重要課題，用于從大量數(shù)據(jù)中挖掘出有價值的數(shù)據(jù)項之間的相關關系。 實踐數(shù)據(jù)采礦功能的技術：算法 群集算 法 Clustering 決策樹 Decision Trees 時間序列 Time Series 時序群集 Sequence Clustering 關聯(lián)規(guī)則 Association 貝氏決策定理 Na239。 例如 例如由顧客過去之刷卡消費量預測其未來之刷卡消費量。 例如你可以從一份郵寄名單預測出哪些客戶最可能對你的推銷做回應，所以你可以只對特定的對象做郵購推銷，而不必浪費許多印刷費郵寄費而只得到很少的回應。一方面它是語言資訊處理的一個分支，另一方面它是人工智慧 (AI, Artificial Intelligence)的核心課題之一。 TheWeather Company 2023年 10月 28日， IBM公司宣布 20億美金 收購，通過整合 IBM行業(yè)領先的大數(shù)據(jù)和分析能力，以及 The Weather的科學專業(yè)性和基于云計算的天氣數(shù)據(jù)發(fā)布系統(tǒng)，來給企業(yè)帶來實時的天氣分析信息， 幫助他們 更好地進行決策 。 。 ②觀察市場使用本身數(shù)據(jù)情況，發(fā)現(xiàn)新藍海。 中國大數(shù)據(jù)的定義 新技術： 核心是新的信息技術。這一新的定義，蘊含著大數(shù)據(jù)時代的三個基本特征，即 新模式、新技術、新業(yè)態(tài) 。邁爾 恩格教授 提出， ”大數(shù)據(jù) ”所代表的是當今社會所獨有的一種新型的能力 —以一種前所未有的方式，通過對海量數(shù)據(jù)進行分析， 獲得有巨大價值的產(chǎn)品及服務，或深刻的洞見。 大數(shù)據(jù)定義 (2/4)： 大數(shù)據(jù)應用價值角度 【 內(nèi)容 】 是從大數(shù)據(jù)本身特質(zhì)和特點對大數(shù)據(jù)進行界定。 ?維基百科 認為，大數(shù)據(jù)是指 無法再合理時間范圍內(nèi) 用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。他在報告中提到：“世界上有著無法想象的巨量數(shù)字信息，并以極快的速度增長。 英國 “二戰(zhàn)”期間開發(fā)能 大規(guī)模數(shù)據(jù)處理的機器 ，并使用了 第一臺可編程的電子計算機 進行運算，以每秒 5 000字符的速度讀 卡 ，破譯 德軍 部隊前方信息密碼，幫助盟軍成功登陸 諾曼第 。 零售行業(yè)大數(shù)據(jù)應用場景 ?優(yōu)化產(chǎn)品設計 ?庫存管理 ?生產(chǎn)計劃 ?配置資源 提升 30% 業(yè)績 供應鏈 物流行業(yè)規(guī)模 5萬億 最后一公里物流 3萬億元 利潤率 30% 下降 20% 中國的物流產(chǎn)業(yè)規(guī)模大概有 5萬億左右，其中公里物流市場大概有 3萬億左右。 (事前 ) 一次 進入到一個城市時，當?shù)卣浅g迎，并拿出了一個擁有 30萬戶籍人口的土地讓房地產(chǎn)公司進行開發(fā)。 數(shù)據(jù) 信息 知識 人類思維邏輯演進 人類思維范式演進 (摘自塊數(shù)據(jù) ) 知識、信息與數(shù)據(jù)的雙向演進 預備知識 (2/2) 數(shù)據(jù)的終極目的 ?決策支持 預測 優(yōu)化 增加效益 防范風險 (目的 ) (方法 ) (目標 ) 智能生活 (1)視頻 5分鐘 數(shù)據(jù)與生活 ?保險業(yè) ?地產(chǎn)行業(yè) ?零售行業(yè) ?物流行業(yè) ?政府治理 思路：透過 (大 )數(shù)據(jù)在生活中的應用，進而了解大數(shù)據(jù)的型態(tài)、樣式、影響與效益 客戶屬性 養(yǎng)車 APP 移動 APP 家庭成員 商旅人群 航空延誤險 旅游天氣險 手機被盜險 行李遺失險 專屬理財保險 壽險 養(yǎng)老險 教育險 高端客群 (保險公司 ) 創(chuàng)新保險產(chǎn)品 提升精算水平 增加利潤率 提高投資收益 稀有客群 寵物險