【正文】 數(shù)據(jù)存儲(chǔ)技術(shù)和拘束關(guān)聯(lián)分析技術(shù)，從根本上解決“數(shù)據(jù)從哪里來、數(shù)據(jù)放在哪里、數(shù)據(jù)如何使用”這三大問題， 實(shí)現(xiàn)通過數(shù)據(jù)發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值、提升新能力的目標(biāo)。 ?交易所以企業(yè)市場(chǎng)化運(yùn)作，利用政府無償數(shù)據(jù)孵化與建立大數(shù)據(jù)交易生態(tài)圈 ?大數(shù)據(jù)交易所為政府開放數(shù)據(jù)與市場(chǎng)應(yīng)用的最后一哩路，政府可透過大數(shù)據(jù)交易所獲得市場(chǎng)對(duì)開放數(shù)據(jù)的需求，進(jìn)而做為數(shù)據(jù)開放的參考與依據(jù) ①透過大數(shù)據(jù)交易所有償購回與政府治理有關(guān)數(shù)據(jù)產(chǎn)品 (發(fā)揮拉動(dòng)市場(chǎng)的力量 )與提升政府治理能力 內(nèi)部經(jīng)營(yíng)使用 ① 指導(dǎo)決策 ② 優(yōu)化管理 不得違反國(guó)家安全、社會(huì)安全、商業(yè)隱私、個(gè)人安全等相關(guān)法 律。 。美國(guó)國(guó)內(nèi)圍繞這一項(xiàng)政府?dāng)?shù)據(jù)的資源，產(chǎn)生了將近 300家新創(chuàng)企業(yè) ，并延伸出數(shù)據(jù)清洗、分析、挖掘、數(shù)據(jù) 應(yīng)用等 業(yè)態(tài)，直到現(xiàn)在， 每年 圍繞這一業(yè)態(tài)產(chǎn)生的 經(jīng)濟(jì)價(jià)值高達(dá) 300億美元。 【 數(shù)據(jù)挖掘 】 分類 （ Classification）、估計(jì)（ Estimation）、預(yù)測(cè)（ Prediction）、 相關(guān)性分組或關(guān)聯(lián)規(guī)則 （ Affinity grouping or association rules）、聚類（ Clustering）、描述和可視化、 Description and Visualization）、復(fù)雜數(shù)據(jù)類型挖掘 (Text, Web ,圖形圖像，視頻，音頻等 ) 【 模型預(yù)測(cè) 】 預(yù)測(cè)模型、 機(jī)器學(xué)習(xí) 、建模模擬。 例如 將信用申請(qǐng)者的風(fēng)險(xiǎn)屬性，區(qū)分為高度風(fēng)險(xiǎn)申請(qǐng)者，中度風(fēng)險(xiǎn)申請(qǐng)者及低度風(fēng)險(xiǎn)申請(qǐng)者。 功能說明 從所有物件決定那些相關(guān)物件應(yīng)該放在一起。常用的演算法有CART、 CHAID、 ID 、 。超市對(duì)顧客的購買記錄數(shù)據(jù)庫進(jìn)行關(guān)聯(lián)規(guī)則挖掘，可以發(fā)現(xiàn)顧客的購買習(xí)慣，例如， 購買產(chǎn)品 X的同時(shí)也購買產(chǎn)品 Y，于是，超市就可以調(diào)整貨架的布局，比如將 X產(chǎn)品和 Y產(chǎn)品放在一起，增進(jìn)銷量。 神經(jīng)網(wǎng)路 (Neural Net) 模擬人的神經(jīng)元功能，經(jīng)過 輸入層，隱藏層，輸出層 等，對(duì)數(shù)據(jù) 進(jìn)行調(diào)整，計(jì)算，最后得到結(jié)果， 用于分類和回歸。 貝氏定理（ Bayes39。 。 問題類型與方法選定 SPSS和 NCR在 1996年為克萊斯勒做數(shù)據(jù)采礦時(shí)所訂定 ,區(qū)分六大步驟： (Business Understanding) (Data Understanding) (Data Preparation) 模 (Modeling) (Evaluation) (或布署 ) (Deployment) 數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程 (CRISPDM) (CRossIndustryStandardProcess forDataMining ) 一個(gè)數(shù)據(jù)挖掘項(xiàng)目的生命周期包含六個(gè)階段。任務(wù)包括表、記錄和屬性的選擇，以及為模型工具轉(zhuǎn)換和清洗數(shù)據(jù)。 側(cè)重點(diǎn)： ?使用訓(xùn)練數(shù)據(jù)集 (Training dataset)建立預(yù)測(cè)模型 . ?使用鑒效數(shù)據(jù)集 (Validation dataset)來避免模型對(duì)于訓(xùn)練數(shù)據(jù)集產(chǎn)生記憶效應(yīng) ?使用測(cè)試數(shù)據(jù)集 (testing dataset)來選擇模型以及測(cè)量模型在預(yù)測(cè)未知數(shù)據(jù)的能力 評(píng)估（ Evaluation） 通常，模型的創(chuàng)建不是項(xiàng)目的結(jié)束。 精致復(fù)雜 品質(zhì)越高，想法或物品越重要，創(chuàng)意也越高。這個(gè)階段的關(guān)鍵目的是確定是否有重要業(yè)務(wù)問題沒有被充分的考慮。這些數(shù)據(jù)將是模型工具的輸入值。 。 。 是對(duì) 客觀事物數(shù)量依存關(guān)系的分析 是數(shù)理統(tǒng)計(jì)中的一個(gè)常用的方法．是 處理多個(gè)變數(shù)之間相互關(guān)系的一種數(shù)學(xué)方法． 線性回歸模型 是 機(jī)率論中的一個(gè)結(jié)論 ，它跟隨機(jī)變數(shù)的 條件機(jī)率以及邊緣機(jī)率 分布有關(guān)。羅吉斯回歸分析 并非預(yù)測(cè)事件（ event）是否發(fā)生 ， 而是預(yù)測(cè)該事件的機(jī)率 。 關(guān)聯(lián)規(guī)則 (Association) 又稱關(guān)聯(lián)規(guī)則，是數(shù)據(jù) 挖掘 的一個(gè)重要課題，用于從大量數(shù)據(jù)中挖掘出有價(jià)值的數(shù)據(jù)項(xiàng)之間的相關(guān)關(guān)系。 實(shí)踐數(shù)據(jù)采礦功能的技術(shù)：算法 群集算 法 Clustering 決策樹 Decision Trees 時(shí)間序列 Time Series 時(shí)序群集 Sequence Clustering 關(guān)聯(lián)規(guī)則 Association 貝氏決策定理 Na239。 例如 例如由顧客過去之刷卡消費(fèi)量預(yù)測(cè)其未來之刷卡消費(fèi)量。 例如你可以從一份郵寄名單預(yù)測(cè)出哪些客戶最可能對(duì)你的推銷做回應(yīng)，所以你可以只對(duì)特定的對(duì)象做郵購?fù)其N，而不必浪費(fèi)許多印刷費(fèi)郵寄費(fèi)而只得到很少的回應(yīng)。一方面它是語言資訊處理的一個(gè)分支，另一方面它是人工智慧 (AI, Artificial Intelligence)的核心課題之一。 TheWeather Company 2023年 10月 28日， IBM公司宣布 20億美金 收購，通過整合 IBM行業(yè)領(lǐng)先的大數(shù)據(jù)和分析能力，以及 The Weather的科學(xué)專業(yè)性和基于云計(jì)算的天氣數(shù)據(jù)發(fā)布系統(tǒng)，來給企業(yè)帶來實(shí)時(shí)的天氣分析信息， 幫助他們 更好地進(jìn)行決策 。 。 ②觀察市場(chǎng)使用本身數(shù)據(jù)情況，發(fā)現(xiàn)新藍(lán)海。 中國(guó)大數(shù)據(jù)的定義 新技術(shù)： 核心是新的信息技術(shù)。這一新的定義，蘊(yùn)含著大數(shù)據(jù)時(shí)代的三個(gè)基本特征，即 新模式、新技術(shù)、新業(yè)態(tài) 。邁爾 恩格教授 提出， ”大數(shù)據(jù) ”所代表的是當(dāng)今社會(huì)所獨(dú)有的一種新型的能力 —以一種前所未有的方式，通過對(duì)海量數(shù)據(jù)進(jìn)行分析， 獲得有巨大價(jià)值的產(chǎn)品及服務(wù)，或深刻的洞見。 大數(shù)據(jù)定義 (2/4)： 大數(shù)據(jù)應(yīng)用價(jià)值角度 【 內(nèi)容 】 是從大數(shù)據(jù)本身特質(zhì)和特點(diǎn)對(duì)大數(shù)據(jù)進(jìn)行界定。 ?維基百科 認(rèn)為，大數(shù)據(jù)是指 無法再合理時(shí)間范圍內(nèi) 用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。他在報(bào)告中提到：“世界上有著無法想象的巨量數(shù)字信息，并以極快的速度增長(zhǎng)。 英國(guó) “二戰(zhàn)”期間開發(fā)能 大規(guī)模數(shù)據(jù)處理的機(jī)器 ，并使用了 第一臺(tái)可編程的電子計(jì)算機(jī) 進(jìn)行運(yùn)算，以每秒 5 000字符的速度讀 卡 ，破譯 德軍 部隊(duì)前方信息密碼，幫助盟軍成功登陸 諾曼第 。 零售行業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景 ?優(yōu)化產(chǎn)品設(shè)計(jì) ?庫存管理 ?生產(chǎn)計(jì)劃 ?配置資源 提升 30% 業(yè)績(jī) 供應(yīng)鏈 物流行業(yè)規(guī)模 5萬億 最后一公里物流 3萬億元 利潤(rùn)率 30% 下降 20% 中國(guó)的物流產(chǎn)業(yè)規(guī)模大概有 5萬億左右，其中公里物流市場(chǎng)大概有 3萬億左右。 (事前 ) 一次 進(jìn)入到一個(gè)城市時(shí)，當(dāng)?shù)卣浅g迎，并拿出了一個(gè)擁有 30萬戶籍人口的土地讓房地產(chǎn)公司進(jìn)行開發(fā)。 數(shù)據(jù) 信息 知識(shí) 人類思維邏輯演進(jìn) 人類思維范式演進(jìn) (摘自塊數(shù)據(jù) ) 知識(shí)、信息與數(shù)據(jù)的雙向演進(jìn) 預(yù)備知識(shí) (2/2) 數(shù)據(jù)的終極目的 ?決策支持 預(yù)測(cè) 優(yōu)化 增加效益 防范風(fēng)險(xiǎn) (目的 ) (方法 ) (目標(biāo) ) 智能生活 (1)視頻 5分鐘 數(shù)據(jù)與生活 ?保險(xiǎn)業(yè) ?地產(chǎn)行業(yè) ?零售行業(yè) ?物流行業(yè) ?政府治理 思路：透過 (大 )數(shù)據(jù)在生活中的應(yīng)用，進(jìn)而了解大數(shù)據(jù)的型態(tài)、樣式、影響與效益 客戶屬性 養(yǎng)車 APP 移動(dòng) APP 家庭成員 商旅人群 航空延誤險(xiǎn) 旅游天氣險(xiǎn) 手機(jī)被盜險(xiǎn) 行李遺失險(xiǎn) 專屬理財(cái)保險(xiǎn) 壽險(xiǎn) 養(yǎng)老險(xiǎn) 教育險(xiǎn) 高端客群 (保險(xiǎn)公司 ) 創(chuàng)新保險(xiǎn)產(chǎn)品 提升精算水平 增加利潤(rùn)率 提高投資收益 稀有客群 寵物險(xiǎn) 美甲