【正文】 精致復(fù)雜 品質(zhì)越高，想法或物品越重要，創(chuàng)意也越高。 合適可用 不論是想法或物品一定要有它的功能，換言之，就是有用。在很多案例中，這個(gè)階段是由客戶而不是數(shù)據(jù)分析人員承擔(dān)部署的工作。 側(cè)重點(diǎn)： ?使用訓(xùn)練數(shù)據(jù)集 (Training dataset)建立預(yù)測(cè)模型 . ?使用鑒效數(shù)據(jù)集 (Validation dataset)來(lái)避免模型對(duì)于訓(xùn)練數(shù)據(jù)集產(chǎn)生記憶效應(yīng) ?使用測(cè)試數(shù)據(jù)集 (testing dataset)來(lái)選擇模型以及測(cè)量模型在預(yù)測(cè)未知數(shù)據(jù)的能力 評(píng)估（ Evaluation） 通常，模型的創(chuàng)建不是項(xiàng)目的結(jié)束。這個(gè)階段的關(guān)鍵目的是確定是否有重要業(yè)務(wù)問(wèn)題沒(méi)有被充分的考慮。 側(cè)重點(diǎn)： ?選擇 合適 的數(shù)據(jù)采礦 技術(shù) 與 設(shè)定 最佳的 參數(shù) 以建立模型 建模（ Modeling） 到項(xiàng)目的這個(gè)階段，你已經(jīng)從數(shù)據(jù)分析的角度建立了一個(gè)高質(zhì)量顯示的模型。一般，有些技術(shù)可以解決一類相同的數(shù)據(jù)挖掘問(wèn)題。任務(wù)包括表、記錄和屬性的選擇，以及為模型工具轉(zhuǎn)換和清洗數(shù)據(jù)。這些數(shù)據(jù)將是模型工具的輸入值。 ?資訊單位與使用者單位間的溝通 ?配合法規(guī)以及外在環(huán)境應(yīng)變而改變既有的建模程序 ?成功的數(shù)據(jù)采礦顧問(wèn)必頇同時(shí)具有三大專業(yè)，分別是 算法與統(tǒng)計(jì)、數(shù)據(jù)庫(kù)與資訊平臺(tái)、產(chǎn)業(yè)專業(yè)知識(shí) ，三者缺一不可 業(yè)務(wù)理解（ Business Understanding） 側(cè)重點(diǎn)： ?運(yùn)用基礎(chǔ)統(tǒng)計(jì)以提升數(shù)據(jù)分析人員對(duì)數(shù)據(jù)的熟悉度，并同時(shí)驗(yàn)證數(shù)據(jù)的品質(zhì) ?分析數(shù)據(jù)的迷思：車流量與脈搏 ?錯(cuò)誤的取樣會(huì)導(dǎo)致錯(cuò)誤的結(jié)論 ?必頇透過(guò)跟案例間比較才能夠真正辨識(shí)出變數(shù)的意義 數(shù)據(jù)理解階段從初始的數(shù)據(jù)收集開(kāi)始，通過(guò)一些活動(dòng)的處理，目的是熟悉數(shù)據(jù)，識(shí)別數(shù)據(jù)的質(zhì)量問(wèn)題，首次發(fā)現(xiàn)數(shù)據(jù)的內(nèi)部屬性，或是探測(cè)引起興趣的子集去形成隱含信息的假設(shè)。 最初的階段集中在理解項(xiàng)目目標(biāo)和從業(yè)務(wù)的角度理解需求，同時(shí)將這個(gè)知識(shí)轉(zhuǎn)化為數(shù)據(jù)挖掘問(wèn)題的定義和完成目標(biāo)的初步計(jì)劃。 問(wèn)題類型與方法選定 SPSS和 NCR在 1996年為克萊斯勒做數(shù)據(jù)采礦時(shí)所訂定 ,區(qū)分六大步驟： (Business Understanding) (Data Understanding) (Data Preparation) 模 (Modeling) (Evaluation) (或布署 ) (Deployment) 數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程 (CRISPDM) (CRossIndustryStandardProcess forDataMining ) 一個(gè)數(shù)據(jù)挖掘項(xiàng)目的生命周期包含六個(gè)階段。 。 ，以找出相互關(guān)聯(lián)的活動(dòng)或攤位，并規(guī)劃未來(lái)的活動(dòng)。 4 在交易中尋找通用項(xiàng)目的群組 (Association ) (Decision Trees) 。 。 。 2 預(yù)測(cè)連續(xù)屬性 (Decision Trees ) (Time Series) (Linear Regression) 。 來(lái) 6個(gè)月內(nèi)失敗的機(jī)率。 貝氏定理（ Bayes39。 是對(duì) 客觀事物數(shù)量依存關(guān)系的分析 是數(shù)理統(tǒng)計(jì)中的一個(gè)常用的方法．是 處理多個(gè)變數(shù)之間相互關(guān)系的一種數(shù)學(xué)方法． 線性回歸模型 是 機(jī)率論中的一個(gè)結(jié)論 ，它跟隨機(jī)變數(shù)的 條件機(jī)率以及邊緣機(jī)率 分布有關(guān)。 所謂就是指 因變數(shù)和自變數(shù)之間的關(guān)系是直線型的 。若面對(duì)新的例證 ，神經(jīng)網(wǎng)路即可 根據(jù)其過(guò)去學(xué)習(xí)的成果歸納后，推導(dǎo)出新的結(jié)果 ，乃屬于機(jī)器學(xué)習(xí)的一種。 神經(jīng)網(wǎng)路 (Neural Net) 模擬人的神經(jīng)元功能，經(jīng)過(guò) 輸入層，隱藏層，輸出層 等，對(duì)數(shù)據(jù) 進(jìn)行調(diào)整，計(jì)算，最后得到結(jié)果， 用于分類和回歸。羅吉斯回歸分析 并非預(yù)測(cè)事件（ event）是否發(fā)生 ， 而是預(yù)測(cè)該事件的機(jī)率 。又例如： 如果 A股票在某一天上漲 12%，而且當(dāng)天股市加權(quán)指數(shù)下降，則 B股票在 兩天之內(nèi) 上漲的機(jī)率是 68%）。 關(guān)聯(lián)式規(guī)則多不考慮項(xiàng)目的次序，而僅考慮其組合。超市對(duì)顧客的購(gòu)買記錄數(shù)據(jù)庫(kù)進(jìn)行關(guān)聯(lián)規(guī)則挖掘，可以發(fā)現(xiàn)顧客的購(gòu)買習(xí)慣，例如， 購(gòu)買產(chǎn)品 X的同時(shí)也購(gòu)買產(chǎn)品 Y，于是，超市就可以調(diào)整貨架的布局，比如將 X產(chǎn)品和 Y產(chǎn)品放在一起，增進(jìn)銷量。 關(guān)聯(lián)規(guī)則 (Association) 又稱關(guān)聯(lián)規(guī)則，是數(shù)據(jù) 挖掘 的一個(gè)重要課題，用于從大量數(shù)據(jù)中挖掘出有價(jià)值的數(shù)據(jù)項(xiàng)之間的相關(guān)關(guān)系。它是將某種統(tǒng)計(jì)指標(biāo)的數(shù)值，按時(shí)間先后順序排到所形成的數(shù)列。 這個(gè)技術(shù)涵蓋范圍相當(dāng)廣泛，包含基因演算法、類神經(jīng)網(wǎng)路、統(tǒng)計(jì)學(xué)中的群集分析都有這個(gè)功能。常用的演算法有CART、 CHAID、 ID 、 。 實(shí)踐數(shù)據(jù)采礦功能的技術(shù)：算法 群集算 法 Clustering 決策樹(shù) Decision Trees 時(shí)間序列 Time Series 時(shí)序群集 Sequence Clustering 關(guān)聯(lián)規(guī)則 Association 貝氏決策定理 Na239。 例如 同質(zhì)分組相當(dāng)于行銷術(shù)語(yǔ)中的區(qū)隔化(segmentation)，但是，假定事先未對(duì)于區(qū)隔加以定義，而數(shù)據(jù)中自然產(chǎn)生區(qū)隔。 技巧 在客戶行銷系統(tǒng)上，此種功能系用來(lái)確認(rèn)交叉銷售 (cross selling)的機(jī)會(huì)以設(shè)計(jì)出吸引人的產(chǎn)品群組。 功能說(shuō)明 從所有物件決定那些相關(guān)物件應(yīng)該放在一起。 例如 例如由顧客過(guò)去之刷卡消費(fèi)量預(yù)測(cè)其未來(lái)之刷卡消費(fèi)量。 技巧 使用的技巧包括 統(tǒng)計(jì)方法上之相關(guān)分析 、 回歸分析 及 類神經(jīng)網(wǎng)路 方法。 數(shù)據(jù)采礦的 ” 推理 ” 功能 功能說(shuō)明 根據(jù)既有連續(xù)性數(shù)值之相關(guān)屬性數(shù)據(jù)，以獲致某一屬性未知之值 。 例如 將信用申請(qǐng)者的風(fēng)險(xiǎn)屬性，區(qū)分為高度風(fēng)險(xiǎn)申請(qǐng)者，中度風(fēng)險(xiǎn)申請(qǐng)者及低度風(fēng)險(xiǎn)申請(qǐng)者。 例如你可以從一份郵寄名單預(yù)測(cè)出哪些客戶最可能對(duì)你的推銷做回應(yīng)，所以你可以只對(duì)特定的對(duì)象做郵購(gòu)?fù)其N，而不必浪費(fèi)許多印刷費(fèi)郵寄費(fèi)而只得到很少的回應(yīng)。 譬如 Association Model可以幫助超級(jí)市場(chǎng)或百貨店規(guī)畫如何擺設(shè)貨品。 大數(shù)據(jù)技術(shù) 數(shù)據(jù)采礦是用來(lái)將數(shù)據(jù)中 隱藏的資訊挖掘出來(lái) ，所以使用了許多統(tǒng)計(jì)分析與 Modeling 的方法，到數(shù)據(jù)中尋找有用的 特征（ Patterns） 以及 關(guān)連性（ Relationships）。 【 數(shù)據(jù)挖掘 】 分類 （ Classification）、估計(jì)（ Estimation）、預(yù)測(cè)（ Prediction）、 相關(guān)性分組或關(guān)聯(lián)規(guī)則 （ Affinity grouping or association rules）、聚類（ Clustering）、描述和可視化、 Description and Visualization）、復(fù)雜數(shù)據(jù)類型挖掘 (Text, Web ,圖形圖像，視頻，音頻等 ) 【 模型預(yù)測(cè) 】 預(yù)測(cè)模型、 機(jī)器學(xué)習(xí) 、建模模擬。一方面它是語(yǔ)言資訊處理的一個(gè)分支，另一方面它是人工智慧 (AI, Artificial Intelligence)的核心課題之一。 【 數(shù)據(jù)處理 】 自然語(yǔ)言處理 (NLP， Natural Language Processing)是研究人與電腦交互的語(yǔ)言問(wèn)題的一門學(xué)科。 【 數(shù)據(jù)存取 】 關(guān)系數(shù)據(jù)庫(kù)、 NOSQL、 SQL等。美國(guó)國(guó)內(nèi)圍繞這一項(xiàng)政府?dāng)?shù)據(jù)的資源，產(chǎn)生了將近 300家新創(chuàng)企業(yè) ，并延伸出數(shù)據(jù)清洗、分析、挖掘、數(shù)據(jù) 應(yīng)用等 業(yè)態(tài)，直到現(xiàn)在， 每年 圍繞這一業(yè)態(tài)產(chǎn)生的 經(jīng)濟(jì)價(jià)值高達(dá) 300億美元。 TheWeather Company 2023年 10月 28日， IBM公司宣布 20億美金 收購(gòu)，通過(guò)整合 IBM行業(yè)領(lǐng)先