數(shù)據(jù)挖掘數(shù)據(jù)挖掘模型評(píng)估-免費(fèi)閱讀
【正文】 2020/10/5 ? 從數(shù)據(jù)中挖掘知識(shí) ? 相近的術(shù)語(yǔ) ?數(shù)據(jù)庫(kù)中知識(shí)發(fā)現(xiàn) (KDD)、知識(shí)提取、數(shù)據(jù) /模式識(shí)別、 數(shù)據(jù)考古、數(shù)據(jù)捕撈、知識(shí)獲取、商業(yè)智能等。 ? 但如考慮到另一個(gè)問(wèn)題，這些夫妻會(huì)購(gòu)買何種顏色的兒童專用汽車椅？這時(shí)可以運(yùn)用數(shù)據(jù)挖掘技術(shù)以便在新婚夫妻購(gòu)買汽車的時(shí)候銷售給他們合適的兒童專用汽車椅。在商業(yè)上，有很多特征是很難理解的，但若了解到這些信息就會(huì)增加企業(yè)的競(jìng)爭(zhēng)能力。然后，據(jù)此調(diào)整商品的結(jié)構(gòu)，安排商品的庫(kù)存和定貨。 ? 電信：流失預(yù)警、客戶分群、關(guān)聯(lián)銷售。 60 2020/10/5 解決上述問(wèn)題的步驟： ?首先，確定數(shù)據(jù)源，也就是銷售記錄?！? ? 顧客 :“ …… ” ( ) 55 2020/10/5 ? 客服 :“請(qǐng)問(wèn)還需要什么嗎 ?” ? 顧客 :“沒(méi)有了，是不是有送三罐可樂(lè) ?” ? 客服 :“是的 !不過(guò)根據(jù)“ AIC CRM系統(tǒng) ”您有糖尿病 …… ” 56 2020/10/5 57 客戶 數(shù)據(jù) 倉(cāng) 庫(kù) 查詢 /報(bào)表 在線實(shí)時(shí)分析 數(shù)據(jù)挖掘 (Data Mining) 營(yíng)銷自動(dòng)化 接觸通路 電子郵件 /簡(jiǎn)訊 客服中心 網(wǎng)絡(luò)銀行 郵件 /傳真 業(yè)務(wù)代表 銷售自動(dòng)化 服務(wù)自動(dòng)化 作業(yè)型資 料儲(chǔ)存庫(kù) (ODS) 整合性客 戶數(shù)據(jù)庫(kù) 分析性 資料超市 分析模塊 (Analytical Models)/ Business Domain Ready Solutions 前臺(tái) 后 臺(tái) 2020/10/5 ? 在一家超市里，有一個(gè)有趣的現(xiàn)象：尿布和啤酒赫然擺在一起出售?！? ? 顧客 :“可以刷卡嗎 ?” ? 客服 :“陳先生，對(duì)不起，請(qǐng)您付現(xiàn)，因?yàn)槟男庞每ㄒ呀?jīng)刷爆了， ? 您現(xiàn)在還欠銀行十萬(wàn)四千八百零七元，而且還不包括房貸利息?！? ? 顧客 :“喔 !請(qǐng)等等， 12345678。 2020/10/5 40 ? 這個(gè)公式表明，當(dāng)“在 B中發(fā)生 A的概率”高于“在非 B的狀況下發(fā)生 A的概率”時(shí)，該指標(biāo)大于零，且此指標(biāo)越大，表示 A會(huì)造成 B出現(xiàn)的概率顯著提升。 ? 所以每預(yù)測(cè)一個(gè)客戶違約狀態(tài)： 違約戶：損失為 20200— 6000=損失 14000元 正常戶：獲利 6000元 2020/10/5 35 ? 信用評(píng)等模型設(shè)定： 總體： 50000；固定成本： 200,000；單位成本： — 6,000；每個(gè)收益： — 20,000 2020/10/5 36 600000 500000 400000 300000 202000 0 100000 橫軸表示模型會(huì)根據(jù)違約概率由高至低將客戶排序 本例最低點(diǎn)為 35%，因此，建議該銀行針對(duì)違約概率最高的 35%客戶拒絕發(fā)給信用卡 因?yàn)榍鞍攵味际歉哌`約率客戶，因此損失曲線是直線下降 縱軸表示行銷收益 ?增益圖和收益圖都是用來(lái)評(píng)估類別變量預(yù)測(cè)問(wèn)題的，如果遇到連續(xù)變量如何評(píng)估？此時(shí)需要散布圖。 ? 吉尼系數(shù) =模型曲線與 45度線之間的面積 /完美模型曲線與 45度線之間的面積 ?基尼系數(shù)？ ?吉尼系數(shù)越接近 1，表示模型的預(yù)測(cè)能力越高。因?yàn)樗械难菟惴ǔ祟A(yù)測(cè)結(jié)果之外，同時(shí)還會(huì)提供概率值作為排序的基準(zhǔn)。反查率越高，表明犯第二類錯(cuò)誤的可能性越小，那么模型越好。 ? 表中，預(yù)測(cè)為會(huì)違約且實(shí)際沒(méi)有違約的有 28人，預(yù)測(cè)不會(huì)違約且實(shí)際違約的有 185人，這些是預(yù)測(cè)模型判斷錯(cuò)誤的部分。 2020/10/5 15 小概率事件： ? 因此，評(píng)估數(shù)據(jù)挖掘模型的第一步就必須從錯(cuò)誤狀態(tài)的分類入手。 哪一家的模型更好呢？ 由上可以發(fā)現(xiàn)，不能使用準(zhǔn)確率來(lái)評(píng)判模型的優(yōu)劣。 2020/10/5 11 例：某家銀行發(fā)行現(xiàn)金卡，風(fēng)險(xiǎn)控管部門主管決定建立 DM模型，利用申請(qǐng)人申請(qǐng)當(dāng)時(shí)的所填的資料，建立違約預(yù)測(cè)模型，來(lái)作為核發(fā)現(xiàn)金卡以及給予額度的標(biāo)準(zhǔn)。90%的準(zhǔn)確率使得該分類法看上去相當(dāng)準(zhǔn)確，但是如果實(shí)際只有 3— 4%的訓(xùn)練樣本是“ cancer”會(huì)怎么樣？ ? 顯然， 90%的準(zhǔn)確率是不能接受的 —— 該分類法只能正確的標(biāo)記“ non_cancer”（稱作負(fù)樣本）樣本。 為 對(duì) 一 個(gè) 未 知 的 樣 本 分 類 ， 每 個(gè) 分 類 法 返 回 他的 類 預(yù) 測(cè) ， 算 作 一 票 。 ? 在 k— 折交叉確認(rèn)（ k— fold cross—validation）中，初試數(shù)據(jù)被劃分成 k個(gè)互不相交的子集或“折”，每個(gè)折的大小大致相等。2020/10/5 1 2020/10/5 2 ?評(píng)估分類法準(zhǔn)確率的技術(shù)有保持（ holdout）和 k折交叉確認(rèn)（ kfold crossvalidation）方法。訓(xùn)練和測(cè)試 k次。 裝 袋 的 分 類 法 統(tǒng) 計(jì) 得 票 ， 并 將 得 票最 高 的 類 賦 予 。但我們希望評(píng)估該分類能夠識(shí)別“ cancer”（稱作正樣本）的情況。 ? 該銀行邀請(qǐng)兩家 DM公司來(lái)設(shè)計(jì)模型，評(píng)比的標(biāo)準(zhǔn)是根據(jù)模型的“準(zhǔn)確度”。 2020/10/5 13 原因在于兩類錯(cuò)誤，忽略了“ 錯(cuò)誤不等價(jià) ”。這需要建立分類矩陣，通過(guò)分類矩陣來(lái)查看所有錯(cuò)誤的分布。 其中，后者還會(huì)造成比較嚴(yán)重的損失，是值得關(guān)注的部分。 2020/10/5 23 預(yù)測(cè)值 1（實(shí)際“會(huì)違約”） 0（實(shí)際“不會(huì)違約”） 1 66 28 0 185 721 ?反查 (recall)：預(yù)測(cè)出來(lái)的小概率事件占總體小概率事件的比例是多少。 2020/10/5 27 2020/10/5 28 橫軸百分比代表根據(jù) DM模型根據(jù)概率由高到低排序后的名單占總體百分比。 2020/10/5 29 AUC Gini 模型預(yù)測(cè)能力 =50% 0 無(wú)預(yù)測(cè)能力 50%70% 極差 70%80% 可以接受 80%90% 非常良好 90%100% 過(guò)度完美 2020/10/5 30 從收益的角度來(lái)看， DM有兩種類型： ? 回應(yīng)模型（直效行銷）：預(yù)測(cè)的小概率事件能夠?yàn)槠髽I(yè)帶來(lái)大量獲利。 ?如果預(yù)測(cè)的變量是連續(xù)型變量時(shí)，前面的分類矩陣、增益圖和收益圖都無(wú)法使用。如果此值為負(fù)，則代表在 A下越會(huì)抑制 B的發(fā)生?！? 48 2020/10/5 ( ) ? 顧客 : “我家，為什么你知道我所有的電話號(hào)碼？” ? 客服 : “陳先生，因?yàn)槲覀冇羞B線“ AIC CRM 系統(tǒng) ” ?！? ( 信用卡 ) 52 2020/10/5 ? 顧客 :“喔！那我先去附近的提款機(jī)領(lǐng)錢。 ?
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1