數(shù)據(jù)挖掘數(shù)據(jù)挖掘模型評(píng)估-全文預(yù)覽
【正文】 叫做 關(guān)聯(lián)銷(xiāo)售分析 的方法。 ? 但是這個(gè)奇怪的舉措?yún)s使尿布和啤酒的銷(xiāo)量雙雙增加了?！? ? 顧客 :“什么 ?!” ? 客服 :“ 根據(jù) “ AIC CRM系統(tǒng)”記錄，您有一輛摩托車(chē)， 車(chē)號(hào) 是 GY7878?！? ( 信用卡 ) 52 2020/10/5 ? 顧客 :“喔！那我先去附近的提款機(jī)領(lǐng)錢(qián)?！? ( ) 50 2020/10/5 ? 顧客 :“那 ?? 你們有什么可以推薦的 ?” ? 客服 :“您可以試試我們的低脂健康披薩?！? 48 2020/10/5 ( ) ? 顧客 : “我家，為什么你知道我所有的電話號(hào)碼？” ? 客服 : “陳先生，因?yàn)槲覀冇羞B線“ AIC CRM 系統(tǒng) ” 。 2020/10/5 46 ? 7 247。如果此值為負(fù)，則代表在 A下越會(huì)抑制 B的發(fā)生。 ? 因此，聚類模型的好與壞就在于其質(zhì)化的意義，即可詮釋性的好與壞。 ?如果預(yù)測(cè)的變量是連續(xù)型變量時(shí)，前面的分類矩陣、增益圖和收益圖都無(wú)法使用。 2020/10/5 32 ? 假設(shè)電話銷(xiāo)售每打一通電話所要付出的人事、設(shè)備折舊以及辦公室設(shè)備相關(guān)成本總共是 250元；而每成功銷(xiāo)售一通的話第一年可以為公司凈賺 1000元。 2020/10/5 29 AUC Gini 模型預(yù)測(cè)能力 =50% 0 無(wú)預(yù)測(cè)能力 50%70% 極差 70%80% 可以接受 80%90% 非常良好 90%100% 過(guò)度完美 2020/10/5 30 從收益的角度來(lái)看， DM有兩種類型： ? 回應(yīng)模型（直效行銷(xiāo)）：預(yù)測(cè)的小概率事件能夠?yàn)槠髽I(yè)帶來(lái)大量獲利。 理想模型線：在增益圖的最上方兩段直線所構(gòu)成的，表示完美預(yù)測(cè)的結(jié)果。 2020/10/5 27 2020/10/5 28 橫軸百分比代表根據(jù) DM模型根據(jù)概率由高到低排序后的名單占總體百分比。 ? 從上述三個(gè)指標(biāo)來(lái)看，這個(gè)預(yù)測(cè)模型可以讓名單縮減至原來(lái)的 %，但是卻只包含了總體 %會(huì)違約的人（反查率），讓回應(yīng)率提升了原先的 。 2020/10/5 23 預(yù)測(cè)值 1（實(shí)際“會(huì)違約”） 0（實(shí)際“不會(huì)違約”） 1 66 28 0 185 721 ?反查 (recall)：預(yù)測(cè)出來(lái)的小概率事件占總體小概率事件的比例是多少。 ? 回應(yīng)率講究的是模型“寧缺勿濫”的能力。 其中，后者還會(huì)造成比較嚴(yán)重的損失，是值得關(guān)注的部分。 ? 把對(duì)這個(gè)事件的誤判會(huì)造成極大損失的情況，作為第二類錯(cuò)誤。這需要建立分類矩陣，通過(guò)分類矩陣來(lái)查看所有錯(cuò)誤的分布。 ? 由于小概率事件發(fā)生概率很小，如果針對(duì)所有客戶采取行動(dòng)，就會(huì)形成浪費(fèi)，因此，需要利用預(yù)測(cè)的技術(shù)將小概率事件找出來(lái)。 2020/10/5 13 原因在于兩類錯(cuò)誤，忽略了“ 錯(cuò)誤不等價(jià) ”。 為什么？ ? A：所有的人都不會(huì)違約，因此它錯(cuò)誤的只有 8%的違約分類錯(cuò)誤（違約誤判為不違約），因此準(zhǔn)確率是 92%。 ? 該銀行邀請(qǐng)兩家 DM公司來(lái)設(shè)計(jì)模型，評(píng)比的標(biāo)準(zhǔn)是根據(jù)模型的“準(zhǔn)確度”。它的功能是評(píng)估模型分類實(shí)物是否正確。但我們希望評(píng)估該分類能夠識(shí)別“ cancer”（稱作正樣本）的情況。 學(xué) 習(xí) 得 到 分 類 法 后 ， 對(duì) 分 類 錯(cuò) 誤 的樣 本 更 新 權(quán) 重 ， 使 得 下 一 次 迭 代 更 關(guān) 注 這 些 樣 本 。 裝 袋 的 分 類 法 統(tǒng) 計(jì) 得 票 ， 并 將 得 票最 高 的 類 賦 予 。 對(duì) 于 迭 代（ ） ， 訓(xùn) 練 集 采 用 放 回 選 樣 ， 由 原 始 樣 本 集選 取 。訓(xùn)練和測(cè)試 k次。 2020/10/5 3 ?“保持”這種評(píng)估方法是保守的，因?yàn)橹挥幸徊糠殖跏紨?shù)據(jù)用于導(dǎo)出的分類法。2020/10/5 1 2020/10/5 2 ?評(píng)估分類法準(zhǔn)確率的技術(shù)有保持（ holdout）和 k折交叉確認(rèn)（ kfold crossvalidation）方法。通常，三分之二的數(shù)據(jù)分配到訓(xùn)練集，其余三分之一分配到訓(xùn)練集。 ? 在 k— 折交叉確認(rèn)（ k— fold cross—validation）中，初試數(shù)據(jù)被劃分成 k個(gè)互不相交的子集或“折”，每個(gè)折的大小大致相等。 2020/10/5 4 2020/10/5 5 *1 , 2 , ...,ittttsSt t T S SSSSC X CCX?給 定 樣 本 個(gè) 樣 本 的 集 合 ， 裝 袋 過(guò) 程 如 下 。 為 對(duì) 一 個(gè) 未 知 的 樣 本 分 類 ， 每 個(gè) 分 類 法 返 回 他的 類 預(yù) 測(cè) ， 算 作 一 票 。 學(xué) 習(xí) 得 到一 系 列 分 類 法 。90%的準(zhǔn)確率使得該分類法看上去相當(dāng)準(zhǔn)確，但是如果實(shí)際只有 3— 4%的訓(xùn)練樣本是“ cancer”會(huì)怎么樣？ ? 顯然， 90%的準(zhǔn)確率是不能接受的 —— 該分類法只能正確的標(biāo)記“ non_cancer”（稱作負(fù)樣本）樣本。 2020/10/5 8 ? 其中， t_pos是真正樣本（被正確地按此分類的“ cancer”樣本）數(shù)， pos是正（“ cancer”）樣本數(shù)， ? t_neg是真負(fù)樣本（被正確地按此分類的“ non_cancer”樣本）數(shù)， neg是負(fù)（ “ non_cancer”）樣本數(shù)， ? 而 f_pos假正樣本（被錯(cuò)誤地標(biāo)記為“ cancer”的“ non_cancer”樣本）數(shù) 2020/10/5 9 _( _ _ )t pospe rc is iont pos f pos? ?_t posse nsi t i v i t ypos?靈敏性 特效性 精度 _t ne gspe c i f i c i t yne g?( ) ( )po s ne gac c urac y se nsit iv it y spe c if ic it ypo s ne g po s ne g?? ??2020/10/5 10 預(yù)測(cè)值 1（實(shí)際“ cancer”） “ cancer”） 0（實(shí)際 no_cancer） 1(預(yù)測(cè)“ cancer” ) 0 0 0(預(yù)測(cè)“ no_cancer” ) “ no_cancer” ) 10 90 _0( _ _ )90%( ) ( )t p o sp e rc isiont p o s f p o sp o s n e ga c c u ra c y se n sitiv ity sp e c ific ityp o s n e g p o s n e g???? ? ???__ 0 100%t pos t ne gse nsi ti v it y spe c if ic it ypos ne g? ? ? ?? 傳統(tǒng)評(píng)估分類預(yù)測(cè)模型時(shí)，通常使用的是“準(zhǔn)確度”。 202
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1