【正文】 上書店為了能夠吸引更多讀者購買圖書，常常會(huì)運(yùn)用一種叫做 關(guān)聯(lián)銷售分析 的方法?！? ? 顧客 :“什么 ?!” ? 客服 :“ 根據(jù) “ AIC CRM系統(tǒng)”記錄，您有一輛摩托車， 車號(hào) 是 GY7878。” ( ) 50 2020/10/5 ? 顧客 :“那 ?? 你們有什么可以推薦的 ?” ? 客服 :“您可以試試我們的低脂健康披薩。 2020/10/5 46 ? 7 247。 ? 因此，聚類模型的好與壞就在于其質(zhì)化的意義，即可詮釋性的好與壞。 2020/10/5 32 ? 假設(shè)電話銷售每打一通電話所要付出的人事、設(shè)備折舊以及辦公室設(shè)備相關(guān)成本總共是 250元；而每成功銷售一通的話第一年可以為公司凈賺 1000元。 理想模型線：在增益圖的最上方兩段直線所構(gòu)成的，表示完美預(yù)測(cè)的結(jié)果。 ? 從上述三個(gè)指標(biāo)來看，這個(gè)預(yù)測(cè)模型可以讓名單縮減至原來的 %，但是卻只包含了總體 %會(huì)違約的人（反查率），讓回應(yīng)率提升了原先的 。 ? 回應(yīng)率講究的是模型“寧缺勿濫”的能力。 ? 把對(duì)這個(gè)事件的誤判會(huì)造成極大損失的情況，作為第二類錯(cuò)誤。 ? 由于小概率事件發(fā)生概率很小，如果針對(duì)所有客戶采取行動(dòng)，就會(huì)形成浪費(fèi)，因此，需要利用預(yù)測(cè)的技術(shù)將小概率事件找出來。 為什么？ ? A：所有的人都不會(huì)違約，因此它錯(cuò)誤的只有 8%的違約分類錯(cuò)誤（違約誤判為不違約），因此準(zhǔn)確率是 92%。它的功能是評(píng)估模型分類實(shí)物是否正確。 學(xué) 習(xí) 得 到 分 類 法 后 ， 對(duì) 分 類 錯(cuò) 誤 的樣 本 更 新 權(quán) 重 ， 使 得 下 一 次 迭 代 更 關(guān) 注 這 些 樣 本 。 對(duì) 于 迭 代（ ） ， 訓(xùn) 練 集 采 用 放 回 選 樣 ， 由 原 始 樣 本 集選 取 。 2020/10/5 3 ?“保持”這種評(píng)估方法是保守的，因?yàn)橹挥幸徊糠殖跏紨?shù)據(jù)用于導(dǎo)出的分類法。通常，三分之二的數(shù)據(jù)分配到訓(xùn)練集，其余三分之一分配到訓(xùn)練集。 2020/10/5 4 2020/10/5 5 *1 , 2 , ...,ittttsSt t T S SSSSC X CCX?給 定 樣 本 個(gè) 樣 本 的 集 合 ， 裝 袋 過 程 如 下 。 學(xué) 習(xí) 得 到一 系 列 分 類 法 。 2020/10/5 8 ? 其中， t_pos是真正樣本（被正確地按此分類的“ cancer”樣本）數(shù)， pos是正（“ cancer”）樣本數(shù)， ? t_neg是真負(fù)樣本（被正確地按此分類的“ non_cancer”樣本）數(shù)， neg是負(fù)（ “ non_cancer”）樣本數(shù)， ? 而 f_pos假正樣本（被錯(cuò)誤地標(biāo)記為“ cancer”的“ non_cancer”樣本）數(shù) 2020/10/5 9 _( _ _ )t pospe rc is iont pos f pos? ?_t posse nsi t i v i t ypos?靈敏性 特效性 精度 _t ne gspe c i f i c i t yne g?( ) ( )po s ne gac c urac y se nsit iv it y spe c if ic it ypo s ne g po s ne g?? ??2020/10/5 10 預(yù)測(cè)值 1（實(shí)際“ cancer”） “ cancer”） 0（實(shí)際 no_cancer） 1(預(yù)測(cè)“ cancer” ) 0 0 0(預(yù)測(cè)“ no_cancer” ) “ no_cancer” ) 10 90 _0( _ _ )90%( ) ( )t p o sp e rc isiont p o s f p o sp o s n e ga c c u ra c y se n sitiv ity sp e c ific ityp o s n e g p o s n e g???? ? ???__ 0 100%t pos t ne gse nsi ti v it y spe c if ic it ypos ne g? ? ? ?? 傳統(tǒng)評(píng)估分類預(yù)測(cè)模型時(shí)，通常使用的是“準(zhǔn)確度”。 2020/10/5 12 ? 利用 A公司的模型后，結(jié)果發(fā)現(xiàn)里面只有一條規(guī)則，那就是“所有的人都不會(huì)違約”。 2020/10/5 14 ? 所謂小概率事件是發(fā)生概率小，而且一定是能夠?yàn)槠髽I(yè)界帶來高度獲利或嚴(yán)重?fù)p失的事件。 ? 因此，我們需要確定哪一個(gè)狀況是我們所關(guān)心的小概率事件。 ? 可以發(fā)現(xiàn)，原始回應(yīng)率為 %，運(yùn)用數(shù)據(jù)挖掘模型提升為 %，因此回應(yīng)率提升了。 2020/10/5 25 預(yù)測(cè)值 1（實(shí)際值） 0（實(shí)際值） 1 66 28 0 185 721 ?間距縮減 (range reduce)：通過 DM模型來找出小概率事件時(shí)，名單縮小了多少。 正常模型的增益圖要比 45度線向第二象限彎曲，越向上彎曲表示模型效果越好。 ? 收益圖 :首先在成本獲利參數(shù)的輸入對(duì)話框中，要輸入： ?總體（？） ?固定成本（？） ?單位成本（？） ?每個(gè)收益（？）：每個(gè)小概率事件發(fā)生時(shí)所得到的獲利或是減少的損失。 ? 聚類本身是無監(jiān)督學(xué)習(xí)，并沒有目標(biāo)變量可以預(yù)測(cè)，只是從資料中找出潛在隱藏的相似性結(jié)構(gòu)，因此聚類本身是一個(gè)詮釋性的模型，而不具有預(yù)測(cè)力，所以無法判斷準(zhǔn)確率。 ? 吃酒要被酒 殺 死，一 點(diǎn) 酒也不要吃?！? ? 顧客 :“為什么 ?” ? 客服 :“根據(jù)您的醫(yī)療紀(jì)錄 , 您有高血壓和膽固醇偏高。你們多久會(huì)送到 ?” ? 客服 :“大約三十分鐘 , 如果您不想等 ,可以自己騎車來。 ? 是什么讓沃爾瑪發(fā)現(xiàn)了尿布和啤酒之間的關(guān)系呢？ ? 正是商家通過對(duì)超市一年多原始交易數(shù)字進(jìn)行詳細(xì)的分析，通過數(shù)據(jù)挖掘中的 關(guān)聯(lián)規(guī)則發(fā)現(xiàn)了這樣的組合。 置信度confidence(.)：是指在所有的購買了左邊商品的交易中，同時(shí)又購買了右邊商品的交易概率。一旦發(fā)現(xiàn)交易異常的明顯痕跡，發(fā)卡行需要聯(lián)系持卡人，以確定其信用卡賬戶最近是否正常，是否被以任何方式遭受損害。如果使用傳統(tǒng)的分析方法的話，這種產(chǎn)品很快就會(huì)不賣了，可是事實(shí)上這種產(chǎn)品是相當(dāng)重要的。 ? （ 4）通過建立顧客會(huì)員制度，記錄同一顧客在不同時(shí)期購買的商品序列，通過統(tǒng)計(jì)分析和序列模式挖掘顧客購買趨勢(shì)或忠誠(chéng)度的變化。 ?多種海量數(shù)據(jù)源 ? 商業(yè) : 網(wǎng)絡(luò) , 電子商務(wù) , 交易 , 股票 , … ? 科學(xué) : 遙感數(shù)據(jù) , 生物信息學(xué) , 科學(xué)模擬 , … ? 社會(huì)各個(gè)角落 : 新聞 , 數(shù)字影像 , 視頻， … ?“ 我們被信息淹沒卻信息貧乏 !” ?“ 需要是發(fā)明之母 ” ——— 數(shù)據(jù)挖掘 — 海量數(shù)據(jù)庫的自動(dòng)化