【正文】 ?多種海量數(shù)據(jù)源 ? 商業(yè) : 網(wǎng)絡 , 電子商務 , 交易 , 股票 , … ? 科學 : 遙感數(shù)據(jù) , 生物信息學 , 科學模擬 , … ? 社會各個角落 : 新聞 , 數(shù)字影像 , 視頻， … ?“ 我們被信息淹沒卻信息貧乏 !” ?“ 需要是發(fā)明之母 ” ——— 數(shù)據(jù)挖掘 — 海量數(shù)據(jù)庫的自動化分析 。如果使用傳統(tǒng)的分析方法的話，這種產(chǎn)品很快就會不賣了，可是事實上這種產(chǎn)品是相當重要的。 置信度confidence(.)：是指在所有的購買了左邊商品的交易中，同時又購買了右邊商品的交易概率。你們多久會送到 ?” ? 客服 :“大約三十分鐘 , 如果您不想等 ,可以自己騎車來。 ? 吃酒要被酒 殺 死，一 點 酒也不要吃。 ? 收益圖 :首先在成本獲利參數(shù)的輸入對話框中，要輸入： ?總體（？） ?固定成本（？） ?單位成本（？） ?每個收益（？）：每個小概率事件發(fā)生時所得到的獲利或是減少的損失。 2020/10/5 25 預測值 1（實際值） 0（實際值） 1 66 28 0 185 721 ?間距縮減 (range reduce)：通過 DM模型來找出小概率事件時，名單縮小了多少。 ? 因此，我們需要確定哪一個狀況是我們所關心的小概率事件。 2020/10/5 12 ? 利用 A公司的模型后，結果發(fā)現(xiàn)里面只有一條規(guī)則，那就是“所有的人都不會違約”。 學 習 得 到一 系 列 分 類 法 。通常，三分之二的數(shù)據(jù)分配到訓練集，其余三分之一分配到訓練集。 對 于 迭 代（ ） ， 訓 練 集 采 用 放 回 選 樣 ， 由 原 始 樣 本 集選 取 。它的功能是評估模型分類實物是否正確。 ? 由于小概率事件發(fā)生概率很小，如果針對所有客戶采取行動，就會形成浪費，因此，需要利用預測的技術將小概率事件找出來。 ? 回應率講究的是模型“寧缺勿濫”的能力。 理想模型線：在增益圖的最上方兩段直線所構成的，表示完美預測的結果。 ? 因此，聚類模型的好與壞就在于其質(zhì)化的意義，即可詮釋性的好與壞?！? ( ) 50 2020/10/5 ? 顧客 :“那 ?? 你們有什么可以推薦的 ?” ? 客服 :“您可以試試我們的低脂健康披薩。 59 2020/10/5 ? 現(xiàn)在網(wǎng)上書店為了能夠吸引更多讀者購買圖書，常常會運用一種叫做 關聯(lián)銷售分析 的方法。 2020/10/5 64 例如，如果一個持卡人日常生活里，每月交易筆數(shù)在3~6筆，這就是其交易模式之一。 2020/10/5 68 以顧客為導向 ? 例如， Safeway在了解客戶每次采購時會購買哪些產(chǎn)品以后，就可以利用數(shù)據(jù)挖掘中的監(jiān)測功能，監(jiān)測出長期的經(jīng)常購買行為。 。即對各個商品、各色貨物進行增減，確保正確的庫存；協(xié)助企業(yè)確定最佳經(jīng)濟批量、最佳定貨時機，從而節(jié)約進貨和庫存管理費用； 2020/10/5 67 ? （ 3）將顧客按照一定的標準進行分類，通過對企業(yè)銷售數(shù)據(jù)的序列分析發(fā)現(xiàn)顧客基于時間的購買模式，預測顧客需求，及時調(diào)整產(chǎn)品的結構和內(nèi)容，提高不同顧客群的滿意度，最大限度的留住顧客。這些因素結合起來，描述出持卡人最近交易的大概輪廓，從而評估出是否與持卡人的交易習慣相符。而丈夫在買完尿布之后又要順手買回自己愛喝的啤酒，因此啤酒和尿布在一起購買的機會還是很多的。請問您現(xiàn)在是用哪一個電話呢 ? ” 2020/10/5 AddinCards 親密合作伙伴 Customer Relationship Management 客戶關系管理 ? 顧客 :“我想要一個海鮮披薩 …… ” ? 客服 :“陳先生 , 海鮮披薩不適合您。 2020/10/5 37 體重90807060504030身高1801701601502020/10/5 38 600000 500000 400000 300000 202000 100000 0 0 100000 202000 300000 400000 500000 600000 橫軸是實際數(shù)值 縱軸是預測數(shù)值 當模型越準確時，則代表預測值越接近實際值，也就是越接近45度線 ? 以上介紹的均是分類模型的評估，對于聚類和關聯(lián)規(guī)則并不適用。 45度線表示隨機的狀態(tài)，代表當篩選一半的名單去檢查違約狀況時，剛好會包含全體名單一半的違約戶數(shù)量。 ? Response rate =預測會違約且實際會違約 /所有預測會違約 =66/(66+28)=% ?預測模型回應率的高低須和總體回應率比較： ? 總體 response rate =總體實際會違約 /總體=(66+185)/(66+185+28+721)=% 2020/10/5 21 預測值 1（實際“會違約”） 0（實際“不會違約”） 1 66 28 0 185 721 ?回應率 (response rate)：在預測的名單中找出有多少小概率事件（在預測違約的名單中，真正違約的所占比例是多少）。 ? 因此兩種誤判所造成的效益影響是不等價的。 ? 還可以使用精度（ precision）來度量，即評估標記為“ cancer”，實際是“ cancer”的樣本百分比。 ? 準確率估計是 k次迭代正確分類數(shù)除以初始數(shù)據(jù)中的樣本總數(shù)。 ?隨機子選樣是“保持”方法的一種變形，它將“保持”方法重復 k次。?推進 即使用相同的分類器，各個分類器不是獨立的；使用同一個算法對樣本迭代訓練，后建立的分類器關注于先前建立的分類器不能更好處理的部分數(shù)據(jù)；最終的輸出為各個分類器的加權投票。 ? B：在根據(jù)評分由高至低篩選出來前 40%的名單中，可以將所有的違約戶都找出來。 ? 例，把一個好賬的人當作呆賬是第一類錯誤，把一個呆賬的人當作好賬是第二類錯誤。 2020/10/5 26 ? 很少有模型同時能夠滿足上述三個指標的要求，當回應率很高時，一定是篩選高概率族群，因此名單間距縮減一定會變低，但是會遺漏掉低概率族群必定會造成反查降低，所以若只看分類矩陣，找不出最好的模型。 ? 所以每打出去一通電話： ?銷售成功： 1000— 250=收益 750（即正確預測稀有事件） ?銷售失敗：損失 250元 2020/10/5 33 ? 直效行銷設定： 總體： 50000；固定成本： 202000；單位成本：250；每個收益： 1000 2020/10/5 34 600000 500000