大數(shù)據(jù)應(yīng)用基礎(chǔ)-數(shù)據(jù)挖掘流程(存儲(chǔ)版)
【正文】 ? 具體辦法可以是：把各屬性所在區(qū)間平均分成 8份，每一份對(duì)應(yīng) 1個(gè)離散值。 ? 在 實(shí)踐中，很多數(shù)值型變量的分布都偏斜、不對(duì)稱，這會(huì)干擾模型的擬合， 影響變量的 預(yù)測(cè)性能 。 數(shù)據(jù)標(biāo)準(zhǔn)化 ? 最常用的數(shù)據(jù)標(biāo)準(zhǔn)化方法有兩種： –標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化（ Zscore transformation、零均值法、 Zeromean normalization）。 ? 抽樣的主要原因是如果數(shù)據(jù)全集的規(guī)模太大，運(yùn)算資源的消耗會(huì)很大，而且 運(yùn)算時(shí)間 很長(zhǎng)。 ? 如果兩組群體的成員數(shù)量大致相當(dāng)，分類算法的性能最好。 但是 ： –過(guò)多的特征會(huì)使得機(jī)器學(xué)習(xí)的訓(xùn)練變 慢。 ? 如果多個(gè)自變量之間線性相關(guān)性很強(qiáng)，只需要保留一個(gè)就可以了。 ? 可以分為線性的和非線性的。每個(gè)主成分都是由多個(gè) 原始變量線性組合 而成的。 后續(xù)步驟 數(shù)據(jù)挖掘 ? 這是最核心的一步。 分類算法評(píng)估的主要宗旨 ? 主要宗旨就是： ? 減少誤判（假陽(yáng)性）和漏判（假陰性）。 ? 縱軸是真陽(yáng)性率（真正 率 ），即 TPR（ True Positive Rate）或 Sensitivity，即實(shí)際為正例預(yù)測(cè)也是正例的概率，即： – TP/(TP+FN)，即 實(shí)際 為 正例 預(yù)測(cè)也為 正例的個(gè)數(shù)除以實(shí)際 為正例的 個(gè)數(shù)。 分類算法 評(píng)估 ——Lift曲線 ? Lift曲線顯示了采用模型后與沒(méi)采用模型相比的改進(jìn)。 分類算法評(píng)估 ——Lift曲線 ? 橫軸是樣本大小在所有潛在用戶中的占比；縱軸是所得到的回應(yīng)數(shù)量。 分類算法評(píng)估 ——其他 ? 其他有代表性的模型評(píng)估的方法還有 10折交叉驗(yàn)證 ： ? 3折交叉驗(yàn)證（ crossvalidation）：在交叉驗(yàn)證中，先要確定一個(gè)固定的折數(shù)（ number of folds），比如3折。 分類算法評(píng)估 的 目的 ? 我們可以對(duì)不同的分類算法，設(shè)置不同的參數(shù)，進(jìn)行反復(fù)比較，根據(jù)在多個(gè)效果指標(biāo)（比如 Lift）上是否有 穩(wěn)定 的好的表現(xiàn)，選擇一個(gè) 最終落地應(yīng)用的模型。 數(shù)據(jù) 挖掘是一個(gè)反復(fù)循環(huán)的過(guò)程 ? 數(shù)據(jù)挖掘是一個(gè)反復(fù)循環(huán)的過(guò)程。 ? 在交叉驗(yàn)證時(shí)，我們可以準(zhǔn)備幾個(gè)不同時(shí)間窗口、不同范圍的測(cè)試集和驗(yàn)證集，在不同的數(shù)據(jù)集里面對(duì)模型進(jìn)行交叉檢驗(yàn)。 ? 輸入變量不要太多。 ? 減少 樣本中的噪聲數(shù)據(jù)。它可看作一種變通的方法，它 不使用 全部的歷史數(shù)據(jù)，而是把過(guò)去的數(shù)據(jù)分成兩份，其中一份當(dāng)做訓(xùn)練集，另一份當(dāng)做測(cè)試集（用來(lái)模擬“未來(lái)的”數(shù)據(jù)）。在促銷兩周后，我們發(fā)現(xiàn)成交顧客數(shù)量顯著提升。測(cè)試集用來(lái)計(jì)算誤差率。那么，發(fā)送多少封郵件比較合適呢？ ? 如果給全部用戶都發(fā)送，會(huì)賠錢(qián)。它直觀易懂。 ? 我們經(jīng)常用 AUC來(lái)比較各種分類器的效果。 分類算法評(píng)估 ——混淆矩陣 ? 可見(jiàn)，預(yù)測(cè)正確的實(shí)例數(shù)量遠(yuǎn)遠(yuǎn)多于預(yù)測(cè)錯(cuò)誤的實(shí)例數(shù)量。 ? 對(duì)分類模型，通常采用的指標(biāo)有： ROC曲線、 Lift曲線。適用于多維數(shù)據(jù)。 ? 主成分分析 （ PCA）是用少量 指標(biāo)（即主成分）來(lái)表示原先較多 的指標(biāo)。 ? R平方 （ RSquare）借鑒多元線性回歸的算法來(lái)判斷 對(duì)目標(biāo)變量有重要預(yù)測(cè)意義 的自變量，也就是找出哪些自變量能顯著地解釋目標(biāo)變量的變異性。 屬性篩選的 方法 ——線性相關(guān)性 ? 最簡(jiǎn)單、最常用的方法就是通過(guò)自變量之間的線性 相關(guān)性 指標(biāo)進(jìn)行初步篩選。這就需要進(jìn)行特征選擇（ feature selection），即屬性篩選。否則可能會(huì)有樣本偏差（ sample bias）。 ? 包括兩類： 屬性篩選和數(shù)據(jù)歸約 。比如，當(dāng)創(chuàng)建一個(gè)聚類模型時(shí)，我們需要確保所有字段都有近似的標(biāo)度。 –分析 人員常常容易從現(xiàn)有的數(shù)據(jù)庫(kù)中直接提取現(xiàn)成的字段，而經(jīng)常忘記一些衍生的新字段 ，這 需要有業(yè)務(wù)知識(shí)來(lái)支持。其他兩個(gè)箱與此類似。 數(shù)據(jù)轉(zhuǎn)換 ——離散化 ? 如果對(duì)連續(xù)變量進(jìn)行離散化，可以避免引入任何分布假設(shè)。又如，年齡為 140歲無(wú)疑是個(gè)異常值。 ? 處理離群點(diǎn)的另一種辦法是對(duì)變量進(jìn)行標(biāo)準(zhǔn)化，從而縮小值域。 離群點(diǎn)能從表象上判別出來(lái)，而噪聲則是隨機(jī)的、取值是沒(méi)有規(guī)律的。 識(shí)別數(shù)據(jù) 噪聲 ?還好，噪聲數(shù)據(jù)都是少數(shù)！ ?通過(guò)數(shù)據(jù)探索，能很容易發(fā)現(xiàn)噪聲數(shù)據(jù)。此法通過(guò)回歸模型、決策樹(shù)、貝葉斯定理等 去預(yù)測(cè)缺失值的最近似的替代值。 缺失值的處理方法 –通過(guò)兩個(gè)變量之間的相關(guān)關(guān)系來(lái)填充 。 –使用屬性的中心度量來(lái) 填充 。此法適于 有 缺失值的個(gè)案的 數(shù)量占比很 小的情況 下。例如，銀行并不特別需要知道客戶的年齡，所以年齡變量會(huì)存在許多缺失值。例如，在銷售表中的顧客信息當(dāng)中，也許除了名字外，其他各個(gè)屬性都有缺失值。 ? 如果數(shù)據(jù)有誤，那么所得到的結(jié)果很可能有誤導(dǎo)性。 ? 通過(guò) 散點(diǎn)圖 ，能了解 屬性之間 是否 有相關(guān)性 。 ? 幾乎很少有現(xiàn)成的數(shù)據(jù)能直接使用。 ? 又例如，對(duì)同一個(gè)省份可能用了不同的名稱。 ? 如果我們確定這兩個(gè)字段是一致的，那么我們就能夠把標(biāo)識(shí)相同的客戶當(dāng)作同一個(gè)客戶。因?yàn)椋瑳](méi)有 高質(zhì)量的數(shù)據(jù) ，就沒(méi)有高質(zhì)量的挖掘結(jié)果。 數(shù)據(jù)準(zhǔn)備的重要性 數(shù)據(jù)準(zhǔn)備工作占用的時(shí)間往往 在 60%以上！ 數(shù)據(jù)集成 ? 數(shù)據(jù)挖掘或統(tǒng)計(jì)分析可能用到來(lái)自 不同數(shù)據(jù)源 的數(shù)據(jù)，我們需要將這些數(shù)據(jù)集成在一起。 數(shù)據(jù)集成 中屬性值不一致的問(wèn)題 ? 同一個(gè)人的名字可能在一個(gè)數(shù)據(jù)庫(kù)中登記為“王思聰”，在另一個(gè)數(shù)據(jù)庫(kù)中則登記為“ Sicong Wang” 。 一種度量 另一 種 度量 數(shù)據(jù)集成中 的屬性冗余問(wèn)題 ? 一個(gè)屬性可能能由另一個(gè)或一組屬性導(dǎo)出。 數(shù)據(jù) 探索的方法 ? 在 R中的 summary(變量名 )這種指
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1