【正文】 群體，并預(yù)測他們的反應(yīng)，一些變量如何影響其他變量，而其他早期應(yīng)用是在醫(yī)學(xué)和精神病學(xué)的研究領(lǐng)域。樸素貝葉斯分類是一種十分簡單的分類算法，叫它樸素貝葉斯分類是因為這種方法的思想真的很樸素，樸素貝葉斯的思想基礎(chǔ)是這樣的：對于給出的待分類項，求解在此項出現(xiàn)的條件下各個類別出現(xiàn)的概率，哪個最大，就認(rèn)為此待分類項屬于哪個類別。樸素貝葉斯分類的正式定義如下：算法優(yōu)勢：1）在屬性個數(shù)比較多或者屬性之間相關(guān)性較大時，NBC模型的分類效率比不上決策樹模型。Logistic回歸是在給出方程，輸入變量取值的條件下，輸出變量取1的概率為多少。Logistic regression可以用來回歸，也可以用來分類，主要是二分類。在得到森林之后，當(dāng)有一個新的輸 入樣本進(jìn)入的時候，就讓森林中的每一棵決策樹分別進(jìn)行一下判斷，看看這個樣本應(yīng)該屬于哪一類（對于分類算法），然后看看哪一類被選擇最多，就預(yù)測這個樣本為那一類。支持向量機(jī)方法是建立在統(tǒng)計學(xué)習(xí)理論的VC 維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對特定訓(xùn)練樣本的學(xué)習(xí)精度，Accuracy）和學(xué)習(xí)能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最好的推廣能力（或稱泛化能力）。隨機(jī)森林通過對數(shù)據(jù)隨機(jī)采樣來單獨訓(xùn)練每一棵樹。在建模所需數(shù)據(jù)處理好以后，分類算法主要需要關(guān)注的是變量定義、輸出結(jié)果及模型評估，詳情見表16所示。類型變量，包括定類變量和定序變量。如Y=a+bX，X為自變量，Y為因變量。圖13 變量重要性（示意圖）分類結(jié)果明細(xì)：包括輸入變量、輸出變量及模型計算出的分類名稱和概率值。圖15 變量重要性（示意圖） 分類算法模型評估分類器的評估與分類器本身同樣重要。TP表示實際值為yes，預(yù)測值也為yes的個數(shù)；FP表示實際值為no，預(yù)測值為yes的個數(shù)；FN表示實際值為yes，預(yù)測值為no的個數(shù)；TN表示實際值為no，預(yù)測值也為no的個數(shù)。查全率（Recall）R=TP/(TP+FN)，也稱為真陽性率，或者召回率，查全率衡量分類器正確預(yù)測的正例比例，如果分類器的查全率高，則很少將正例誤分為負(fù)例。真陽性率（True Positive Rate）TPR=TP/(TP+FN)，正樣本預(yù)測結(jié)果數(shù)/正樣本實際數(shù)真陰性率（True Negative Rate）TNR=TN/(TN+FP)，負(fù)樣本預(yù)測結(jié)果數(shù)/負(fù)樣本實際數(shù)假陽性率（False Positive Rate）FPR=FP/(FP+TN)，被預(yù)測為正的負(fù)樣本結(jié)果數(shù)/負(fù)樣本實際數(shù)假陰性率（False Negative Rate）FNR=FN/(FN+TP)，被預(yù)測為負(fù)正樣本結(jié)果數(shù)/正樣本實際數(shù)表19 分類預(yù)測模型評價表（混淆矩陣）　預(yù)測類別yesno真實類別yesTPFNnoFPTN除了混淆矩陣，常用的分類效果評價還有ROC曲線、lift值等。通常，較大的AUC代表了較好的performance。kmeans 算法接受輸入量 k ；然后將n個數(shù)據(jù)對象劃分為 k個聚類以便使得所獲得的聚類滿足：同一聚類中的對象相似度較高；而不同聚類中的對象相似度較小。（3） 對于所有標(biāo)記為i點，重新計算c[i]={ 所有標(biāo)記為i的data[j]之和}/標(biāo)記為i的個數(shù)；（4） 重復(fù)(2)(3),直到所有c[i]值的變化小于給定閾值。所謂非概率模型，是指訓(xùn)練模型是一個決策函數(shù)Y=f(X)，輸入數(shù)據(jù)X是多少就可以投影得到唯一的Y，即判決結(jié)果（硬分類hard assignment）。然后我們可以選取概率最大的類所為判決結(jié)果。當(dāng)求出p（x ）的表達(dá)式后，求和式的各項的結(jié)果就分別代表樣本x 屬于各個類的概率。所以我們通常取log，將目標(biāo)改寫成： 也就是最大化對數(shù)似然函數(shù)，完整形式為： 一般用來做參數(shù)估計的時候，我們都是通過對待求變量進(jìn)行求導(dǎo)來求極值，在上式中，log函數(shù)中又有求和，你想用求導(dǎo)的方法算的話方程組將會非常復(fù)雜，沒有閉合解。 2)（M step） 高斯混合模型GMM（Gaussian Mixture Model） 3)重復(fù)上述兩步驟直到算法收斂。 以上隱含著一個原則是：因為聚類的誤差平方和能夠衡量聚類性能，該值越小表示數(shù)據(jù)點月接近于它們的質(zhì)心，聚類效果就越好。在大規(guī)模數(shù)據(jù)集上，PIC非常快，比基于最好的特征計算技術(shù)實現(xiàn)快1000倍。表 112 各類別樣本量及類中心（示例） 類別數(shù)量價格馬力車長中心范圍中心范圍中心范圍13655142248193255315275450454145193186157208 聚類效果的評估確定聚類個數(shù)是聚類分析中迄今為止尚未完全解決的問題之一，主要障礙是對類的結(jié)構(gòu)和內(nèi)容很難給出統(tǒng)一的定義，這樣就給不出從理論上和實踐中都可行的虛無假設(shè)。但是在實際情況下，我們還要考慮到聚類結(jié)果的可解釋性，不能一味的選擇使 puteCost 結(jié)果值最小的那個K。準(zhǔn)則4：若采用幾種不同的聚類方法處理，則在各自的聚類圖上應(yīng)該發(fā)現(xiàn)相同的類。在這里，所有支持度大于最小支持度的項集稱為頻繁項集，簡稱頻集。一旦這些規(guī)則被生成，那么只有那些大于用戶給定的最小可信度的規(guī)則才被留下來。但是Apriori算法在挖掘額長頻繁模式的時候性能往往低下，Jiawei Han提出了FPGrowth算法。FPGrowth算法基于以上的結(jié)構(gòu)加快整個挖掘過程。PrefixSpan算法的實現(xiàn)步驟如下：（1）讀入序列數(shù)據(jù)庫S及最小支持度閾值min_sup（2） 預(yù)設(shè)第一次序列長度K=1，從映射數(shù)據(jù)庫中發(fā)現(xiàn)長度為K的頻繁序列集S，頻繁序列是數(shù)據(jù)庫中發(fā)生次數(shù)不小于閾值的序列。數(shù)據(jù)通常處理成矩陣的形式。根據(jù)算法平臺不同，適當(dāng)增減一些可視化的結(jié)果。 比如，num(I)表示總事務(wù)集的個數(shù)num(X∪Y)表示含有{X,Y}的事務(wù)集的個數(shù)（個數(shù)也叫次數(shù)）。線性回歸(Linear Regression)是利用稱為線性回歸方程的函數(shù)對一個或多個自變量和因變量之間關(guān)系進(jìn)行建模的一種回歸分析。 回歸預(yù)測（Lasso回歸）使用數(shù)理統(tǒng)計模型從海量數(shù)據(jù)中有效挖掘信息越來越受到業(yè)界關(guān)注。Lasso算法則是一種能夠?qū)崿F(xiàn)指標(biāo)集合精簡的估計方法。Lasso的基本思想是在回歸系數(shù)的絕對值之和小于一個常數(shù)的約束條件下，使殘差平方和最小化，從而能夠產(chǎn)生某些嚴(yán)格等于0的回歸系數(shù)，得到解釋力較強(qiáng)的模型。 回歸預(yù)測（嶺回歸）嶺回歸（ridge regression）是一種專用于共線性數(shù)據(jù)分析的有偏估計回歸方法，實質(zhì)上是一種改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價獲得回歸系數(shù)更為符合實際、更可靠的回歸方法，對病態(tài)數(shù)據(jù)的擬合要強(qiáng)于最小二乘法。移動平均法是用一組最近的實際數(shù)據(jù)值來預(yù)測未來一期或幾期內(nèi)公司產(chǎn)品的需求量、公司產(chǎn)能等的一種常用方法。 指數(shù)平滑法指數(shù)平滑法（Exponential Smoothing，ES）是布朗(Robert G..Brown)所提出，布朗認(rèn)為時間序列的態(tài)勢具有穩(wěn)定性或規(guī)則性，所以時間序列可被合理地順勢推延；他認(rèn)為最近的過去態(tài)勢，在某種程度上會持續(xù)到未來，所以將較大的權(quán)數(shù)放在最近的資料。也就是說指數(shù)平滑法是在移動平均法基礎(chǔ)上發(fā)展起來的一種時間序列分析預(yù)測法，它是通過計算指數(shù)平滑值，配合一定的時間序列預(yù)測模型對現(xiàn)象的未來進(jìn)行預(yù)測。其預(yù)測公式為：yt+139。t期的預(yù)測值，即上期的平滑值St1 。)。其預(yù)測公式為：yt+m=(2+am/(1a))yt39。+(1a)yt1 　顯然，二次指數(shù)平滑是一直線方程，其截距為：(2yt39。其中ARIMA（p，d，q）稱為差分自回歸移動平均模型，AR是自回歸， p為自回歸項； MA為移動平均，q為移動平均項數(shù)，d為時間序列成為平穩(wěn)時所做的差分次數(shù)。輸入?yún)?shù)有迭代次數(shù)、步長、平滑系數(shù)、差分階數(shù)等，根據(jù)實際情況選用對應(yīng)的輸入?yún)?shù)。 圖18 指數(shù)平滑算法的擬合圖預(yù)測算法通常還會輸出模型的參數(shù)估計值，如：回歸算法輸出回歸系數(shù)；自回歸移動平均模型輸出差分階數(shù)及自回歸、移動平均模型系數(shù)。是狼就要練好牙，是羊就要練好腿。拼一個春夏秋冬！贏一個無悔人生！早安！—————獻(xiàn)給所有努力的人. 學(xué)習(xí)好幫