【正文】 有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的區(qū)別有監(jiān)督學(xué)習(xí)：對具有標(biāo)記的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，以盡可能對訓(xùn)練樣本集外的數(shù)據(jù)進(jìn)行分類預(yù)測。（LR,SVM,BP,RF,GBDT）無監(jiān)督學(xué)習(xí)：對未標(biāo)記的樣本進(jìn)行訓(xùn)練學(xué)習(xí)，比發(fā)現(xiàn)這些樣本中的結(jié)構(gòu)知識。(KMeans,DL)正則化正則化是針對過擬合而提出的，以為在求解模型最優(yōu)的是一般優(yōu)化最小的經(jīng)驗(yàn)風(fēng)險(xiǎn)，現(xiàn)在在該經(jīng)驗(yàn)風(fēng)險(xiǎn)上加入模型復(fù)雜度這一項(xiàng)（正則化項(xiàng)是模型參數(shù)向量的范數(shù)），并使用一個(gè)rate比率來權(quán)衡模型復(fù)雜度與以往經(jīng)驗(yàn)風(fēng)險(xiǎn)的權(quán)重，如果模型復(fù)雜度越高，結(jié)構(gòu)化的經(jīng)驗(yàn)風(fēng)險(xiǎn)會越大，現(xiàn)在的目標(biāo)就變?yōu)榱私Y(jié)構(gòu)經(jīng)驗(yàn)風(fēng)險(xiǎn)的最優(yōu)化，可以防止模型訓(xùn)練過度復(fù)雜，有效的降低過擬合的風(fēng)險(xiǎn)。奧卡姆剃刀原理，能夠很好的解釋已知數(shù)據(jù)并且十分簡單才是最好的模型。 過擬合如果一味的去提高訓(xùn)練數(shù)據(jù)的預(yù)測能力，所選模型的復(fù)雜度往往會很高，這種現(xiàn)象稱為過擬合。所表現(xiàn)的就是模型訓(xùn)練時(shí)候的誤差很小，但在測試的時(shí)候誤差很大。產(chǎn)生的原因過擬合原因：1. 樣本數(shù)據(jù)的問題。樣本數(shù)量太少；抽樣方法錯(cuò)誤，抽出的樣本數(shù)據(jù)不能有效足夠代表業(yè)務(wù)邏輯或業(yè)務(wù)場景。比如樣本符合正態(tài)分布，卻按均分分布抽樣，或者樣本數(shù)據(jù)不能代表整體數(shù)據(jù)的分布；樣本里的噪音數(shù)據(jù)干擾過大2. 模型問題模型復(fù)雜度高 、參數(shù)太多決策樹模型沒有剪枝權(quán)值學(xué)習(xí)迭代次數(shù)足夠多(Overtraining),擬合了訓(xùn)練數(shù)據(jù)中的噪聲和訓(xùn)練樣例中沒有代表性的特征.解決方法1. 樣本數(shù)據(jù)方面。增加樣本數(shù)量，對樣本進(jìn)行降維，添加驗(yàn)證數(shù)據(jù)抽樣方法要符合業(yè)務(wù)場景清洗噪聲數(shù)據(jù)2. 模型或訓(xùn)練問題控制模型復(fù)雜度，優(yōu)先選擇簡單的模型，或者用模型融合技術(shù)。利用先驗(yàn)知識，添加正則項(xiàng)。L1正則更加容易產(chǎn)生稀疏解、L2正則傾向于讓參數(shù)w趨向于0. 交叉驗(yàn)證不要過度訓(xùn)練，最優(yōu)化求解時(shí)，收斂之前停止迭代。 決策樹模型沒有剪枝權(quán)值衰減 泛化能力泛化能力是指模型對未知數(shù)據(jù)的預(yù)測能力 生成模型和判別模型1. 生成模型：由數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布P(X,Y)，然后求出條件概率分布P(Y|X)作為預(yù)測的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。（樸素貝葉斯、Kmeans）生成模型可以還原聯(lián)合概率分布p(X,Y)，并且有較快的學(xué)習(xí)收斂速度，還可以用于隱變量的學(xué)習(xí)2. 判別模型：由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)Y=f(X)或者條件概率分布P(Y|X)作為預(yù)測的模型，即判別模型。（k近鄰、決策樹、SVM）直接面對預(yù)測，往往準(zhǔn)確率較高，直接對數(shù)據(jù)在各種程度上的抽象，所以可以簡化模型線性分類器與非線性分類器的區(qū)別以及優(yōu)劣如果模型是參數(shù)的線性函數(shù)，并且存在線性分類面，那么就是線性分類器，否則不是。常見的線性分類器有：LR,貝葉斯分類，單層感知機(jī)、線性回歸常見的非線性分類器：決策樹、RF、GBDT、多層感知機(jī)SVM兩種都有(看線性核還是高斯核)線性分類器速度快、編程方便，但是可能擬合效果不會很好非線性分類器編程復(fù)雜，但是效果擬合能力強(qiáng)特征比數(shù)據(jù)量還大時(shí)，選擇什么樣的分類器？線性分類器，因?yàn)榫S度高的時(shí)候，數(shù)據(jù)一般在維度空間里面會比較稀疏，很有可能線性可分對于維度很高的特征，你是選擇線性還是非線性分類器？理由同上對于維度極低的特征，你是選擇線性還是非線性分類器？非線性分類器，因?yàn)榈途S空間可能很多特征都跑到一起了，導(dǎo)致線性不可分1. 如果Feature的數(shù)量很大，跟樣本數(shù)量差不多，這時(shí)候選用LR或者是Linear Kernel的SVM2. 如果Feature的數(shù)量比較小，樣本數(shù)量一般，不算大也不算小，選用SVM+Gaussian Kernel3. 如果Feature的數(shù)量比較小，而樣本數(shù)量很多，需要手工添加一些feature變成第一種情況illcondition病態(tài)問題訓(xùn)練完的模型測試樣本稍作修改就會得到差別很大的結(jié)果，就是病態(tài)問題（這簡直是不能用?。㎜1和L2正則的區(qū)別，如何選擇L1和L2正則他們都是可以防止過擬合，降低模型復(fù)雜度L1是在loss function后面加上 模型參數(shù)的1范數(shù)（也就是|xi|）L2是在loss function后面加上 模型參數(shù)的2范數(shù)（也就是sigma(xi^2)），注意L2范數(shù)的定義是sqrt(sigma(xi^2))，在正則項(xiàng)上沒有添加sqrt根號是為了更加容易優(yōu)化L1 會產(chǎn)生稀疏的特征L2 會產(chǎn)生更多地特征但是都會接近于0L1會趨向于產(chǎn)生少量的特征，而其他的特征都是0，而L2會選擇更多的特征，這些特征都會接近于0。L1在特征選擇時(shí)候非常有用，而L2就只是一種規(guī)則化而已。L1求解最小角回歸算法：LARS算法1越小的參數(shù)說明模型越簡單過擬合的，擬合會經(jīng)過曲面的每個(gè)點(diǎn)，也就是說在較小的區(qū)間里面可能會有較大的曲率，這里的導(dǎo)數(shù)就是很大，線性模型里面的權(quán)值就是導(dǎo)數(shù)，所以越小的參數(shù)說明模型越簡單。1為什么一些機(jī)器學(xué)習(xí)模型需要對數(shù)據(jù)進(jìn)行歸一化？歸一化化就是要把你需要處理的數(shù)據(jù)經(jīng)過處理后（通過某種算法）限制在你需要的一定范圍內(nèi)。1）歸一化后加快了梯度下降求最優(yōu)解的速度。等高線變得顯得圓滑，在梯度下降進(jìn)行求解時(shí)能較快的收斂。如果不做歸一化，梯度下降過程容易走之字，很難收斂甚至不能收斂2）把有量綱表達(dá)式變?yōu)闊o量綱表達(dá)式, 有可能提高精度。一些分類器需要計(jì)算樣本之間的距離（如歐氏距離），例如KNN。如果一個(gè)特征值域范圍非常大，那么距離計(jì)算就主要取決于這個(gè)特征，從而與實(shí)際情況相悖（比如這時(shí)實(shí)際情況是值域范圍小的特征更重要）3) 邏輯回歸等模型先驗(yàn)假設(shè)數(shù)據(jù)服從正態(tài)分布。哪些機(jī)器學(xué)習(xí)算法不需要做歸一化處理？概率模型不需要?dú)w一化，因?yàn)樗鼈儾魂P(guān)心變量的值，而是關(guān)心變量的分布和變量之間的條件概率，如決策樹、rf。而像adaboost、gbdt、xgboost、svm、lr、KNN、KMeans之類的最優(yōu)化問題就需要?dú)w一化。特征向量的歸一化方法線性函數(shù)轉(zhuǎn)換，表達(dá)式如下：y=(xMinValue)/(MaxValueMinValue)對數(shù)函數(shù)轉(zhuǎn)換，表達(dá)式如下：y=log10 (x)反余切函數(shù)轉(zhuǎn)換 ，表達(dá)式如下：y=arctan(x)*2/PI減去均值，乘以方差：y=(xmeans)/ variance標(biāo)準(zhǔn)化與歸一化的區(qū)別簡單來說，標(biāo)準(zhǔn)化是依照特征矩陣的列處理數(shù)據(jù)，其通過求zscore的方法，將樣本的特征值轉(zhuǎn)換到同一量綱下。歸一化是依照特征矩陣的行處理數(shù)據(jù)，其目的在于樣本向量在點(diǎn)乘運(yùn)算或其他核函數(shù)計(jì)算相似性時(shí)，擁有統(tǒng)一的標(biāo)準(zhǔn)，也就是說都轉(zhuǎn)化為“單位向量”。規(guī)則為l2的歸一化公式如下：1特征向量的缺失值處理1. ，否則可能反倒會帶入較大的noise，對結(jié)果造成不良影響。2. 缺失值較少,其余的特征缺失值都在10%以內(nèi)，我們可以采取很多的方